まずは荒らしを構わないようにスレの住人に呼びかけるべきでしょう。
それを無視して構い続ける人がいたら、それも荒らしとして扱うべきでしょう。
呼びかける時に、構い続ける人も荒らしとみなすと宣言しておきましょう。
２ちゃんねるガイドにも、
＞ 荒らしに反応したらあなたも荒らしかも。。。
と明記されています。