クローラー＆過剰リロード対策スレ

[1 ｒｅｆｆｉ@報告人 ★ 2005/04/15(金) 04:49:50 ID:???0]

最近、頻発しているクローラーや過剰リロード対策スレッドです。

★FAQ

■クローラーや過剰リロードとは？
・ツール等を使って板のスレッドを根こそぎＤＬする行為をクロール行為と
　いいます。
　クローラーとはクロール行為をする人の事です。
・過剰リロードとは文字通り過剰にリロードをしてsubject.txt等を取得
　する行為です。

■どうして迷惑なの？
　クロール行為や過剰リロードは鯖に過剰な負担をかけるため、最悪、鯖落ち
　する危険があります。

■やったらどうなるの？
　発見されて悪質な場合は規制情報板に掲載の上、該当プロバイダに通報
　されます。
　もしも先方が対応しなかったり、再発するような場合は .htaccessで
　denyする場合もあります。

■.htaccessでdenyされるとどうなるの？
　.htaccessでdenyされると書き込みはおろか閲覧すら出来なくなります。

[576 ひろゆき＠どうやら管理人 ★ NG NG]

多数＞＞制限値＞＞規定値＞＞少数
規定値に触れるものを洗い出すのと、
制限する値ってのは別のほうがいい気がします。

[577 root▲ ★ NG NG]

>>575
前にやったミニ雪だるま作戦による調査で、
少なくとも旧ex7、今のex10では、subject.txtへの激しいアクセスにより、
相当量のコストかかっているとわかりました。

>>576
つまり、

A)やばいやつをリストアップする時に使うパラメータ
B)実際に規制するためのパラメータ

を別にして、B > Aにするのはどうか、ってことすか。

[578 ひろゆき＠どうやら管理人 ★ NG NG]

そです。そです。

[579 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 07:47:51 ID:rmIZqSyI0]

ex10はVIPとニー速みたいに
subject.txtを更新、新しく立ったスレを片っ端から読み込み、書き込む、subject.txtを更新...
を繰り返すって特異なところだからなぁ・・・
他と同じとは言えないよね。

[580 動け動けウゴウゴ２ちゃんねる 2005/04/16(土) 07:48:37 ID:cZdYxH4f0]

俺・・・ひ（ｒｙのレス↑予想当たったよ。一字一句間違いなく完璧にな！
おやしみ。

[581 root▲ ★ NG NG]

>>579
そですね。
結果をみて、そう思いました。

ただ、その傾向は他の板でも大なり小なりあるわけで、
チューニング/負荷軽減のポイントがひとつわかったという意味では、
収穫だったと。

>>578
了解です。
そのへんは、おじさんがうまく仕込んでくれることでしょう。

[582 ひろゆき＠どうやら管理人 ★ NG NG]

たぶん、サーバごとで閾値が変わってくると思うので、
計測と規制は別のフェーズでやっていったほうが
最適値は出しやすいと思うのですね。

[583 root▲ ★ NG NG]

>>582
なるほど。

Aは全サーバ共通の低めの値を設定して網をかけることにより、全体や各サーバにおける傾向をさぐる
各サーバにおける「網のかかり方」を参考にしながら、サーバごとに適切なBの値をチューニングする

ってかんじですか。いいかも。