クローラー＆過剰リロード対策スレ

**ｒｅｆｆｉ@報告人 ★** · 2005/04/15(金) 04:49:50

最近、頻発しているクローラーや過剰リロード対策スレッドです。

★FAQ

■クローラーや過剰リロードとは？
・ツール等を使って板のスレッドを根こそぎＤＬする行為をクロール行為と
　いいます。
　クローラーとはクロール行為をする人の事です。
・過剰リロードとは文字通り過剰にリロードをしてsubject.txt等を取得
　する行為です。

■どうして迷惑なの？
　クロール行為や過剰リロードは鯖に過剰な負担をかけるため、最悪、鯖落ち
　する危険があります。

■やったらどうなるの？
　発見されて悪質な場合は規制情報板に掲載の上、該当プロバイダに通報
　されます。
　もしも先方が対応しなかったり、再発するような場合は .htaccessで
　denyする場合もあります。

■.htaccessでdenyされるとどうなるの？
　.htaccessでdenyされると書き込みはおろか閲覧すら出来なくなります。

**root▲ ★** · NG

おつです。>>1

今日は、さすがにもう限界です。おやすみなさい。

[―{}@{}@{}-] **FOX ★** · 2005/04/15(金) 04:55:02

きね

あお ◆AO...TRZAM · NG

>1
乙です。

#しかし、これからこの行為が頻発するとなると
#いろんな意味で難しい問題を孕むような気がします。。

**ｒｅｆｆｉ@報告人 ★** · 2005/04/15(金) 04:55:43

>2
連日お疲れ様です。

※このスレッドを立てた経緯
　今までは動作報告スレにてやっていたんですけどあまりにも多発してスレが埋まって
　いる事態になっていましたので急遽、専用スレッドを立てました。

讃岐 ◆IamaVIPdCI · NG

あら、やっぱり立ったか

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 08:06:09

FOX★の中の人の自作自演じゃねーの？w

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 08:09:43

http://qb5.2ch.net/test/read.cgi/operate/1103455176/737-738
737 名前： [―{}@{}@{}-] FOX ★ 投稿日：2005/04/15(金) 04:38:00 ID:???0
とほほっ

急務ってことっすね
明日こそやります。

たぶん夕方以降になると思うけど。

738 名前： [―{}@{}@{}-] FOX ★ 投稿日：2005/04/15(金) 04:38:32 ID:???0
うおっ　なんで焼かれているんだか、

http://qb5.2ch.net/test/read.cgi/operate/1113435319/479n
479 ： [―{}@{}@{}-] 動け動けウゴウゴ２ちゃんねる：2005/04/15(金) 07:57:44 ID:jC0U2UYw0
溜息

**ｒｅｆｆｉ@報告人 ★** · 2005/04/15(金) 08:24:33

とりあえず、必要だと思われる物リスト

・全鯖のアクセス状態の把握するためのツール
　今のところ一部の鯖でしか把握できてないようなので実態把握がまず第一だと思います。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 08:26:58

たぶん前スレ

【.htaccess】読みこみできない【規制作戦】
http://qb5.2ch.net/operate/kako/1082/10829/1082968554.html

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 08:35:39

やっぱりFOX★がVIP潰したくて荒らしを煽動していた…
もしくは荒らし本人の線が濃厚ぽいですよ？
FOX★がどーしてVIP潰したかったのかまでは
知りませんが。

http://qb5.2ch.net/test/read.cgi/operate/1113380450/490n
490 名前： [―{}@{}@{}-] 動け動けウゴウゴ２ちゃんねる投稿日：2005/04/14(木) 04:39:21 ID:C0jlP1T40
vip閉鎖してくれ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 08:46:41

あー。このスレ復活か。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 09:02:48

勘弁してくれwww
なんで自分がふぉっ糞などに・・・by479
どうせならrootたんに間違われたかった(*´Д`)ﾊｧﾊｧ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 09:18:01

>>12
2ch専用ブラウザや鯖アクセス型ツール作ってる人が
もうビクビクものだったあのスレが帰ってきましたよ(w

最近問題になるのは特定のdatを集中的に読み込むタイプではなく鯖横断型が多いようなので
自作のプログラムか何かだとは思いますが。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 09:22:56

>>13
苦しいな（ゲラ

◆moe/raW98k · 2005/04/15(金) 09:51:31

きねパピ(^^

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 09:59:43

>>14
差分取得型ツールは waitを入れればいいらしい
ごっそり持っていくツールは waitを入れててもダメっぽ

\e

**ｒｅｆｆｉ@報告人 ★** · 2005/04/15(金) 10:54:24

今日の７時頃にetc4にて過剰なread.cgi呼び出しがあった模様
書き込みや負荷等の上昇はないんだけど何かあったんだろうか？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 11:14:51

>>1
忘れ物だ

list
ttp://mumumu.mu/mrtg/mrtg-rrd.cgi/

read (read.cgi・bbs.cgi)
ttp://mumumu.mu/mrtg/mrtg-rrd.cgi/read/

転送量
ttp://mumumu.mu/mrtg/mrtg-rrd.cgi/traffic/

>>18
ツールじゃない？

**root▲ ★** · NG

>>18
むぎゅーまたか。
みてくるです。

**root▲ ★** · NG

http://qb6.2ch.net/_sec2ch/2005/04/etc4-20050415.txt

**ｒｅｆｆｉ@報告人 ★** · 2005/04/15(金) 11:47:10

>21まとめ

14/Apr/2005:15:03:51～15:16:16
アクセス回数2544回

ＩＰ
220.210.148.33
33.148.210.220.dy.bbexcite.jp

※ログを見る限りでは毒男と喪男のdatを根こそぎかっさらったみたいですね（滝汗

**root▲ ★** · NG

これ、こっちに転載しておくです。

http://qb5.2ch.net/test/read.cgi/operate/1103455176/710

710 名前：root▲ ★[sage] 投稿日：2005/04/14(木) 20:27:35 ID:???0 ?##
>>709
われわれは(すくなくとも私は)全部公開の場でやってますんで、
このスレとか、運用情報とか規制議論とかの動きを見たうえで、
各位にて自主的に動いていただけると
とてもたすかりますです。

私の個人的なガイドライン(たぶん相当甘い)

・cgiの連打はだめ
・各種グラフ・統計情報が、目で見て変わる(わかる)ほどはやらないで
・できるだけ差分取得を

**root▲ ★** · NG

>>22
切に願ってしまうですね。
↓
> ・各種グラフ・統計情報が、目で見て変わる(わかる)ほどはやらないで

で、どうしてもしなきゃいけない事情がある場合、事前にご相談いただけると助かるです。

**ｒｅｆｆｉ@報告人 ★** · 2005/04/15(金) 11:55:07

これやってる本人は鯖に過負荷がかかるとか全く考えないでやってるっぽいですねぇ
現状は監視対象が６鯖だけど全鯖監視にしたらどれくらい上がってくる事やら。。。

※ｅｔｃ４って鯖落ちしてようやく復旧したばかりなのにぶっこ抜きを平気でしてる時点で（ry

**root▲ ★** · NG

>>25
ふつうですね。一般の人はそういうの、考えないのがふつうかと。
別に「それじゃだめ」と言っているわけじゃなくて、たんにそういうもんじゃないのかなと。

ツール使ってdatとっている人は実は結構見かけますが、
ﾕｸｰﾘ､ﾏﾀｰﾘの人については(例えば明らかにディレイ入れている人)、
とりあえず＊私は＊見なかったことにしてるです。

例: http://qb6.2ch.net/_sec2ch/2005/04/etc4-20050415-x.txt (抜粋)

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 12:15:45

ミラーサイトもクロールしてますよね
これはそれとは明らかに違うってことかな

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 12:53:05

>>27
アンオフィシャルの2chミラーやdat保存サイトね。本質的には違わないはず。
「よく知られていて存在も便利」という理由と「クロールのやり方が調整されている」という理由で
オメコぼしされてるというサイトは若干あると思う。

若干。

>>10のスレでも
「このアクセスは○○さんのとこだから除外してあげて」
という遣り取りがあったようななかったような。

逆にいうと今から個人で新規で「みんなのために」datを収集する理由なんてないんだよね。
既存の個人サイトの提供するサービスでじゅうぶん間に合ってるはずだから。
…もしかしたらめっちゃ斬新で超便利な活用法とか考案したのかもしれないけど(w

**ジェット** ◆aJ1VZFRNi2 · 2005/04/15(金) 13:35:37

わたくし、過去狼板にて10000超のスレを2ゲットして参りました。
リロード頻度は1秒間に2回のペースで行なっておりますがやりすぎでしょうか？
もちろん手動でございます。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 14:07:08

褒めてほしいのか、怒られたいのか？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 14:25:44

>>21-22
保持数増やした思わぬ弊害がこんなとこにｗ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 14:34:16

>>29
言うまでもなくやりすぎです

**名無し墓集中。。。** · 2005/04/15(金) 15:17:45

>>29
氏ねばいいと思うよ

◆BDFCNV1.to · 2005/04/15(金) 15:38:20

いやんねー
まだオンラインになれないのだ、

**名無し墓集中。。。** · 2005/04/15(金) 15:41:43

>>34
モバイルとか、、、ダメっすか

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 15:46:30

二日酔いで起きれないとか？

**ひろゆき＠どうやら管理人 ★** · NG

これもISPに苦情いう方向ですかねぇ、、

**root▲ ★** · NG

おいそがしそうですね。>>34

>>37
今のところ、その方針で動いています。
ただ、最近ちとひどいので、技術的なしくみである程度防げないか検討中。
しくみとしては、バーボンハウス(クロールを検知したら.htaccessに自動で入れ込む)の延長線上かなと。

**root▲ ★** · NG

とりあえず、脳内のダンプ。

1) access_log から単位時間x秒(例えばx=3600とか)にアクセスしたIPアドレスのリストを作る
2) アクセスがy回以上で、かつリターンコード200だったアクセスをピックアップする(206や304を含めるかどうかは要検討)
(yの初期値はx=3600でディレイ1秒だとy=3600だから、それに近い秘密の値(チューニング可能が望ましい))
3) ホワイトリストを見て、2)のリストから除外する(公式もの: ２ちゃんねる検索とか)
4) リストアップされたIPアドレスは、z秒間 .htaccess の deny リストに掲載される

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 16:47:28

より公平にしたい場合は、アクセス回数の代わりに(応答サイズ + 一定値)の和かなあ。
mod_bwshareっていうのがあるらしいけどどんな感じだろう？

**root▲ ★** · NG

>>40
帯域制限系は、今のところしたくないっすね。
はけが悪くなるし、ここはダウンロード主体じゃないし。

同様の理由によりmod_limitipconnも、ちといまいちかと。

**root▲ ★** · NG

というか、mod_bwshareって、接続回数でも何かトリガを引けたりするのかしら。

**root▲ ★** · NG

http://www.topology.org/src/bwshare/README.html

BW_tx1cred_rate: sets the maximum rate of serving files (files/second).
BW_tx1debt_max: sets the maximum files to serve in excess of BW_tx1cred_rate (files).
BW_tx2cred_rate: sets the maximum rate of serving bytes (bytes/second).
BW_tx2debt_max: sets the maximum bytes to serve in excess of BW_tx2cred_rate (bytes).

ほう。上2つ、おもしろいかも。

**root▲ ★** · NG

http://www.netnice.org/pukiwiki-e.php?mod_bwshare

・status 200でエラーメッセージを返すらしい
・ホワイトリストは書けないっぽい
・httpdのパフォーマンスが1割ぐらい下がるらしい

ちと、微妙すね。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 17:06:17

>>41
＞うほ、mod_bwshareで帯域制限できるんですね。
＞一定のリクエスト越えると拒否する機能しかないと勘違いしてた…（汗
(コピペ)

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 17:14:36

遅かった…
>>44
ありゃー。
ライセンスゆるそうだから改造はありかもだけど。(誰が？)