クローラー＆過剰リロード対策スレ

**ｒｅｆｆｉ@報告人 ★** · 2005/04/15(金) 04:49:50

最近、頻発しているクローラーや過剰リロード対策スレッドです。

★FAQ

■クローラーや過剰リロードとは？
・ツール等を使って板のスレッドを根こそぎＤＬする行為をクロール行為と
　いいます。
　クローラーとはクロール行為をする人の事です。
・過剰リロードとは文字通り過剰にリロードをしてsubject.txt等を取得
　する行為です。

■どうして迷惑なの？
　クロール行為や過剰リロードは鯖に過剰な負担をかけるため、最悪、鯖落ち
　する危険があります。

■やったらどうなるの？
　発見されて悪質な場合は規制情報板に掲載の上、該当プロバイダに通報
　されます。
　もしも先方が対応しなかったり、再発するような場合は .htaccessで
　denyする場合もあります。

■.htaccessでdenyされるとどうなるの？
　.htaccessでdenyされると書き込みはおろか閲覧すら出来なくなります。

**ｒｅｆｆｉ@報告人 ★** · 2005/04/15(金) 04:55:43

>2
連日お疲れ様です。

※このスレッドを立てた経緯
　今までは動作報告スレにてやっていたんですけどあまりにも多発してスレが埋まって
　いる事態になっていましたので急遽、専用スレッドを立てました。

讃岐 ◆IamaVIPdCI · NG

あら、やっぱり立ったか

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 08:06:09

FOX★の中の人の自作自演じゃねーの？w

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 08:09:43

http://qb5.2ch.net/test/read.cgi/operate/1103455176/737-738
737 名前： [―{}@{}@{}-] FOX ★ 投稿日：2005/04/15(金) 04:38:00 ID:???0
とほほっ

急務ってことっすね
明日こそやります。

たぶん夕方以降になると思うけど。

738 名前： [―{}@{}@{}-] FOX ★ 投稿日：2005/04/15(金) 04:38:32 ID:???0
うおっ　なんで焼かれているんだか、

http://qb5.2ch.net/test/read.cgi/operate/1113435319/479n
479 ： [―{}@{}@{}-] 動け動けウゴウゴ２ちゃんねる：2005/04/15(金) 07:57:44 ID:jC0U2UYw0
溜息

**ｒｅｆｆｉ@報告人 ★** · 2005/04/15(金) 08:24:33

とりあえず、必要だと思われる物リスト

・全鯖のアクセス状態の把握するためのツール
　今のところ一部の鯖でしか把握できてないようなので実態把握がまず第一だと思います。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 08:26:58

たぶん前スレ

【.htaccess】読みこみできない【規制作戦】
http://qb5.2ch.net/operate/kako/1082/10829/1082968554.html

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 08:35:39

やっぱりFOX★がVIP潰したくて荒らしを煽動していた…
もしくは荒らし本人の線が濃厚ぽいですよ？
FOX★がどーしてVIP潰したかったのかまでは
知りませんが。

http://qb5.2ch.net/test/read.cgi/operate/1113380450/490n
490 名前： [―{}@{}@{}-] 動け動けウゴウゴ２ちゃんねる投稿日：2005/04/14(木) 04:39:21 ID:C0jlP1T40
vip閉鎖してくれ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 08:46:41

あー。このスレ復活か。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 09:02:48

勘弁してくれwww
なんで自分がふぉっ糞などに・・・by479
どうせならrootたんに間違われたかった(*´Д`)ﾊｧﾊｧ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 09:18:01

>>12
2ch専用ブラウザや鯖アクセス型ツール作ってる人が
もうビクビクものだったあのスレが帰ってきましたよ(w

最近問題になるのは特定のdatを集中的に読み込むタイプではなく鯖横断型が多いようなので
自作のプログラムか何かだとは思いますが。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 09:22:56

>>13
苦しいな（ゲラ

◆moe/raW98k · 2005/04/15(金) 09:51:31

きねパピ(^^

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 09:59:43

>>14
差分取得型ツールは waitを入れればいいらしい
ごっそり持っていくツールは waitを入れててもダメっぽ

\e

**ｒｅｆｆｉ@報告人 ★** · 2005/04/15(金) 10:54:24

今日の７時頃にetc4にて過剰なread.cgi呼び出しがあった模様
書き込みや負荷等の上昇はないんだけど何かあったんだろうか？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 11:14:51

>>1
忘れ物だ

list
ttp://mumumu.mu/mrtg/mrtg-rrd.cgi/

read (read.cgi・bbs.cgi)
ttp://mumumu.mu/mrtg/mrtg-rrd.cgi/read/

転送量
ttp://mumumu.mu/mrtg/mrtg-rrd.cgi/traffic/

>>18
ツールじゃない？

**root▲ ★** · NG

>>18
むぎゅーまたか。
みてくるです。

**root▲ ★** · NG

http://qb6.2ch.net/_sec2ch/2005/04/etc4-20050415.txt

**ｒｅｆｆｉ@報告人 ★** · 2005/04/15(金) 11:47:10

>21まとめ

14/Apr/2005:15:03:51～15:16:16
アクセス回数2544回

ＩＰ
220.210.148.33
33.148.210.220.dy.bbexcite.jp

※ログを見る限りでは毒男と喪男のdatを根こそぎかっさらったみたいですね（滝汗

**root▲ ★** · NG

これ、こっちに転載しておくです。

http://qb5.2ch.net/test/read.cgi/operate/1103455176/710

710 名前：root▲ ★[sage] 投稿日：2005/04/14(木) 20:27:35 ID:???0 ?##
>>709
われわれは(すくなくとも私は)全部公開の場でやってますんで、
このスレとか、運用情報とか規制議論とかの動きを見たうえで、
各位にて自主的に動いていただけると
とてもたすかりますです。

私の個人的なガイドライン(たぶん相当甘い)

・cgiの連打はだめ
・各種グラフ・統計情報が、目で見て変わる(わかる)ほどはやらないで
・できるだけ差分取得を

**root▲ ★** · NG

>>22
切に願ってしまうですね。
↓
> ・各種グラフ・統計情報が、目で見て変わる(わかる)ほどはやらないで

で、どうしてもしなきゃいけない事情がある場合、事前にご相談いただけると助かるです。

**ｒｅｆｆｉ@報告人 ★** · 2005/04/15(金) 11:55:07

これやってる本人は鯖に過負荷がかかるとか全く考えないでやってるっぽいですねぇ
現状は監視対象が６鯖だけど全鯖監視にしたらどれくらい上がってくる事やら。。。

※ｅｔｃ４って鯖落ちしてようやく復旧したばかりなのにぶっこ抜きを平気でしてる時点で（ry

**root▲ ★** · NG

>>25
ふつうですね。一般の人はそういうの、考えないのがふつうかと。
別に「それじゃだめ」と言っているわけじゃなくて、たんにそういうもんじゃないのかなと。

ツール使ってdatとっている人は実は結構見かけますが、
ﾕｸｰﾘ､ﾏﾀｰﾘの人については(例えば明らかにディレイ入れている人)、
とりあえず＊私は＊見なかったことにしてるです。

例: http://qb6.2ch.net/_sec2ch/2005/04/etc4-20050415-x.txt (抜粋)

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 12:15:45

ミラーサイトもクロールしてますよね
これはそれとは明らかに違うってことかな

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 12:53:05

>>27
アンオフィシャルの2chミラーやdat保存サイトね。本質的には違わないはず。
「よく知られていて存在も便利」という理由と「クロールのやり方が調整されている」という理由で
オメコぼしされてるというサイトは若干あると思う。

若干。

>>10のスレでも
「このアクセスは○○さんのとこだから除外してあげて」
という遣り取りがあったようななかったような。

逆にいうと今から個人で新規で「みんなのために」datを収集する理由なんてないんだよね。
既存の個人サイトの提供するサービスでじゅうぶん間に合ってるはずだから。
…もしかしたらめっちゃ斬新で超便利な活用法とか考案したのかもしれないけど(w

**ジェット** ◆aJ1VZFRNi2 · 2005/04/15(金) 13:35:37

わたくし、過去狼板にて10000超のスレを2ゲットして参りました。
リロード頻度は1秒間に2回のペースで行なっておりますがやりすぎでしょうか？
もちろん手動でございます。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 14:07:08

褒めてほしいのか、怒られたいのか？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 14:25:44

>>21-22
保持数増やした思わぬ弊害がこんなとこにｗ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 14:34:16

>>29
言うまでもなくやりすぎです

**名無し墓集中。。。** · 2005/04/15(金) 15:17:45

>>29
氏ねばいいと思うよ

◆BDFCNV1.to · 2005/04/15(金) 15:38:20

いやんねー
まだオンラインになれないのだ、

**名無し墓集中。。。** · 2005/04/15(金) 15:41:43

>>34
モバイルとか、、、ダメっすか

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 15:46:30

二日酔いで起きれないとか？

**ひろゆき＠どうやら管理人 ★** · NG

これもISPに苦情いう方向ですかねぇ、、

**root▲ ★** · NG

おいそがしそうですね。>>34

>>37
今のところ、その方針で動いています。
ただ、最近ちとひどいので、技術的なしくみである程度防げないか検討中。
しくみとしては、バーボンハウス(クロールを検知したら.htaccessに自動で入れ込む)の延長線上かなと。

**root▲ ★** · NG

とりあえず、脳内のダンプ。

1) access_log から単位時間x秒(例えばx=3600とか)にアクセスしたIPアドレスのリストを作る
2) アクセスがy回以上で、かつリターンコード200だったアクセスをピックアップする(206や304を含めるかどうかは要検討)
(yの初期値はx=3600でディレイ1秒だとy=3600だから、それに近い秘密の値(チューニング可能が望ましい))
3) ホワイトリストを見て、2)のリストから除外する(公式もの: ２ちゃんねる検索とか)
4) リストアップされたIPアドレスは、z秒間 .htaccess の deny リストに掲載される

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 16:47:28

より公平にしたい場合は、アクセス回数の代わりに(応答サイズ + 一定値)の和かなあ。
mod_bwshareっていうのがあるらしいけどどんな感じだろう？

**root▲ ★** · NG

>>40
帯域制限系は、今のところしたくないっすね。
はけが悪くなるし、ここはダウンロード主体じゃないし。

同様の理由によりmod_limitipconnも、ちといまいちかと。

**root▲ ★** · NG

というか、mod_bwshareって、接続回数でも何かトリガを引けたりするのかしら。

**root▲ ★** · NG

http://www.topology.org/src/bwshare/README.html

BW_tx1cred_rate: sets the maximum rate of serving files (files/second).
BW_tx1debt_max: sets the maximum files to serve in excess of BW_tx1cred_rate (files).
BW_tx2cred_rate: sets the maximum rate of serving bytes (bytes/second).
BW_tx2debt_max: sets the maximum bytes to serve in excess of BW_tx2cred_rate (bytes).

ほう。上2つ、おもしろいかも。

**root▲ ★** · NG

http://www.netnice.org/pukiwiki-e.php?mod_bwshare

・status 200でエラーメッセージを返すらしい
・ホワイトリストは書けないっぽい
・httpdのパフォーマンスが1割ぐらい下がるらしい

ちと、微妙すね。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 17:06:17

>>41
＞うほ、mod_bwshareで帯域制限できるんですね。
＞一定のリクエスト越えると拒否する機能しかないと勘違いしてた…（汗
(コピペ)

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 17:14:36

遅かった…
>>44
ありゃー。
ライセンスゆるそうだから改造はありかもだけど。(誰が？)

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 18:05:41

>>1
乙ぼみょー

>>46
言い出しっぺの法則

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 18:38:08

今度の作戦名は「ピッチャーdeny」ですかｗ

讃岐 ◆IamaVIPdCI · NG

>>46
頑張れ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 18:53:17

>>47,49
ねーよｗｗｗ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 19:08:45

>>48
むしろ「クロール200m予選　一番のコース、deny」とか？ｗｗｗｗｗｗｗ

>>50
何を言っているんだ。
この板では言い出しっぺの法則が適用されるんだぞ？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 19:14:29

rootとFOXは犬猿の仲なの？

む P061198254045.ppp.prin.ne.jp · 2005/04/15(金) 19:18:34

お互いに、ばかしあう仲です。

**ｒｅｆｆｉ@報告人 ★** · 2005/04/15(金) 19:20:26

過剰アクセスかわからないんですけど１８時頃にgame9のbbs.cgiアクセス数が急激に上昇
しています。

※そろそろ監視員募集したい今日この頃

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 19:22:56

海の家の監視員みたいですね。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 19:23:29

はい。
さっきも女を巡って喧嘩してました。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 19:23:59

>>54
ヒント：NEETもしくはVIPPER（違

>>56
詳しく

讃岐 ◆IamaVIPdCI · NG

>>57
本当はニートってお前と俺だけだよ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 19:26:21

急激に上がった時だけメールで知らせるとか。
２４時間監視は大変でしょうし。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 19:26:59

讃岐さんなら24時間大丈夫ですよ。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 19:28:45

>>58
うはｗｗｗｗｗｗねーｙｐｗｗｗｗｗｗｗｗｗ

まぁお前は24時間いるようだけどなｗｗｗｗｗｗｗｗ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 19:50:39

とりあえず700スレ落としてみました

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 21:18:41

>>54
>※そろそろ監視員募集したい今日この頃
言い出しっぺが（以下ｒｙ

>>59
祭りだった場合はどうする？

>>39
>(206や304を含めるかどうかは要検討)
これは
200 - 10 point
206 - 5 point
304 - 1 point
416 - 1 point
上記以外 0 point
で、x = 3600 だった場合 19800 point でdeny

始めのうちは x = 1800 にして 19000 Point over( 1リクエスト/secは除外する) だったらdeny

**AirRock ★** · 2005/04/15(金) 22:09:47

>21-22
おつかれまです。警告出しました。

規制＠全サーバ No.2
http://qb5.2ch.net/test/read.cgi/sec2ch/1095552678/199 2005/04/15(金) 22:06:25
.dy.bbexcite.jp (警告)

**FOX ★** · NG

bbon.cgi ってのを作ろうっと

**FOX ★** · NG

game9 で実験するといいのかな?

讃岐 ◆IamaVIPdCI · NG

bbon.cgiって具体的に言うと何をするやつ？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/15(金) 23:37:37

ココまでやられて運営続ける神経が理解できん

む P061198142151.ppp.prin.ne.jp · 2005/04/15(金) 23:45:02

おじさんは、叩かれる快感を知ってるからなぁ。
え?私?

**マァヴ** ◆jxAYUMI09s · NG

なにもなければつまらないと思うけどなぁ・・・・(^_^;)
いや、一般的にはなんもないほうがいいんだけど

**FOX ★** · NG

ん?
誤読していた?

やられるのは私?

206.223.152.90 って BlackGoat でしたっけ?
もう一つあったっすよね?
IP 知ってますかー

**FOX ★** · NG

>>69
もうちょっとで出来るので cron で 10分おきによんでくださいー
詳しくはまたあとで書きます

**FOX ★** · NG

210.135.97.　ってブラジルでしたっけ?

**動け動けウゴウゴ２ちゃんねる** · NG

ここ見たほうが早いのでは
http://sv2ch.baila6.jp/sv2ch11.html

**FOX ★** · NG

210.135.98.229 これもブラジル?

**マァヴ** ◆jxAYUMI09s · NG

blackgoat3.2ch.net 206.223.152.90
blackgoat4.2ch.net 206.223.152.95
ですな(^_^;)

**FOX ★** · NG

>>74
ダブルチェックにならないし、

**動け動けウゴウゴ２ちゃんねる** · NG

>>77
それはそうですね、失礼しました。

**rafale ★** · 2005/04/16(土) 00:04:27

>>75
株式会社ジェンマエンジニアリングらしいですけど…
210.135.98.0/24 で

**マァヴ** ◆jxAYUMI09s · NG

>73
razil.jpやね(^_^;)多分、75もそう

**rafale ★** · 2005/04/16(土) 00:06:25

>>80
検索してみたらそうっぽいですね。

**ヾ（ﾟﾊﾟ）ﾉ** ◆f0.zuburi6 · 2005/04/16(土) 00:06:36

tuttle.razil.jp
find.2ch.net [210.135.97.29]
a. [IPネットワークアドレス]　210.135.97.0/24
b. [ネットワーク名]　　　　　BARTOK-NET
f. [組織名]　　　　　　　　　株式会社ジェンマエンジニアリング
g. [Organization]　　　　　　Gemma Engineering
210.135.98.0/24も同じなのでrazilで確定かとー

**マァヴ** ◆jxAYUMI09s · NG

みみずんさんと肉ちゃんねるさんところはきっとひっかかるね(^_^;)
引っかかったら申し出てもらう方向で大丈夫かな？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 00:10:07

>>83
お茶漬けにはサラミを入れるといいよ

**軍艦焼 ★** · 2005/04/16(土) 00:11:18

（滝汗）。。。
ぶっこ抜きのIPをBBQみたくですか。。。

**FOX ★** · NG

なんか　途中で設定変わったような。。。 @game9

気のせいかしら、

**FOX ★** · NG

http://qb6.2ch.net/_403/c403.cgi

N分間にM回以上アクセスしたらばーぼん

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 00:35:44

>>87
どんどん増えてくな

**ｒｅｆｆｉ@報告人 ★** · 2005/04/16(土) 00:35:45

>87
おお
稼働開始ですか
しかし、開始早々４人もバーボンって（苦笑

※どのサーバーであったかは記載しないんですか？

讃岐 ◆IamaVIPdCI · NG

ﾜﾛｽｗｗｗ

**FOX ★** · NG

>>89
ちと頑張ってみる

まだ手動なので root ★さんに cron で読んでもらう予定

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 00:38:27

（ネット環境の無いところで閲覧するため）
2chブラウザで「手動で」マウスを連打してdatをまとめて落とす
（同時接続最大３スレ）ような場合でもNGですか？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 00:39:00

入れ食いですね

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 00:40:23

NG
datを落とすのは、一時間に一ファイルまでにしてください。

しかし、2chブラウザの機能で自動的に引っかかる人が出てくる悪寒

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 00:41:52

公式p2…

**マァヴ** ◆jxAYUMI09s · NG

>95
razil系はまとめてパスするようになったんでないかな？(^_^;)

**マァヴ** ◆jxAYUMI09s · NG

ゲートウェイを使ってグローバルIPを共有しているようなサービス(leo-netとか)は
あっというまに焼かれそうやね(^_^;)

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 00:48:24

おっ表示かわった

**動け動けウゴウゴ２ちゃんねる** · NG

マイナーISPならそれほどアクセス数多くならないんじゃないか。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 00:53:58

悪いのは明らかにglobalIPを共有してる側なんだから
良いんじゃないですか？よく言うじゃないですか。
ひろゆきが止めるまでは突き進め、と。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 00:55:03

全板投入かしらん

**ｒｅｆｆｉ@報告人 ★** · 2005/04/16(土) 00:55:36

なんか繋ぎ変えて即バーボンにされた人間が居るのはキノセイでしょうか（苦笑
ってこれＩＰ違ってるけど通報済みだったような。。。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 00:57:40

ところで>>87の値って目安としてはどの位なんですか？

**FOX ★** · NG

>>103

もちろん　な・い・しょ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 00:59:26

live20がひっかかりまくり