X



トップページ運用情報
1001コメント268KB
クローラー&過剰リロード対策スレ
■ このスレッドは過去ログ倉庫に格納されています
0001reffi@報告人 ★2005/04/15(金) 04:49:50ID:???0
最近、頻発しているクローラーや過剰リロード対策スレッドです。

★FAQ

■クローラーや過剰リロードとは?
・ツール等を使って板のスレッドを根こそぎDLする行為をクロール行為と
 いいます。
 クローラーとはクロール行為をする人の事です。
・過剰リロードとは文字通り過剰にリロードをしてsubject.txt等を取得
 する行為です。

■どうして迷惑なの?
 クロール行為や過剰リロードは鯖に過剰な負担をかけるため、最悪、鯖落ち
 する危険があります。

■やったらどうなるの?
 発見されて悪質な場合は規制情報板に掲載の上、該当プロバイダに通報
 されます。
 もしも先方が対応しなかったり、再発するような場合は .htaccessで
 denyする場合もあります。

■.htaccessでdenyされるとどうなるの?
 .htaccessでdenyされると書き込みはおろか閲覧すら出来なくなります。
0002root▲ ★NGNG
おつです。>>1

今日は、さすがにもう限界です。おやすみなさい。
0004あお ◆AO...TRZAM NGNG
>1
乙です。

#しかし、これからこの行為が頻発するとなると
#いろんな意味で難しい問題を孕むような気がします。。
0005reffi@報告人 ★2005/04/15(金) 04:55:43ID:???0
>2
連日お疲れ様です。


※このスレッドを立てた経緯
 今までは動作報告スレにてやっていたんですけどあまりにも多発してスレが埋まって
 いる事態になっていましたので急遽、専用スレッドを立てました。
0006讃岐 ◆IamaVIPdCI NGNG
あら、やっぱり立ったか
0007動け動けウゴウゴ2ちゃんねる2005/04/15(金) 08:06:09ID:C/A7yESX0
FOX★の中の人の自作自演じゃねーの?w
0008動け動けウゴウゴ2ちゃんねる2005/04/15(金) 08:09:43ID:C/A7yESX0
http://qb5.2ch.net/test/read.cgi/operate/1103455176/737-738
737 名前: [―{}@{}@{}-] FOX ★ 投稿日:2005/04/15(金) 04:38:00 ID:???0
とほほっ

急務ってことっすね
明日こそやります。

たぶん夕方以降になると思うけど。

738 名前: [―{}@{}@{}-] FOX ★ 投稿日:2005/04/15(金) 04:38:32 ID:???0
うおっ なんで焼かれているんだか、


http://qb5.2ch.net/test/read.cgi/operate/1113435319/479n
479 : [―{}@{}@{}-] 動け動けウゴウゴ2ちゃんねる :2005/04/15(金) 07:57:44 ID:jC0U2UYw0
溜息
0009reffi@報告人 ★2005/04/15(金) 08:24:33ID:???0
とりあえず、必要だと思われる物リスト

・全鯖のアクセス状態の把握するためのツール
 今のところ一部の鯖でしか把握できてないようなので実態把握がまず第一だと思います。
0011動け動けウゴウゴ2ちゃんねる2005/04/15(金) 08:35:39ID:C/A7yESX0
やっぱりFOX★がVIP潰したくて荒らしを煽動していた…
もしくは荒らし本人の線が濃厚ぽいですよ?
FOX★がどーしてVIP潰したかったのかまでは
知りませんが。

http://qb5.2ch.net/test/read.cgi/operate/1113380450/490n
490 名前: [―{}@{}@{}-] 動け動けウゴウゴ2ちゃんねる 投稿日:2005/04/14(木) 04:39:21 ID:C0jlP1T40
vip閉鎖してくれ
0013動け動けウゴウゴ2ちゃんねる2005/04/15(金) 09:02:48ID:t0YmeKjR0
勘弁してくれwww
なんで自分がふぉっ糞などに・・・by479
どうせならrootたんに間違われたかった(*´Д`)ハァハァ
0014動け動けウゴウゴ2ちゃんねる2005/04/15(金) 09:18:01ID:lTRrveJ90
>>12
2ch専用ブラウザや鯖アクセス型ツール作ってる人が
もうビクビクものだったあのスレが帰ってきましたよ(w

最近問題になるのは特定のdatを集中的に読み込むタイプではなく鯖横断型が多いようなので
自作のプログラムか何かだとは思いますが。
0015動け動けウゴウゴ2ちゃんねる2005/04/15(金) 09:22:56ID:C/A7yESX0
>>13
苦しいな(ゲラ
0018reffi@報告人 ★2005/04/15(金) 10:54:24ID:???0
今日の7時頃にetc4にて過剰なread.cgi呼び出しがあった模様
書き込みや負荷等の上昇はないんだけど何かあったんだろうか?
0019動け動けウゴウゴ2ちゃんねる2005/04/15(金) 11:14:51ID:ff45SNVp0
>>1
忘れ物だ

list
ttp://mumumu.mu/mrtg/mrtg-rrd.cgi/

read (read.cgi・bbs.cgi)
ttp://mumumu.mu/mrtg/mrtg-rrd.cgi/read/

転送量
ttp://mumumu.mu/mrtg/mrtg-rrd.cgi/traffic/

>>18
ツールじゃない?
0022reffi@報告人 ★2005/04/15(金) 11:47:10ID:???0
>21まとめ

14/Apr/2005:15:03:51〜15:16:16
アクセス回数2544回

IP
220.210.148.33
33.148.210.220.dy.bbexcite.jp


※ログを見る限りでは毒男と喪男のdatを根こそぎかっさらったみたいですね(滝汗
0023root▲ ★NGNG
これ、こっちに転載しておくです。

http://qb5.2ch.net/test/read.cgi/operate/1103455176/710

710 名前:root▲ ★[sage] 投稿日:2005/04/14(木) 20:27:35 ID:???0 ?##
>>709
われわれは(すくなくとも私は)全部公開の場でやってますんで、
このスレとか、運用情報とか規制議論とかの動きを見たうえで、
各位にて自主的に動いていただけると
とてもたすかりますです。

私の個人的なガイドライン(たぶん相当甘い)

・cgiの連打はだめ
・各種グラフ・統計情報が、目で見て変わる(わかる)ほどはやらないで
・できるだけ差分取得を
0024root▲ ★NGNG
>>22
切に願ってしまうですね。

> ・各種グラフ・統計情報が、目で見て変わる(わかる)ほどはやらないで

で、どうしてもしなきゃいけない事情がある場合、事前にご相談いただけると助かるです。
0025reffi@報告人 ★2005/04/15(金) 11:55:07ID:???0
これやってる本人は鯖に過負荷がかかるとか全く考えないでやってるっぽいですねぇ
現状は監視対象が6鯖だけど全鯖監視にしたらどれくらい上がってくる事やら。。。


※etc4って鯖落ちしてようやく復旧したばかりなのにぶっこ抜きを平気でしてる時点で(ry
0026root▲ ★NGNG
>>25
ふつうですね。一般の人はそういうの、考えないのがふつうかと。
別に「それじゃだめ」と言っているわけじゃなくて、たんにそういうもんじゃないのかなと。

ツール使ってdatとっている人は実は結構見かけますが、
ユクーリ、マターリの人については(例えば明らかにディレイ入れている人)、
とりあえず*私は*見なかったことにしてるです。

例: http://qb6.2ch.net/_sec2ch/2005/04/etc4-20050415-x.txt (抜粋)
0028動け動けウゴウゴ2ちゃんねる2005/04/15(金) 12:53:05ID:BYtGLVOd0
>>27
アンオフィシャルの2chミラーやdat保存サイトね。本質的には違わないはず。
「よく知られていて存在も便利」という理由と「クロールのやり方が調整されている」という理由で
オメコぼしされてるというサイトは若干あると思う。

若干。

>>10のスレでも
「このアクセスは○○さんのとこだから除外してあげて」
という遣り取りがあったようななかったような。

逆にいうと今から個人で新規で「みんなのために」datを収集する理由なんてないんだよね。
既存の個人サイトの提供するサービスでじゅうぶん間に合ってるはずだから。
…もしかしたらめっちゃ斬新で超便利な活用法とか考案したのかもしれないけど(w
0029ジェット ◆aJ1VZFRNi2 2005/04/15(金) 13:35:37ID:YsfDiHSdO
わたくし、過去狼板にて10000超のスレを2ゲットして参りました。
リロード頻度は1秒間に2回のペースで行なっておりますがやりすぎでしょうか?
もちろん手動でございます。
0030動け動けウゴウゴ2ちゃんねる2005/04/15(金) 14:07:08ID:KJnRLC/xO
褒めてほしいのか、怒られたいのか?
0031動け動けウゴウゴ2ちゃんねる2005/04/15(金) 14:25:44ID:B6RqJ3r40
>>21-22
保持数増やした思わぬ弊害がこんなとこにw
0032動け動けウゴウゴ2ちゃんねる2005/04/15(金) 14:34:16ID:sviCLBT70
>>29
言うまでもなくやりすぎです
0034 ◆BDFCNV1.to 2005/04/15(金) 15:38:20ID:wJ1C8fH8O
いやんねー
まだオンラインになれないのだ、
0037ひろゆき@どうやら管理人 ★NGNG
これもISPに苦情いう方向ですかねぇ、、
0038root▲ ★NGNG
おいそがしそうですね。>>34

>>37
今のところ、その方針で動いています。
ただ、最近ちとひどいので、技術的なしくみである程度防げないか検討中。
しくみとしては、バーボンハウス(クロールを検知したら.htaccessに自動で入れ込む)の延長線上かなと。
0039root▲ ★NGNG
とりあえず、脳内のダンプ。

1) access_log から単位時間x秒(例えばx=3600とか)にアクセスしたIPアドレスのリストを作る
2) アクセスがy回以上で、かつリターンコード200だったアクセスをピックアップする(206や304を含めるかどうかは要検討)
(yの初期値はx=3600でディレイ1秒だとy=3600だから、それに近い秘密の値(チューニング可能が望ましい))
3) ホワイトリストを見て、2)のリストから除外する(公式もの: 2ちゃんねる検索とか)
4) リストアップされたIPアドレスは、z秒間 .htaccess の deny リストに掲載される
0040動け動けウゴウゴ2ちゃんねる2005/04/15(金) 16:47:28ID:AV16m01k0
より公平にしたい場合は、アクセス回数の代わりに(応答サイズ + 一定値)の和かなあ。
mod_bwshareっていうのがあるらしいけどどんな感じだろう?
0041root▲ ★NGNG
>>40
帯域制限系は、今のところしたくないっすね。
はけが悪くなるし、ここはダウンロード主体じゃないし。

同様の理由によりmod_limitipconnも、ちといまいちかと。
0042root▲ ★NGNG
というか、mod_bwshareって、接続回数でも何かトリガを引けたりするのかしら。
0043root▲ ★NGNG
http://www.topology.org/src/bwshare/README.html

BW_tx1cred_rate: sets the maximum rate of serving files (files/second).
BW_tx1debt_max: sets the maximum files to serve in excess of BW_tx1cred_rate (files).
BW_tx2cred_rate: sets the maximum rate of serving bytes (bytes/second).
BW_tx2debt_max: sets the maximum bytes to serve in excess of BW_tx2cred_rate (bytes).

ほう。上2つ、おもしろいかも。
0045動け動けウゴウゴ2ちゃんねる2005/04/15(金) 17:06:17ID:AV16m01k0
>>41
>うほ、mod_bwshareで帯域制限できるんですね。
>一定のリクエスト越えると拒否する機能しかないと勘違いしてた…(汗
(コピペ)
0049讃岐 ◆IamaVIPdCI NGNG
>>46
頑張れ
0051動け動けウゴウゴ2ちゃんねる2005/04/15(金) 19:08:45ID:3ueRzmi/0
>>48
むしろ「クロール200m予選 一番のコース、deny」とか?wwwwwww


>>50
何を言っているんだ。
この板では言い出しっぺの法則が適用されるんだぞ?
0052動け動けウゴウゴ2ちゃんねる2005/04/15(金) 19:14:29ID:YkDp1dJ80
rootとFOXは犬猿の仲なの?
0054reffi@報告人 ★2005/04/15(金) 19:20:26ID:???0
過剰アクセスかわからないんですけど18時頃にgame9のbbs.cgiアクセス数が急激に上昇
しています。


※そろそろ監視員募集したい今日この頃
0058讃岐 ◆IamaVIPdCI NGNG
>>57
本当はニートってお前と俺だけだよ
0062動け動けウゴウゴ2ちゃんねる2005/04/15(金) 19:50:39ID:2eqiUFxQ0
とりあえず700スレ落としてみました
0063動け動けウゴウゴ2ちゃんねる2005/04/15(金) 21:18:41ID:ff45SNVp0
>>54
>※そろそろ監視員募集したい今日この頃
言い出しっぺが(以下ry


>>59
祭りだった場合はどうする?

>>39
>(206や304を含めるかどうかは要検討)
これは
200 - 10 point
206 - 5 point
304 - 1 point
416 - 1 point
上記以外 0 point
で、x = 3600 だった場合 19800 point でdeny

始めのうちは x = 1800 にして 19000 Point over( 1リクエスト/secは除外する) だったらdeny
0065FOX ★NGNG
bbon.cgi ってのを作ろうっと
0066FOX ★NGNG
game9 で実験するといいのかな?
0067讃岐 ◆IamaVIPdCI NGNG
bbon.cgiって具体的に言うと何をするやつ?
0070マァヴ ◆jxAYUMI09s NGNG
なにもなければつまらないと思うけどなぁ・・・・(^_^;)
いや、一般的にはなんもないほうがいいんだけど
0071FOX ★NGNG
ん?
誤読していた?

やられるのは私?

206.223.152.90 って BlackGoat でしたっけ?
もう一つあったっすよね?
IP 知ってますかー
0072FOX ★NGNG
>>69
もうちょっとで出来るので cron で 10分おきによんでくださいー
詳しくはまたあとで書きます
0073FOX ★NGNG
210.135.97. ってブラジルでしたっけ?
0075FOX ★NGNG
210.135.98.229 これもブラジル?
0077FOX ★NGNG
>>74
ダブルチェックにならないし、
0079rafale ★2005/04/16(土) 00:04:27ID:???0
>>75
株式会社ジェンマエンジニアリング らしいですけど…
210.135.98.0/24 で
0081rafale ★2005/04/16(土) 00:06:25ID:???0
>>80
検索してみたらそうっぽいですね。
0082ヾ(゚パ)ノ ◆f0.zuburi6 2005/04/16(土) 00:06:36ID:ctygC/WS0
tuttle.razil.jp
find.2ch.net [210.135.97.29]
a. [IPネットワークアドレス] 210.135.97.0/24
b. [ネットワーク名]     BARTOK-NET
f. [組織名]         株式会社ジェンマエンジニアリング
g. [Organization]      Gemma Engineering
210.135.98.0/24も同じなのでrazilで確定かとー
0083マァヴ ◆jxAYUMI09s NGNG
みみずんさんと肉ちゃんねるさんところはきっとひっかかるね(^_^;)
引っかかったら申し出てもらう方向で大丈夫かな?
0085軍艦焼 ★2005/04/16(土) 00:11:18ID:???0
(滝汗)。。。
ぶっこ抜きのIPをBBQみたくですか。。。
0086FOX ★NGNG
なんか 途中で設定変わったような。。。 @game9

気のせいかしら、
0089reffi@報告人 ★2005/04/16(土) 00:35:45ID:???0
>87
おお
稼働開始ですか
しかし、開始早々4人もバーボンって(苦笑


※どのサーバーであったかは記載しないんですか?
0090讃岐 ◆IamaVIPdCI NGNG
ワロスwww
0091FOX ★NGNG
>>89
ちと頑張ってみる

まだ手動なので root ★さんに cron で読んでもらう予定
0092動け動けウゴウゴ2ちゃんねる2005/04/16(土) 00:38:27ID:48/UoIC/0
(ネット環境の無いところで閲覧するため)
2chブラウザで「手動で」マウスを連打してdatをまとめて落とす
(同時接続最大3スレ)ような場合でもNGですか?
0094動け動けウゴウゴ2ちゃんねる2005/04/16(土) 00:40:23ID:diI/C7B90
NG
datを落とすのは、一時間に一ファイルまでにしてください。

しかし、2chブラウザの機能で自動的に引っかかる人が出てくる悪寒
0097マァヴ ◆jxAYUMI09s NGNG
ゲートウェイを使ってグローバルIPを共有しているようなサービス(leo-netとか)は
あっというまに焼かれそうやね(^_^;)
0100動け動けウゴウゴ2ちゃんねる2005/04/16(土) 00:53:58ID:diI/C7B90
悪いのは明らかにglobalIPを共有してる側なんだから
良いんじゃないですか?よく言うじゃないですか。
ひろゆきが止めるまでは突き進め、と。
■ このスレッドは過去ログ倉庫に格納されています

ニューススポーツなんでも実況