クローラー＆過剰リロード対策スレ

**ｒｅｆｆｉ@報告人 ★** · 2005/04/15(金) 04:49:50

最近、頻発しているクローラーや過剰リロード対策スレッドです。

★FAQ

■クローラーや過剰リロードとは？
・ツール等を使って板のスレッドを根こそぎＤＬする行為をクロール行為と
　いいます。
　クローラーとはクロール行為をする人の事です。
・過剰リロードとは文字通り過剰にリロードをしてsubject.txt等を取得
　する行為です。

■どうして迷惑なの？
　クロール行為や過剰リロードは鯖に過剰な負担をかけるため、最悪、鯖落ち
　する危険があります。

■やったらどうなるの？
　発見されて悪質な場合は規制情報板に掲載の上、該当プロバイダに通報
　されます。
　もしも先方が対応しなかったり、再発するような場合は .htaccessで
　denyする場合もあります。

■.htaccessでdenyされるとどうなるの？
　.htaccessでdenyされると書き込みはおろか閲覧すら出来なくなります。

**マァヴ** ◆jxAYUMI09s · NG

>396
のんびり集めるってことで(^_^;)これ重要

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:17:10

>>396
delayを10sec位にしてのんびり集めるのはどうよ？

**動け動けウゴウゴ２ちゃんねる** · NG

offlaw.cgiへのアクセスは容認すればいいのかな？＜●のサービス保証

2005/04/16(土) 04:18:21

ま、いっか

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:18:36

>>391
いや、転送量頭打ちの前は60秒だったのよ。
それが今は倍の120秒更新になっててさ～。
ちょっと反応鈍すぎってカンジなのよね。

**マァヴ** ◆jxAYUMI09s · NG

>399
無茶なアクセスを保障する必要はないと思われ(^_^;)
それでもめるのも一興かもしれんけどね

**真・変態(´ﾟω。`)** ◆iGHtueIUIU · 2005/04/16(土) 04:21:05

２ちゃんねる１日閉鎖も面白そうですね(^_^;)

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:21:53

２ちゃんねる閉鎖まだですかね(^_^;)

**マァヴ** ◆jxAYUMI09s · NG

閉鎖説が流れ始めてはや６年(^_^;)なんかしぶとく続きますねー

**FOX ★** · NG

>>401
そうなんだ、

NTTecから管理人への見積もりは出たという噂は耳にしましたが、
どうなるんでしょうねぇ

**FOX ★** · NG

BBON に引っかかった方は
どんな使い方をしたかを報告してほしかったり、

各パラメータの微調整の参考にするだす

**真・変態(´ﾟω。`)** ◆iGHtueIUIU · 2005/04/16(土) 04:26:25

>>405
どこぞの小物みたいにVIPだけ閉鎖ってのもつまんないですよね(^_^;)

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:27:44

>>406
http://qb6.2ch.net/_403/c403.cgi

しばらくは、鯖名表示にしておくの・・・？
板名表示にはならないのかなぁ・・・

**マァヴ** ◆jxAYUMI09s · NG

>408
ここも一緒に閉鎖するくらいの意気が欲しいやねー(^_^;)

**真・変態(´ﾟω。`)** ◆iGHtueIUIU · 2005/04/16(土) 04:28:27

>>410
某ゴミにはそんな気概無いですってば(^_^;)

**動け動けウゴウゴ２ちゃんねる** · NG

>>409
「どこの板で引っかかったのか」という情報自体が無い気がする。

**ｒｅｆｆｉ@報告人 ★** · 2005/04/16(土) 04:29:22

qb5で喰らった香具師が出たみたいですね（汗

**FOX ★** · NG

かかった人こないかなぁ

それとも寝ている間に回しているのかしら、、、

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:32:07

そういや引っ掛かった人来ないっすね。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:32:14

http://qb6.2ch.net/_403/c403.cgi
↑ここにアクセスしてバーボンリストに自分のホストは載ってないけど
一番上に現在deny中って出たらバーボン対象者に入ってるんすか？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:32:44

あえて自分で引っかかってみたらいかがかしら？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:33:02

ところで専用ブラウザには更新チェック機能があって、
subject.txtを順々に取得していく機能があるんだけどそれは引っ掛からないのかな？
subject.txtを取得せずに個別にdatを読んで更新することもあるし・・・

**マァヴ** ◆jxAYUMI09s · NG

>416
一番上は自分のリモートホストの表示ですな(^_^;)
で、それと同じリモートホストがリストにあればdenyされてる・・・と

**真・変態(´ﾟω。`)** ◆iGHtueIUIU · 2005/04/16(土) 04:33:38

>>417
そのへんよろしく(^_^;)

**FOX ★** · NG

>>418
そういうのを知りたかったりする

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:34:01

>>417
万博板でdat増分取得300スレ分やってみたけどかからなかった・・・ｗ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:35:34

>>422
いまいち基準がはっきりしないのか

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:35:42

>>412
あのー、アイモナなんですが、あるスレには行けなくて
同じ板の違うスレには行けます
これってどこに引っ掛かってるんでしょうか。。

**416** · 2005/04/16(土) 04:36:04

バーボンに引っ掛かって、このスレッドにきたんすけども。。。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:37:07

>>421
当方、ナローなんで更新で1秒間に複数回取得はできんのです・・・

**FOX ★** · NG

>>426
わたしも手動ではひっかかるのは無理という状態です
つまり自分じゃ体験できない未知の領域。

**マァヴ** ◆jxAYUMI09s · NG

>425
さしさわりなければfusianasanしてみるといいかも(^_^;)
あと、スレッドとかが見えるけど、書き込もうとしたらバーボンってのはまた別の仕組みです。

**真・変態(´ﾟω。`)** ◆iGHtueIUIU · 2005/04/16(土) 04:39:55

>>427
結構不確定要素が多いんですね(^_^;)

**FOX ★** · NG

>>429
たとえば?

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:41:10

2ｃｈブラウザでスレタイトル押して取得したのも1回？

**真・変態(´ﾟω。`)** ◆iGHtueIUIU · 2005/04/16(土) 04:41:13

>>430
さぁ(^_^;)

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:41:33

>>430
田代砲発射間隔0秒で1000回回した程度では引っかからないっぽ。

**FOX ★** · NG

>>433
サーバどこ?

動かしてみますが、

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:43:54

>>434
etc3

**FOX ★** · NG

>>435
動かしてみた

**416** · 2005/04/16(土) 04:46:13

さしさわりなければ答えて欲しいんですけど、合計約300板の
サブジェクトファイルをスクリプトで一気にダウンロードしたら
バーボンですか？
そんな感じのことをやってたんですけども。。。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:47:58

書き込み規制も緩めて下さい！本とうにお願いします！！

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:48:14

スレッドランキングの中の人ってそんな感じなのかな

**のいぽー（本物）** ◆News/n6/H2 · 2005/04/16(土) 04:48:17

>>414
↓
>>359
>>368

>>407
かちゅ～しゃでお気に入りスレの巡回を一度しただけですけれど。。。
●にログインしていると結構早く巡回するからそれが逆に駄目だったのかしら。。
新着レスお知らせ機能とかの特殊なのは一切使ってないです。ノーマル機能の「巡回」のみ。
全ての板を含めて500スレちょい。ニュース速報プラス板で巡回したのは50スレくらい。
これで引っかかるのは如何なものかと。。。

**マァヴ** ◆jxAYUMI09s · NG

>437
>356(^_^;)

**FOX ★** · NG

>>440

1) どのサーバで引っかかったですか?
2) どれくらいの時間内にどれくらいのファイルにアクセスしたですか?
　　つまりスピード、

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:51:51

>>437
それは引っ掛かると思われ。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:51:59

>>436
どうもそこら辺の田代砲を先ほどの設定で30秒位回した程度ではやはり引っかからない模様。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:54:20

IEで見ると各スレ毎に経過秒数が表示されるのは何？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:55:12

>>445
それはIEの機能じゃなく壷の機能

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:56:01

>>445
禁断の壺

**FOX ★** · NG

root ★さんに仕込み方のメール送りましたー

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:56:42

IEで開いて探してしまったじゃないか

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:57:03

家電板に田代砲を0.1秒間隔で100連射してもひっかからない
0.25秒間隔で200斉射しても全然大丈夫だった

**のいぽー（本物）** ◆News/n6/H2 · 2005/04/16(土) 04:57:34

>>442
1
news19（ニュース速報プラス板）
2
かちゅ～しゃの巡回機能で一度きり。
正確な速度はわからないっぽ。
●ログインで巡回すると目視では2秒に3スレくらい巡回している雰囲気。
新規取得レス数が多かったり少なかったりでかなりばらつきがある。
数量的にはnews19サーバ限定だと50くらい。2ちゃんねる全体で500ちょっと。

しかもこれかちゅ～しゃのお気に入りに入れた順番に巡回しているわけだからnews19サーバのスレのみを
連続して取得したわけじゃない。
news19に限れば飛び飛びで取得している感じだから数秒～数十秒に一度程度のアクセスだろう。

俺様のレスは不確定すぎて何の参考にもならないと思う。
ただ言えるのは「何でこれで引っかかるのかよ？！(　ﾟдﾟ)m6」ということのみ。

>>444
それで引っかからないのに何故俺様は。。。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:58:57

>>446-447
ほぉー。
専ブラしか使わんから分からんかった。
らりあとー

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:59:04

というか禁断の壺の経過秒数いらないと思う。

**root▲ ★** · NG

>>51 からの未読を読みました。
だいたい、予想通りの展開すね。

newsplus.jp も、ばっちりひっかかりで。
archplus.newsplus.jp とか stick.newsplus.jp とかは、dat読んでいます。
更新チェックあり、ディレイありでも、今みたいにすべての+が2台のサーバにおさまっていると、
全datの更新チェックを入れるだけで、すぐにアクセス数は2000ぐらいいって、ばっちりと。

で、別にnewsplus.jpがしくっても２ちゃんねる的には何の影響もないので、
そっちはあとで、ってことにして、
これから、上から順にレスを入れていきます。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:00:11

>>453
オフに出来るよ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:00:59

>>455
へぇ～知らんかった。

**root▲ ★** · NG

>>448
メール受け取りました。
レス入れてから、仕込みやります。

でも、全サーバcronしこむの、ちとめんどいかも、かも。
f(りゃからけりいれるほうが、らくかもとおもた。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:03:29

>>345-356辺りの掛け合いを思い出して3回/secで回してみた。
400回越えた辺りではやはりバーボン行きにはならない模様。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:05:48

ﾌﾟﾆﾙで家電板を10枚ぐらい開いて同時にリロードかけたけどバーボンでねー

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:08:02

あひゃひゃひゃあ。。。
削除が出来ないですよぅ。
削除画面がバーボンだぁｗ

かちゅで巡回してるせいかぁ。。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:09:15

かちゅでは読めてるから、バーボンになってるの気が付かなかった。。

**root▲ ★** · NG

まずは～>>207まで。

>>63
ポイント制というか、加算率ってのは、面白い考えかもですね。
F C ノーマルY 正規割引格安 = 150 125 100 70 50 みたいなイメージですか。

>>207
これだと、jigブラウザとかscopeとか、いわゆる携帯にダウンロードアプリで動く形式のやつは、
そのままでは概ねだめですね。

携帯のiアプリからは、そのiアプリのサーバ1箇所しか、通信できないのです。(そういう仕様です)
つまり、普通に作ると、＊絶対に＊中間サーバ方式になると。

[―{}@{}@{}-] **FOX ★** · NG

>>457

その辺は悩みどころ
結構負荷高い(メモリ食う、時間かかる)ので
そっちから入れるとタイムアウト頻発かも
んで全サーバまわりきらないうちに次の巡回がはじまったり、、、

要検討っすね、

今のところくろーりんく゜が頻繁にくるところと
接続数の足りないところに入れればいいのかも

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:12:33

>>460-461
チラシの裏or>>442

**のいぽー（本物）** ◆News/n6/H2 · 2005/04/16(土) 05:14:16

>>461
今回の仕組みでバーボンに引っかかったらかちゅ～しゃからも読めないと思う。
Error:このスレッドは見つかりませんでした
のエラーが出る。

つかあれか。この仕組みに引っかかったら引っかかった当該板だけではなく
運営板以外は全て読み書き不能になるのかよ。。。

>>460
ﾀﾞﾖ(ο･д･)(･д･`ο)ﾈｰ

[―{}@{}@{}-] **FOX ★** · NG

携帯関係はBlackGoatを増やしてで対応が当初のプランかと、

つまり　bbs 用サーバのキャパシティを増大させるために携帯を分離した
ということです。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:16:03

>>464
とある鯖のスレッド数えてみたら、150程ありました。。
qb5です。。

まあ、150も見てればそら引っかかるかぁ。。
かちゅで巡回してたら駄目って事ね。。これからは。

[―{}@{}@{}-] **FOX ★** · NG

>>465

>>323 より前ですか? あとですか?

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:16:36

まだ焼かれたままなんですねｗ

[―{}@{}@{}-] **FOX ★** · NG

そうみたい、、
とほほっ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:17:45

誰が焼いてんの？

**のいぽー（本物）** ◆News/n6/H2 · 2005/04/16(土) 05:18:30

>>467
＞まあ、150も見てればそら引っかかるかぁ
工エｴェｪ(´д｀)ｪェｴエ工
何だと？

俺様は以前の2ちゃんねる専用デスクトップ「俺様壱号」の時には普通に2ちゃんねる全体で2万スレとかの巡回をしてましたが。。

>>468
後ですね。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:19:12

sleep(60);

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:19:37

>>472
全体では、やっぱ500スレくらい見てるんですよ。
けど、それらは結構分散してるから。

削除系の板の巡回が多いんで、結局そのくらいに
なってしまってるもんで。。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:20:32

ボラ活動のために未取得のスレを巡回して取得していったら、
これにひっかかるのかな。。。
今までそういうやり方でボラ活動してきたので、
ひっかかってしまうと、厳しいものがあるですね。。
負荷をかけてまでやろうとは思わないですが。。。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:20:46

かちゅの巡回はdatをどんどん読んじゃうタイプなのか。

[―{}@{}@{}-] **FOX ★** · NG

一番負荷かけてるのは誰? って話しです。
50万人のうちの上位100人は引っかかることを覚悟してください

**動け動けウゴウゴ２ちゃんねる** · NG

前のやつみたいに上位１００人を規制したい
自動で、って事か。

**のいぽー（本物）** ◆News/n6/H2 · 2005/04/16(土) 05:23:46

って言うか>>332で一旦リセットしているみたいだから後に決まっているような予感が。。。

28 BBON.news19 　 218.218.14.139 (EATcf-320p139.ppp15.odn.ne.jp) 89

この
＞BBON.news19
というのはnews19サーバでの読み込み過多によりバーボン入りしましたという事よね？
それとも2ちゃんねる全体で引っかかった中で読み込み数が一番多かったサーバ？

あと、末尾の数字（89）ってなぁに？
最初は1だったのがどんどん増えてきた。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:23:50

qb5の削除依頼系は普通に見えてたから、削除スクリプト
動かすまで、まじで気が付かなかった。。

やっぱJaneに切り替えた方がいいのかなぁ。。

>>476
多分、●も使ってるから、スピードが速いのかもしれない。

うーん、、削除系だけ外してもらうか、自分で手間かけて
Janeに巡回先を移行させるか。。
（で、後者をやれと言われそうな予感）

**root▲ ★** · NG

～>>267まで

>>245
blackgoat3/4は現在のところ、プライベート側にしかサービスを提供していません。
もちろん、パブリック側に提供することも、技術的には可能です。

>>248
live系はスルーにする(現在のバーボンのように)とかの細かなチューニングは、
これから詰めていけばいいかなと。

個人的には、live系と場合によってはex系はスルーか、大幅にゆるくしてもよいかなとは思っています。
そのかわり過負荷で落ちたとしても、文句言わせないってことになるんでしょう、きっと。

>>255
live系は、遅延するぐらいならサーバが重くなったり落ちたりしたほうがいいという、
一般のサーバとはだいぶ違う人たちな気がするですね。つまり、いわゆる「コスト高」な人たち。
ということでIMO、上記の意見で。

[―{}@{}@{}-] **FOX ★** · NG

スピード落としてくれるだけでかなり助かるのだが、

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:26:09

>>482
かちゅの方で、スピードをコントロールする手段がないんで、
やっぱこれを使う限りは駄目って事ですねぇ。。

いちいちログアウトして巡回しても手間なだけだし。。
ふむふむ。。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:26:30

削除整理板だと1000超えるスレがあるけれど、
活動のためにほとんどのスレを巡回対象にしているボラさんって
そこそこいる予感しますよね。

**のいぽー（本物）** ◆News/n6/H2 · 2005/04/16(土) 05:27:28

>>483
kageの中の人に要望するしか無いですね多分。。。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:28:04

キャップはスルーとか出来ないの？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:28:36

>>483
subject.txtを1回取得で更新されてるものだけ一つ一つ見て回る、じゃダメなん？

**のいぽー（本物）** ◆News/n6/H2 · 2005/04/16(土) 05:29:14

>>484
運営カテゴリは除外、で良いような。
このカテゴリの板は商売としてクロールしてログを取得する意味もうまみも無いような気がしますし。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:29:21

サーバー負荷に対してそんなに必死になるほど
２ちゃんねる運営ってのはキツキツで頑張ってんのか～？
サーバー関連のことはやったことないから分かんないんだけども。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:30:13

鯔でさえ協力を渋る、この現状w

[―{}@{}@{}-] **FOX ★** · NG

>>489
上位0.01%くらいで30%くらいの資源を使っていると見た

**のいぽー（本物）** ◆News/n6/H2 · 2005/04/16(土) 05:30:33

>>487
お気に入りのスレは複数の板にまたがっているでしょうからねぇ。。
各板ごとにそれをやるようじゃ専用ブラウザの利便性が著しく損なわれるような。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:32:06

>>484
整理板のスレもそこそこあるんですけど、削除議論とか
ここの規制系のいくつかのスレとか、運営系のスレとか、
規制議論とか、巡回してるところは、かなりあるんです。。

「巡回するな」は、活動するなと同義なんで、なんか方法
変えるしかないんかなぁと。。

>>485
まあ、なんか考えるのかもだけどね、、作者さんも。

>>486
かちゅにキャップ設定するとこなんてないですよｗ

>>483
Jane Viewは、そういう巡回できるですよ。けどね、巡回先が
大量にあると、一気にスレを開くとタブで埋まっちゃうのね。。
（で、画面が見えないという弊害が）
そんなわけで、かちゅでの巡回続けてるのです。。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:32:18

>>491
ちっ！バレタカ。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:33:09

あ、上の>>483は>>487向けの間違い。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:34:32

>>493
View使ってますけど一度に開くスレ数は設定で決められますよ
15スレずつ開いて読んで閉じてって感じに

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 05:34:52

>>488
活動方法にもよるのでしょうけれど、
クロールしてどこの板が未処理なのか調べているので、
それが駄目となってしまうと、今後はどうすればいいのかなあと。
いい方法があるなら、そちらに移行しますが。