クローラー＆過剰リロード対策スレ
■ このスレッドは過去ログ倉庫に格納されています
最近、頻発しているクローラーや過剰リロード対策スレッドです。
★FAQ
■クローラーや過剰リロードとは？
・ツール等を使って板のスレッドを根こそぎＤＬする行為をクロール行為と
いいます。
クローラーとはクロール行為をする人の事です。
・過剰リロードとは文字通り過剰にリロードをしてsubject.txt等を取得
する行為です。
■どうして迷惑なの？
クロール行為や過剰リロードは鯖に過剰な負担をかけるため、最悪、鯖落ち
する危険があります。
■やったらどうなるの？
発見されて悪質な場合は規制情報板に掲載の上、該当プロバイダに通報
されます。
もしも先方が対応しなかったり、再発するような場合は .htaccessで
denyする場合もあります。
■.htaccessでdenyされるとどうなるの？
.htaccessでdenyされると書き込みはおろか閲覧すら出来なくなります。 >>377
それは ローカルなスイッチじゃないの?
よく仕組みはわからないけど、
もしくは二台くらい専用の BlackGoat をいれればいいような >>378
専ブラの問題もあるけど、あと取得するスレの量によっても、
BBON行きになりそう・・・ >377
帯域が詰まるのは黒ヤギさん側でしょ？(^_^;)
ってことは黒ヤギさんの帯域を広げればいいわけで・・・・
プライベートネットワークなんで1Gbpsとかにすればいいんでないかと。 >>375
俺も聞いておきたい
クローラー作ろうかと思ってるから
まあ10分に1回程度だけど あ、プライベートじゃないのか？(^_^;)まずいのかも・・・・ >387
だめだと思われ(^_^;)判別方法ないし 携帯アクセスを全て黒山羊さんからするなら、
現在のdelay120秒ってのは止めて欲しいわ〜 >389
黒ヤギさんの目的が優先かと(^_^;)
逆に言えば、黒ヤギさんの目的が阻害されてるような運用があるなら
外部携帯サーバは排除されてもしょうがない気がする >390
ま、無茶な使い方しなきゃいいだけで(^_^;) なんかdy.bbexcite.jpで必死に繋ぎ変えてはバーボン送りにされてるのが居ますねぇ（苦笑
おととい警告出した香具師と同じかな？ >>388
そんな、、、
これからたくさん過去ログ集めようと思っていたのに >396
のんびり集めるってことで(^_^;)これ重要 >>396
delayを10sec位にしてのんびり集めるのはどうよ？ offlaw.cgiへのアクセスは容認すればいいのかな？＜●のサービス保証 >>391
いや、転送量頭打ちの前は60秒だったのよ。
それが今は倍の120秒更新になっててさ〜。
ちょっと反応鈍すぎってカンジなのよね。 >399
無茶なアクセスを保障する必要はないと思われ(^_^;)
それでもめるのも一興かもしれんけどね 閉鎖説が流れ始めてはや６年(^_^;)なんかしぶとく続きますねー >>401
そうなんだ、
NTTecから管理人への見積もりは出たという噂は耳にしましたが、
どうなるんでしょうねぇ BBON に引っかかった方は
どんな使い方をしたかを報告してほしかったり、
各パラメータの微調整の参考にするだす >>405
どこぞの小物みたいにVIPだけ閉鎖ってのもつまんないですよね(^_^;) >>406
http://qb6.2ch.net/_403/c403.cgi
しばらくは、鯖名表示にしておくの・・・？
板名表示にはならないのかなぁ・・・ >408
ここも一緒に閉鎖するくらいの意気が欲しいやねー(^_^;) >>410
某ゴミにはそんな気概無いですってば(^_^;) >>409
「どこの板で引っかかったのか」という情報自体が無い気がする。 かかった人こないかなぁ
それとも寝ている間に回しているのかしら、、、 http://qb6.2ch.net/_403/c403.cgi
↑ここにアクセスしてバーボンリストに自分のホストは載ってないけど
一番上に現在deny中って出たらバーボン対象者に入ってるんすか？
ところで専用ブラウザには更新チェック機能があって、
subject.txtを順々に取得していく機能があるんだけどそれは引っ掛からないのかな？
subject.txtを取得せずに個別にdatを読んで更新することもあるし・・・ >416
一番上は自分のリモートホストの表示ですな(^_^;)
で、それと同じリモートホストがリストにあればdenyされてる・・・と >>417
万博板でdat増分取得300スレ分やってみたけどかからなかった・・・ｗ >>412
あのー、アイモナなんですが、あるスレには行けなくて
同じ板の違うスレには行けます
これってどこに引っ掛かってるんでしょうか。。 バーボンに引っ掛かって、このスレッドにきたんすけども。。。 >>421
当方、ナローなんで更新で1秒間に複数回取得はできんのです・・・ >>426
わたしも手動ではひっかかるのは無理という状態です
つまり自分じゃ体験できない未知の領域。 >425
さしさわりなければfusianasanしてみるといいかも(^_^;)
あと、スレッドとかが見えるけど、書き込もうとしたらバーボンってのはまた別の仕組みです。 >>427
結構不確定要素が多いんですね(^_^;) 2ｃｈブラウザでスレタイトル押して取得したのも1回？ >>430
田代砲発射間隔0秒で1000回回した程度では引っかからないっぽ。 さしさわりなければ答えて欲しいんですけど、合計約300板の
サブジェクトファイルをスクリプトで一気にダウンロードしたら
バーボンですか？
そんな感じのことをやってたんですけども。。。 書き込み規制も緩めて下さい！本とうにお願いします！！ >>414
↓
>>359
>>368
>>407
かちゅ〜しゃでお気に入りスレの巡回を一度しただけですけれど。。。
●にログインしていると結構早く巡回するからそれが逆に駄目だったのかしら。。
新着レスお知らせ機能とかの特殊なのは一切使ってないです。ノーマル機能の「巡回」のみ。
全ての板を含めて500スレちょい。ニュース速報プラス板で巡回したのは50スレくらい。
これで引っかかるのは如何なものかと。。。 >>440
1) どのサーバで引っかかったですか?
2) どれくらいの時間内にどれくらいのファイルにアクセスしたですか?
つまりスピード、
>>436
どうもそこら辺の田代砲を先ほどの設定で30秒位回した程度ではやはり引っかからない模様。 IEで見ると各スレ毎に経過秒数が表示されるのは何？ 家電板に田代砲を0.1秒間隔で100連射してもひっかからない
0.25秒間隔で200斉射しても全然大丈夫だった >>442
1
news19（ニュース速報プラス板）
2
かちゅ〜しゃの巡回機能で一度きり。
正確な速度はわからないっぽ。
●ログインで巡回すると目視では2秒に3スレくらい巡回している雰囲気。
新規取得レス数が多かったり少なかったりでかなりばらつきがある。
数量的にはnews19サーバ限定だと50くらい。2ちゃんねる全体で500ちょっと。
しかもこれかちゅ〜しゃのお気に入りに入れた順番に巡回しているわけだからnews19サーバのスレのみを
連続して取得したわけじゃない。
news19に限れば飛び飛びで取得している感じだから数秒〜数十秒に一度程度のアクセスだろう。
俺様のレスは不確定すぎて何の参考にもならないと思う。
ただ言えるのは「何でこれで引っかかるのかよ？！( ﾟдﾟ)m6」ということのみ。
>>444
それで引っかからないのに何故俺様は。。。
>>446-447
ほぉー。
専ブラしか使わんから分からんかった。
らりあとー >>51 からの未読を読みました。
だいたい、予想通りの展開すね。
newsplus.jp も、ばっちりひっかかりで。
archplus.newsplus.jp とか stick.newsplus.jp とかは、dat読んでいます。
更新チェックあり、ディレイありでも、今みたいにすべての+が2台のサーバにおさまっていると、
全datの更新チェックを入れるだけで、すぐにアクセス数は2000ぐらいいって、ばっちりと。
で、別にnewsplus.jpがしくっても２ちゃんねる的には何の影響もないので、
そっちはあとで、ってことにして、
これから、上から順にレスを入れていきます。 >>448
メール受け取りました。
レス入れてから、仕込みやります。
でも、全サーバcronしこむの、ちとめんどいかも、かも。
f(りゃ からけりいれるほうが、らくかもとおもた。 >>345-356辺りの掛け合いを思い出して3回/secで回してみた。
400回越えた辺りではやはりバーボン行きにはならない模様。
ﾌﾟﾆﾙで家電板を10枚ぐらい開いて同時にリロードかけたけどバーボンでねー あひゃひゃひゃあ。。。
削除が出来ないですよぅ。
削除画面がバーボンだぁｗ
かちゅで巡回してるせいかぁ。。 かちゅでは読めてるから、バーボンになってるの気が付かなかった。。 まずは〜>>207まで。
>>63
ポイント制というか、加算率ってのは、面白い考えかもですね。
F C ノーマルY 正規割引 格安 = 150 125 100 70 50 みたいなイメージですか。
>>207
これだと、jigブラウザとかscopeとか、いわゆる携帯にダウンロードアプリで動く形式のやつは、
そのままでは概ねだめですね。
携帯のiアプリからは、そのiアプリのサーバ1箇所しか、通信できないのです。(そういう仕様です)
つまり、普通に作ると、＊絶対に＊中間サーバ方式になると。 >>457
その辺は悩みどころ
結構負荷高い(メモリ食う、時間かかる)ので
そっちから入れるとタイムアウト頻発かも
んで全サーバまわりきらないうちに次の巡回がはじまったり、、、
要検討っすね、
今のところくろーりんく゜が頻繁にくるところと
接続数の足りないところに入れればいいのかも >>461
今回の仕組みでバーボンに引っかかったらかちゅ〜しゃからも読めないと思う。
Error:このスレッドは見つかりませんでした
のエラーが出る。
つかあれか。この仕組みに引っかかったら引っかかった当該板だけではなく
運営板以外は全て読み書き不能になるのかよ。。。
>>460
ﾀﾞﾖ(ο･д･)(･д･`ο)ﾈｰ
携帯関係はBlackGoatを増やしてで対応が当初のプランかと、
つまり bbs 用サーバのキャパシティを増大させるために携帯を分離した
ということです。 >>464
とある鯖のスレッド数えてみたら、150程ありました。。
qb5です。。
まあ、150も見てればそら引っかかるかぁ。。
かちゅで巡回してたら駄目って事ね。。これからは。 >>465
>>323 より前ですか? あとですか? >>467
＞まあ、150も見てればそら引っかかるかぁ
工エｴェｪ(´д｀)ｪェｴエ工
何だと？
俺様は以前の2ちゃんねる専用デスクトップ「俺様壱号」の時には普通に2ちゃんねる全体で2万スレとかの巡回をしてましたが。。
>>468
後ですね。 >>472
全体では、やっぱ500スレくらい見てるんですよ。
けど、それらは結構分散してるから。
削除系の板の巡回が多いんで、結局そのくらいに
なってしまってるもんで。。 ボラ活動のために未取得のスレを巡回して取得していったら、
これにひっかかるのかな。。。
今までそういうやり方でボラ活動してきたので、
ひっかかってしまうと、厳しいものがあるですね。。
負荷をかけてまでやろうとは思わないですが。。。 かちゅの巡回はdatをどんどん読んじゃうタイプなのか。 一番負荷かけてるのは誰? って話しです。
50万人のうちの上位100人は引っかかることを覚悟してください 前のやつみたいに上位１００人を規制したい
自動で、って事か。 って言うか>>332で一旦リセットしているみたいだから後に決まっているような予感が。。。
28 BBON.news19 218.218.14.139 (EATcf-320p139.ppp15.odn.ne.jp) 89
この
＞BBON.news19
というのはnews19サーバでの読み込み過多によりバーボン入りしましたという事よね？
それとも2ちゃんねる全体で引っかかった中で読み込み数が一番多かったサーバ？
あと、末尾の数字（89）ってなぁに？
最初は1だったのがどんどん増えてきた。 qb5の削除依頼系は普通に見えてたから、削除スクリプト
動かすまで、まじで気が付かなかった。。
やっぱJaneに切り替えた方がいいのかなぁ。。
>>476
多分、●も使ってるから、スピードが速いのかもしれない。
うーん、、削除系だけ外してもらうか、自分で手間かけて
Janeに巡回先を移行させるか。。
（で、後者をやれと言われそうな予感） ■ このスレッドは過去ログ倉庫に格納されています
