クローラー&過剰リロード対策スレ
■ このスレッドは過去ログ倉庫に格納されています
最近、頻発しているクローラーや過剰リロード対策スレッドです。 ★FAQ ■クローラーや過剰リロードとは? ・ツール等を使って板のスレッドを根こそぎDLする行為をクロール行為と いいます。 クローラーとはクロール行為をする人の事です。 ・過剰リロードとは文字通り過剰にリロードをしてsubject.txt等を取得 する行為です。 ■どうして迷惑なの? クロール行為や過剰リロードは鯖に過剰な負担をかけるため、最悪、鯖落ち する危険があります。 ■やったらどうなるの? 発見されて悪質な場合は規制情報板に掲載の上、該当プロバイダに通報 されます。 もしも先方が対応しなかったり、再発するような場合は .htaccessで denyする場合もあります。 ■.htaccessでdenyされるとどうなるの? .htaccessでdenyされると書き込みはおろか閲覧すら出来なくなります。 >>466 〜>>537 >>466 前にレスしたように、携帯関係と、 (管理人がOK出すなら)巡回関係ですかね。 あるいは、「ディレイx秒相当の巡回は許すようにしてくださいー」ということなら、 そういう設定に閾値を変えることになるのでしょう。 >>491 それは、世の中の習いかと。 先進国と開発途上国っていうモデルに似たやつで。 >>520 ありゃ、例のやつ、再発か。 カーネルを戻しても起こるってことは、別の原因だなぁ。 これは、あとで。 >>530 つまり、京都議定書ってやつですか。 >>535 >>537 そうなりますね。 1000個のProxyを確保してそれぞれからちょっとずつアクセスすれば、 技術的には、逃れることは可能かと。 2ちゃんねるだって、読み込みに使えるProxyのリストを公開しています。 http://hack72.2ch.net/ でも、逃れる方法をここで議論しても、しょせんせんないことかと。 〜>>560 >>546 無理のない範囲で楽しんでやっていたので、たいしたことないですよ。 なんていうか、やるならちゃんとやりたいっていう、自己満足に過ぎないわけです。 今は、楽しむ部分がちょっと変わりましたが、結局のところ自己満足であることは 何ら変わっていないわけで。 時間は限られているわけで、その限られた中でできることをしてるってかんじです。 >>547 そのProxyが有名になってそこからばきばきクロールされちゃうと、ありうるかもですね。 >>549 そうですよ。 で、かちゅ〜しゃが重くなってくると、ログをどっこいしょとmvして、ってかんじ。 >>550 それぞれのスタイルで、気楽にやるといいと思うのです。 仕事じゃないわけで、しょせんはその程度のものだという割り切りも、時として必要かと。 >>560 それで、待ちになってたとゆうことすか。 >>563-564 了解です。 ようやく、下までいったか。 c-au1の様子を見てきます。 「閾値は内緒」と言うのはよく理解できるのですが。 内緒にする意味がいまいちわからない。 や、閾値を公表するとぎりぎりそれに準じた値で事を行う輩が出てくるから。これは当然知っていますが。 規制というのは行う側の都合の良い値で行うのでしょう? だったら「ぎりぎりそれに準じた値」で色々やられても全く問題ない値で規制すれば良いんじゃネーノ? その上で値を公表すれば専用ブラウザの作者さんとかが色々アレしてくれて結果的に負荷も下がるような。 あれか。IEでのアクセス>>>専用ブラウザでのアクセスだから駄目か。 >「ぎりぎりそれに準じた値」で色々やられても全く問題ない値 という事は当然に非公表の時よりも厳しい値になるであろうし。 駄目駄目だな俺様。 今なんか規制が解除されたっぽいのでかちゅ〜しゃでアクセスしてみた。 _| ̄|○ 規制されているときにスレを読み込んでエラーが出たスレ、全てログの再取得をしないと駄目なのね。。。 c-au1はとりあえずhttpdとbalanceをリスタートしました。なぞだ。 さて、メール読んで、いくつかのサーバに自動起動をしこんできます。 本日、今現在のcronでの自動動作の設定方針を書いておくです。 ・tiger503 = live20 とりあえず>>481 に従い今は設定しません ・tiger504 = game10 設定します ・tiger505 = news18 設定します ・tiger506 = game9/etc4/dso 全部設定します ・tiger507 = live16 とりあえず>>481 に従い今は自動設定しません ・tiger508 = life7 設定します ・tiger509 = news19 設定します ・tiger510 = hobby7 設定します ・oyster901 = ex10 管理人が今最も手厚くしているnews4vipがある、2ちゃんねるで一番大事なサーバなので、 これだけは管理人に決めてもらおうと思います。 管理人が「設定してくださいー」と言えばしくみ発動するし、「しばらく様子を見てくださいー」とか 「しばらく入れないでくださいー」言えば、今は発動しません。 とりあえず、管理人から何らかの明示的な指示があるまで、ex10は保留(発動しない)にします。 ・他のすべてのサーバ 今は自動設定しません ただし気が向いたら、FOXさんや私や若者(やり方が書かれたメールがCc:されている)が、 様子を見ながら、随時手で動かすことはありえます。 ということで、これから順番に作業していきます。 subject.txt のリロードもそんなに負荷につながるのか。 多数>>制限値>>規定値>>少数 規定値に触れるものを洗い出すのと、 制限する値ってのは別のほうがいい気がします。 >>575 前にやったミニ雪だるま作戦による調査で、 少なくとも旧ex7、今のex10では、subject.txtへの激しいアクセスにより、 相当量のコストかかっているとわかりました。 >>576 つまり、 A)やばいやつをリストアップする時に使うパラメータ B)実際に規制するためのパラメータ を別にして、B > Aにするのはどうか、ってことすか。 ex10はVIPとニー速みたいに subject.txtを更新、新しく立ったスレを片っ端から読み込み、書き込む、subject.txtを更新... を繰り返すって特異なところだからなぁ・・・ 他と同じとは言えないよね。 俺・・・ひ(ryのレス↑予想当たったよ。一字一句間違いなく完璧にな! おやしみ。 >>579 そですね。 結果をみて、そう思いました。 ただ、その傾向は他の板でも大なり小なりあるわけで、 チューニング/負荷軽減のポイントがひとつわかったという意味では、 収穫だったと。 >>578 了解です。 そのへんは、おじさんがうまく仕込んでくれることでしょう。 たぶん、サーバごとで閾値が変わってくると思うので、 計測と規制は別のフェーズでやっていったほうが 最適値は出しやすいと思うのですね。 >>582 なるほど。 Aは全サーバ共通の低めの値を設定して網をかけることにより、全体や各サーバにおける傾向をさぐる 各サーバにおける「網のかかり方」を参考にしながら、サーバごとに適切なBの値をチューニングする ってかんじですか。いいかも。 >>584 今、まだgame10しか動かしていません。 作業中につき。 >>584 あ、わかった。環境変数問題かぁ。 んじゃ、動かし方を変えます。 壷から着ました 質問ですが「過度の更新」を規制するのはわかりますが 実況CHだけは導入見送りさせてもらえないでしょうか。 実況しようとすれば落ちる。 リロードすればアクセス規制じゃなんのための実況板かわかりません。 >>587 スレ嫁よヴァカ 誰が>>574 でLive系は導入見送られてるなんて教えるかよ ・・・差分取得失敗したら 串使いまくりのiriaでDL(not 差分取得)するかな 28 BBON.news18 218.41.181.212 (p29b5d4.tkyoac00.ap.so-net.ne.jp) 2 引っかかった ID:Ou4gt41r0のように報告すべき? 今日は wait 2秒にしてみた (1板1時間以内に取得できればいいや) news18に間隔0.3秒で田代砲撃ってみたけどバーボンひっかからなかった 仕様? >>591 何したらひっかかったのかを、教えていただけると。 今しがた、仕掛けいれました。 入れるにあたり数回手で動かしています。 で、今は自動取得な方々にはやや「きつめ」の閾値な気がするので、 ウェイトをある程度入れても、ひっかかる可能性があります。 このへんは、これから調整ということで。 今きつめなことへの文句は、「実は私叩かれるのが快感なんですモデル」の方へどうぞ。 >>593 いわゆる田代砲には、Webブラウザの仕様とか砲の仕様によっては、 うまく到達してないものもありますよ。 また、クラシックがバーボンされたみたい(汗 25 BBON.news18 219.113.242.220 (usen-219x113x242x220.ap-US.usen.ad.jp) クラシックミラーとテストについては、c系の開発・動作確認などに 使用している、ってことでいいのかな。 blackgoatを急ぎ開ける方向で調整します。 ので、連絡くださいです。>クラシックさん and/or こうすけさん で、連絡がとれるまでの間限定で、>>157 の2つだけ、バーボン除外リストに追加しておきます。 >>595 300なら十分処理できてるから到達してる 念のため0.6秒間隔で100連撃ったけどバーボンかからない もしかしてttp://news18.2ch.net/bizplus/じゃだめなのかな? >>596 219.113.242.220 ↑このIPはクラシックテスト1(i2ch.net)とテスト2(t2.i2ch.net)で共有してるのでひっかかりやすいのではないかと。 専用ブラウザのtwintail v2.0 beta30でお気に入りを巡回した >>451 にならうと 1) どのサーバで引っかかったですか? news18 2) どれくらいの時間内にどれくらいのファイルにアクセスしたですか? つまりスピード、 ・不明、目測でよければ1秒で1スレくらい? ・適当にニューススレを取得しているのでnews18だけで100は超えていると思う ・2ch全体ならお気に入りスレは500を超えている ・ちなみに板ごとにお気に入りスレを分けているので 芸スポ+・ニュース議論・ビジネスnews+などのスレを連続で 巡回していることになる 自分なら、 体感だと 1アクセス/5秒 かなり待たされる感じ 1アクセス/3秒 ちょっと引っかかる感じ 1アクセス/1秒 待ちなし なので 300アクセス/10分(=1アクセス/2秒)ぐらいを閾値に設定するかなぁ。 (クローラ対策なら600アクセス/10分でもいいと思うけど。) 219.113.242.218 219.113.242.220 の2つを除外リストに一時的に足しました。 あくまで一時的な処置ということで。 今バーボンに入っているやつは、はずし方を知らないです。 タイムアウトを待ってください。 >>600 >・不明、目測でよければ1秒で1スレくらい? これについてはあまりあてにしないでね・・・ >>598 >>600 とも、 撃つ数の問題っすね。 いくつかは、「ひ・み・(りゃ」なので、言いませんが。 とりあえず10分で10000発連撃すれば、絶対ひっかかります。 まとめ 今自動起動しているサーバの一覧 >>574 ひ(りゃ からの提言 >>576-583 連絡ください >>597 もうげんかいっす。いったんおふらいん。むぎゅー。 0.5間隔*5窓を1分続けても規制されなかった F5砲対策には問題があるような気がする >>609 気になるなぁ。 news18だっけ。 ログみてみます。ここで、fusianasanできますか? だめだ、限界っす。 できるなら、fusianasanしておいてください。あとで調べてみるので。 事情によりできないなら、特に問題ないです(調べようがないだけ)。 >>613 乙 ( ゚∀゚)つ[俺の尿] あのあとDoS同然の更新かけたらバーボンに引っかかりましたヽ(´ー`)ノ IPは申し訳ないんですが今晒すと大変なことになるので勘弁を >>616 りょうかいです。 これでとりあえず安心しました。 今寝るとせっかくの土曜があれなので、奥様とどっかにでかけてきます。 ふらふら。 >>602 :root▲ ★さん 219.113.242.220を除外リストに追加したことでバーボンリストに表示されなくなったけど、 バーボン入ってる状態、ホントに解除されますかね? バーボンリストに表示されないということは解除カウントも停止してるんじゃないの? i2ch.net(219.113.242.220)でnews18の板が軒並見れないのだけど、 バーボンリストには表示されてないのよね。 「>>618 リストにはちゃんと表示されているようです。」 と言っている人がいます。 17 BBON.life7 219.113.242.220 (usen-219x113x242x220.ap-US.usen.ad.jp) 52 (http://qb6.2ch.net/_403/c403.cgi よりコピペ。言われた通りにやりました。) 既婚者だったのか…rootさん。 なんというか…いろいろ乙です。 家族サービス、ガンガッテ下さい(というのも変な言い方w >>621 >news18の板が軒並見れないのだけど、 「カウントが120になれば消えていくので大丈夫だと思います。」 「私がいじったところとは独立に動いています。」 だそうです。 カウントと言うのは、>>621 にコピペした奴の最後の数字だそうです。 >>624 は〜い、わかりました〜(・∀・) (それにしても被るなぁw) BBON.life7 219.113.242.220 (usen-219x113x242x220.ap-US.usen.ad.jp) 57 あと1時間ちょいで解除です それまで待つしかないですな 「リストに載っているうちは、 全サーバ見るのも駄目な設定になったみたいです。」 「以前は、bbs.cgiだけでしたが、今は全て禁止されるようです。」 「そろそろ、出かけていい?」 実況を除いたら、ニュー速+、テレビ番組系(アニメ、特撮を含む)、週間少年漫画のネタバレスレ の速度(勢い)が速いんだけど、この規制を知らない住民はみんな規制に引っかかるかもしれないな VIPは・・・規制されてもいいや これはstyle、lovely、live2chあぼーん作戦ですか? iMonaに関してはdatやsubject.txtを一定時間サーバー上にキャッシュされるので逆に負荷を 減らしているんじゃないかな。 規制に引っかかる頻度ではあるが、、、。 http://imona.net/ からスクリプトDLして見てみれ。 まぁ設定次第で毎回ダウンロードする形にも出来るけど。 ( ;Д ;)<バーボンハウス入りになってしまった! < ) ハ >>39 ,63 実際に今どうなってるのか知らないけど、これって GET の話だよね? HEAD の 200 は GET の 304 相当の扱いであって欲しい。 ま、検討の結果、206も304も200と区別なしってことならそれはそれだけど。 31 BBON.game9 210.131.159.225 (ss2ch.em.gala.jp) 60 これはいいのか? 確か、ひ(ry)と契約してるところだった気が・・・ バーボンハウス入りって●持ってても逃れられないの? 朝起きたらいきなりバーボン逝きとかどないやねん なんだってー(AA略 とりあえず解除されるまで串刺して対応すると良さそうだな・・・ ●持ってても引っかかるってのはひどくないか? って、●もってないおれが言うのもなんだけど。 ばーぼんてどういう意味なの? それと例えば↓の例の場合 49 BBON.life7 焼 61.26.134.144 (61-26-134-144.rev.home.ne.jp) 16 この人はlife7の閲覧不可能って事? 焼ってついてるのとついてないのは何が違うの? 繋ぎなおしてグローバルIPが変わるプロバイダの奴は繋ぎなおせよ >>644 >>314-315 バーボンが解けたら閲覧は出来るとおもう。 >>481 >>574 すいません、いつもお疲れ様です。 >>635 38 BBON.life7 218.46.194.240 (EATcf-434p240.ppp15.odn.ne.jp) 26 39 BBON.hobby7 202.229.14.2 (ps28.suite2.arena.ne.jp) 26 40 BBON.hobby7 219.66.172.45 (FNAfb-05p2-45.ppp11.odn.ad.jp) 26 この辺? wait 2秒でもかかるっと・・・ 200 回避方法 Range: bytes=0- 知識ないから314に出てくる単語の意味が全然わかんないけど 要は焼印のついてる人は尋常でないアクセス数を稼いだから2時間経っても暫くの間規制対象のままって事かね ブラックリスト・オブ・ブラックリストって感じなんかな >>651 38の218.46.194.240です。 本日の午前1時頃から10時50分頃までそのIPでした。 10時〜10時30分頃にクロールした際のログから取得データを見ていると問題ない様子。 *.datとか取得できていたりするんでしょうか。 かちゅ〜しゃ(kage)での閲覧は不可でしたが。 ばーぼんが閲覧不可で焼が書き込み不可って意味かな ありがとう、アフォでスマソ またバーボン入りになりましたが問題なく*.datを取得できています。(オリジナルの巡回ソフトです) かちゅ〜しゃでの閲覧ができないだけか・・・ >>644 12 BBON.life7 焼 192.168.0.1 (user1-0-168-192.example.com) 39 ~~ ^^^^ ~~~ ^^^^^^^^^^ ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ^^ A B C D E F A 現在バーボンされているもののうち、古い順からの番号 B バーボンされる原因になった過剰アクセスを行ったサーバ C 焼マークがあるものは、BBQなどに掲載されているため書けない印 D IPアドレス E ホスト名 F バーボンされてからの時間(分) 120分で自動解除 ていうか、趣味で作った個人サイトごときで何でこんなに必死なの? 別にいいじゃんここいらで終わりでさ とりあえず何秒に1回リロードしたらひっかかるか教えてよ ずるむけの人 >>664 2〜3秒に1回でダメだった @game10 >>664 串で実験したが、1秒に2回、1分ほど続けてたら入った。 32 BBON.news18 焼 193.188.105.22 (193.188.105.22) 13 ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 07.5.1 2024/04/28 Walang Kapalit ★ | Donguri System Team 5ちゃんねる