クローラー＆過剰リロード対策スレ
レス数が900を超えています。1000を超えると表示できなくなるよ。
最近、頻発しているクローラーや過剰リロード対策スレッドです。
★FAQ
■クローラーや過剰リロードとは？
・ツール等を使って板のスレッドを根こそぎＤＬする行為をクロール行為と
いいます。
クローラーとはクロール行為をする人の事です。
・過剰リロードとは文字通り過剰にリロードをしてsubject.txt等を取得
する行為です。
■どうして迷惑なの？
クロール行為や過剰リロードは鯖に過剰な負担をかけるため、最悪、鯖落ち
する危険があります。
■やったらどうなるの？
発見されて悪質な場合は規制情報板に掲載の上、該当プロバイダに通報
されます。
もしも先方が対応しなかったり、再発するような場合は .htaccessで
denyする場合もあります。
■.htaccessでdenyされるとどうなるの？
.htaccessでdenyされると書き込みはおろか閲覧すら出来なくなります。 ID:KgCd+Km+0という必死な人が居ると聞いてＶＩＰからきますた 嫌vip釣れまくり事件ｗｗｗｗｗｗｗｗっうはｗｗｗｗｗｗｗｗｗ >>830
VIPPER以外の２ｃｈネラーは全員嫌っていると思いますけど。。。 ID:KgCd+Km+0ってID:xgpNe0gA？ >>833
っぽいｗ あっちからいなくなったと思ったらこっちで頑張ってたんだな ､-'''"´￣￣｀"''''-､
／ ／ ;;;;;;;;;;;;; ＼ ＼⌒⌒
/ ..::;;● ;;;;;;;;;;;;;, ●;;;;;;;;;::ヽ ^^
|. .::;;;;;;;;;;;（__人__）;;;;;;;;;;;;;;;;::.|
￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣
:::::;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;::::
:::::::;;;;;;;;;;;;;;;;;;;;;;;;;
::::::::::::::::∧＿∧ そうやってなんでも
::::::::: ( ::;;;;;;;;:) VIPのせいにしてりゃいいさ…
_.. /⌒:::;;;;;ヽ
-― ―'ー'-''―-''/ / ::;;;;;;;;:| |―'''ー'-''――'｀'
,, '''' . ''''' と./ゝ_;_;_ノヽつ ､､, ''" それがVIPクオリティ…
,,, '' ,,, ::;;;;;;;;;::: ,, ''''' ,,,, http://ex10.2ch.net/news4vip/ FO糞のウンコスクリプトが.htaccessを壊した
でFA？ >>root ★さん、ここ見てますか？
クラシックミラーとテスト１がバーボンハウスに入ってしまってます。
運用情報板すら見れない状態になってます。なんとかして〜。 この板ってri.piだっけ、あれまだ生きてるんじゃなかったかな・・・
ちょっと試してみよう あっと、>843のレス無し。
バーボンには入ってないや。
でも運用情報板が見れない。
なんでだろ〜？ ､-'''"´￣￣｀"''''-､
／ ／ ;;;;;;;;;;;;; ＼ ＼⌒⌒
/ ..::;;● ;;;;;;;;;;;;;, ●;;;;;;;;;::ヽ ^^
|. .::;;;;;;;;;;;（__人__）;;;;;;;;;;;;;;;;::.|
￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣
:::::;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;::::
:::::::;;;;;;;;;;;;;;;;;;;;;;;;;
::::::::::::::::∧＿∧ そうやってなんでも
::::::::: ( ::;;;;;;;;:) 俺のせいにしてりゃいいさ…
_.. /⌒:::;;;;;ヽ
-― ―'ー'-''―-''/ / ::;;;;;;;;:| |―'''ー'-''――'｀'
,, '''' . ''''' と./ゝ_;_;_ノヽつ ､､, ''" それがFOXクオリティ…
,,, '' ,,, ::;;;;;;;;;::: ,, ''''' ,,,, http://qb5.2ch.net/operate/
いったん access_log に吐かれたものを読み込んで解析するより，
短時間に急激に多数アクセスしてくるのをリアルタイムで検出するには，
CustomLog |/path/to/watch combined
のように監視プログラムにパイプでログ情報を渡した方がいいのかな．
複数 CustomLog ディレクティブを指定すればそれぞれの指定ごとに
ログが吐かれるので，普通の access_log もそのまま出力できるし．
ログフォーマットはプログラムでパースしやすいように適宜変更する方がいいかも． どうかな
改修してみた。
現在
指数
100 基準値
400 BBON 発動値 ← 現在
今回のトラブルで、VIPが収まり付かなくなってるけど、
FOXたん、そこのところどう思う？ さて、ここでは作業すすめたいので、
正座会場への依頼は、ほどほどでおながいします。
向こうではそのうちおじさんが、何かパフォーマンスしてくれることでしょう。
私も、期待しています。 >>872
pie.bbspink.com
idol.bbspink.com
sakura01.bbspink.com
sakura02.bbspink.com
sakura03.bbspink.com
を追加していただけるとありがたいです
登録されているサーバは同時に動き始めるんですよね?
できれば >>874 はリストの最初のほうに入れてもらいたいです 286 ：動け動けウゴウゴ２ちゃんねる ：2005/04/16(土) 17:09:35
FOXが調子に乗りすぎ ｸﾛｰﾗｰ設定でｲｼﾞってて違うとこｲｼﾞっちゃった
ｾｯｸﾙするつもりがｱﾇｽにﾆｭﾙﾝとか・・・そんな感じ
288 ：root▲ ★ ：2005/04/16(土) 17:09:30 ID:???0 ?##
なおってきたかな。
>>880 done.
最初の5つに入れました。
次回の実行から、動き始めます。 >>882
root ★さん、FOX ★さん乙
今のところ様子見でいいのかな？ 行った措置
1) 【出口】.htaccess に変なのが混入しないように値のチェックの強化
2) 【入口】BBON 発動基準値をあげ(緩和して)発生量を少なくした
3) 【中間】.htaccess の更新頻度を下げた >>874 のリストが一巡したら一回(運次第かも)
4) 【夜食】牛丼をたべた
5) 【現在】充実感で満たされている。
あー 今日も沢山叩かれた!!
>>885
もつかれさまです。
叩かれるのは運命だからしゃーないっしょ
サンドバック用の★でも用意したらどうでっしゃろ。 >>885
いい加減スレ立てて原因を正式発表しろぼけ。 >>885
おつかれ。実験に事故は付きものだから気を落とすな。 >>890
.htaccess に変なのが混入
じゃね？ >>891
あんたの▲を狐んいあげるってのはどうだろう >>FOX
∧＿∧
（ ´・A・） 正座まだ？
（ ∪ ∪
と＿_）__） 426 名前：FOX ★[] 投稿日：2005/04/16(土) 18:31:48 ID:???0 ?###
す
み
ま
せ
ん
ｷﾀ━━━( ´∀`)･ω･) ﾟДﾟ)･∀･)￣ｰ￣)´_ゝ`)━━━!!! newsplus.jpがバーボン入りしているってことは、全取得と差分取得の区別していないってことでOK？ >>898
直接的な原因は.htaccess の破損
なぜ .htaccess が破損するかというと今までは stat.2ch からしか
更新の命令は来ないし、順番に呼び出しだったので錯綜しなかった
今回はいろいろなサーバから同時にリクエスト来るので壊れた >>903
してないですね。
というか上の方に「レンジ0-にすれば200も206にできる」って書かれちゃったような気がするから、
それがほんとだとすれば、206を軽くしにくくなりましたね。 何か、事故って祭りになってたようで（苦笑
そろそろ次スレのテンプレ作ってきます。
その前に状況把握から始めないとなぁ >>904
名前が小さい件について………( ﾟДﾟ)ヽぺ >>904
またそうやって、みんなの注目を集めようとしていますね。
白文字 クローラーがちょっと考えてくれればいいことなんだけどね。
>>904 見えないよ( ´∀｀) >>904
つまり、ファイルシステムのせいなんだな？
第三者が故意に破損させたんじゃないんだな？
いろいろなサーバから同時にリクエストが来たのはなぜ？
変なスクリプトを書いたから？ >>908
本当だよ
iria等普通はやらんけど ReGetはやってた
サーバへリクエスト送信
GET /operate/dat/1113640137.dat HTTP/1.1
Host: qb5.2ch.net
Range: bytes=0-
サーバからのレスポンス
HTTP/1.1 206 Partial Content
Last-Modified: Sat, 16 Apr 2005 09:42:46 GMT
Content-Length: 142791
Content-Range: bytes 0-142790/142791
Connection: close
Content-Type: text/plain オレが予想するバーボン規制のパラメータ。適当だけど。
一時間に一回：いくらなんでも大丈夫だろう。
１０分に一回：まだまだ大丈夫。
６０秒に一回：たぶん大丈夫？
３０秒に一回：まだ大丈夫かな…？
１０秒に一回：そろそろイエローカード？
５秒に一回 ：自動巡回ですか？
３秒に一回 ：（￣ー￣）ﾆﾔﾘ
１秒に一回 ：アクセスしすぎ。レッドカード。
それ以下 ：ＩＳＰへ通報。 ドラゴンボールにバーボンってキャラいなかったっけ。 >>920
バーボンさん、ドドリアさん。
AFOか。 レス数が900を超えています。1000を超えると表示できなくなるよ。
