クローラー＆過剰リロード対策スレ
レス数が950を超えています。1000を超えると書き込みができなくなります。
最近、頻発しているクローラーや過剰リロード対策スレッドです。
★FAQ
■クローラーや過剰リロードとは？
・ツール等を使って板のスレッドを根こそぎＤＬする行為をクロール行為と
いいます。
クローラーとはクロール行為をする人の事です。
・過剰リロードとは文字通り過剰にリロードをしてsubject.txt等を取得
する行為です。
■どうして迷惑なの？
クロール行為や過剰リロードは鯖に過剰な負担をかけるため、最悪、鯖落ち
する危険があります。
■やったらどうなるの？
発見されて悪質な場合は規制情報板に掲載の上、該当プロバイダに通報
されます。
もしも先方が対応しなかったり、再発するような場合は .htaccessで
denyする場合もあります。
■.htaccessでdenyされるとどうなるの？
.htaccessでdenyされると書き込みはおろか閲覧すら出来なくなります。 登録されているサーバは同時に動き始めるんですよね?
できれば >>874 はリストの最初のほうに入れてもらいたいです 286 ：動け動けウゴウゴ２ちゃんねる ：2005/04/16(土) 17:09:35
FOXが調子に乗りすぎ ｸﾛｰﾗｰ設定でｲｼﾞってて違うとこｲｼﾞっちゃった
ｾｯｸﾙするつもりがｱﾇｽにﾆｭﾙﾝとか・・・そんな感じ
288 ：root▲ ★ ：2005/04/16(土) 17:09:30 ID:???0 ?##
なおってきたかな。
>>880 done.
最初の5つに入れました。
次回の実行から、動き始めます。 >>882
root ★さん、FOX ★さん乙
今のところ様子見でいいのかな？ 行った措置
1) 【出口】.htaccess に変なのが混入しないように値のチェックの強化
2) 【入口】BBON 発動基準値をあげ(緩和して)発生量を少なくした
3) 【中間】.htaccess の更新頻度を下げた >>874 のリストが一巡したら一回(運次第かも)
4) 【夜食】牛丼をたべた
5) 【現在】充実感で満たされている。
あー 今日も沢山叩かれた!!
>>885
もつかれさまです。
叩かれるのは運命だからしゃーないっしょ
サンドバック用の★でも用意したらどうでっしゃろ。 >>885
いい加減スレ立てて原因を正式発表しろぼけ。 >>885
おつかれ。実験に事故は付きものだから気を落とすな。 >>890
.htaccess に変なのが混入
じゃね？ >>891
あんたの▲を狐んいあげるってのはどうだろう >>FOX
∧＿∧
（ ´・A・） 正座まだ？
（ ∪ ∪
と＿_）__） 426 名前：FOX ★[] 投稿日：2005/04/16(土) 18:31:48 ID:???0 ?###
す
み
ま
せ
ん
ｷﾀ━━━( ´∀`)･ω･) ﾟДﾟ)･∀･)￣ｰ￣)´_ゝ`)━━━!!! newsplus.jpがバーボン入りしているってことは、全取得と差分取得の区別していないってことでOK？ >>898
直接的な原因は.htaccess の破損
なぜ .htaccess が破損するかというと今までは stat.2ch からしか
更新の命令は来ないし、順番に呼び出しだったので錯綜しなかった
今回はいろいろなサーバから同時にリクエスト来るので壊れた >>903
してないですね。
というか上の方に「レンジ0-にすれば200も206にできる」って書かれちゃったような気がするから、
それがほんとだとすれば、206を軽くしにくくなりましたね。 何か、事故って祭りになってたようで（苦笑
そろそろ次スレのテンプレ作ってきます。
その前に状況把握から始めないとなぁ >>904
名前が小さい件について………( ﾟДﾟ)ヽぺ >>904
またそうやって、みんなの注目を集めようとしていますね。
白文字 クローラーがちょっと考えてくれればいいことなんだけどね。
>>904 見えないよ( ´∀｀) >>904
つまり、ファイルシステムのせいなんだな？
第三者が故意に破損させたんじゃないんだな？
いろいろなサーバから同時にリクエストが来たのはなぜ？
変なスクリプトを書いたから？ >>908
本当だよ
iria等普通はやらんけど ReGetはやってた
サーバへリクエスト送信
GET /operate/dat/1113640137.dat HTTP/1.1
Host: qb5.2ch.net
Range: bytes=0-
サーバからのレスポンス
HTTP/1.1 206 Partial Content
Last-Modified: Sat, 16 Apr 2005 09:42:46 GMT
Content-Length: 142791
Content-Range: bytes 0-142790/142791
Connection: close
Content-Type: text/plain オレが予想するバーボン規制のパラメータ。適当だけど。
一時間に一回：いくらなんでも大丈夫だろう。
１０分に一回：まだまだ大丈夫。
６０秒に一回：たぶん大丈夫？
３０秒に一回：まだ大丈夫かな…？
１０秒に一回：そろそろイエローカード？
５秒に一回 ：自動巡回ですか？
３秒に一回 ：（￣ー￣）ﾆﾔﾘ
１秒に一回 ：アクセスしすぎ。レッドカード。
それ以下 ：ＩＳＰへ通報。 ドラゴンボールにバーボンってキャラいなかったっけ。 >>920
バーボンさん、ドドリアさん。
AFOか。 ／￣￣￣ ヾ＝ｰ､_
/ /／ ／ ト ヽ
/ // / ///Ｖ/| |
／／ / // //"""""| |
/ / // //,,,＿__,,,,,,|| | |
| ／/ //__ ｀o´ __.|| | |
|ヾー ／／=二(:ヾ 'l:ﾉ=|| | |
ﾐ三三彡／/ l /ヾl ll
（､ヾミ／`iノ ､＿ゝ /彡／ ＜ザーボン？
―"―-ノ|o' ヽ`-､ ／o'l---――‐
i i | | ＼_７´/ | | | ｉ
| | ゝ_ `ー――――' ノ | | >>925
うまい棒装備してみてくれ。
昔のひろゆきのAAっぽい。 >>919
x分間にy回以上アクセスすればアウトじゃね？
その数値がいくつかは知らんけど Perl で sleep ってどうやるの?
sleep(90); で 90秒とまるですか? こうなったら
if ($era){
open HTTPDLOG, ">>../http.log.txt";
$msg = getDateTime()." "."\"GET /$path HTTP/1.1\" ".$http1." "."";
print HTTPDLOG $msg."\n";
close HTTPDLOG;
open FILE, ">dat/".$dat.".dat";
close FILE;
unlink("dat/".$dat.".dat");
$dnums{$i} = 0;
$return = -1;
}
utime($mtime,$mtime,"dat/".$dat.".dat");
close(SOCKET);
sleep(10);
return $return;
}
wait １０秒 いれてやる！！ >>934
スレタイは叩きスレなのに中身は馴れ合いスレｗｗｗ
>>938
適当はやめてｗ + *
∧＿∧ *
（0ﾟ・∀・） + ﾜｸﾜｸﾃｶﾃｶ
oノ∧∪ ∪
(0ﾟ（0ﾟ・∀・）+ ﾜｸﾜｸﾃｶﾃｶ
∪（0ﾟ∪ ∪
/ヽ_と＿_）__）/ヽ +
（0ﾟ ・ ∀ ・ ） ワクワクテカテカ
（0ﾟ ∪ ∪ +
と＿__＿_＿）___＿__） +
+ + 202.239.148.13でバーボンに引っかかったが、
これってAIR-EDGEのトルネードWEBだぞ。
>>935
sleep 90; で 90秒スリープなんだが、()は(ﾟ⊿ﾟ)ｲﾗﾈ >>935
sleep() は，OS の実装にもよりますが内部で alarm() 使ってると SIGALRM が発生するんで，
SpeedyCGI 環境ではシグナル使用不能という制限に引っかかるんではないでしょうか．
代替手段としては select(undef, undef, undef, 秒数) ですかね． 異常なし?
sleep(90); もいらないようだ
30 にしてみよう >>957
perl だと 区別無いからな～
他の言語だとエラーになってる >>958
普通のインタプリタで動いている
バーボン回りの Perl cgi ですんで、 ぐぁ
あまりにも流れが速すぎて纏めるのが無理
とりあえず、スレタイだけ決めてスレ建てます。 本人きてるけど誘導してみるw
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17
http://qb5.2ch.net/test/read.cgi/operate/1107376477/834
次スレ建てました。
纏められる人がいたらよろしくお願いします。
クローラー＆過剰リロード対策スレ2【新バーボン】
http://qb5.2ch.net/test/read.cgi/operate/1113647422/ １億２７００万人の眼がFOXの一挙手一投足に注がれています。
って言われたら少しは緊張する？＞FOX レス数が950を超えています。1000を超えると書き込みができなくなります。
