クローラー＆過剰リロード対策スレ

**ｒｅｆｆｉ@報告人 ★** · 2005/04/15(金) 04:49:50

最近、頻発しているクローラーや過剰リロード対策スレッドです。

★FAQ

■クローラーや過剰リロードとは？
・ツール等を使って板のスレッドを根こそぎＤＬする行為をクロール行為と
　いいます。
　クローラーとはクロール行為をする人の事です。
・過剰リロードとは文字通り過剰にリロードをしてsubject.txt等を取得
　する行為です。

■どうして迷惑なの？
　クロール行為や過剰リロードは鯖に過剰な負担をかけるため、最悪、鯖落ち
　する危険があります。

■やったらどうなるの？
　発見されて悪質な場合は規制情報板に掲載の上、該当プロバイダに通報
　されます。
　もしも先方が対応しなかったり、再発するような場合は .htaccessで
　denyする場合もあります。

■.htaccessでdenyされるとどうなるの？
　.htaccessでdenyされると書き込みはおろか閲覧すら出来なくなります。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:29:25

原因ﾏﾀﾞｰ？（・∀・）っ/凵 ⌒☆ﾁﾝﾁﾝ！

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:29:34

>>FOX
　　∧＿∧
　（　´・A・）　正座まだ？
　（　∪ ∪
　と＿_）__）

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:33:01

426 名前：FOX ★[] 投稿日：2005/04/16(土) 18:31:48 ID:???0 ?###
す
み
ま
せ
ん

ｷﾀ━━━( ´∀`)･ω･) ﾟДﾟ)･∀･)￣ｰ￣)´_ゝ`)━━━!!!

◆WMaLhm.gkw · 2005/04/16(土) 18:33:25

newsplus.jpがバーボン入りしているってことは、全取得と差分取得の区別していないってことでOK？

**FOX ★** · NG

>>898

直接的な原因は.htaccess の破損
なぜ .htaccess が破損するかというと今までは stat.2ch からしか
更新の命令は来ないし、順番に呼び出しだったので錯綜しなかった
今回はいろいろなサーバから同時にリクエスト来るので壊れた

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:34:43

>>903
完全に区別してない

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:35:39

>>904
誰？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:36:17

>>906
FOX

**root▲ ★** · NG

>>903
してないですね。

というか上の方に「レンジ0-にすれば200も206にできる」って書かれちゃったような気がするから、
それがほんとだとすれば、206を軽くしにくくなりましたね。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:36:49

>>904
把握した

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:36:52

>>904
･･･

**ｒｅｆｆｉ@報告人 ★** · 2005/04/16(土) 18:37:13

何か、事故って祭りになってたようで（苦笑
そろそろ次スレのテンプレ作ってきます。
その前に状況把握から始めないとなぁ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:37:50

>>904
名前が小さい件について………( ﾟДﾟ)ヽぺ

**野次(ﾟдﾟ)ｳﾏｰ** ◆DoRe2o0KYs · 2005/04/16(土) 18:39:14

>>904
またそうやって、みんなの注目を集めようとしていますね。
白文字

**名無しさん＠通りすがり** ◆.q7T9q3bHY · NG

クローラーがちょっと考えてくれればいいことなんだけどね。
>>904 見えないよ( ´∀｀)

**898** · 2005/04/16(土) 18:40:04

>>904
ほほう…

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:40:44

>>904
つまり、ファイルシステムのせいなんだな？
第三者が故意に破損させたんじゃないんだな？
いろいろなサーバから同時にリクエストが来たのはなぜ？
変なスクリプトを書いたから？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:43:10

>>916
スレタイ見ろ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:45:26

>>908
本当だよ

iria等普通はやらんけど ReGetはやってた

サーバへリクエスト送信
GET /operate/dat/1113640137.dat HTTP/1.1
Host: qb5.2ch.net
Range: bytes=0-

サーバからのレスポンス
HTTP/1.1 206 Partial Content
Last-Modified: Sat, 16 Apr 2005 09:42:46 GMT
Content-Length: 142791
Content-Range: bytes 0-142790/142791
Connection: close
Content-Type: text/plain

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:45:42

オレが予想するバーボン規制のパラメータ。適当だけど。

一時間に一回：いくらなんでも大丈夫だろう。
１０分に一回：まだまだ大丈夫。
６０秒に一回：たぶん大丈夫？
３０秒に一回：まだ大丈夫かな…？
１０秒に一回：そろそろイエローカード？
５秒に一回　：自動巡回ですか？
３秒に一回　：（￣ー￣）ﾆﾔﾘ
１秒に一回　：アクセスしすぎ。レッドカード。
それ以下　　：ＩＳＰへ通報。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:49:44

ドラゴンボールにバーボンってキャラいなかったっけ。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:50:52

>>920
ハンター×ハンターじゃね？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:51:07

>>920
バーボンさん、ドドリアさん。

AFOか。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:51:15

ザーボンなら知ってる

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:52:39

やっておしまい、バーボンさん

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:53:16

　　　　　　／￣￣￣ヾ＝ｰ､_
　　　　　/　/／　／　　ト　　ヽ
　　　　/　//　　 / ///Ｖ/|　　　|
　　／／ /　　// //"""""| 　　|
　 / 　　/　　//　//,,,＿__,,,,,,|| |　|
　 |　　　　／/　//__　｀o´ __.|| |　|　　　
　 |ヾー　／／=二(:ヾ　 'l:ﾉ=|| |　|　　
　ﾐ三三彡／/　　　 l　　 /ヾl ll 　　
　（､ヾミ／`iノ　　　､＿ゝ /彡／　　＜ザーボン？
―"―-ノ|o'　ヽ`-､　　／o'l---――‐
　i　 i　|　 | 　　＼_７´/ |　|　|　　ｉ　　
　|　 |　ゝ_ `ー――――' ノ　 |　　|

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:57:00

炭素？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:58:08

それはカーボン

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:58:27

>>926
カーボン

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:59:09

そりゃカーボンｗ

讃岐 ◆IamaVIPdCI · NG

>>926-929
うはｗｗｗ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:02:14

カービィか？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:03:26

>>925
うまい棒装備してみてくれ。
昔のひろゆきのAAっぽい。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:04:38

>>919
x分間にy回以上アクセスすればアウトじゃね？
その数値がいくつかは知らんけど

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:10:28

>>930
こんなん見つけた
【目障り】讃岐 ◆IamaVIPdCI【早く死ね】
http://tmp4.2ch.net/test/read.cgi/tubo/1112301028/

**FOX ★** · 2005/04/16(土) 19:11:58

Perl で sleep ってどうやるの?

sleep(90); で 90秒とまるですか?

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:12:43

>>935
過去ログよめ

\e

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:12:57

>>935
オイFOX★…

**FOX ★** · 2005/04/16(土) 19:14:44

ようわからんから
適当にやってみよう

**怨念株式會社** · 2005/04/16(土) 19:14:56

こうなったら
if ($era){
open HTTPDLOG, ">>../http.log.txt";
$msg = getDateTime()." "."\"GET /$path HTTP/1.1\" ".$http1." "."";
print HTTPDLOG $msg."\n";
close HTTPDLOG;
open FILE, ">dat/".$dat.".dat";
close FILE;
unlink("dat/".$dat.".dat");
$dnums{$i} = 0;
$return = -1;
}
utime($mtime,$mtime,"dat/".$dat.".dat");
close(SOCKET);
sleep(10);
return $return;
}

wait １０秒いれてやる！！

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:15:14

>>938
ｒ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:16:05

>>938
真面目にやれ

讃岐 ◆IamaVIPdCI · NG

>>934
スレタイは叩きスレなのに中身は馴れ合いスレｗｗｗ

>>938
適当はやめてｗ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:16:32

>>938
やめてー

**FOX ★** · 2005/04/16(土) 19:16:37

>>939
それを期待していますー

**FOX ★** · 2005/04/16(土) 19:17:03

もう　いれて全サーバに配っちまったｯス

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:17:39

で、また.htaccess破壊ですか

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:18:16

そんなものなのか！？

**FOX ★** · 2005/04/16(土) 19:18:25

どきどき

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:18:39

土器土器

讃岐 ◆IamaVIPdCI · NG

わくわく

麻美 ◆AaHxyUKYSg · 2005/04/16(土) 19:19:14

うちとちごて、FOX氏達頭ええから、大丈夫やで

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:19:31

+　　　*
　　　　∧＿∧　　　　*
　　　（0ﾟ・∀・）　+ 　ﾜｸﾜｸﾃｶﾃｶ
　　oノ∧∪ ∪
　　(0ﾟ（0ﾟ・∀・）+　　ﾜｸﾜｸﾃｶﾃｶ
　　∪（0ﾟ∪ ∪
　　/ヽ_と＿_）__）/ヽ　　　+
　（0ﾟ　　・　 ∀　・）ワクワクテカテカ
　（0ﾟ　　 ∪　　∪　　　　　+
　と＿__＿_＿）___＿__）　　+

+　　　+

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:19:33

異常・・・・無し・・・・か？・・・・

麻美 ◆AaHxyUKYSg · 2005/04/16(土) 19:20:37

うちも、ドキドキ携帯調子悪いねん

**ネオ麦飯** · 2005/04/16(土) 19:20:38

よーし、パパ今日もリロードしまくっちゃうぞー。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:20:40

202.239.148.13でバーボンに引っかかったが、
これってAIR-EDGEのトルネードWEBだぞ。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:21:26

>>935
sleep 90; で 90秒スリープなんだが、()は(ﾟ⊿ﾟ)ｲﾗﾈ

◆cZfSunOs.U · 2005/04/16(土) 19:22:21

>>935
sleep() は，OS の実装にもよりますが内部で alarm() 使ってると SIGALRM が発生するんで，
SpeedyCGI 環境ではシグナル使用不能という制限に引っかかるんではないでしょうか．
代替手段としては select(undef, undef, undef, 秒数) ですかね．

**FOX ★** · 2005/04/16(土) 19:22:24

異常なし?

sleep(90); もいらないようだ

30 にしてみよう

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:23:02

>>957
perl だと区別無いからな～

他の言語だとエラーになってる

**FOX ★** · 2005/04/16(土) 19:23:13

>>958
普通のインタプリタで動いている
バーボン回りの Perl cgi ですんで、

**ｒｅｆｆｉ@報告人 ★** · 2005/04/16(土) 19:24:16

ぐぁ
あまりにも流れが速すぎて纏めるのが無理
とりあえず、スレタイだけ決めてスレ建てます。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:24:26

FOX適当杉だよFOX

▲ ◆cZfSunOs.U · 2005/04/16(土) 19:26:13

>>961
そでしたか．了解です．

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:28:17

本人きてるけど誘導してみるw

【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17
http://qb5.2ch.net/test/read.cgi/operate/1107376477/834

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:29:51

>>961元に戻った方が・・・

**ｒｅｆｆｉ@報告人 ★** · 2005/04/16(土) 19:31:27

次スレ建てました。
纏められる人がいたらよろしくお願いします。

クローラー＆過剰リロード対策スレ2【新バーボン】
http://qb5.2ch.net/test/read.cgi/operate/1113647422/

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:31:48

FOX多分O型だよFOX

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:32:22

１億２７００万人の眼がFOXの一挙手一投足に注がれています。

って言われたら少しは緊張する？＞FOX

**FOX ★** · 2005/04/16(土) 19:35:07

>>969

歌でも歌いますか?

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:36:24

>>970
>>968 正解！

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:36:38

>>970
サブちゃん希望。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:37:01

>970
歌ってください！！

**FOX ★** · 2005/04/16(土) 19:37:05

sleep(30) で成功のようだ、

**ヾ（ﾟﾊﾟ）ﾉ** ◆f0.zuburi6 · 2005/04/16(土) 19:37:54

兄弟舟で

麻美 ◆AaHxyUKYSg · 2005/04/16(土) 19:39:35

波の谷間に命の花が～♪
みんなに、お茶やで旦~旦~旦~旦~旦~

麻美 ◆AaHxyUKYSg · 2005/04/16(土) 19:40:55

成功おめですわ

**FOX ★** · 2005/04/16(土) 19:41:55

目立たぬように　はしゃがぬように
似合わぬことは　無理をせず
人の心を　見つめつづける
時代おくれの　男になりたい♪

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:42:43

まったりまったりまったりな～

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:42:47

>>978
河島英五ｷﾀ─ｗｗﾍ√ﾚｖｖ～(ﾟ∀ﾟ)─ｗｗﾍ√ﾚｖｖ～─ !!

◆Reffi/bQ.c · 2005/04/16(土) 19:43:24

>978
カ～～～～ン（鐘ひとつ）
次の方どうぞ

**FOX ★** · 2005/04/16(土) 19:44:12

私の人生そのもののような気がします

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:44:26

>>978
３０点。
節がめちゃくちゃ。
聞くに堪えん。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:45:09

JASRACのほうから来ますた

麻美 ◆AaHxyUKYSg · 2005/04/16(土) 19:45:15

ああ～川の流れのように♪すみやかに～乙ですわ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:45:27

>978
渋すぎです
惚れました

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:45:57

中の人マァヴ？

**FOX ★** · 2005/04/16(土) 19:47:47

これで　２ちゃんねるはまた進化しました。

クロールも撃退可能になりました。
いつぞやの韓国からのF5攻撃はたぶん撃退できると思われ
そんときは一瞬　閾値上げるかもですが、

現在 400 (live exに入れても普通は引っかからない設定です)

◆QANoNotan. · 2005/04/16(土) 19:48:10

やったねかとちゃん

**マァヴ** ◆jxAYUMI09s · NG

はぁ～るばる、きたぜは～こだて～(^_^;)♪

**焼きうどん ★** · NG

>>978
>>990
乙

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:49:15

>>988
おまえ結構いいやつだな

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:49:18

(^_^;)

**ヾ（ﾟﾊﾟ）ﾉ** ◆f0.zuburi6 · 2005/04/16(土) 19:49:36

９９５（＾＿＾）；

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:50:04

>>978
こんにちは、ジャスラックです

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:50:05

あげ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:50:31

９９７

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:50:41

>>994
>>994

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:50:48

う

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:50:50

1000ぐらい