クローラー＆過剰リロード対策スレ

**ｒｅｆｆｉ@報告人 ★** · 2005/04/15(金) 04:49:50

最近、頻発しているクローラーや過剰リロード対策スレッドです。

★FAQ

■クローラーや過剰リロードとは？
・ツール等を使って板のスレッドを根こそぎＤＬする行為をクロール行為と
　いいます。
　クローラーとはクロール行為をする人の事です。
・過剰リロードとは文字通り過剰にリロードをしてsubject.txt等を取得
　する行為です。

■どうして迷惑なの？
　クロール行為や過剰リロードは鯖に過剰な負担をかけるため、最悪、鯖落ち
　する危険があります。

■やったらどうなるの？
　発見されて悪質な場合は規制情報板に掲載の上、該当プロバイダに通報
　されます。
　もしも先方が対応しなかったり、再発するような場合は .htaccessで
　denyする場合もあります。

■.htaccessでdenyされるとどうなるの？
　.htaccessでdenyされると書き込みはおろか閲覧すら出来なくなります。

**帰ってきた100円札マン** ◆100enpax7E · NG

どうしてみんなFOX★たんをいじめるの＞＜

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 17:36:31

責任の押し付けはぶっちゃけイラネ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 17:37:19

　　　　　　､-'''"´￣￣｀"''''-､
　　　　　／／　;;;;;;;;;;;;; 　＼＼⌒⌒
　　　　/　..::;;● ;;;;;;;;;;;;;, ●;;;;;;;;;::ヽ　　^^
　　　　|. .::;;;;;;;;;;;（__人__）;;;;;;;;;;;;;;;;::.|
￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣
　　　　 :::::;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;::::
　　　　　　 :::::::;;;;;;;;;;;;;;;;;;;;;;;;;　　　　　
　　　　　　 ::::::::::::::::∧＿∧　　　そうやってなんでも
　　　　　　　　::::::::: (　::;;;;;;;;:)　　　　　　VIPのせいにしてりゃいいさ…
　　　　　　　 _..　 /⌒:::;;;;;ヽ
-― ―'ー'-''―-''/ / ::;;;;;;;;:| |―'''ー'-''――'｀'
　,, 　'''' .　　'''''　と./ゝ_;_;_ノヽつ　　　､､,　''" 　　　　　　　それがVIPクオリティ…
　　　　,,, ''　 ,,,　　　　::;;;;;;;;;:::　,,　　''''' 　,,,, 　　　　　　 http://ex10.2ch.net/news4vip/

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 17:38:23

どう考えてもFOXが悪いから

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 17:40:32

FO糞のウンコスクリプトが.htaccessを壊した

でFA？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 17:41:10

>>root ★さん、ここ見てますか？
クラシックミラーとテスト１がバーボンハウスに入ってしまってます。
運用情報板すら見れない状態になってます。なんとかして～。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 17:43:33

>>843
お茶飲んでる

◆yadoQ//n/E · 2005/04/16(土) 17:45:50

この板ってri.piだっけ、あれまだ生きてるんじゃなかったかな・・・
ちょっと試してみよう

**843** · 2005/04/16(土) 17:46:21

あっと、>843のレス無し。
バーボンには入ってないや。
でも運用情報板が見れない。
なんでだろ～？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 17:48:51

　　　　　　､-'''"´￣￣｀"''''-､
　　　　　／／　;;;;;;;;;;;;; 　＼＼⌒⌒
　　　　/　..::;;● ;;;;;;;;;;;;;, ●;;;;;;;;;::ヽ　　^^
　　　　|. .::;;;;;;;;;;;（__人__）;;;;;;;;;;;;;;;;::.|
￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣
　　　　 :::::;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;::::
　　　　　　 :::::::;;;;;;;;;;;;;;;;;;;;;;;;;　　　　　
　　　　　　 ::::::::::::::::∧＿∧　　　そうやってなんでも
　　　　　　　　::::::::: (　::;;;;;;;;:)　　　　　　俺のせいにしてりゃいいさ…
　　　　　　　 _..　 /⌒:::;;;;;ヽ
-― ―'ー'-''―-''/ / ::;;;;;;;;:| |―'''ー'-''――'｀'
　,, 　'''' .　　'''''　と./ゝ_;_;_ノヽつ　　　､､,　''" 　　　　　　　それがFOXクオリティ…
　　　　,,, ''　 ,,,　　　　::;;;;;;;;;:::　,,　　''''' 　,,,, 　　　　　　 http://qb5.2ch.net/operate/

**名無し墓集中。。。** · 2005/04/16(土) 17:50:50

ヤアユカイユカイ

▲ ◆cZfSunOs.U · 2005/04/16(土) 17:52:09

いったん access_log に吐かれたものを読み込んで解析するより，
短時間に急激に多数アクセスしてくるのをリアルタイムで検出するには，

CustomLog |/path/to/watch combined

のように監視プログラムにパイプでログ情報を渡した方がいいのかな．
複数 CustomLog ディレクティブを指定すればそれぞれの指定ごとに
ログが吐かれるので，普通の access_log もそのまま出力できるし．
ログフォーマットはプログラムでパースしやすいように適宜変更する方がいいかも．

**FOX ★** · 2005/04/16(土) 17:52:35

どうかな

改修してみた。

現在

指数
100 基準値
400 BBON 発動値　←　現在

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 17:53:16

>>850
FOX★　正座会場
http://qb5.2ch.net/test/read.cgi/operate/1113640137/

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 17:53:17

>>850
よく分からんが乙

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 17:53:51

>>850
FOX★　正座会場
http://qb5.2ch.net/test/read.cgi/operate/1113640137/

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 17:54:28

>>850
FOX★　正座会場
http://qb5.2ch.net/test/read.cgi/operate/1113640137/

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 17:54:44

>>850
FOX★　正座会場
http://qb5.2ch.net/test/read.cgi/operate/1113640137/

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 17:54:54

>>850
FOX★　正座会場
http://qb5.2ch.net/test/read.cgi/operate/1113640137/

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 17:55:20

>>850
FOX★　正座会場
http://qb5.2ch.net/test/read.cgi/operate/1113640137/

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 17:55:58

忙しそうだから正座は許してやろうよ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 17:56:06

>>850
FOX★　正座会場
http://qb5.2ch.net/test/read.cgi/operate/1113640137/

**名無し墓集中。。。** · 2005/04/16(土) 17:57:18

人気者だね、狐

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 17:57:30

>>850
ん、よくわからんが漏れも。

FOX★　正座会場
http://qb5.2ch.net/test/read.cgi/operate/1113640137/

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 17:57:51

おまえらｗｗｗｗ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 17:57:59

じゃあ俺も
>>850
FOX★　正座会場
http://qb5.2ch.net/test/read.cgi/operate/1113640137/

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 17:58:56

>>850
FOX★　正座会場
http://qb5.2ch.net/test/read.cgi/operate/1113640137/

僕も

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 17:59:20

>>850
FOX★　正座会場
http://qb5.2ch.net/test/read.cgi/operate/1113640137/

僕は、神山満月ちゃん

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 17:59:37

お前らいい加減にしろよ。
対策スレの邪魔になる。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:00:38

>>850
FOX★　正座会場
http://qb5.2ch.net/test/read.cgi/operate/1113640137/

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:01:37

>>850
FOX★　正座会場
http://qb5.2ch.net/test/read.cgi/operate/1113640137/

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:01:47

>>866
せめて狐は謝れ。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:01:50

今回のトラブルで、VIPが収まり付かなくなってるけど、
FOXたん、そこのところどう思う？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:03:43

>>850
FOX★　正座会場
http://qb5.2ch.net/test/read.cgi/operate/1113640137/

**root▲ ★** · NG

さて、ここでは作業すすめたいので、
正座会場への依頼は、ほどほどでおながいします。

向こうではそのうちおじさんが、何かパフォーマンスしてくれることでしょう。
私も、期待しています。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:05:06

頼みましたぞ。

**FOX ★** · NG

>>872

pie.bbspink.com
idol.bbspink.com
sakura01.bbspink.com
sakura02.bbspink.com
sakura03.bbspink.com

を追加していただけるとありがたいです

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:07:54

>>872
君の罪は重い

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:08:08

>>874
1000回メモした

**FOX ★** · NG

登録されているサーバは同時に動き始めるんですよね?
できれば >>874 はリストの最初のほうに入れてもらいたいです

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:09:48

>>877
神

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:12:33

286 ：動け動けウゴウゴ２ちゃんねる：2005/04/16(土) 17:09:35
FOXが調子に乗りすぎ　ｸﾛｰﾗｰ設定でｲｼﾞってて違うとこｲｼﾞっちゃった
ｾｯｸﾙするつもりがｱﾇｽにﾆｭﾙﾝとか・・・そんな感じ
288 ：root▲ ★ ：2005/04/16(土) 17:09:30 ID:???0 ?##
なおってきたかな。

**root▲ ★** · NG

>>874 >>877
了解。
いってきます。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:15:28

>>874
お願いです。死んでください。

**root▲ ★** · NG

>>880 done.
最初の5つに入れました。
次回の実行から、動き始めます。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:15:41

ヽ(･∀･)ﾉヽ(･∀･)ﾉ●ｳﾝｺｰ●ｳﾝｺｰ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:18:06

>>882
root ★さん、FOX ★さん乙
今のところ様子見でいいのかな？

**FOX ★** · NG

行った措置

1) 【出口】.htaccess に変なのが混入しないように値のチェックの強化
2) 【入口】BBON 発動基準値をあげ(緩和して)発生量を少なくした
3) 【中間】.htaccess の更新頻度を下げた >>874 のリストが一巡したら一回(運次第かも)
4) 【夜食】牛丼をたべた
5) 【現在】充実感で満たされている。

あー　今日も沢山叩かれた!!

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:20:01

>>885
じゃこちらへドゾーｗ

FOX★　正座会場
http://qb5.2ch.net/test/read.cgi/operate/1113640137/l50

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:20:03

>>885
自覚あるなら一言でいいから謝れ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:21:27

>>885
もつかれさまです。
叩かれるのは運命だからしゃーないっしょ
サンドバック用の★でも用意したらどうでっしゃろ。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:22:26

>>885
乙

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:23:10

>>885
いい加減スレ立てて原因を正式発表しろぼけ。

**root▲ ★** · NG

>>888
サンドバック用の★ = FOX

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:23:58

>>885
おつかれ。実験に事故は付きものだから気を落とすな。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:25:19

★ = FOX=root

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:26:05

>>891
ﾄﾘｹﾗﾜﾛｽｗ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:26:30

>>891
話がわかる人だな

**焼きうどん ★** · 2005/04/16(土) 18:27:34

>>885
乙ですー

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:27:34

>>890
.htaccess に変なのが混入

じゃね？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:27:50

>>885
で、原因は？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:28:53

>>891
あんたの▲を狐んいあげるってのはどうだろう

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:29:25

原因ﾏﾀﾞｰ？（・∀・）っ/凵 ⌒☆ﾁﾝﾁﾝ！

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:29:34

>>FOX
　　∧＿∧
　（　´・A・）　正座まだ？
　（　∪ ∪
　と＿_）__）

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:33:01

426 名前：FOX ★[] 投稿日：2005/04/16(土) 18:31:48 ID:???0 ?###
す
み
ま
せ
ん

ｷﾀ━━━( ´∀`)･ω･) ﾟДﾟ)･∀･)￣ｰ￣)´_ゝ`)━━━!!!

◆WMaLhm.gkw · 2005/04/16(土) 18:33:25

newsplus.jpがバーボン入りしているってことは、全取得と差分取得の区別していないってことでOK？

**FOX ★** · NG

>>898

直接的な原因は.htaccess の破損
なぜ .htaccess が破損するかというと今までは stat.2ch からしか
更新の命令は来ないし、順番に呼び出しだったので錯綜しなかった
今回はいろいろなサーバから同時にリクエスト来るので壊れた

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:34:43

>>903
完全に区別してない

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:35:39

>>904
誰？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:36:17

>>906
FOX

**root▲ ★** · NG

>>903
してないですね。

というか上の方に「レンジ0-にすれば200も206にできる」って書かれちゃったような気がするから、
それがほんとだとすれば、206を軽くしにくくなりましたね。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:36:49

>>904
把握した

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:36:52

>>904
･･･

**ｒｅｆｆｉ@報告人 ★** · 2005/04/16(土) 18:37:13

何か、事故って祭りになってたようで（苦笑
そろそろ次スレのテンプレ作ってきます。
その前に状況把握から始めないとなぁ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:37:50

>>904
名前が小さい件について………( ﾟДﾟ)ヽぺ

**野次(ﾟдﾟ)ｳﾏｰ** ◆DoRe2o0KYs · 2005/04/16(土) 18:39:14

>>904
またそうやって、みんなの注目を集めようとしていますね。
白文字

**名無しさん＠通りすがり** ◆.q7T9q3bHY · NG

クローラーがちょっと考えてくれればいいことなんだけどね。
>>904 見えないよ( ´∀｀)

**898** · 2005/04/16(土) 18:40:04

>>904
ほほう…

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:40:44

>>904
つまり、ファイルシステムのせいなんだな？
第三者が故意に破損させたんじゃないんだな？
いろいろなサーバから同時にリクエストが来たのはなぜ？
変なスクリプトを書いたから？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:43:10

>>916
スレタイ見ろ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:45:26

>>908
本当だよ

iria等普通はやらんけど ReGetはやってた

サーバへリクエスト送信
GET /operate/dat/1113640137.dat HTTP/1.1
Host: qb5.2ch.net
Range: bytes=0-

サーバからのレスポンス
HTTP/1.1 206 Partial Content
Last-Modified: Sat, 16 Apr 2005 09:42:46 GMT
Content-Length: 142791
Content-Range: bytes 0-142790/142791
Connection: close
Content-Type: text/plain

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:45:42

オレが予想するバーボン規制のパラメータ。適当だけど。

一時間に一回：いくらなんでも大丈夫だろう。
１０分に一回：まだまだ大丈夫。
６０秒に一回：たぶん大丈夫？
３０秒に一回：まだ大丈夫かな…？
１０秒に一回：そろそろイエローカード？
５秒に一回　：自動巡回ですか？
３秒に一回　：（￣ー￣）ﾆﾔﾘ
１秒に一回　：アクセスしすぎ。レッドカード。
それ以下　　：ＩＳＰへ通報。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:49:44

ドラゴンボールにバーボンってキャラいなかったっけ。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:50:52

>>920
ハンター×ハンターじゃね？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:51:07

>>920
バーボンさん、ドドリアさん。

AFOか。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:51:15

ザーボンなら知ってる

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:52:39

やっておしまい、バーボンさん

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:53:16

　　　　　　／￣￣￣ヾ＝ｰ､_
　　　　　/　/／　／　　ト　　ヽ
　　　　/　//　　 / ///Ｖ/|　　　|
　　／／ /　　// //"""""| 　　|
　 / 　　/　　//　//,,,＿__,,,,,,|| |　|
　 |　　　　／/　//__　｀o´ __.|| |　|　　　
　 |ヾー　／／=二(:ヾ　 'l:ﾉ=|| |　|　　
　ﾐ三三彡／/　　　 l　　 /ヾl ll 　　
　（､ヾミ／`iノ　　　､＿ゝ /彡／　　＜ザーボン？
―"―-ノ|o'　ヽ`-､　　／o'l---――‐
　i　 i　|　 | 　　＼_７´/ |　|　|　　ｉ　　
　|　 |　ゝ_ `ー――――' ノ　 |　　|

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:57:00

炭素？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:58:08

それはカーボン

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:58:27

>>926
カーボン

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 18:59:09

そりゃカーボンｗ

讃岐 ◆IamaVIPdCI · NG

>>926-929
うはｗｗｗ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:02:14

カービィか？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:03:26

>>925
うまい棒装備してみてくれ。
昔のひろゆきのAAっぽい。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:04:38

>>919
x分間にy回以上アクセスすればアウトじゃね？
その数値がいくつかは知らんけど

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:10:28

>>930
こんなん見つけた
【目障り】讃岐 ◆IamaVIPdCI【早く死ね】
http://tmp4.2ch.net/test/read.cgi/tubo/1112301028/

**FOX ★** · 2005/04/16(土) 19:11:58

Perl で sleep ってどうやるの?

sleep(90); で 90秒とまるですか?

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:12:43

>>935
過去ログよめ

\e

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:12:57

>>935
オイFOX★…

**FOX ★** · 2005/04/16(土) 19:14:44

ようわからんから
適当にやってみよう