X
トップページ⇒運用情報
1001コメント268KB
クローラー＆過剰リロード対策スレ
■ このスレッドは過去ログ倉庫に格納されています
0001ｒｅｆｆｉ@報告人 ★
垢版 |
2005/04/15(金) 04:49:50ID:???0
最近、頻発しているクローラーや過剰リロード対策スレッドです。

★FAQ

■クローラーや過剰リロードとは？
・ツール等を使って板のスレッドを根こそぎＤＬする行為をクロール行為と
　いいます。
　クローラーとはクロール行為をする人の事です。
・過剰リロードとは文字通り過剰にリロードをしてsubject.txt等を取得
　する行為です。

■どうして迷惑なの？
　クロール行為や過剰リロードは鯖に過剰な負担をかけるため、最悪、鯖落ち
　する危険があります。

■やったらどうなるの？
　発見されて悪質な場合は規制情報板に掲載の上、該当プロバイダに通報
　されます。
　もしも先方が対応しなかったり、再発するような場合は .htaccessで
　denyする場合もあります。

■.htaccessでdenyされるとどうなるの？
　.htaccessでdenyされると書き込みはおろか閲覧すら出来なくなります。
0575動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 07:28:35ID:PrT7hB8e0
subject.txt のリロードもそんなに負荷につながるのか。
0576ひろゆき＠どうやら管理人 ★
垢版 |
NGNG
多数＞＞制限値＞＞規定値＞＞少数
規定値に触れるものを洗い出すのと、
制限する値ってのは別のほうがいい気がします。
0577root▲ ★
垢版 |
NGNG
>>575
前にやったミニ雪だるま作戦による調査で、
少なくとも旧ex7、今のex10では、subject.txtへの激しいアクセスにより、
相当量のコストかかっているとわかりました。

>>576
つまり、

A)やばいやつをリストアップする時に使うパラメータ
B)実際に規制するためのパラメータ

を別にして、B > Aにするのはどうか、ってことすか。
0578ひろゆき＠どうやら管理人 ★
垢版 |
NGNG
そです。そです。
0579動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 07:47:51ID:rmIZqSyI0
ex10はVIPとニー速みたいに
subject.txtを更新、新しく立ったスレを片っ端から読み込み、書き込む、subject.txtを更新...
を繰り返すって特異なところだからなぁ・・・
他と同じとは言えないよね。
0581root▲ ★
垢版 |
NGNG
>>579
そですね。
結果をみて、そう思いました。

ただ、その傾向は他の板でも大なり小なりあるわけで、
チューニング/負荷軽減のポイントがひとつわかったという意味では、
収穫だったと。

>>578
了解です。
そのへんは、おじさんがうまく仕込んでくれることでしょう。
0582ひろゆき＠どうやら管理人 ★
垢版 |
NGNG
たぶん、サーバごとで閾値が変わってくると思うので、
計測と規制は別のフェーズでやっていったほうが
最適値は出しやすいと思うのですね。
0583root▲ ★
垢版 |
NGNG
>>582
なるほど。

Aは全サーバ共通の低めの値を設定して網をかけることにより、全体や各サーバにおける傾向をさぐる
各サーバにおける「網のかかり方」を参考にしながら、サーバごとに適切なBの値をチューニングする

ってかんじですか。いいかも。
0585root▲ ★
垢版 |
NGNG
>>584
今、まだgame10しか動かしていません。
作業中につき。
0586root▲ ★
垢版 |
NGNG
>>584
あ、わかった。環境変数問題かぁ。
んじゃ、動かし方を変えます。
0587動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 08:34:20ID:DgqhVByi0
壷から着ました
質問ですが「過度の更新」を規制するのはわかりますが
実況CHだけは導入見送りさせてもらえないでしょうか。

実況しようとすれば落ちる。
リロードすればアクセス規制じゃなんのための実況板かわかりません。
0591動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 08:54:51ID:pwGqighk0
28 BBON.news18 　 218.41.181.212 (p29b5d4.tkyoac00.ap.so-net.ne.jp) 2

引っかかった

ID:Ou4gt41r0のように報告すべき？
0594root▲ ★
垢版 |
NGNG
>>591
何したらひっかかったのかを、教えていただけると。

今しがた、仕掛けいれました。
入れるにあたり数回手で動かしています。

で、今は自動取得な方々にはやや「きつめ」の閾値な気がするので、
ウェイトをある程度入れても、ひっかかる可能性があります。

このへんは、これから調整ということで。
今きつめなことへの文句は、「実は私叩かれるのが快感なんですモデル」の方へどうぞ。
0595root▲ ★
垢版 |
NGNG
>>593
いわゆる田代砲には、Webブラウザの仕様とか砲の仕様によっては、
うまく到達してないものもありますよ。
0596ｒｅｆｆｉ@報告人 ★
垢版 |
2005/04/16(土) 09:05:35ID:???0
また、クラシックがバーボンされたみたい（汗

25　BBON.news18　 219.113.242.220　(usen-219x113x242x220.ap-US.usen.ad.jp)
0597root▲ ★
垢版 |
NGNG
クラシックミラーとテストについては、c系の開発・動作確認などに
使用している、ってことでいいのかな。
blackgoatを急ぎ開ける方向で調整します。

ので、連絡くださいです。＞クラシックさん and/or こうすけさん

で、連絡がとれるまでの間限定で、>>157 の2つだけ、バーボン除外リストに追加しておきます。
0598動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 09:13:40ID:crzS05oY0
>>595
300なら十分処理できてるから到達してる
念のため0.6秒間隔で100連撃ったけどバーボンかからない
もしかしてttp://news18.2ch.net/bizplus/じゃだめなのかな？
0599動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 09:16:31ID:XIXQF7Q20
>>596
219.113.242.220
↑このIPはクラシックテスト１(i2ch.net)とテスト２(t2.i2ch.net)で共有してるのでひっかかりやすいのではないかと。
0600動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 09:18:04ID:pwGqighk0
専用ブラウザのtwintail v2.0 beta30でお気に入りを巡回した

>>451にならうと
1) どのサーバで引っかかったですか?
news18
2) どれくらいの時間内にどれくらいのファイルにアクセスしたですか?
　　つまりスピード、
・不明、目測でよければ1秒で1スレくらい？
・適当にニューススレを取得しているのでnews18だけで100は超えていると思う
・2ch全体ならお気に入りスレは500を超えている
・ちなみに板ごとにお気に入りスレを分けているので
　芸スポ+・ニュース議論・ビジネスnews+などのスレを連続で
　巡回していることになる
0601動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 09:18:39ID:tenNF70J0
自分なら、
体感だと
1アクセス/5秒 かなり待たされる感じ
1アクセス/3秒 ちょっと引っかかる感じ
1アクセス/1秒 待ちなし
なので
300アクセス/10分(=1アクセス/2秒)ぐらいを閾値に設定するかなぁ。
(クローラ対策なら600アクセス/10分でもいいと思うけど。)
0602root▲ ★
垢版 |
NGNG
219.113.242.218 219.113.242.220 の2つを除外リストに一時的に足しました。
あくまで一時的な処置ということで。

今バーボンに入っているやつは、はずし方を知らないです。
タイムアウトを待ってください。
0604root▲ ★
垢版 |
NGNG
>>598 >>600 とも、
撃つ数の問題っすね。
いくつかは、「ひ・み・（りゃ」なので、言いませんが。

とりあえず10分で10000発連撃すれば、絶対ひっかかります。
0605root▲ ★
垢版 |
NGNG
まとめ

今自動起動しているサーバの一覧 >>574
ひ（りゃ からの提言 >>576-583
連絡ください >>597

もうげんかいっす。いったんおふらいん。むぎゅー。
0611root▲ ★
垢版 |
NGNG
>>609
気になるなぁ。

news18だっけ。
ログみてみます。ここで、fusianasanできますか?
0613root▲ ★
垢版 |
NGNG
だめだ、限界っす。

できるなら、fusianasanしておいてください。あとで調べてみるので。
事情によりできないなら、特に問題ないです(調べようがないだけ)。
0616動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 09:44:15ID:crzS05oY0
>>613
乙
(　ﾟ∀ﾟ)つ[俺の尿]
あのあとDoS同然の更新かけたらバーボンに引っかかりましたヽ(´ー｀)ノ
IPは申し訳ないんですが今晒すと大変なことになるので勘弁を
0617root▲ ★
垢版 |
NGNG
>>616
りょうかいです。 これでとりあえず安心しました。
今寝るとせっかくの土曜があれなので、奥様とどっかにでかけてきます。
ふらふら。
0618動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 09:51:44ID:XIXQF7Q20
>>602:root▲ ★さん
219.113.242.220を除外リストに追加したことでバーボンリストに表示されなくなったけど、
バーボン入ってる状態、ホントに解除されますかね？
バーボンリストに表示されないということは解除カウントも停止してるんじゃないの？
0619618
垢版 |
2005/04/16(土) 09:59:54ID:XIXQF7Q20
i2ch.net(219.113.242.220)でnews18の板が軒並見れないのだけど、
バーボンリストには表示されてないのよね。
0620よよよ ◆EX/mumumu2
垢版 |
2005/04/16(土) 10:00:01ID:Upn6KYm60
「>>618 リストにはちゃんと表示されているようです。」
と言っている人がいます。
0622動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 10:04:54ID:pjRzjjfh0
既婚者だったのか…rootさん。

なんというか…いろいろ乙です。
家族サービス、ガンガッテ下さい（というのも変な言い方ｗ
0624よよよ ◆EX/mumumu2
垢版 |
2005/04/16(土) 10:07:06ID:Upn6KYm60
「カウントが120になれば消えていくので大丈夫だと思います。」
「私がいじったところとは独立に動いています。」
だそうです。
カウントと言うのは、>>621にコピペした奴の最後の数字だそうです。
0627動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 10:09:30ID:z+KMWu3f0
BBON.life7 　 219.113.242.220 (usen-219x113x242x220.ap-US.usen.ad.jp) 57

あと1時間ちょいで解除です
それまで待つしかないですな
0628よよよ ◆EX/mumumu2
垢版 |
2005/04/16(土) 10:11:17ID:Upn6KYm60
「リストに載っているうちは、
　全サーバ見るのも駄目な設定になったみたいです。」
「以前は、bbs.cgiだけでしたが、今は全て禁止されるようです。」

「そろそろ、出かけていい？」
0630動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 10:35:44ID:B7Wzf3uZ0
じゃ実況板以外で実況するよ
0631動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 10:38:44ID:hwSxjh4a0
実況を除いたら、ニュー速+、テレビ番組系(アニメ、特撮を含む)、週間少年漫画のネタバレスレ
の速度(勢い)が速いんだけど、この規制を知らない住民はみんな規制に引っかかるかもしれないな

VIPは・・・規制されてもいいや
0633動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 10:51:13ID:cL95qGaI0
iMonaに関してはdatやsubject.txtを一定時間サーバー上にキャッシュされるので逆に負荷を
減らしているんじゃないかな。
規制に引っかかる頻度ではあるが、、、。

http://imona.net/からスクリプトDLして見てみれ。
まぁ設定次第で毎回ダウンロードする形にも出来るけど。
0635 ◆MiMIZUNCjA
垢版 |
2005/04/16(土) 10:56:44ID:j3nuICpF0

（ ；Д ；)＜バーボンハウス入りになってしまった！
＜　)
　ハ
0636動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 10:57:46ID:/KMF411H0
>>39,63

実際に今どうなってるのか知らないけど、これって GET の話だよね？
HEAD の 200 は GET の 304 相当の扱いであって欲しい。
ま、検討の結果、206も304も200と区別なしってことならそれはそれだけど。
0638動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 11:01:54ID:oIXt/cJW0
31 BBON.game9 　 210.131.159.225 (ss2ch.em.gala.jp) 60
これはいいのか？

確か、ひ（ｒｙ）と契約してるところだった気が・・・
0639 [―{}@{}@{}-] 動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 11:04:15ID:gd6vGq7p0
バーボンハウス入りって●持ってても逃れられないの？
0640 ◆MiMIZUNCjA
垢版 |
2005/04/16(土) 11:05:29ID:j3nuICpF0
●は通用しません。
0642 [―{}@{}@{}-] 動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 11:09:51ID:gd6vGq7p0
なんだってー（AA略

とりあえず解除されるまで串刺して対応すると良さそうだな・・・
0643動け動けウゴウゴ２ちゃんねる
垢版 |
NGNG
●持ってても引っかかるってのはひどくないか？
って、●もってないおれが言うのもなんだけど。
0644動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 11:10:05ID:3GvqLJ6I0
ばーぼんてどういう意味なの？
それと例えば↓の例の場合

49 BBON.life7 焼 61.26.134.144 (61-26-134-144.rev.home.ne.jp) 16

この人はlife7の閲覧不可能って事？
焼ってついてるのとついてないのは何が違うの？
0649 [―{}@{}@{}-] 動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 11:15:11ID:gd6vGq7p0
万が一でも引っ掛かったら怖いなぁ・・・
0651動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 11:17:17ID:oIXt/cJW0
>>635
38 BBON.life7 　 218.46.194.240 (EATcf-434p240.ppp15.odn.ne.jp) 26
39 BBON.hobby7 　 202.229.14.2 (ps28.suite2.arena.ne.jp) 26
40 BBON.hobby7 　 219.66.172.45 (FNAfb-05p2-45.ppp11.odn.ad.jp) 26
この辺？
0653動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 11:25:35ID:3GvqLJ6I0
知識ないから314に出てくる単語の意味が全然わかんないけど
要は焼印のついてる人は尋常でないアクセス数を稼いだから2時間経っても暫くの間規制対象のままって事かね
ブラックリスト･オブ･ブラックリストって感じなんかな
0654EATcf-386p109.ppp15.odn.ne.jp ◆MiMIZUNCjA
垢版 |
2005/04/16(土) 11:26:36ID:j3nuICpF0
>>651
38の218.46.194.240です。
本日の午前1時頃から10時50分頃までそのIPでした。

10時〜10時30分頃にクロールした際のログから取得データを見ていると問題ない様子。
*.datとか取得できていたりするんでしょうか。
かちゅ〜しゃ(kage)での閲覧は不可でしたが。
0657 ◆MiMIZUNCjA
垢版 |
2005/04/16(土) 11:34:49ID:j3nuICpF0
またバーボン入りになりましたが問題なく*.datを取得できています。（オリジナルの巡回ソフトです）
かちゅ〜しゃでの閲覧ができないだけか・・・
0658フフンフ ◆H3WreiI4XI
垢版 |
2005/04/16(土) 11:41:21ID:GQXpBIvJO
>>87
死ね
0660 ◆WMaLhm.gkw
垢版 |
2005/04/16(土) 11:51:12ID:xvLcAJWn0
>>644
12　BBON.life7　焼　192.168.0.1　(user1-0-168-192.example.com)　39
~~　　　　　^^^^　~~~　^^^^^^^^^^　~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~　 ^^
A　　　　　 B　　 C　　D　　　　　　 E　　　　　　　　　　　　　　　　　　　　F

A　現在バーボンされているもののうち、古い順からの番号
B　バーボンされる原因になった過剰アクセスを行ったサーバ
C　焼マークがあるものは、BBQなどに掲載されているため書けない印
D　IPアドレス
E　ホスト名
F　バーボンされてからの時間（分）　120分で自動解除
0661動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 11:52:19ID:fzYREN7+0
ていうか、趣味で作った個人サイトごときで何でこんなに必死なの？

別にいいじゃんここいらで終わりでさ
0664名無し募集中。。。
垢版 |
2005/04/16(土) 12:11:25ID:d6DtW7WM0
とりあえず何秒に１回リロードしたらひっかかるか教えてよ
ずるむけの人
0667名無し募集中。。。
垢版 |
2005/04/16(土) 12:42:50ID:d6DtW7WM0
>>665
>>666
ありがと
むー鯖によって違うのか設定
0668動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 12:55:32ID:VEBKAvfF0
test
0673動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 13:30:20ID:kDLdue9J0
はぁ〜ん、ばーぼんﾘｽﾄに入ってしまたよ(*´Д｀*)
0674動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 13:35:15ID:PyM5h01w0
お忙しい中すみません。
質問です。

お気に入り内にあるライブなスレが全部で60位
1板最大15位（過疎板）
という状態で、お気に入り巡回すると引っかかっちゃうような状況でしょうか？
更新があったスレは全て開くような事になってます。
全部で10スレ位は開くことがあるのですが。
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況