クローラー&過剰リロード対策スレ
■ このスレッドは過去ログ倉庫に格納されています
最近、頻発しているクローラーや過剰リロード対策スレッドです。
★FAQ
■クローラーや過剰リロードとは?
・ツール等を使って板のスレッドを根こそぎDLする行為をクロール行為と
いいます。
クローラーとはクロール行為をする人の事です。
・過剰リロードとは文字通り過剰にリロードをしてsubject.txt等を取得
する行為です。
■どうして迷惑なの?
クロール行為や過剰リロードは鯖に過剰な負担をかけるため、最悪、鯖落ち
する危険があります。
■やったらどうなるの?
発見されて悪質な場合は規制情報板に掲載の上、該当プロバイダに通報
されます。
もしも先方が対応しなかったり、再発するような場合は .htaccessで
denyする場合もあります。
■.htaccessでdenyされるとどうなるの?
.htaccessでdenyされると書き込みはおろか閲覧すら出来なくなります。 細かい設定は秘密で良いけどカウントされる条件を教えてくれよ。
鯖単位で適応されるのか。書き込みも含まれるのかとか。 >>309
鯖単位、引っ掛かれば2時間読み書き不可。
つーか書き込みには既に同様の規制が引かれてる 他板から来たんだが、焼って印は
アク禁食らうとかそういう意味でいいのかな? >>313
焼→boo81で焼かれたのでバーボン解除後も引き続きBBQによって規制、
でいいのかな? 壷からきたよ。
リロードってやっぱしちゃうもんね。
まあこれからはしないように気をつけますよ。
クローラーだけがわかりにくい。
誰か教えてください。 >314-315
わかりました、レス有難うございます(゚Д゚)ノ >>316
水泳選手
じゃなく、巡回してデータぶっこ抜く人(プログラム)のこと >>316
えっとお約束の
>>1読めって事です。 >>319
調整し終わるまで。何時とは明確に答えられないと思われ。
まぁ素直に寝ておいた方がいいよ。 >>323
少しは休めましたか・・・?
早いですねぇ・・・対応が・・・ >>323
乙ですよー
今のところは実況に支障は無い感じかなぁ >>323
206.223.147.35 (banana238.maido3.com)
が引っかかっているよ〜〜〜
headline、statsかな・・・ >>323
一応、中間鯖の管理人にメールしておきました
あと、中間鯖の例外回避はどうなるのでしょうか? こうなるのか。
http://news18.2ch.net/test/read.cgi/news4plus/1113587883/15-19
15 :<丶`∀´>(´・ω・`)(`ハ´ )さん :2005/04/16(土) 03:08:23 ID://15c6Wf
[ア+]データ取得できませんでした
http://headline.2ch.net/test/read.cgi/bbynews/1113587883/
なんすか、これ?
19 :<丶`∀´>(´・ω・`)(`ハ´ )さん :2005/04/16(土) 03:13:46 ID:Kes1BI2N
>>15
これ関連かなぁ
クローラー&過剰リロード対策スレ
http://qb5.2ch.net/test/read.cgi/operate/1113508190/ hobby5にも入りましたねぇ・・・
全鯖に、導入されたのかなぁ・・・!? 全サーバに入れてみた
いまのところ手動でなきゃ動かない >>339
あっ、どうもです・・・
自動化されるもの時間の問題かな・・・ で、何回/secなんよ。
3回/secとかだと泣ける。 pinkはクローラーが多そうだな
じわりじわりと効果を発揮しそう >345
0.33秒に1回のアクセスって(^_^;)一時間に1万回以上になるんだけど・・・・ お疲れさまです
巡回の時引っかかりそうですね・・・ 川;´д`)キヲツケナイト 女神スレ→降臨→いいところでバーボン
うはwwww なんか管理してる人って2ちゃんねるをなるべく使わないでもらいたいだけのように思えて失笑 >>346
bbspink系も上がってきてますねぇ・・・ >>348
いや、1時間も続けるかよw
じゃ、質問を少し変えて・・・
3回/secを10秒続けたらバーボン逝きかかる? みなさん乙です。
クロールとか暇な時無意識にしちゃってる悪寒…
鯖の負担とかあまり考えた事ありませんでした。
ごめんなさい(´・ω・`)アイモナから反省パピコ >354
かかっても不思議はないと思われ(^_^;)常識的に考えて無茶なアクセスでしょ?
実際かかるかどうかはわからんけど・・・・ 49 BBON.etc3 61.124.229.141 (actkyo002141.adsl.ppp.infoweb.ne.jp) 0
これはもしかしてvoteかなw ニュース速報プラス板で引っかかった。
かちゅ〜しゃで巡回を一度しただけなのに。どういう基準なのかすら。。。 しばらく様子見ていい具合にチューニングしてくれよ
いい迷惑だから 以前に携帯からのアクセス(私家版含む)を全て黒山羊BlackGoat経由にするって話が出たとき、
黒山羊が落ちたら携帯からのアクセスが全滅してなにも出来なくなってまずいってことで、
各私家版メニューの中間鯖でwait入れてもらって様子見ることに落ち着いたんじゃなかったっけ?
つか黒山羊BlackGoatさんは全部の私家版メニューからのアクセスに耐えられないんじゃないの? >>354
ちょ、ちょっと待って・・・2ちゃんで3回/secをする必要性が見つからないんだGA・・・ >363
当初から黒ヤギさんのチューニングも進んでるし、台数も2台になってるからね(^_^;)
実際どの程度こなせるかはroot ★さんがよくわかってるとは思うけど・・・・
黒ヤギさん通すことで2chの負荷が軽減されることは確実(^_^;)うまくいくといいねー http://qb6.2ch.net/_403/c403.cgi
58 BBON.news19 218.218.14.139 (EATcf-320p139.ppp15.odn.ne.jp) 1
うひょ。やっぱり引っかかってたよママン。
しゃばな! うっ かもん ぎでった はぅ
げっと おん ざ ぐっと ふっと
ゲドン グッフッ もう2ちゃんねるも終わりだな
バカスタッフ共そんな事もわからないの? >369
終わるとなんかまずいのかな?(^_^;) >>367
この前cだけのアクセスで転送量頭打ちになってたようだが、
ホントに大丈夫かねえ(;´-`) 閾値を2倍に設定してもまだ引っかかる人は板巡回の方法を変えた方がいいですね。
漏れはJaneDoeViewだけど未読スレはスレを開かないと取得しない設定でやっていて
まだ引っかかってないです。 >>377
それは ローカルなスイッチじゃないの?
よく仕組みはわからないけど、
もしくは二台くらい専用の BlackGoat をいれればいいような >>378
専ブラの問題もあるけど、あと取得するスレの量によっても、
BBON行きになりそう・・・ >377
帯域が詰まるのは黒ヤギさん側でしょ?(^_^;)
ってことは黒ヤギさんの帯域を広げればいいわけで・・・・
プライベートネットワークなんで1Gbpsとかにすればいいんでないかと。 >>375
俺も聞いておきたい
クローラー作ろうかと思ってるから
まあ10分に1回程度だけど あ、プライベートじゃないのか?(^_^;)まずいのかも・・・・ >387
だめだと思われ(^_^;)判別方法ないし 携帯アクセスを全て黒山羊さんからするなら、
現在のdelay120秒ってのは止めて欲しいわ〜 >389
黒ヤギさんの目的が優先かと(^_^;)
逆に言えば、黒ヤギさんの目的が阻害されてるような運用があるなら
外部携帯サーバは排除されてもしょうがない気がする >390
ま、無茶な使い方しなきゃいいだけで(^_^;) なんかdy.bbexcite.jpで必死に繋ぎ変えてはバーボン送りにされてるのが居ますねぇ(苦笑
おととい警告出した香具師と同じかな? >>388
そんな、、、
これからたくさん過去ログ集めようと思っていたのに >396
のんびり集めるってことで(^_^;)これ重要 >>396
delayを10sec位にしてのんびり集めるのはどうよ? offlaw.cgiへのアクセスは容認すればいいのかな?<●のサービス保証 >>391
いや、転送量頭打ちの前は60秒だったのよ。
それが今は倍の120秒更新になっててさ〜。
ちょっと反応鈍すぎってカンジなのよね。 >399
無茶なアクセスを保障する必要はないと思われ(^_^;)
それでもめるのも一興かもしれんけどね 閉鎖説が流れ始めてはや6年(^_^;)なんかしぶとく続きますねー >>401
そうなんだ、
NTTecから管理人への見積もりは出たという噂は耳にしましたが、
どうなるんでしょうねぇ BBON に引っかかった方は
どんな使い方をしたかを報告してほしかったり、
各パラメータの微調整の参考にするだす ■ このスレッドは過去ログ倉庫に格納されています