クローラー&過剰リロード対策スレ
■ このスレッドは過去ログ倉庫に格納されています
最近、頻発しているクローラーや過剰リロード対策スレッドです。
★FAQ
■クローラーや過剰リロードとは?
・ツール等を使って板のスレッドを根こそぎDLする行為をクロール行為と
いいます。
クローラーとはクロール行為をする人の事です。
・過剰リロードとは文字通り過剰にリロードをしてsubject.txt等を取得
する行為です。
■どうして迷惑なの?
クロール行為や過剰リロードは鯖に過剰な負担をかけるため、最悪、鯖落ち
する危険があります。
■やったらどうなるの?
発見されて悪質な場合は規制情報板に掲載の上、該当プロバイダに通報
されます。
もしも先方が対応しなかったり、再発するような場合は .htaccessで
denyする場合もあります。
■.htaccessでdenyされるとどうなるの?
.htaccessでdenyされると書き込みはおろか閲覧すら出来なくなります。 みなさん乙です。
クロールとか暇な時無意識にしちゃってる悪寒…
鯖の負担とかあまり考えた事ありませんでした。
ごめんなさい(´・ω・`)アイモナから反省パピコ >354
かかっても不思議はないと思われ(^_^;)常識的に考えて無茶なアクセスでしょ?
実際かかるかどうかはわからんけど・・・・ 49 BBON.etc3 61.124.229.141 (actkyo002141.adsl.ppp.infoweb.ne.jp) 0
これはもしかしてvoteかなw ニュース速報プラス板で引っかかった。
かちゅ〜しゃで巡回を一度しただけなのに。どういう基準なのかすら。。。 しばらく様子見ていい具合にチューニングしてくれよ
いい迷惑だから 以前に携帯からのアクセス(私家版含む)を全て黒山羊BlackGoat経由にするって話が出たとき、
黒山羊が落ちたら携帯からのアクセスが全滅してなにも出来なくなってまずいってことで、
各私家版メニューの中間鯖でwait入れてもらって様子見ることに落ち着いたんじゃなかったっけ?
つか黒山羊BlackGoatさんは全部の私家版メニューからのアクセスに耐えられないんじゃないの? >>354
ちょ、ちょっと待って・・・2ちゃんで3回/secをする必要性が見つからないんだGA・・・ >363
当初から黒ヤギさんのチューニングも進んでるし、台数も2台になってるからね(^_^;)
実際どの程度こなせるかはroot ★さんがよくわかってるとは思うけど・・・・
黒ヤギさん通すことで2chの負荷が軽減されることは確実(^_^;)うまくいくといいねー http://qb6.2ch.net/_403/c403.cgi
58 BBON.news19 218.218.14.139 (EATcf-320p139.ppp15.odn.ne.jp) 1
うひょ。やっぱり引っかかってたよママン。
しゃばな! うっ かもん ぎでった はぅ
げっと おん ざ ぐっと ふっと
ゲドン グッフッ もう2ちゃんねるも終わりだな
バカスタッフ共そんな事もわからないの? >369
終わるとなんかまずいのかな?(^_^;) >>367
この前cだけのアクセスで転送量頭打ちになってたようだが、
ホントに大丈夫かねえ(;´-`) 閾値を2倍に設定してもまだ引っかかる人は板巡回の方法を変えた方がいいですね。
漏れはJaneDoeViewだけど未読スレはスレを開かないと取得しない設定でやっていて
まだ引っかかってないです。 >>377
それは ローカルなスイッチじゃないの?
よく仕組みはわからないけど、
もしくは二台くらい専用の BlackGoat をいれればいいような >>378
専ブラの問題もあるけど、あと取得するスレの量によっても、
BBON行きになりそう・・・ >377
帯域が詰まるのは黒ヤギさん側でしょ?(^_^;)
ってことは黒ヤギさんの帯域を広げればいいわけで・・・・
プライベートネットワークなんで1Gbpsとかにすればいいんでないかと。 >>375
俺も聞いておきたい
クローラー作ろうかと思ってるから
まあ10分に1回程度だけど あ、プライベートじゃないのか?(^_^;)まずいのかも・・・・ >387
だめだと思われ(^_^;)判別方法ないし 携帯アクセスを全て黒山羊さんからするなら、
現在のdelay120秒ってのは止めて欲しいわ〜 >389
黒ヤギさんの目的が優先かと(^_^;)
逆に言えば、黒ヤギさんの目的が阻害されてるような運用があるなら
外部携帯サーバは排除されてもしょうがない気がする >390
ま、無茶な使い方しなきゃいいだけで(^_^;) なんかdy.bbexcite.jpで必死に繋ぎ変えてはバーボン送りにされてるのが居ますねぇ(苦笑
おととい警告出した香具師と同じかな? >>388
そんな、、、
これからたくさん過去ログ集めようと思っていたのに >396
のんびり集めるってことで(^_^;)これ重要 >>396
delayを10sec位にしてのんびり集めるのはどうよ? offlaw.cgiへのアクセスは容認すればいいのかな?<●のサービス保証 >>391
いや、転送量頭打ちの前は60秒だったのよ。
それが今は倍の120秒更新になっててさ〜。
ちょっと反応鈍すぎってカンジなのよね。 >399
無茶なアクセスを保障する必要はないと思われ(^_^;)
それでもめるのも一興かもしれんけどね 閉鎖説が流れ始めてはや6年(^_^;)なんかしぶとく続きますねー >>401
そうなんだ、
NTTecから管理人への見積もりは出たという噂は耳にしましたが、
どうなるんでしょうねぇ BBON に引っかかった方は
どんな使い方をしたかを報告してほしかったり、
各パラメータの微調整の参考にするだす >>405
どこぞの小物みたいにVIPだけ閉鎖ってのもつまんないですよね(^_^;) >>406
http://qb6.2ch.net/_403/c403.cgi
しばらくは、鯖名表示にしておくの・・・?
板名表示にはならないのかなぁ・・・ >408
ここも一緒に閉鎖するくらいの意気が欲しいやねー(^_^;) >>410
某ゴミにはそんな気概無いですってば(^_^;) >>409
「どこの板で引っかかったのか」という情報自体が無い気がする。 かかった人こないかなぁ
それとも寝ている間に回しているのかしら、、、 http://qb6.2ch.net/_403/c403.cgi
↑ここにアクセスしてバーボンリストに自分のホストは載ってないけど
一番上に現在deny中って出たらバーボン対象者に入ってるんすか?
ところで専用ブラウザには更新チェック機能があって、
subject.txtを順々に取得していく機能があるんだけどそれは引っ掛からないのかな?
subject.txtを取得せずに個別にdatを読んで更新することもあるし・・・ >416
一番上は自分のリモートホストの表示ですな(^_^;)
で、それと同じリモートホストがリストにあればdenyされてる・・・と >>417
万博板でdat増分取得300スレ分やってみたけどかからなかった・・・w >>412
あのー、アイモナなんですが、あるスレには行けなくて
同じ板の違うスレには行けます
これってどこに引っ掛かってるんでしょうか。。 バーボンに引っ掛かって、このスレッドにきたんすけども。。。 >>421
当方、ナローなんで更新で1秒間に複数回取得はできんのです・・・ >>426
わたしも手動ではひっかかるのは無理という状態です
つまり自分じゃ体験できない未知の領域。 >425
さしさわりなければfusianasanしてみるといいかも(^_^;)
あと、スレッドとかが見えるけど、書き込もうとしたらバーボンってのはまた別の仕組みです。 >>427
結構不確定要素が多いんですね(^_^;) 2chブラウザでスレタイトル押して取得したのも1回? >>430
田代砲発射間隔0秒で1000回回した程度では引っかからないっぽ。 さしさわりなければ答えて欲しいんですけど、合計約300板の
サブジェクトファイルをスクリプトで一気にダウンロードしたら
バーボンですか?
そんな感じのことをやってたんですけども。。。 書き込み規制も緩めて下さい!本とうにお願いします!! >>414
↓
>>359
>>368
>>407
かちゅ〜しゃでお気に入りスレの巡回を一度しただけですけれど。。。
●にログインしていると結構早く巡回するからそれが逆に駄目だったのかしら。。
新着レスお知らせ機能とかの特殊なのは一切使ってないです。ノーマル機能の「巡回」のみ。
全ての板を含めて500スレちょい。ニュース速報プラス板で巡回したのは50スレくらい。
これで引っかかるのは如何なものかと。。。 >>440
1) どのサーバで引っかかったですか?
2) どれくらいの時間内にどれくらいのファイルにアクセスしたですか?
つまりスピード、
>>436
どうもそこら辺の田代砲を先ほどの設定で30秒位回した程度ではやはり引っかからない模様。 IEで見ると各スレ毎に経過秒数が表示されるのは何? 家電板に田代砲を0.1秒間隔で100連射してもひっかからない
0.25秒間隔で200斉射しても全然大丈夫だった >>442
1
news19(ニュース速報プラス板)
2
かちゅ〜しゃの巡回機能で一度きり。
正確な速度はわからないっぽ。
●ログインで巡回すると目視では2秒に3スレくらい巡回している雰囲気。
新規取得レス数が多かったり少なかったりでかなりばらつきがある。
数量的にはnews19サーバ限定だと50くらい。2ちゃんねる全体で500ちょっと。
しかもこれかちゅ〜しゃのお気に入りに入れた順番に巡回しているわけだからnews19サーバのスレのみを
連続して取得したわけじゃない。
news19に限れば飛び飛びで取得している感じだから数秒〜数十秒に一度程度のアクセスだろう。
俺様のレスは不確定すぎて何の参考にもならないと思う。
ただ言えるのは「何でこれで引っかかるのかよ?!( ゚д゚)m6」ということのみ。
>>444
それで引っかからないのに何故俺様は。。。
>>446-447
ほぉー。
専ブラしか使わんから分からんかった。
らりあとー >>51 からの未読を読みました。
だいたい、予想通りの展開すね。
newsplus.jp も、ばっちりひっかかりで。
archplus.newsplus.jp とか stick.newsplus.jp とかは、dat読んでいます。
更新チェックあり、ディレイありでも、今みたいにすべての+が2台のサーバにおさまっていると、
全datの更新チェックを入れるだけで、すぐにアクセス数は2000ぐらいいって、ばっちりと。
で、別にnewsplus.jpがしくっても2ちゃんねる的には何の影響もないので、
そっちはあとで、ってことにして、
これから、上から順にレスを入れていきます。 ■ このスレッドは過去ログ倉庫に格納されています