クローラー＆過剰リロード対策スレ

**ｒｅｆｆｉ@報告人 ★** · 2005/04/15(金) 04:49:50

最近、頻発しているクローラーや過剰リロード対策スレッドです。

★FAQ

■クローラーや過剰リロードとは？
・ツール等を使って板のスレッドを根こそぎＤＬする行為をクロール行為と
　いいます。
　クローラーとはクロール行為をする人の事です。
・過剰リロードとは文字通り過剰にリロードをしてsubject.txt等を取得
　する行為です。

■どうして迷惑なの？
　クロール行為や過剰リロードは鯖に過剰な負担をかけるため、最悪、鯖落ち
　する危険があります。

■やったらどうなるの？
　発見されて悪質な場合は規制情報板に掲載の上、該当プロバイダに通報
　されます。
　もしも先方が対応しなかったり、再発するような場合は .htaccessで
　denyする場合もあります。

■.htaccessでdenyされるとどうなるの？
　.htaccessでdenyされると書き込みはおろか閲覧すら出来なくなります。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 03:47:17

みなさん乙です｡
クロールとか暇な時無意識にしちゃってる悪寒…
鯖の負担とかあまり考えた事ありませんでした｡
ごめんなさい(´･ω･｀)アイモナから反省パピコ

**マァヴ** ◆jxAYUMI09s · NG

>354
かかっても不思議はないと思われ(^_^;)常識的に考えて無茶なアクセスでしょ？
実際かかるかどうかはわからんけど・・・・

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 03:49:32

49 BBON.etc3 　 61.124.229.141 (actkyo002141.adsl.ppp.infoweb.ne.jp) 0
これはもしかしてvoteかなｗ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 03:49:54

わかんねぇのかよ！

**のいぽー（本物）** ◆News/n6/H2 · 2005/04/16(土) 03:50:16

ニュース速報プラス板で引っかかった。
かちゅ～しゃで巡回を一度しただけなのに。どういう基準なのかすら。。。

**動け動けウゴウゴ２ちゃんねる** · NG

しばらく様子見ていい具合にチューニングしてくれよ
いい迷惑だから

**マァヴ** ◆jxAYUMI09s · NG

>358
わかるのかよ！(^_^;)

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 03:51:01

巡回とかするやつはバーボン呑みまくれ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 03:51:51

以前に携帯からのアクセス(私家版含む)を全て黒山羊BlackGoat経由にするって話が出たとき、
黒山羊が落ちたら携帯からのアクセスが全滅してなにも出来なくなってまずいってことで、
各私家版メニューの中間鯖でwait入れてもらって様子見ることに落ち着いたんじゃなかったっけ？
つか黒山羊BlackGoatさんは全部の私家版メニューからのアクセスに耐えられないんじゃないの？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 03:51:55

>>360
http://qb5.2ch.net/test/read.cgi/operate/1113435319/883

**（・３・）ぼるじょあ** ◆yBEncckFOU · 2005/04/16(土) 03:52:29

>>354
ちょ、ちょっと待って・・・２ちゃんで3回/secをする必要性が見つからないんだＧＡ・・・

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 03:53:19

>>365
例　え　だ　っ　つ　っ　て　ん　の

**マァヴ** ◆jxAYUMI09s · NG

>363
当初から黒ヤギさんのチューニングも進んでるし、台数も２台になってるからね(^_^;)
実際どの程度こなせるかはroot ★さんがよくわかってるとは思うけど・・・・
黒ヤギさん通すことで２ｃｈの負荷が軽減されることは確実(^_^;)うまくいくといいねー

**のいぽー（本物）** ◆News/n6/H2 · 2005/04/16(土) 03:54:12

http://qb6.2ch.net/_403/c403.cgi
58 BBON.news19 　 218.218.14.139 (EATcf-320p139.ppp15.odn.ne.jp) 1

うひょ。やっぱり引っかかってたよママン。
しゃばな！　うっ　かもん　ぎでった　はぅ　
げっと　おん　ざ　ぐっと　ふっと
ゲドン　グッフッ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 03:57:17

もう２ちゃんねるも終わりだな
バカスタッフ共そんな事もわからないの？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 03:58:21

単なる名無しですがわかりません。

**マァヴ** ◆jxAYUMI09s · NG

>369
終わるとなんかまずいのかな？(^_^;)

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:00:21

売られたけんかは残さず買う

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:00:22

終わっていいとも

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:01:08

スタッフって誰？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:01:27

subject.txtも対象に入ってるんすか～？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:02:06

お給料貰ってる人なんていないような

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:02:20

>>367
この前ｃだけのアクセスで転送量頭打ちになってたようだが、
ホントに大丈夫かねえ(;´-`)

**ｒｅｆｆｉ@報告人 ★** · 2005/04/16(土) 04:03:15

閾値を２倍に設定してもまだ引っかかる人は板巡回の方法を変えた方がいいですね。
漏れはJaneDoeViewだけど未読スレはスレを開かないと取得しない設定でやっていて
まだ引っかかってないです。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:04:55

黒山羊さんをあと２台くらい追加するとか

**真・変態(´ﾟω。`)** ◆iGHtueIUIU · 2005/04/16(土) 04:05:10

>>371
ぜんぜん問題ないです(^_^;)

**FOX ★** · NG

>>377
それは　ローカルなスイッチじゃないの?
よく仕組みはわからないけど、

もしくは二台くらい専用の BlackGoat をいれればいいような

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:05:31

>>378
専ブラの問題もあるけど、あと取得するスレの量によっても、
BBON行きになりそう・・・

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:06:09

>>375 そうだ！俺もそれが知りたい(ﾟДﾟ)

**マァヴ** ◆jxAYUMI09s · NG

>377
帯域が詰まるのは黒ヤギさん側でしょ？(^_^;)
ってことは黒ヤギさんの帯域を広げればいいわけで・・・・
プライベートネットワークなんで1Gbpsとかにすればいいんでないかと。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:06:37

>>375
俺も聞いておきたい
クローラー作ろうかと思ってるから
まあ10分に1回程度だけど

**マァヴ** ◆jxAYUMI09s · NG

あ、プライベートじゃないのか？(^_^;)まずいのかも・・・・

[―{}@{}@{}-] **通りすがり** · 2005/04/16(土) 04:10:30

●持っててもだめなの？

**マァヴ** ◆jxAYUMI09s · NG

>387
だめだと思われ(^_^;)判別方法ないし

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:12:24

携帯アクセスを全て黒山羊さんからするなら、
現在のdelay120秒ってのは止めて欲しいわ～

**真・変態(´ﾟω。`)** ◆iGHtueIUIU · 2005/04/16(土) 04:12:31

>>388
それは困りましたね(^_^;)

**マァヴ** ◆jxAYUMI09s · NG

>389
黒ヤギさんの目的が優先かと(^_^;)
逆に言えば、黒ヤギさんの目的が阻害されてるような運用があるなら
外部携帯サーバは排除されてもしょうがない気がする

**マァヴ** ◆jxAYUMI09s · NG

>390
ま、無茶な使い方しなきゃいいだけで(^_^;)

**ｒｅｆｆｉ@報告人 ★** · 2005/04/16(土) 04:14:00

なんかdy.bbexcite.jpで必死に繋ぎ変えてはバーボン送りにされてるのが居ますねぇ（苦笑
おととい警告出した香具師と同じかな？

**真・変態(´ﾟω。`)** ◆iGHtueIUIU · 2005/04/16(土) 04:14:35

ものは言いようですしね(^_^;)

**FOX ★** · NG

>>389
60secじゃないの?

2005/04/16(土) 04:15:33

>>388
そんな、、、
これからたくさん過去ログ集めようと思っていたのに

**マァヴ** ◆jxAYUMI09s · NG

>396
のんびり集めるってことで(^_^;)これ重要

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:17:10

>>396
delayを10sec位にしてのんびり集めるのはどうよ？

**動け動けウゴウゴ２ちゃんねる** · NG

offlaw.cgiへのアクセスは容認すればいいのかな？＜●のサービス保証

2005/04/16(土) 04:18:21

ま、いっか

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:18:36

>>391
いや、転送量頭打ちの前は60秒だったのよ。
それが今は倍の120秒更新になっててさ～。
ちょっと反応鈍すぎってカンジなのよね。

**マァヴ** ◆jxAYUMI09s · NG

>399
無茶なアクセスを保障する必要はないと思われ(^_^;)
それでもめるのも一興かもしれんけどね

**真・変態(´ﾟω。`)** ◆iGHtueIUIU · 2005/04/16(土) 04:21:05

２ちゃんねる１日閉鎖も面白そうですね(^_^;)

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:21:53

２ちゃんねる閉鎖まだですかね(^_^;)

**マァヴ** ◆jxAYUMI09s · NG

閉鎖説が流れ始めてはや６年(^_^;)なんかしぶとく続きますねー

**FOX ★** · NG

>>401
そうなんだ、

NTTecから管理人への見積もりは出たという噂は耳にしましたが、
どうなるんでしょうねぇ

**FOX ★** · NG

BBON に引っかかった方は
どんな使い方をしたかを報告してほしかったり、

各パラメータの微調整の参考にするだす

**真・変態(´ﾟω。`)** ◆iGHtueIUIU · 2005/04/16(土) 04:26:25

>>405
どこぞの小物みたいにVIPだけ閉鎖ってのもつまんないですよね(^_^;)

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:27:44

>>406
http://qb6.2ch.net/_403/c403.cgi

しばらくは、鯖名表示にしておくの・・・？
板名表示にはならないのかなぁ・・・

**マァヴ** ◆jxAYUMI09s · NG

>408
ここも一緒に閉鎖するくらいの意気が欲しいやねー(^_^;)

**真・変態(´ﾟω。`)** ◆iGHtueIUIU · 2005/04/16(土) 04:28:27

>>410
某ゴミにはそんな気概無いですってば(^_^;)

**動け動けウゴウゴ２ちゃんねる** · NG

>>409
「どこの板で引っかかったのか」という情報自体が無い気がする。

**ｒｅｆｆｉ@報告人 ★** · 2005/04/16(土) 04:29:22

qb5で喰らった香具師が出たみたいですね（汗

**FOX ★** · NG

かかった人こないかなぁ

それとも寝ている間に回しているのかしら、、、

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:32:07

そういや引っ掛かった人来ないっすね。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:32:14

http://qb6.2ch.net/_403/c403.cgi
↑ここにアクセスしてバーボンリストに自分のホストは載ってないけど
一番上に現在deny中って出たらバーボン対象者に入ってるんすか？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:32:44

あえて自分で引っかかってみたらいかがかしら？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:33:02

ところで専用ブラウザには更新チェック機能があって、
subject.txtを順々に取得していく機能があるんだけどそれは引っ掛からないのかな？
subject.txtを取得せずに個別にdatを読んで更新することもあるし・・・

**マァヴ** ◆jxAYUMI09s · NG

>416
一番上は自分のリモートホストの表示ですな(^_^;)
で、それと同じリモートホストがリストにあればdenyされてる・・・と

**真・変態(´ﾟω。`)** ◆iGHtueIUIU · 2005/04/16(土) 04:33:38

>>417
そのへんよろしく(^_^;)

**FOX ★** · NG

>>418
そういうのを知りたかったりする

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:34:01

>>417
万博板でdat増分取得300スレ分やってみたけどかからなかった・・・ｗ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:35:34

>>422
いまいち基準がはっきりしないのか

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:35:42

>>412
あのー、アイモナなんですが、あるスレには行けなくて
同じ板の違うスレには行けます
これってどこに引っ掛かってるんでしょうか。。

**416** · 2005/04/16(土) 04:36:04

バーボンに引っ掛かって、このスレッドにきたんすけども。。。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:37:07

>>421
当方、ナローなんで更新で1秒間に複数回取得はできんのです・・・

**FOX ★** · NG

>>426
わたしも手動ではひっかかるのは無理という状態です
つまり自分じゃ体験できない未知の領域。

**マァヴ** ◆jxAYUMI09s · NG

>425
さしさわりなければfusianasanしてみるといいかも(^_^;)
あと、スレッドとかが見えるけど、書き込もうとしたらバーボンってのはまた別の仕組みです。

**真・変態(´ﾟω。`)** ◆iGHtueIUIU · 2005/04/16(土) 04:39:55

>>427
結構不確定要素が多いんですね(^_^;)

**FOX ★** · NG

>>429
たとえば?

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:41:10

2ｃｈブラウザでスレタイトル押して取得したのも1回？

**真・変態(´ﾟω。`)** ◆iGHtueIUIU · 2005/04/16(土) 04:41:13

>>430
さぁ(^_^;)

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:41:33

>>430
田代砲発射間隔0秒で1000回回した程度では引っかからないっぽ。

**FOX ★** · NG

>>433
サーバどこ?

動かしてみますが、

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:43:54

>>434
etc3

**FOX ★** · NG

>>435
動かしてみた

**416** · 2005/04/16(土) 04:46:13

さしさわりなければ答えて欲しいんですけど、合計約300板の
サブジェクトファイルをスクリプトで一気にダウンロードしたら
バーボンですか？
そんな感じのことをやってたんですけども。。。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:47:58

書き込み規制も緩めて下さい！本とうにお願いします！！

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:48:14

スレッドランキングの中の人ってそんな感じなのかな

**のいぽー（本物）** ◆News/n6/H2 · 2005/04/16(土) 04:48:17

>>414
↓
>>359
>>368

>>407
かちゅ～しゃでお気に入りスレの巡回を一度しただけですけれど。。。
●にログインしていると結構早く巡回するからそれが逆に駄目だったのかしら。。
新着レスお知らせ機能とかの特殊なのは一切使ってないです。ノーマル機能の「巡回」のみ。
全ての板を含めて500スレちょい。ニュース速報プラス板で巡回したのは50スレくらい。
これで引っかかるのは如何なものかと。。。

**マァヴ** ◆jxAYUMI09s · NG

>437
>356(^_^;)

**FOX ★** · NG

>>440

1) どのサーバで引っかかったですか?
2) どれくらいの時間内にどれくらいのファイルにアクセスしたですか?
　　つまりスピード、

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:51:51

>>437
それは引っ掛かると思われ。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:51:59

>>436
どうもそこら辺の田代砲を先ほどの設定で30秒位回した程度ではやはり引っかからない模様。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:54:20

IEで見ると各スレ毎に経過秒数が表示されるのは何？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:55:12

>>445
それはIEの機能じゃなく壷の機能

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:56:01

>>445
禁断の壺

**FOX ★** · NG

root ★さんに仕込み方のメール送りましたー

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:56:42

IEで開いて探してしまったじゃないか

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:57:03

家電板に田代砲を0.1秒間隔で100連射してもひっかからない
0.25秒間隔で200斉射しても全然大丈夫だった

**のいぽー（本物）** ◆News/n6/H2 · 2005/04/16(土) 04:57:34

>>442
1
news19（ニュース速報プラス板）
2
かちゅ～しゃの巡回機能で一度きり。
正確な速度はわからないっぽ。
●ログインで巡回すると目視では2秒に3スレくらい巡回している雰囲気。
新規取得レス数が多かったり少なかったりでかなりばらつきがある。
数量的にはnews19サーバ限定だと50くらい。2ちゃんねる全体で500ちょっと。

しかもこれかちゅ～しゃのお気に入りに入れた順番に巡回しているわけだからnews19サーバのスレのみを
連続して取得したわけじゃない。
news19に限れば飛び飛びで取得している感じだから数秒～数十秒に一度程度のアクセスだろう。

俺様のレスは不確定すぎて何の参考にもならないと思う。
ただ言えるのは「何でこれで引っかかるのかよ？！(　ﾟдﾟ)m6」ということのみ。

>>444
それで引っかからないのに何故俺様は。。。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:58:57

>>446-447
ほぉー。
専ブラしか使わんから分からんかった。
らりあとー

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 04:59:04

というか禁断の壺の経過秒数いらないと思う。

**root▲ ★** · NG

>>51 からの未読を読みました。
だいたい、予想通りの展開すね。

newsplus.jp も、ばっちりひっかかりで。
archplus.newsplus.jp とか stick.newsplus.jp とかは、dat読んでいます。
更新チェックあり、ディレイありでも、今みたいにすべての+が2台のサーバにおさまっていると、
全datの更新チェックを入れるだけで、すぐにアクセス数は2000ぐらいいって、ばっちりと。

で、別にnewsplus.jpがしくっても２ちゃんねる的には何の影響もないので、
そっちはあとで、ってことにして、
これから、上から順にレスを入れていきます。