クローラー＆過剰リロード対策スレ2【新バーボン】

**ｒｅｆｆｉ@報告人 ★** · 2005/04/16(土) 19:30:22

現状把握が困難なので前スレ参照してください。

前スレ
クローラー＆過剰リロード対策スレ
http://qb5.2ch.net/test/read.cgi/operate/1113508190/

**動け動けウゴウゴ２ちゃんねる** · 2005/05/31(火) 20:52:39

>>731
かちゅでできるの？

**動け動けウゴウゴ２ちゃんねる** · 2005/05/31(火) 21:13:48

>>732
http://kage.monazilla.org/test/read.cgi/kage/101531544/567

**怨念株式會社** · 2005/06/01(水) 09:27:08

やい
◆MiMIZUNCjA

回避方法教えてやる
・鯖毎(IP単位)で同時取得 (板単位ではない)
ex)pc7 と pc8で同時に取得可能
・１スレ取得ごとに２秒のwaitを入れる

これで回避できる (実際にできるがな)

◆MiMIZUNCjA · NG

>>734
実は２秒のwaitはやっていたり。
さば単位はめんどいのでやっていなかったり。。。
でも来週固定IP導入です

**動け動けウゴウゴ２ちゃんねる** · 2005/06/01(水) 09:47:38

n分以内にm回以上のGETで規制
実はnとmは完璧に見切ることが可能だったり。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/01(水) 09:51:58

＞ぐーぐる
むしろぐーぐる側がクロールの負荷を下げるように動くもんなんじゃないか？

**動け動けウゴウゴ２ちゃんねる** · 2005/06/01(水) 10:51:14

>>737
どーだろうね

２４時間休みなしに少しずつ取る (常時小さな負荷がかかりつづける)
と
（２４時間毎に）数分で一気に取る　(一瞬だけ大きな負荷がかかる)

どっちがいいのかと・・・

usen-219x113x212x182.ap-US.usen.ad.jp · 2005/06/01(水) 17:28:47

>>701
19 BBON.tmp5.719 　 219.113.212.182 (usen-219x113x212x182.ap-US.usen.ad.jp) 81

どうやら現在バーボンハウス規制かかってるようです･･･
それほど不自由もしていないので、のんびり待ってます

**root▲ ★** · NG

>>739
あれれ、おかしいですね。

ちと、確認してきます。

**root▲ ★** · NG

リロードバーボン用cgiの配布がいまいちでした。すんませんです。
配りなおしたので、今後は大丈夫なはず。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/03(金) 00:16:37

Janeで板の全スレ取得しようと一生懸命やってたら規制された
3年2chやってたけど知らなかったなあこの対策っての。
気をつけよう

**動け動けウゴウゴ２ちゃんねる** · 2005/06/03(金) 00:22:36

俺がこの前2，3の板でIDストーキングした時は大丈夫だったけど
取得の間隔とか板毎の設定の違いかな…

**動け動けウゴウゴ２ちゃんねる** · 2005/06/05(日) 11:44:36

ニュー速の過去ログ取得してたら規制されたった

2005/06/05(日) 16:42:46

BBON.ex9.4315 焼 211.231.187.48 (211.231.187.48) 11
新記録?

◆MiMIZUNCjA · NG

ようやく固定IPになれました。

203.181.48.82

よろしくお願いします。

**root▲ ★** · 2005/06/06(月) 12:11:52

>>746
I registered it into the BBON except list.

**root▲ ★** · 2005/06/06(月) 12:12:58

ということでとりあえず追加しましたが、
そろそろ白山羊をまじめに動かさないといかんですね。

どっかで、じっけん、はじめるかな。

◆MiMIZUNCjA · NG

わーい。ありがとうございます。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/06(月) 12:53:44

最近白山羊とかBlack Ghostとか聞きますが、これは何ですか？

**動け動けウゴウゴ２ちゃんねる** · 2005/06/06(月) 13:14:22

>>750
お手紙を読まずに食べ（ｒｙ

**ヾ（ﾟﾊﾟ）ﾉ** ◆f0.zuburi6 · 2005/06/06(月) 14:14:52

仕方が無いのｄ(ry

**讃岐フォアンフォアン▲** ◆MylTDX..QI · NG

お手紙書い(ry

**動け動けウゴウゴ２ちゃんねる** · 2005/06/06(月) 14:20:22

エェェ(´д｀)ェェエ

**〈(｀･ω･｀)〉Ψ** ◆EQUAL/Pi.Q · 2005/06/06(月) 14:41:02

　〈( ｀･ω･)〉ﾑｼｬﾑｼｬ
　　　つi'"':
　　　　`､:_i'

**動け動けウゴウゴ２ちゃんねる** · NG

Reffiさんがーお手紙書いたー
ひろゆきさんたら読まずにスルー
しーかたがないのでもう一回かーいた
この前の手紙のお返事まーだ？

(;^_^)こんな事を想像…

**讃岐フォアンフォアン▲** ◆MylTDX..QI · NG

すぐ想像できてｗ

**動け動けウゴウゴ２ちゃんねる** · NG

>>757
まぁいつものこｔ…ｹﾞﾌﾝｹﾞﾌﾝ

**root▲ ★** · NG

もうそのへんでよろしやろ(塩爺)。

**動け動けウゴウゴ２ちゃんねる** · NG

(´･ω･｀)

◆X7F1FulWvk · 2005/06/06(月) 17:55:46

という訳でdat要求を適度に無視する羊さん達ですね。

**root▲ ★** · NG

>>761
無視はしないと思うですよ。
適当に遅れる羊ってかんじで。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/06(月) 19:23:56

山羊は反芻動物だから、それに掛けたと勝手に思ってた

◆WMaLhm.gkw · 2005/06/06(月) 19:41:47

ゲートとゴートをかけたシャレだと思ってました。

◆X7F1FulWvk · 2005/06/06(月) 21:12:41

>>762
えー。遅れてる間に３回リクエストしたら、
２回は無視されてるのと同じじゃないですか。
クライアントの気持ち。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/06(月) 21:54:00

>>746
203.181.48.82 -> q048082.ppp.asahi-net.or.jp

なんだかな～

>748
SQUIDですか？

もしそうであるなら
bbs.cgiとread.cgiは拒否 (/test/フォルダ自体拒否でいいかも)
～/～.txt
と
～/dat/～.dat
はスルーでいいかと

**750** · 2005/06/07(火) 03:27:05

えーと…

良く分からなかったので、とりあえずdat読込遅延システムってことにしておきます。失礼しました。

q048082.ppp.asahi-net.or.jp · NG

>>766
やすかったもんだからつい。。。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/09(木) 14:21:21

バックゲート → ブラックゴート → 黒羊でFA?

**動け動けウゴウゴ２ちゃんねる** · 2005/06/10(金) 06:13:09

確か、そんな流れだったような・・・

要は、書き込みだけじゃなくて、読み込みにも時間（間隔）制限付けましょ。って話な訳で。
そうすれば、鯖もﾊｯﾋﾟｰ、みんなもﾊｯﾋﾟｰ。と。
鯖落ちしにくくなるからね。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/12(日) 15:17:27

それは建て前で、本音は新たな課金対象を作るための布石でしょ

**動け動けウゴウゴ２ちゃんねる** · 2005/06/12(日) 16:06:36

実況とかはどうなるの？
祭りになってる状態とかも・・・
もちろんそれを取り締まるものなんだろうけど、2chの面白さがぐんと減ってしまうような

**動け動けウゴウゴ２ちゃんねる** · 2005/06/12(日) 20:44:40

>>772
祭り専用鯖(無制限)とか作って欲しいよね。たしかに。
ひ（りゃ直轄鯖は対象外にするんかなー。んなわきゃ無いのは解かってはいるつもりだが。

**root▲ ★** · NG

今使っていないバーチャルホストを使って、tiny白山羊のテストをはじめてみた。

今のところtiger/cobraサーバの板だけ。
10分に1回同期。

http://liveb1.2ch.net/

**動け動けウゴウゴ２ちゃんねる** · 2005/06/13(月) 17:59:55

**動け動けウゴウゴ２ちゃんねる** · 2005/06/13(月) 20:04:36

>>774

>Server: Apache/2.0.53
！？

2chブラウザの読み取り用？

◆TWARamEjuA · 2005/06/13(月) 21:01:08

http://sv2ch.baila6.jp/server.cgi?server=liveb1.2ch.net
uptime止めちゃったんだよねぇ（苦笑）

**動け動けウゴウゴ２ちゃんねる** · 2005/06/13(月) 22:05:11

またstarcatバーボンかよ。巻き添えがひどすぎる。まったく、誰がやってんだ…。

**root▲ ★** · NG

>>776
datをsubject.txtがほしい人は、ここからどうぞってかんじですね。

>>777
機を見て動かします。

**root▲ ★** · NG

>>777
http://liveb1.2ch.net/_service/20050613.txt

**動け動けウゴウゴ２ちゃんねる** · 2005/06/14(火) 01:08:23

liveb1 いいですね。

DAT取得時に先に一度 liveb1 で取得して、それから各サーバ
より差分取得すれば、各サーバの転送量を削減できそう。

各サーバがダウンしても liveb1 に直前まで取り込んでいたと
ころまで参照は出来るという利点もあるし。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/14(火) 01:15:33

さらに推し進めて、建ってから10分以上過ぎたスレは差分取得
の要求じゃないと受け付けないようにするとか…
（先に liveb1 に寄ってから出直してこいと、、）

Range指定無しとか、Rangeがあっても 0- とかの要求を弾けば
良いわけだが、そんな実装できるのかはしらん。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/14(火) 23:27:52

うんうん

**動け動けウゴウゴ２ちゃんねる** · 2005/06/14(火) 23:43:51

**動け動けウゴウゴ２ちゃんねる** · 2005/06/15(水) 19:11:59

久しぶりにハーボン引っかかった
普段はこんなヘマはしないのだが、今回は違った
ニュー速VIPのスレ一覧の底のほうに、圧縮の残骸が300スレ程残っている
これを開くと計２回カウントされてしまうので、普段の半分でバーボン逝きになってしまう

ニュー速VIPのスレ一覧はほんと弱い
毎日壊れている
いつになったら直るのだろうか
定期的に修復作業を自動化できないのか

**動け動けウゴウゴ２ちゃんねる** · 2005/06/15(水) 21:00:19

復帰依頼しろよ

**動け動けウゴウゴ２ちゃんねる** · 2005/06/16(木) 02:21:26

>>785
オレンジジュース吹き出したやんけw＜ハーボン

**動け動けウゴウゴ２ちゃんねる** · 2005/06/16(木) 14:09:48

スレッド一覧の底に溜まった残骸スレ取得で2回カウントするのなんとかしてくれよぅ・・・

**動け動けウゴウゴ２ちゃんねる** · 2005/06/16(木) 14:19:27

ここいらでポイント制導入はいかがでしょうかｗ

**動け動けウゴウゴ２ちゃんねる** · 2005/06/17(金) 18:14:14

バーボン規制食らった
規制回避は完璧だったはずなのに・・・

すると見覚えのないアクセスが150ほど

**動け動けウゴウゴ２ちゃんねる** · 2005/06/17(金) 18:16:03

踏み台おめでとう

**動け動けウゴウゴ２ちゃんねる** · 2005/06/18(土) 20:37:09

このブッコ抜きってクローラ対策に引っ掛からないの？

ttp://2hr？x2e;tokix？x2e;net/

**動け動けウゴウゴ２ちゃんねる** · 2005/06/19(日) 16:39:40

おっけー (●Д●)
ようこそーハードゲイハウスへ。
この腰の振りはサービスですからねー、ちょっと見てくださいよー。

おっけー、私ハードゲイなんですよー。すみませんー。
ハードゲイフォオオオオオオオオゥ(●Д●)

だけどあなた私のこの腰の振りを見たとき、きっと言葉では言い表せない
「よろこび」みたいなものを感じてませんかー？フォオオオオオオゥ
殺伐とした世の中で、こういうよろこびを感じていって欲しかったんですよー
そう思って、ボクはハードゲイになったんですよー。

それじゃー一緒に腰を振りましょうかーフォオオオオオオゥ

**動け動けウゴウゴ２ちゃんねる** · 2005/06/19(日) 17:37:43

-･=-　-･=ｰ　やあ　ようこそホリエモンハウスへ
この諭吉はサービスだから、まずポケットに入れて落ち着いて欲しい。

うん、「つんでる」んだ。済まない。
乙部の顔もって言うしね、金以外で許してもらおうとも思っていない。

でも、このレスを見たとき、君は、きっと言葉では言い表せない「想定外」みたいなものを
感じてくれたと思う。

じゃあ、時間外取引しようか。

2005/06/20(月) 14:12:08

14 BBON.life7.436 http://k-2ch.as.wakwak.ne.jp/
...

◆inODPD6owQ · 2005/06/20(月) 16:26:57

(´･ω･) ｶﾜｲｿｽ

**讃岐フォアンフォアン▲** ◆MylTDX..QI · NG

(´･ω･)ｶﾜｲｿｽ

211.10.184.242.customerlink.pwd.ne.jp · 2005/06/20(月) 16:33:56

(´･ω･)

**動け動けウゴウゴ２ちゃんねる** · 2005/06/20(月) 16:47:11

串でも焼きながら待てとか書いてあるのに焼きを押すとバーボンハウスに飛ばされる件について

**動け動けウゴウゴ２ちゃんねる** · 2005/06/21(火) 21:09:29

件名はいいから本文を書いてくれ

**動け動けウゴウゴ２ちゃんねる** · 2005/06/21(火) 23:15:10

串焼きは通常バーボンに引っかかった人向けのサービスですからｗ

**なんだかなあ** · 2005/06/27(月) 05:07:51

専用ブラウザで巡回すると
途中ですぐここにきちゃうハメに陥りがちなんだけど
なんとかならんもんかな

**動け動けウゴウゴ２ちゃんねる** · 2005/06/27(月) 11:14:44

巡回やめれという狐の碁石です

2005/06/28(火) 18:17:03

BBON.comic6.1459 210.130.255.3 (wall.shueisha.co.jp) 84

**動け動けウゴウゴ２ちゃんねる** · 2005/06/28(火) 22:50:44

何でしょうね～
自社出版物が流れてないか監視かな

**動け動けウゴウゴ２ちゃんねる** · 2005/06/29(水) 14:03:29

BBON.hobby8.400210.227.120.166 (mx.rakuno.ac.jp) 80
BBON.news18.496 210.172.213.121 (www.ho-op.net) 70
http://www.rakuno.ac.jp/
http://www.ho-op.net/

**動け動けウゴウゴ２ちゃんねる** · 2005/06/29(水) 14:22:50

>805
早売りデイだからでそ

**動け動けウゴウゴ２ちゃんねる** · 2005/06/30(木) 07:28:54

BBON.tv6.1910 　 221.186.155.61 (garnet.ntt-it.co.jp) 76

なんだろう？

**動け動けウゴウゴ２ちゃんねる** · 2005/06/30(木) 22:31:50

19時ごろにもあった

**動け動けウゴウゴ２ちゃんねる** · 2005/06/30(木) 23:08:13

社員個人が社内から閲覧で巡回とかなだけとかな。

**動け動けウゴウゴ２ちゃんねる** · 2005/07/04(月) 11:08:26

BBON.news19.751 　 133.35.45.20 (tsdyn04.gs.niigata-u.ac.jp) 66

**動け動けウゴウゴ２ちゃんねる** · 2005/07/04(月) 12:24:46

BBON.life7.639 　 130.158.103.206 (soft.risk.tsukuba.ac.jp) 60

**動け動けウゴウゴ２ちゃんねる** · 2005/07/04(月) 13:54:57

BBON.news18.456 　 219.127.148.251 (inetfw01ext.jpo.go.jp) 56

特許庁の中の人も暇だなぁ

**動け動けウゴウゴ２ちゃんねる** · 2005/07/04(月) 19:46:33

news4vip 　 133.70.158.104 (idlgw2.rie.shizuoka.ac.jp) 27

**動け動けウゴウゴ２ちゃんねる** · 2005/07/04(月) 21:10:57

新潟、筑波、静岡大学必死だなｗｗｗｗｗｗｗ

**動け動けウゴウゴ２ちゃんねる** · 2005/07/04(月) 23:51:12

ac.jpて大学ドメインだたのか

**動け動けウゴウゴ２ちゃんねる** · 2005/07/05(火) 01:36:45

ACademy
GOverment
COmpany
ORganization

そういえば、今はor.jpって新規申請できないんでしたっけ？

**動け動けウゴウゴ２ちゃんねる** · 2005/07/05(火) 10:18:28

筑波はSoftEatherのスパイ疑惑関係の希ガス

**動け動けウゴウゴ２ちゃんねる** · 2005/07/05(火) 17:24:25

BBON.music4.420 　 210.151.102.252 (sv.bunka-wu.ac.jp) 82

BBON.pc8.466 　 131.206.108.31 (iroha.club.kyutech.ac.jp) 82

**動け動けウゴウゴ２ちゃんねる** · 2005/07/06(水) 10:51:59

BBON.ex10.543 　 133.5.51.10 (flcfw.rc.kyushu-u.ac.jp) 70

NG

16BBON.pc8.539　 222.147.212.17 (p6017-ipad06otsu.shiga.ocn.ne.jp) 91
（つД｀）

一度ログを観てみたい。。。

Monazilla/1.00 MAKA/1.0b

NG

21BBON.hobby8.428　 222.147.212.17 (p6017-ipad06otsu.shiga.ocn.ne.jp) 40
もしかして、crondのお時間に誤計測しているとかとか？

Monazilla/1.00 MAKA/1.0b

▲ ◆SANUKI/VII · NG

|дﾟ)ｼﾞｰ･･･

**root▲ ★** · NG

>>821-822
うーむ。

**動け動けウゴウゴ２ちゃんねる** · 2005/07/11(月) 20:14:25

ｼｸｼｸ・・・
dat落ちしたスレ拾うのに、二回カウントするのやめておくれよぅ
liveスレとあわせて800スレも拾ってないのに・・・

▲ ◆SANUKI/VII · NG

800スレって…

**動け動けウゴウゴ２ちゃんねる** · 2005/07/11(月) 20:24:55

27BBON.ex10.2784211.1.81.154 (ag154.opt2.point.ne.jp) 2
28BBON.ex10.2683211.1.81.248 (ag248.opt2.point.ne.jp) 2
29BBON.ex10.2175210.249.146.140 (bj140.opt2.point.ne.jp) 2

**▲ 某ソレ511** · 2005/07/11(月) 20:54:02

http://mumumu.mu/bremen/ex10.html

http://qb6.2ch.net/_403/
23　BBON.ex10.2784　211.1.81.154 (ag154.opt2.point.ne.jp) 31
24　BBON.ex10.2683　211.1.81.248 (ag248.opt2.point.ne.jp) 31
25　BBON.ex10.2175　210.249.146.140 (bj140.opt2.point.ne.jp) 31
29　BBON.ex10.4838　211.9.171.27 (cu27.opt2.point.ne.jp) 11
34　BBON.ex10.3441　211.1.81.230 (ag230.opt2.point.ne.jp) 1
36　BBON.ex10.2683　211.9.157.2 (cg2.opt2.point.ne.jp) 1
38　morningcoffee　211.9.157.126 (cg126.opt2.point.ne.jp) 0

まぁ、、なんかあほがいるっぽいね

**LampeTorche** ◆f.lightAf6 · 2005/07/11(月) 20:57:27

狼で最速1000らしいです

**動け動けウゴウゴ２ちゃんねる** · 2005/07/11(月) 22:07:59

>>826
「…」までつけて驚くほどでもないと思うぞｗ
板の観察してれば1000以上はちょくちょくあるよ。

**動け動けウゴウゴ２ちゃんねる** · 2005/07/12(火) 02:20:07

バーボン回避にレスポンスが速い串を利用させてもらってるんですが、
society3が毎度その速い串をバーボンにしていくんで困ってます・・・
最近、news18や19に出没しだしたのも同一人物？

次々串変えるんなら、わざわざバーボンにしなくても399で寸止めしてくれたらなぁ・・・
一部の心無いクローラーのおかげで、同じ串を利用する人が迷惑してます