X

クローラー＆過剰リロード対策スレ2【新バーボン】

■ このスレッドは過去ログ倉庫に格納されています
2005/04/16(土) 19:30:22ID:???0
現状把握が困難なので前スレ参照してください。

前スレ
クローラー＆過剰リロード対策スレ
http://qb5.2ch.net/test/read.cgi/operate/1113508190/
2005/05/29(日) 10:40:55ID:ezbTIP5kO
2295％！？
2005/05/29(日) 14:29:20ID:SlV8gfu+0
ログ取ってたら、やられた・・・
717
垢版 |
2005/05/29(日) 15:21:27ID:/OPZ1EJI0
20 BBON.pie.2984 60.46.148.122 (i60-46-148-122.s02.a008.ap.plala.or.jp) 10
2005/05/29(日) 15:26:24ID:46uboYP70
またpie鯖か…どこの板だろ。
2005/05/29(日) 16:49:47ID:53VWRILB0
読み込みに串使う。最強。
しかしRangeとかが対応してないとかちゅは駄目らしい。
2005/05/30(月) 00:30:24ID:8zHOX+0m0
そのうち串での読みこみも禁止されたりしてなｗ
運営が串を全部denyにぶち込むなんて横暴な真似をしないとも限らん
721動け動けウゴウゴ２ちゃんねる
垢版 |
2005/05/30(月) 01:35:04ID:VDNGvJWa0
初心者の質問
クローラーってなに？
2005/05/30(月) 01:56:23ID:Rs/MlQ0z0
('A`)ﾉ⌒ ttp://e-words.jp/w/E6A49CE7B4A2E383ADE3839CE38383E38388.html
2005/05/30(月) 21:32:23ID:Bpo+Kp4B0
>>713-714
google が引っかかったのか……
これもやっぱり悪と見なして禁止するの？
2005/05/30(月) 21:42:15ID:kRMNTm7r0
っていうかgoogleには２ｃｈとブログは拾って欲しくないな
2005/05/31(火) 00:47:26ID:kBXKW+VJ0
2chに来たきっかけがgoogleの検索だった人も多いのでは？
2005/05/31(火) 00:52:52ID:igEOaeHF0
PC組んでる人には、googleで2chスレが引っかからないのはなかなか厳しいな
2005/05/31(火) 11:06:02ID:eUwJBDQd0
２ちゃんには雑談以外の貴重なデータベースもある。
出来ればぐーぐるは許可して欲しい。
2005/05/31(火) 15:45:29ID:43yMmW7/O
つ[fined.2ch.net]
2005/05/31(火) 15:47:24ID:43yMmW7/O
つ[find.2ch.net]○
fined×
2005/05/31(火) 16:18:54ID:qzdndrCe0
うほｗ　かちゅの巡回でひっかかったｗｗｗｗっうぇｗｗｗｗｗ
2005/05/31(火) 20:16:07ID:J6kC1tX50
>>730
巡回間隔を設定しる
2005/05/31(火) 20:52:39ID:tAWE1ihV0
>>731
かちゅでできるの？
2005/05/31(火) 21:13:48ID:J6kC1tX50
>>732
http://kage.monazilla.org/test/read.cgi/kage/101531544/567
734怨念株式會社
垢版 |
2005/06/01(水) 09:27:08ID:5p5HxYUC0
やい
◆MiMIZUNCjA

回避方法教えてやる
・鯖毎(IP単位)で同時取得 (板単位ではない)
ex)pc7 と pc8で同時に取得可能
・１スレ取得ごとに２秒のwaitを入れる

これで回避できる (実際にできるがな)
NGNG
>>734
実は２秒のwaitはやっていたり。
さば単位はめんどいのでやっていなかったり。。。
でも来週固定IP導入です
2005/06/01(水) 09:47:38ID:1bPFsZeW0
n分以内にm回以上のGETで規制
実はnとmは完璧に見切ることが可能だったり。
2005/06/01(水) 09:51:58ID:78Weu/H80
＞ぐーぐる
むしろぐーぐる側がクロールの負荷を下げるように動くもんなんじゃないか？
2005/06/01(水) 10:51:14ID:5p5HxYUC0
>>737
どーだろうね

２４時間休みなしに少しずつ取る (常時小さな負荷がかかりつづける)
と
（２４時間毎に）数分で一気に取る　(一瞬だけ大きな負荷がかかる)


どっちがいいのかと・・・
739usen-219x113x212x182.ap-US.usen.ad.jp
垢版 |
2005/06/01(水) 17:28:47ID:LnuvJa7G0
>>701
19 BBON.tmp5.719 　 219.113.212.182 (usen-219x113x212x182.ap-US.usen.ad.jp) 81

どうやら現在バーボンハウス規制かかってるようです･･･
それほど不自由もしていないので、のんびり待ってます
740root▲ ★
垢版 |
NGNG
>>739
あれれ、おかしいですね。

ちと、確認してきます。
741root▲ ★
垢版 |
NGNG
リロードバーボン用cgiの配布がいまいちでした。すんませんです。
配りなおしたので、今後は大丈夫なはず。
742動け動けウゴウゴ２ちゃんねる
垢版 |
2005/06/03(金) 00:16:37ID:TDzI6hl10
Janeで板の全スレ取得しようと一生懸命やってたら規制された
3年2chやってたけど知らなかったなあこの対策っての。
気をつけよう
2005/06/03(金) 00:22:36ID:SvfnqnAj0
俺がこの前2，3の板でIDストーキングした時は大丈夫だったけど
取得の間隔とか板毎の設定の違いかな…
744動け動けウゴウゴ２ちゃんねる
垢版 |
2005/06/05(日) 11:44:36ID:VppDw67e0
ニュー速の過去ログ取得してたら規制されたった
745
垢版 |
2005/06/05(日) 16:42:46ID:ZtSfLE7D0
BBON.ex9.4315 焼 211.231.187.48 (211.231.187.48) 11
新記録?
746 ◆MiMIZUNCjA
垢版 |
NGNG
ようやく固定IPになれました。

203.181.48.82

よろしくお願いします。
747root▲ ★
垢版 |
2005/06/06(月) 12:11:52ID:???0
>>746
I registered it into the BBON except list.
748root▲ ★
垢版 |
2005/06/06(月) 12:12:58ID:???0
ということでとりあえず追加しましたが、
そろそろ白山羊をまじめに動かさないといかんですね。

どっかで、じっけん、はじめるかな。
NGNG
わーい。ありがとうございます。
2005/06/06(月) 12:53:44ID:0dq56pC0O
最近白山羊とかBlack Ghostとか聞きますが、これは何ですか？
2005/06/06(月) 13:14:22ID:Q6LKfyWG0
>>750
お手紙を読まずに食べ（ｒｙ
2005/06/06(月) 14:14:52ID:ffuJP4mv0
仕方が無いのｄ(ry
753讃岐フォアンフォアン▲ ◆MylTDX..QI
垢版 |
NGNG
お手紙書い(ry
2005/06/06(月) 14:20:22ID:pr83nWAfO
エェェ(´д｀)ェェエ
2005/06/06(月) 14:41:02ID:77OC8dy+0
　 〈( ｀･ω･)〉ﾑｼｬﾑｼｬ
　　　つi'"':
　　　　`､:_i'
NGNG
Reffiさんがーお手紙書いたー
ひろゆきさんたら読まずにスルー
しーかたがないのでもう一回かーいた
この前の手紙のお返事まーだ？


(;^_^)こんな事を想像…
757讃岐フォアンフォアン▲ ◆MylTDX..QI
垢版 |
NGNG
すぐ想像できてｗ
NGNG
>>757
まぁいつものこｔ…ｹﾞﾌﾝｹﾞﾌﾝ
759root▲ ★
垢版 |
NGNG
もうそのへんでよろしやろ(塩爺)。
NGNG
(´･ω･｀)
2005/06/06(月) 17:55:46ID:XfHWEAtnO
という訳でdat要求を適度に無視する羊さん達ですね。
762root▲ ★
垢版 |
NGNG
>>761
無視はしないと思うですよ。
適当に遅れる羊ってかんじで。
2005/06/06(月) 19:23:56ID:KHAW+y+l0
山羊は反芻動物だから、それに掛けたと勝手に思ってた
2005/06/06(月) 19:41:47ID:Zh7mzaYA0
ゲートとゴートをかけたシャレだと思ってました。
2005/06/06(月) 21:12:41ID:XfHWEAtnO
>>762
えー。遅れてる間に３回リクエストしたら、
２回は無視されてるのと同じじゃないですか。
クライアントの気持ち。
2005/06/06(月) 21:54:00ID:iTARk3So0
>>746
203.181.48.82 -> q048082.ppp.asahi-net.or.jp

なんだかな〜


>748
SQUIDですか？

もしそうであるなら
bbs.cgiとread.cgiは拒否 (/test/フォルダ自体拒否でいいかも)
〜/〜.txt
と
〜/dat/〜.dat
はスルーでいいかと
767750
垢版 |
2005/06/07(火) 03:27:05ID:W91Vy23YO
えーと…

良く分からなかったので、とりあえずdat読込遅延システムってことにしておきます。失礼しました。
NGNG
>>766
やすかったもんだからつい。。。
2005/06/09(木) 14:21:21ID:DjgfTB590
バックゲート → ブラックゴート → 黒羊 でFA?
2005/06/10(金) 06:13:09ID:E9HKRacgO
確か、そんな流れだったような・・・

要は、書き込みだけじゃなくて、読み込みにも時間（間隔）制限付けましょ。って話な訳で。
そうすれば、鯖もﾊｯﾋﾟｰ、みんなもﾊｯﾋﾟｰ。と。
鯖落ちしにくくなるからね。
2005/06/12(日) 15:17:27ID:QCSC6DDt0
それは建て前で、本音は新たな課金対象を作るための布石でしょ
2005/06/12(日) 16:06:36ID:5BWdqXKC0
実況とかはどうなるの？
祭りになってる状態とかも・・・
もちろんそれを取り締まるものなんだろうけど、2chの面白さがぐんと減ってしまうような
2005/06/12(日) 20:44:40ID:Up8rihG+O
>>772
祭り専用鯖(無制限)とか作って欲しいよね。たしかに。
ひ（りゃ 直轄鯖は対象外にするんかなー。 んなわきゃ無いのは解かってはいるつもりだが。
774root▲ ★
垢版 |
NGNG
今使っていないバーチャルホストを使って、tiny白山羊のテストをはじめてみた。

今のところtiger/cobraサーバの板だけ。
10分に1回同期。

http://liveb1.2ch.net/
2005/06/13(月) 17:59:55ID:+VOJq2lj0
o
2005/06/13(月) 20:04:36ID:jySmJX+v0
>>774

>Server: Apache/2.0.53
！？

2chブラウザの読み取り用？
2005/06/13(月) 21:01:08ID:omwZrjjJ0
http://sv2ch.baila6.jp/server.cgi?server=liveb1.2ch.net
uptime止めちゃったんだよねぇ（苦笑）
2005/06/13(月) 22:05:11ID:Xf5dpYD70
またstarcatバーボンかよ。巻き添えがひどすぎる。まったく、誰がやってんだ…。
779root▲ ★
垢版 |
NGNG
>>776
datをsubject.txtがほしい人は、ここからどうぞってかんじですね。

>>777
機を見て動かします。
780root▲ ★
垢版 |
NGNG
>>777
http://liveb1.2ch.net/_service/20050613.txt
2005/06/14(火) 01:08:23ID:qJzwshTb0
liveb1 いいですね。

DAT取得時に先に一度 liveb1 で取得して、それから各サーバ
より差分取得すれば、各サーバの転送量を削減できそう。

各サーバがダウンしても liveb1 に直前まで取り込んでいたと
ころまで参照は出来るという利点もあるし。
2005/06/14(火) 01:15:33ID:qJzwshTb0
さらに推し進めて、建ってから10分以上過ぎたスレは差分取得
の要求じゃないと受け付けないようにするとか…
（先に liveb1 に寄ってから出直してこいと、、）

Range指定無しとか、Rangeがあっても 0- とかの要求を弾けば
良いわけだが、そんな実装できるのかはしらん。
783動け動けウゴウゴ２ちゃんねる
垢版 |
2005/06/14(火) 23:27:52ID:egGkDwpp0
うんうん
2005/06/14(火) 23:43:51ID:egGkDwpp0
nn
2005/06/15(水) 19:11:59ID:jfwOJwaj0
久しぶりにハーボン引っかかった
普段はこんなヘマはしないのだが、今回は違った
ニュー速VIPのスレ一覧の底のほうに、圧縮の残骸が300スレ程残っている
これを開くと計２回カウントされてしまうので、普段の半分でバーボン逝きになってしまう

ニュー速VIPのスレ一覧はほんと弱い
毎日壊れている
いつになったら直るのだろうか
定期的に修復作業を自動化できないのか
2005/06/15(水) 21:00:19ID:pnMi/4gg0
復帰依頼しろよ
2005/06/16(木) 02:21:26ID:x3N6y8bPO
>>785
オレンジジュース吹き出したやんけw＜ハーボン
2005/06/16(木) 14:09:48ID:JnDwsKsD0
スレッド一覧の底に溜まった残骸スレ取得で2回カウントするのなんとかしてくれよぅ・・・
2005/06/16(木) 14:19:27ID:OqsyZA4FP
ここいらでポイント制導入はいかがでしょうかｗ
2005/06/17(金) 18:14:14ID:OmY77ldp0
バーボン規制食らった
規制回避は完璧だったはずなのに・・・

すると見覚えのないアクセスが150ほど
2005/06/17(金) 18:16:03ID:3K1Fnpow0
踏み台おめでとう
2005/06/18(土) 20:37:09ID:CF4h/b1T0
このブッコ抜きってクローラ対策に引っ掛からないの？

ttp://2hr？x2e;tokix？x2e;net/
2005/06/19(日) 16:39:40ID:A1lFT6mj0
おっけー (●Д●)
ようこそーハードゲイハウスへ。
この腰の振りはサービスですからねー、ちょっと見てくださいよー。

おっけー、私ハードゲイなんですよー。すみませんー。
ハードゲイフォオオオオオオオオゥ(●Д●)

だけどあなた私のこの腰の振りを見たとき、きっと言葉では言い表せない
「よろこび」みたいなものを感じてませんかー？フォオオオオオオゥ
殺伐とした世の中で、こういうよろこびを感じていって欲しかったんですよー
そう思って、ボクはハードゲイになったんですよー。

それじゃー一緒に腰を振りましょうかーフォオオオオオオゥ
2005/06/19(日) 17:37:43ID:QuD4iPG1O
-･=-　-･=ｰ　やあ　ようこそホリエモンハウスへ
この諭吉はサービスだから、まずポケットに入れて落ち着いて欲しい。

うん、「つんでる」んだ。済まない。
乙部の顔もって言うしね、金以外で許してもらおうとも思っていない。

でも、このレスを見たとき、君は、きっと言葉では言い表せない「想定外」みたいなものを
感じてくれたと思う。

じゃあ、時間外取引しようか。
795
垢版 |
2005/06/20(月) 14:12:08ID:539PGbNe0
14 BBON.life7.436 http://k-2ch.as.wakwak.ne.jp/
...
2005/06/20(月) 16:26:57ID:QeagGm4w0
(´･ω･) ｶﾜｲｿｽ
797讃岐フォアンフォアン▲ ◆MylTDX..QI
垢版 |
NGNG
(´･ω･)ｶﾜｲｿｽ
2005/06/20(月) 16:33:56ID:bR73uEMM0
(´･ω･)
2005/06/20(月) 16:47:11ID:ywSV8zWeP
串でも焼きながら待てとか書いてあるのに焼きを押すとバーボンハウスに飛ばされる件について
2005/06/21(火) 21:09:29ID:a7qjaR870
件名はいいから本文を書いてくれ
2005/06/21(火) 23:15:10ID:yvPbAE1MP
串焼きは通常バーボンに引っかかった人向けのサービスですからｗ
802なんだかなあ
垢版 |
2005/06/27(月) 05:07:51ID:7qQSvbkP0
専用ブラウザで巡回すると
途中ですぐここにきちゃうハメに陥りがちなんだけど
なんとかならんもんかな
2005/06/27(月) 11:14:44ID:J9rf+Imd0
巡回やめれという狐の碁石です
804
垢版 |
2005/06/28(火) 18:17:03ID:+Ds7MrRb0
BBON.comic6.1459 210.130.255.3 (wall.shueisha.co.jp) 84
2005/06/28(火) 22:50:44ID:xxKKradF0
何でしょうね〜
自社出版物が流れてないか監視かな
2005/06/29(水) 14:03:29ID:FNRxlOMF0
BBON.hobby8.400210.227.120.166 (mx.rakuno.ac.jp) 80
BBON.news18.496 210.172.213.121 (www.ho-op.net) 70
http://www.rakuno.ac.jp/
http://www.ho-op.net/
2005/06/29(水) 14:22:50ID:SrR3WlW10
>805
早売りデイだからでそ
2005/06/30(木) 07:28:54ID:l2JEbhcu0
BBON.tv6.1910 　 221.186.155.61 (garnet.ntt-it.co.jp) 76

なんだろう？
2005/06/30(木) 22:31:50ID:yoSzbVeGO
19時ごろにもあった
2005/06/30(木) 23:08:13ID:RLa5Jov80
社員個人が社内から閲覧で巡回とかなだけとかな。
2005/07/04(月) 11:08:26ID:7j4WXRPG0
BBON.news19.751 　 133.35.45.20 (tsdyn04.gs.niigata-u.ac.jp) 66
2005/07/04(月) 12:24:46ID:joppT6j50
BBON.life7.639 　 130.158.103.206 (soft.risk.tsukuba.ac.jp) 60
2005/07/04(月) 13:54:57ID:7j4WXRPG0
BBON.news18.456 　 219.127.148.251 (inetfw01ext.jpo.go.jp) 56

特許庁の中の人も暇だなぁ
2005/07/04(月) 19:46:33ID:Uy3hdTQF0
news4vip 　 133.70.158.104 (idlgw2.rie.shizuoka.ac.jp) 27
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況