X

クローラー＆過剰リロード対策スレ2【新バーボン】

■ このスレッドは過去ログ倉庫に格納されています
2005/04/16(土) 19:30:22ID:???0
現状把握が困難なので前スレ参照してください。

前スレ
クローラー＆過剰リロード対策スレ
http://qb5.2ch.net/test/read.cgi/operate/1113508190/
2005/05/24(火) 16:35:22ID:1y4pFfuh0
ホントだ。知らなかった。
NGNG
>>682
あ、ホントだ。
NGNG
コアな会話だな
2005/05/25(水) 02:52:34ID:5Sf7OTVS0
setting.txtぐらいは読めんと･･･
2005/05/25(水) 22:15:04ID:nQ8jYoi1O
人大杉で開けない上に空欄になっているのもある訳だが
688怨念株式會社
垢版 |
2005/05/26(木) 20:42:26ID:YuZgyMt50
・・・。
30 BBON.ex10.1026 　 219.185.5.214 (YahooBB219185005214.bbtec.net) 8
31 BBON.ex10.925 　 219.185.5.215 (YahooBB219185005215.bbtec.net) 8
32 BBON.ex10.560 　 219.185.5.216 (YahooBB219185005216.bbtec.net) 8
33 news4vip 　 219.185.5.217 (YahooBB219185005217.bbtec.net) 4
35 news4vip 　 219.185.5.218 (YahooBB219185005218.bbtec.net) 1

ちょっと後 (１分後？)
38 BBON.ex10.724 　 219.185.5.217 (YahooBB219185005217.bbtec.net) 0
37 BBON.ex10.748 　 219.185.5.218 (YahooBB219185005218.bbtec.net) 0

ん？
荒らしか？


おまけ
23 BBON.ex10.555 　 210.235.62.99 (99.62.accsnet.ne.jp) 31
2005/05/26(木) 20:48:39ID:chpvep5V0
>688
なんか胡散臭い並び方ですねぇ(苦笑

YahooBB219185005212〜8ってひょっとしてYahoo! Cafeかも（確証はなし
690讃岐フォアンフォアン▲ ◆MylTDX..QI
垢版 |
NGNG
凄い並びだな
2005/05/27(金) 00:02:30ID:ouUn8YDh0
ex10で219185005というと某コテが思い浮かぶ…
692a131067.usr.starcat.ne.jp
垢版 |
2005/05/27(金) 20:44:15ID:kudGQukk0
あらかた過去ログを読みましたが、ケーブルユーザーは酷い扱いですね。
せめて規制を鯖単位にするとか、ご検討してはいただけないんでしょうか？
693讃岐フォアンフォアン▲ ◆MylTDX..QI
垢版 |
NGNG
鯖単位じゃなかったの？
2005/05/27(金) 20:53:31ID:sIrMMavK0
確かにまぶたんの言ってることもご尤もなんですが、それでも読むことは出来るとかしてやっても良いのではないかと思ったりもする
695694
垢版 |
2005/05/27(金) 20:54:43ID:sIrMMavK0
とかって、マァヴたんの話題だしたらIDがマァヴたんにｗｗｗ
2005/05/27(金) 21:33:08ID:kudGQukk0
>>693
運営系以外は全部見れなくなりますよ。
最近２日間に１回は規制を受けていますね。
自分自身はsociety3系の過疎板の住人ですが、
今日と昨日はlife7系、その前は音楽系の鯖が原因だったようです。
2005/05/27(金) 21:41:56ID:RMOXsCf50
>>693
集計は鯖単位らしい
少なくともすべての鯖を対象に（集計）はしてない

板単位はありえないでしょう
2005/05/27(金) 21:42:47ID:sIrMMavK0
板単位は俺もありえないと思う
でも全鯖っていうのもなんか･･･
699動け動けウゴウゴ２ちゃんねる
垢版 |
2005/05/27(金) 22:32:18ID:909vDw7n0
バーボン中に地震関連の板を見れるようにしてほしいのですが・・。
2005/05/28(土) 00:31:53ID:blS7l+P10
またvip…
701ひろゆき＠どうやら管理人 ★
垢版 |
NGNG
219.113.212.182のIPをスルーリストに入れておいて頂けるとありがたいですー。

2005/05/28(土) 00:56:16ID:v9Nl0D9D0
>>701
できれば何に使われてるIPかｷﾎﾞﾝﾇ
703ひろゆき＠どうやら管理人 ★
垢版 |
NGNG
http://memo.sakura.ne.jp/
2005/05/28(土) 01:16:28ID:v9Nl0D9D0
>>703
なるほど、こんなソフトもあるですか。
NGNG
ひ（ｒｙがBalloo知ってるとは
2005/05/28(土) 02:28:06ID:blS7l+P10
マターリ板の1つのスレをヲチするのにこれほど便利なソフトは無い
だが、それ以外に使用方法もないという究極のソフト
俺は大好きだが
2005/05/28(土) 03:11:15ID:Jkoy86Sv0
しかしなぜピンポイントでこのソフトを
2005/05/28(土) 03:22:13ID:4PUjldqd0
>>707 自前でｷｬｯｼｭｻｰﾊﾞを持ってるからじゃね？('A`)??
2005/05/28(土) 03:34:34ID:smpFIyri0
>>703
生まれて初めてひ（ｒｙに感謝しました
2005/05/28(土) 03:51:55ID:4PUjldqd0
>>709 禿同。ｿﾌﾂの更新は止まってるし、
黒裏対策に巻き込まれてもうだめかと思ったよ(´д｀)
711root▲ ★
垢版 |
NGNG
>>701
done.
712root▲ ★
垢版 |
NGNG
で、done ですが、
山羊さんができたらそっちに移動の条件かなと。
713怨念株式會社
垢版 |
2005/05/29(日) 00:49:59ID:dR8eBLyJ0
収穫が・・・

45 BBON.pie.1599 　 66.249.65.138 (crawl-66-249-65-138.googlebot.com) 5
2005/05/29(日) 00:57:07ID:dR8eBLyJ0
上がってる
43 BBON.pie.2295 　 66.249.65.138 (crawl-66-249-65-138.googlebot.com) 4
2005/05/29(日) 10:40:55ID:ezbTIP5kO
2295％！？
2005/05/29(日) 14:29:20ID:SlV8gfu+0
ログ取ってたら、やられた・・・
717
垢版 |
2005/05/29(日) 15:21:27ID:/OPZ1EJI0
20 BBON.pie.2984 60.46.148.122 (i60-46-148-122.s02.a008.ap.plala.or.jp) 10
2005/05/29(日) 15:26:24ID:46uboYP70
またpie鯖か…どこの板だろ。
2005/05/29(日) 16:49:47ID:53VWRILB0
読み込みに串使う。最強。
しかしRangeとかが対応してないとかちゅは駄目らしい。
2005/05/30(月) 00:30:24ID:8zHOX+0m0
そのうち串での読みこみも禁止されたりしてなｗ
運営が串を全部denyにぶち込むなんて横暴な真似をしないとも限らん
721動け動けウゴウゴ２ちゃんねる
垢版 |
2005/05/30(月) 01:35:04ID:VDNGvJWa0
初心者の質問
クローラーってなに？
2005/05/30(月) 01:56:23ID:Rs/MlQ0z0
('A`)ﾉ⌒ ttp://e-words.jp/w/E6A49CE7B4A2E383ADE3839CE38383E38388.html
2005/05/30(月) 21:32:23ID:Bpo+Kp4B0
>>713-714
google が引っかかったのか……
これもやっぱり悪と見なして禁止するの？
2005/05/30(月) 21:42:15ID:kRMNTm7r0
っていうかgoogleには２ｃｈとブログは拾って欲しくないな
2005/05/31(火) 00:47:26ID:kBXKW+VJ0
2chに来たきっかけがgoogleの検索だった人も多いのでは？
2005/05/31(火) 00:52:52ID:igEOaeHF0
PC組んでる人には、googleで2chスレが引っかからないのはなかなか厳しいな
2005/05/31(火) 11:06:02ID:eUwJBDQd0
２ちゃんには雑談以外の貴重なデータベースもある。
出来ればぐーぐるは許可して欲しい。
2005/05/31(火) 15:45:29ID:43yMmW7/O
つ[fined.2ch.net]
2005/05/31(火) 15:47:24ID:43yMmW7/O
つ[find.2ch.net]○
fined×
2005/05/31(火) 16:18:54ID:qzdndrCe0
うほｗ　かちゅの巡回でひっかかったｗｗｗｗっうぇｗｗｗｗｗ
2005/05/31(火) 20:16:07ID:J6kC1tX50
>>730
巡回間隔を設定しる
2005/05/31(火) 20:52:39ID:tAWE1ihV0
>>731
かちゅでできるの？
2005/05/31(火) 21:13:48ID:J6kC1tX50
>>732
http://kage.monazilla.org/test/read.cgi/kage/101531544/567
734怨念株式會社
垢版 |
2005/06/01(水) 09:27:08ID:5p5HxYUC0
やい
◆MiMIZUNCjA

回避方法教えてやる
・鯖毎(IP単位)で同時取得 (板単位ではない)
ex)pc7 と pc8で同時に取得可能
・１スレ取得ごとに２秒のwaitを入れる

これで回避できる (実際にできるがな)
NGNG
>>734
実は２秒のwaitはやっていたり。
さば単位はめんどいのでやっていなかったり。。。
でも来週固定IP導入です
2005/06/01(水) 09:47:38ID:1bPFsZeW0
n分以内にm回以上のGETで規制
実はnとmは完璧に見切ることが可能だったり。
2005/06/01(水) 09:51:58ID:78Weu/H80
＞ぐーぐる
むしろぐーぐる側がクロールの負荷を下げるように動くもんなんじゃないか？
2005/06/01(水) 10:51:14ID:5p5HxYUC0
>>737
どーだろうね

２４時間休みなしに少しずつ取る (常時小さな負荷がかかりつづける)
と
（２４時間毎に）数分で一気に取る　(一瞬だけ大きな負荷がかかる)


どっちがいいのかと・・・
739usen-219x113x212x182.ap-US.usen.ad.jp
垢版 |
2005/06/01(水) 17:28:47ID:LnuvJa7G0
>>701
19 BBON.tmp5.719 　 219.113.212.182 (usen-219x113x212x182.ap-US.usen.ad.jp) 81

どうやら現在バーボンハウス規制かかってるようです･･･
それほど不自由もしていないので、のんびり待ってます
740root▲ ★
垢版 |
NGNG
>>739
あれれ、おかしいですね。

ちと、確認してきます。
741root▲ ★
垢版 |
NGNG
リロードバーボン用cgiの配布がいまいちでした。すんませんです。
配りなおしたので、今後は大丈夫なはず。
742動け動けウゴウゴ２ちゃんねる
垢版 |
2005/06/03(金) 00:16:37ID:TDzI6hl10
Janeで板の全スレ取得しようと一生懸命やってたら規制された
3年2chやってたけど知らなかったなあこの対策っての。
気をつけよう
2005/06/03(金) 00:22:36ID:SvfnqnAj0
俺がこの前2，3の板でIDストーキングした時は大丈夫だったけど
取得の間隔とか板毎の設定の違いかな…
744動け動けウゴウゴ２ちゃんねる
垢版 |
2005/06/05(日) 11:44:36ID:VppDw67e0
ニュー速の過去ログ取得してたら規制されたった
745
垢版 |
2005/06/05(日) 16:42:46ID:ZtSfLE7D0
BBON.ex9.4315 焼 211.231.187.48 (211.231.187.48) 11
新記録?
746 ◆MiMIZUNCjA
垢版 |
NGNG
ようやく固定IPになれました。

203.181.48.82

よろしくお願いします。
747root▲ ★
垢版 |
2005/06/06(月) 12:11:52ID:???0
>>746
I registered it into the BBON except list.
748root▲ ★
垢版 |
2005/06/06(月) 12:12:58ID:???0
ということでとりあえず追加しましたが、
そろそろ白山羊をまじめに動かさないといかんですね。

どっかで、じっけん、はじめるかな。
NGNG
わーい。ありがとうございます。
2005/06/06(月) 12:53:44ID:0dq56pC0O
最近白山羊とかBlack Ghostとか聞きますが、これは何ですか？
2005/06/06(月) 13:14:22ID:Q6LKfyWG0
>>750
お手紙を読まずに食べ（ｒｙ
2005/06/06(月) 14:14:52ID:ffuJP4mv0
仕方が無いのｄ(ry
753讃岐フォアンフォアン▲ ◆MylTDX..QI
垢版 |
NGNG
お手紙書い(ry
2005/06/06(月) 14:20:22ID:pr83nWAfO
エェェ(´д｀)ェェエ
2005/06/06(月) 14:41:02ID:77OC8dy+0
　 〈( ｀･ω･)〉ﾑｼｬﾑｼｬ
　　　つi'"':
　　　　`､:_i'
NGNG
Reffiさんがーお手紙書いたー
ひろゆきさんたら読まずにスルー
しーかたがないのでもう一回かーいた
この前の手紙のお返事まーだ？


(;^_^)こんな事を想像…
757讃岐フォアンフォアン▲ ◆MylTDX..QI
垢版 |
NGNG
すぐ想像できてｗ
NGNG
>>757
まぁいつものこｔ…ｹﾞﾌﾝｹﾞﾌﾝ
759root▲ ★
垢版 |
NGNG
もうそのへんでよろしやろ(塩爺)。
NGNG
(´･ω･｀)
2005/06/06(月) 17:55:46ID:XfHWEAtnO
という訳でdat要求を適度に無視する羊さん達ですね。
762root▲ ★
垢版 |
NGNG
>>761
無視はしないと思うですよ。
適当に遅れる羊ってかんじで。
2005/06/06(月) 19:23:56ID:KHAW+y+l0
山羊は反芻動物だから、それに掛けたと勝手に思ってた
2005/06/06(月) 19:41:47ID:Zh7mzaYA0
ゲートとゴートをかけたシャレだと思ってました。
2005/06/06(月) 21:12:41ID:XfHWEAtnO
>>762
えー。遅れてる間に３回リクエストしたら、
２回は無視されてるのと同じじゃないですか。
クライアントの気持ち。
2005/06/06(月) 21:54:00ID:iTARk3So0
>>746
203.181.48.82 -> q048082.ppp.asahi-net.or.jp

なんだかな〜


>748
SQUIDですか？

もしそうであるなら
bbs.cgiとread.cgiは拒否 (/test/フォルダ自体拒否でいいかも)
〜/〜.txt
と
〜/dat/〜.dat
はスルーでいいかと
767750
垢版 |
2005/06/07(火) 03:27:05ID:W91Vy23YO
えーと…

良く分からなかったので、とりあえずdat読込遅延システムってことにしておきます。失礼しました。
NGNG
>>766
やすかったもんだからつい。。。
2005/06/09(木) 14:21:21ID:DjgfTB590
バックゲート → ブラックゴート → 黒羊 でFA?
2005/06/10(金) 06:13:09ID:E9HKRacgO
確か、そんな流れだったような・・・

要は、書き込みだけじゃなくて、読み込みにも時間（間隔）制限付けましょ。って話な訳で。
そうすれば、鯖もﾊｯﾋﾟｰ、みんなもﾊｯﾋﾟｰ。と。
鯖落ちしにくくなるからね。
2005/06/12(日) 15:17:27ID:QCSC6DDt0
それは建て前で、本音は新たな課金対象を作るための布石でしょ
2005/06/12(日) 16:06:36ID:5BWdqXKC0
実況とかはどうなるの？
祭りになってる状態とかも・・・
もちろんそれを取り締まるものなんだろうけど、2chの面白さがぐんと減ってしまうような
2005/06/12(日) 20:44:40ID:Up8rihG+O
>>772
祭り専用鯖(無制限)とか作って欲しいよね。たしかに。
ひ（りゃ 直轄鯖は対象外にするんかなー。 んなわきゃ無いのは解かってはいるつもりだが。
774root▲ ★
垢版 |
NGNG
今使っていないバーチャルホストを使って、tiny白山羊のテストをはじめてみた。

今のところtiger/cobraサーバの板だけ。
10分に1回同期。

http://liveb1.2ch.net/
2005/06/13(月) 17:59:55ID:+VOJq2lj0
o
2005/06/13(月) 20:04:36ID:jySmJX+v0
>>774

>Server: Apache/2.0.53
！？

2chブラウザの読み取り用？
2005/06/13(月) 21:01:08ID:omwZrjjJ0
http://sv2ch.baila6.jp/server.cgi?server=liveb1.2ch.net
uptime止めちゃったんだよねぇ（苦笑）
2005/06/13(月) 22:05:11ID:Xf5dpYD70
またstarcatバーボンかよ。巻き添えがひどすぎる。まったく、誰がやってんだ…。
779root▲ ★
垢版 |
NGNG
>>776
datをsubject.txtがほしい人は、ここからどうぞってかんじですね。

>>777
機を見て動かします。
780root▲ ★
垢版 |
NGNG
>>777
http://liveb1.2ch.net/_service/20050613.txt
2005/06/14(火) 01:08:23ID:qJzwshTb0
liveb1 いいですね。

DAT取得時に先に一度 liveb1 で取得して、それから各サーバ
より差分取得すれば、各サーバの転送量を削減できそう。

各サーバがダウンしても liveb1 に直前まで取り込んでいたと
ころまで参照は出来るという利点もあるし。
2005/06/14(火) 01:15:33ID:qJzwshTb0
さらに推し進めて、建ってから10分以上過ぎたスレは差分取得
の要求じゃないと受け付けないようにするとか…
（先に liveb1 に寄ってから出直してこいと、、）

Range指定無しとか、Rangeがあっても 0- とかの要求を弾けば
良いわけだが、そんな実装できるのかはしらん。
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況