クローラー＆過剰リロード対策スレ2【新バーボン】

**ｒｅｆｆｉ@報告人 ★** · 2005/04/16(土) 19:30:22

現状把握が困難なので前スレ参照してください。

前スレ
クローラー＆過剰リロード対策スレ
http://qb5.2ch.net/test/read.cgi/operate/1113508190/

**マァヴ** ◆jxAYUMI09s · NG

>651
おー(^_^;)なるほど
あらかじめデータベースを作っておくってことか
それならリソースは喰うけど実現可能やね＞●でリードバーボン回避
どっちかっていうとバーボンに引っかかった人が●ログインして
特定のcgiをたたくと解除される仕組みのほうが賢いとおもうけどね(^_^;)
引っかかるのはすげー少数派だし、引っかかったときだけ処理したほうがコストが低くすむ。

どっちにしても●持ってたら負荷かけ放題ってのはいただけないわけだけどさ(^_^;)

アイデアとしては
・●ログインして、特定cgiを叩く
・バーボンリストに一致するリモホ（IPアドレス）があった場合
a. バーボン解除する
b. 待ち時間を10分にする
c. 負荷係数が600以下なら解除する
d. 負荷係数が600以上なら待ち時間を10分にする
とかそんな感じかなぁ・・・・(^_^;)

**動け動けウゴウゴ２ちゃんねる** · NG

>>653
バーボン引っかかったら●で特定のcgiを叩かせるのだけど
制限なしってのはちょっとアレだから短期間にはたくさん叩けないようにしたほうが良いと思う

例えば●情報にAという項目を追加して、
毎月1･15あたりに解除ポイントをあげて、バーボン解除に使用できる
短時間に複数回使う事も出来るけど毎月の最大数は一定
ポイントは持ち越し可能

実現する技術がない&無駄なリソースが多いのでダメダメな意見ですがね…

**マァヴ** ◆jxAYUMI09s · NG

>654
前提として、●なら回避できるようにするかどうかというのがあるんで(^_^;)
>653は技術的に回避することが可能であるということにしか過ぎないです。

**動け動けウゴウゴ２ちゃんねる** · NG

>>655
ま、どちらにしろ無駄に近い意見なんでスルーﾄﾞｿﾞ

**動け動けウゴウゴ２ちゃんねる** · 2005/05/23(月) 15:07:00

馬鹿ケーブルなんかほっとけ

**動け動けウゴウゴ２ちゃんねる** · 2005/05/23(月) 18:06:41

>>652
phpとSocketが使えるレンタルサーバを借りて、そこにp2を設置して、そのp2を使って2chにアクセスすると。

数百円/月の安い共用サーバの場合「phpやSocketが使えない」「p2を禁止している」などでp2を設置できないサーバもあります。
IPアドレスを共有しているため、他人が「p2などを使っている」「過去ログ保管などのためにクロールしている」などで、バーボン入りする可能性もあります。
誰かが設置したp2が荒しに使われたために「BBQに登録されて書けない」「永久バーボンに登録され読むことすらできない」といった可能性もあります。

VPSや専用サーバなどIPアドレスを共有しないレンタルサーバの場合は、そういった心配は皆無ですが、
数千円/月はするため、p2のためだけに借りるのは激しく無駄遣いだと思います(^^;;;)

**動け動けウゴウゴ２ちゃんねる** · 2005/05/24(火) 01:34:11

sage

**動け動けウゴウゴ２ちゃんねる** · 2005/05/24(火) 01:37:00

age

**動け動けウゴウゴ２ちゃんねる** · NG

test

**動け動けウゴウゴ２ちゃんねる** · NG

またログが詰まるようになった…

**動け動けウゴウゴ２ちゃんねる** · NG

どうにかならんのか？

**動け動けウゴウゴ２ちゃんねる** · NG

直りました。

Internet Explorerスクリプトエラー→いいえを押す→再取得

**ﾀｿｷ@妄想系統** ◆Ver7J..... · 2005/05/24(火) 09:37:42

>>658
こんな丁寧なレス久しぶりにもらったよ。さんきゅう。

**ひろゆき＠どうやら管理人 ★** · NG

p2.2ch.netからの書き込みを全面スルーする設定にしてもらいたいのですが、
いつごろできるかわかりますか？

**讃岐フォアンフォアン▲** ◆MylTDX..QI · NG

されてるんじゃなかったの？

**root▲ ★** · NG

>>666
どれでひっかかってるのか、わかりますかね。

ちなみにこのスレのやつ(リロードバーボン)は、既に完全スルーのはず。 < p2.razil.jp

**ひろゆき＠どうやら管理人 ★** · NG

あ、、閲覧じゃなくて、書き込みの規制のほうなんですが、
どのスレッドにかいたらいいのかわからなかったもので。

**動け動けウゴウゴ２ちゃんねる** · 2005/05/24(火) 13:24:07

Sambaスルー？

**root▲ ★** · NG

あとは、なんだろ。
BBQ(公開Proxy)は、現在入っていないはず。

Samba24(連投規制)あたりかしら。

これは、はずすと恐ろしい勢いで連投する人がいるだろうから、
今の状態(他からの通常の書き込みと同じで、
同一IPアドレスからは定められた秒数間連続書き込みできない)は、
必要な気がします。

**root▲ ★** · NG

>>669
そういうことですか。

書き込みだとすると >>671 のとおりBBQにはなっていないから、
Sambaと、あとはtimecount/timecloseですか。

このへんは、他のサーバと同様の設定になっているはず。
つまり、特別扱いしていない代わりに、特別に規制しているわけでもないと。

**讃岐フォアンフォアン▲** ◆MylTDX..QI · NG

サンバのことか

**讃岐フォアンフォアン▲** ◆MylTDX..QI · NG

>>671
公式のp2には専用のサンバ規制が入ってるので大丈夫かと

**root▲ ★** · NG

現在のp2はようは「みんなが使えるProxy状態」なので、
同じ人が書いているわけではなくても、この状態になる場合があるですね。

で、以降この話題は、こっちでしますか。
↓
p2.2ch.net不具合報告スレ３
http://qb5.2ch.net/test/read.cgi/operate/1116397215/

**root▲ ★** · NG

>>674
専用なんですか? (はつみみかも)

**ひろゆき＠どうやら管理人 ★** · NG

p2で書き込みにモリタポが必要って仕様で
ある程度できたようなので、そのテストをしたいなぁと思ってるのですが、、、

sambaは専用設定なんすか？

**動け動けウゴウゴ２ちゃんねる** · 2005/05/24(火) 15:55:46

>>677
ttp://qb5.2ch.net:80/operate/SETTING.TXT
の
timecount=100
timeclose=10
このへん

**讃岐フォアンフォアン▲** ◆MylTDX..QI · NG

>>677
p2側が連投規制をつけているはずです

p2スレに移動しましょうよー

**root▲ ★** · NG

>>677
p2.razil.jp の IP アドレスは Samba とか timecount/timeclose の対象にしない、ってかんじですね。
テクニカルには、できなくはないかと。

ということで、本件については以降こちらでやります。
不具合報告じゃなくて「p2.2ch.net 運用情報スレッド」とかが必要なのかも、かも。
↓
p2.2ch.net不具合報告スレ３
http://qb5.2ch.net/test/read.cgi/operate/1116397215/

**動け動けウゴウゴ２ちゃんねる** · 2005/05/24(火) 16:07:29

>>678
それは連投規制でsambaは別にありますよ。
sambaの値は非公開で鯖毎にFOXさんかrootさんが設定してるはず。

**動け動けウゴウゴ２ちゃんねる** · 2005/05/24(火) 16:15:56

sambaの値なら板トップの一番下にあるよ。

**動け動けウゴウゴ２ちゃんねる** · 2005/05/24(火) 16:35:22

ホントだ。知らなかった。

**動け動けウゴウゴ２ちゃんねる** · NG

>>682
あ、ホントだ。

**【沈黙-ω-】** ◆.0e0wEv5W6 · NG

コアな会話だな

**動け動けウゴウゴ２ちゃんねる** · 2005/05/25(水) 02:52:34

setting.txtぐらいは読めんと･･･

**動け動けウゴウゴ２ちゃんねる** · 2005/05/25(水) 22:15:04

人大杉で開けない上に空欄になっているのもある訳だが

**怨念株式會社** · 2005/05/26(木) 20:42:26

・・・。
30 BBON.ex10.1026 　 219.185.5.214 (YahooBB219185005214.bbtec.net) 8
31 BBON.ex10.925 　 219.185.5.215 (YahooBB219185005215.bbtec.net) 8
32 BBON.ex10.560 　 219.185.5.216 (YahooBB219185005216.bbtec.net) 8
33 news4vip 　 219.185.5.217 (YahooBB219185005217.bbtec.net) 4
35 news4vip 　 219.185.5.218 (YahooBB219185005218.bbtec.net) 1

ちょっと後 (１分後？)
38 BBON.ex10.724 　 219.185.5.217 (YahooBB219185005217.bbtec.net) 0
37 BBON.ex10.748 　 219.185.5.218 (YahooBB219185005218.bbtec.net) 0

ん？
荒らしか？

おまけ
23 BBON.ex10.555 　 210.235.62.99 (99.62.accsnet.ne.jp) 31

◆Reffi/bQ.c · 2005/05/26(木) 20:48:39

>688
なんか胡散臭い並び方ですねぇ(苦笑

YahooBB219185005212～8ってひょっとしてYahoo! Cafeかも（確証はなし

**讃岐フォアンフォアン▲** ◆MylTDX..QI · NG

凄い並びだな

**動け動けウゴウゴ２ちゃんねる** · 2005/05/27(金) 00:02:30

ex10で219185005というと某コテが思い浮かぶ…

**a131067.usr.starcat.ne.jp** · 2005/05/27(金) 20:44:15

あらかた過去ログを読みましたが、ケーブルユーザーは酷い扱いですね。
せめて規制を鯖単位にするとか、ご検討してはいただけないんでしょうか？

**讃岐フォアンフォアン▲** ◆MylTDX..QI · NG

鯖単位じゃなかったの？

**動け動けウゴウゴ２ちゃんねる** · 2005/05/27(金) 20:53:31

確かにまぶたんの言ってることもご尤もなんですが、それでも読むことは出来るとかしてやっても良いのではないかと思ったりもする

**694** · 2005/05/27(金) 20:54:43

とかって、マァヴたんの話題だしたらIDがマァヴたんにｗｗｗ

**a131067.usr.starcat.ne.jp** · 2005/05/27(金) 21:33:08

>>693
運営系以外は全部見れなくなりますよ。
最近２日間に１回は規制を受けていますね。
自分自身はsociety3系の過疎板の住人ですが、
今日と昨日はlife7系、その前は音楽系の鯖が原因だったようです。

**怨念株式會社** · 2005/05/27(金) 21:41:56

>>693
集計は鯖単位らしい
少なくともすべての鯖を対象に（集計）はしてない

板単位はありえないでしょう

**動け動けウゴウゴ２ちゃんねる** · 2005/05/27(金) 21:42:47

板単位は俺もありえないと思う
でも全鯖っていうのもなんか･･･

**動け動けウゴウゴ２ちゃんねる** · 2005/05/27(金) 22:32:18

バーボン中に地震関連の板を見れるようにしてほしいのですが・・。

**動け動けウゴウゴ２ちゃんねる** · 2005/05/28(土) 00:31:53

またvip…

**ひろゆき＠どうやら管理人 ★** · NG

219.113.212.182のIPをスルーリストに入れておいて頂けるとありがたいですー。

**動け動けウゴウゴ２ちゃんねる** · 2005/05/28(土) 00:56:16

>>701
できれば何に使われてるIPかｷﾎﾞﾝﾇ

**ひろゆき＠どうやら管理人 ★** · NG

http://memo.sakura.ne.jp/

**動け動けウゴウゴ２ちゃんねる** · 2005/05/28(土) 01:16:28

>>703
なるほど、こんなソフトもあるですか。

**動け動けウゴウゴ２ちゃんねる** · NG

ひ（ｒｙがBalloo知ってるとは

**動け動けウゴウゴ２ちゃんねる** · 2005/05/28(土) 02:28:06

マターリ板の1つのスレをヲチするのにこれほど便利なソフトは無い
だが、それ以外に使用方法もないという究極のソフト
俺は大好きだが

**動け動けウゴウゴ２ちゃんねる** · 2005/05/28(土) 03:11:15

しかしなぜピンポイントでこのソフトを

**動け動けウゴウゴ２ちゃんねる** · 2005/05/28(土) 03:22:13

>>707 自前でｷｬｯｼｭｻｰﾊﾞを持ってるからじゃね？('A`)??

**動け動けウゴウゴ２ちゃんねる** · 2005/05/28(土) 03:34:34

>>703
生まれて初めてひ（ｒｙに感謝しました

**動け動けウゴウゴ２ちゃんねる** · 2005/05/28(土) 03:51:55

>>709 禿同。ｿﾌﾂの更新は止まってるし、
黒裏対策に巻き込まれてもうだめかと思ったよ(´д｀)

**root▲ ★** · NG

>>701
done.

**root▲ ★** · NG

で、done ですが、
山羊さんができたらそっちに移動の条件かなと。

**怨念株式會社** · 2005/05/29(日) 00:49:59

収穫が・・・

45 BBON.pie.1599 　 66.249.65.138 (crawl-66-249-65-138.googlebot.com) 5

**怨念株式會社** · 2005/05/29(日) 00:57:07

上がってる
43 BBON.pie.2295 　 66.249.65.138 (crawl-66-249-65-138.googlebot.com) 4

**動け動けウゴウゴ２ちゃんねる** · 2005/05/29(日) 10:40:55

2295％！？

**動け動けウゴウゴ２ちゃんねる** · 2005/05/29(日) 14:29:20

ログ取ってたら、やられた・・・

2005/05/29(日) 15:21:27

20 BBON.pie.2984 60.46.148.122 (i60-46-148-122.s02.a008.ap.plala.or.jp) 10

**動け動けウゴウゴ２ちゃんねる** · 2005/05/29(日) 15:26:24

またpie鯖か…どこの板だろ。

**動け動けウゴウゴ２ちゃんねる** · 2005/05/29(日) 16:49:47

読み込みに串使う。最強。
しかしRangeとかが対応してないとかちゅは駄目らしい。

**動け動けウゴウゴ２ちゃんねる** · 2005/05/30(月) 00:30:24

そのうち串での読みこみも禁止されたりしてなｗ
運営が串を全部denyにぶち込むなんて横暴な真似をしないとも限らん

**動け動けウゴウゴ２ちゃんねる** · 2005/05/30(月) 01:35:04

初心者の質問
クローラーってなに？

**動け動けウゴウゴ２ちゃんねる** · 2005/05/30(月) 01:56:23

('A`)ﾉ⌒ ttp://e-words.jp/w/E6A49CE7B4A2E383ADE3839CE38383E38388.html

**動け動けウゴウゴ２ちゃんねる** · 2005/05/30(月) 21:32:23

>>713-714
google が引っかかったのか……
これもやっぱり悪と見なして禁止するの？

**動け動けウゴウゴ２ちゃんねる** · 2005/05/30(月) 21:42:15

っていうかgoogleには２ｃｈとブログは拾って欲しくないな

**動け動けウゴウゴ２ちゃんねる** · 2005/05/31(火) 00:47:26

2chに来たきっかけがgoogleの検索だった人も多いのでは？

**動け動けウゴウゴ２ちゃんねる** · 2005/05/31(火) 00:52:52

PC組んでる人には、googleで2chスレが引っかからないのはなかなか厳しいな

**動け動けウゴウゴ２ちゃんねる** · 2005/05/31(火) 11:06:02

２ちゃんには雑談以外の貴重なデータベースもある。
出来ればぐーぐるは許可して欲しい。

◆X7F1FulWvk · 2005/05/31(火) 15:45:29

つ[fined.2ch.net]

◆X7F1FulWvk · 2005/05/31(火) 15:47:24

つ[find.2ch.net]○
fined×

**動け動けウゴウゴ２ちゃんねる** · 2005/05/31(火) 16:18:54

うほｗ　かちゅの巡回でひっかかったｗｗｗｗっうぇｗｗｗｗｗ

**動け動けウゴウゴ２ちゃんねる** · 2005/05/31(火) 20:16:07

>>730
巡回間隔を設定しる

**動け動けウゴウゴ２ちゃんねる** · 2005/05/31(火) 20:52:39

>>731
かちゅでできるの？

**動け動けウゴウゴ２ちゃんねる** · 2005/05/31(火) 21:13:48

>>732
http://kage.monazilla.org/test/read.cgi/kage/101531544/567

**怨念株式會社** · 2005/06/01(水) 09:27:08

やい
◆MiMIZUNCjA

回避方法教えてやる
・鯖毎(IP単位)で同時取得 (板単位ではない)
ex)pc7 と pc8で同時に取得可能
・１スレ取得ごとに２秒のwaitを入れる

これで回避できる (実際にできるがな)

◆MiMIZUNCjA · NG

>>734
実は２秒のwaitはやっていたり。
さば単位はめんどいのでやっていなかったり。。。
でも来週固定IP導入です

**動け動けウゴウゴ２ちゃんねる** · 2005/06/01(水) 09:47:38

n分以内にm回以上のGETで規制
実はnとmは完璧に見切ることが可能だったり。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/01(水) 09:51:58

＞ぐーぐる
むしろぐーぐる側がクロールの負荷を下げるように動くもんなんじゃないか？

**動け動けウゴウゴ２ちゃんねる** · 2005/06/01(水) 10:51:14

>>737
どーだろうね

２４時間休みなしに少しずつ取る (常時小さな負荷がかかりつづける)
と
（２４時間毎に）数分で一気に取る　(一瞬だけ大きな負荷がかかる)

どっちがいいのかと・・・

usen-219x113x212x182.ap-US.usen.ad.jp · 2005/06/01(水) 17:28:47

>>701
19 BBON.tmp5.719 　 219.113.212.182 (usen-219x113x212x182.ap-US.usen.ad.jp) 81

どうやら現在バーボンハウス規制かかってるようです･･･
それほど不自由もしていないので、のんびり待ってます

**root▲ ★** · NG

>>739
あれれ、おかしいですね。

ちと、確認してきます。

**root▲ ★** · NG

リロードバーボン用cgiの配布がいまいちでした。すんませんです。
配りなおしたので、今後は大丈夫なはず。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/03(金) 00:16:37

Janeで板の全スレ取得しようと一生懸命やってたら規制された
3年2chやってたけど知らなかったなあこの対策っての。
気をつけよう

**動け動けウゴウゴ２ちゃんねる** · 2005/06/03(金) 00:22:36

俺がこの前2，3の板でIDストーキングした時は大丈夫だったけど
取得の間隔とか板毎の設定の違いかな…

**動け動けウゴウゴ２ちゃんねる** · 2005/06/05(日) 11:44:36

ニュー速の過去ログ取得してたら規制されたった

2005/06/05(日) 16:42:46

BBON.ex9.4315 焼 211.231.187.48 (211.231.187.48) 11
新記録?

◆MiMIZUNCjA · NG

ようやく固定IPになれました。

203.181.48.82

よろしくお願いします。

**root▲ ★** · 2005/06/06(月) 12:11:52

>>746
I registered it into the BBON except list.

**root▲ ★** · 2005/06/06(月) 12:12:58

ということでとりあえず追加しましたが、
そろそろ白山羊をまじめに動かさないといかんですね。

どっかで、じっけん、はじめるかな。

◆MiMIZUNCjA · NG

わーい。ありがとうございます。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/06(月) 12:53:44

最近白山羊とかBlack Ghostとか聞きますが、これは何ですか？

**動け動けウゴウゴ２ちゃんねる** · 2005/06/06(月) 13:14:22

>>750
お手紙を読まずに食べ（ｒｙ

**ヾ（ﾟﾊﾟ）ﾉ** ◆f0.zuburi6 · 2005/06/06(月) 14:14:52

仕方が無いのｄ(ry