クローラー＆過剰リロード対策スレ2【新バーボン】

**ｒｅｆｆｉ@報告人 ★** · 2005/04/16(土) 19:30:22

現状把握が困難なので前スレ参照してください。

前スレ
クローラー＆過剰リロード対策スレ
http://qb5.2ch.net/test/read.cgi/operate/1113508190/

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 22:43:08

公開中間鯖一覧
http://nov.s56.xrea.com/saba/docomo.html
http://nov.s56.xrea.com/saba/au.html
http://nov.s56.xrea.com/saba/vodafone.html

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 22:48:55

>>83
(ﾉ∀`) ｱﾁｬｰ
なんで、ここに貼るかなぁ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 22:52:49

バーボンハウスの
1 morningcoffee　2 news4vip 等の板名と
5 BBON.news18.846 6 BBON.news19.453 等の鯖名の違いは何？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 22:56:23

>>82
正解

正引き imona.net -> 61.213.77.37
逆引き 61.213.77.37 -> j077037.ppp.asahi-net.or.jp

逆引き結果がＩＳＰだと無理 (一部例外有)
固定ＩＰ貰ってる自宅鯖( or どっかのレンタル鯖)であれば問題なく除外可能

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 23:07:10

もうiMonaも負荷軽減に役立ってるんだからBananaでいいから鯖貸せばいいのに＞2ch運営

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 23:08:33

あ、>>87はiMona作者にって意味な

**root▲ ★** · NG

219.113.242.218
219.113.242.220

を、qb5の.htaccess から手ではずしました。(クラシックメニュー関係)
既にチェックプログラム中の除外リストには入っています。

これから、前スレで読んでいなかった500ぐらい?の未読と、
このスレの未読を読んできます。

**root▲ ★** · NG

あと、夕方のFOX事件のからみでqb5の.htaccessに、
かなりの量、ごみの deny from が入っているようです。
(たぶん、ある時間のqb6か何かの.htaccessがコピーされて、そのままになっている)

これは、あとでまとめてチェックしなおします。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 23:18:15

>>89
乙です

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 23:19:20

>>89
この辺(iMonaの中間鯖) も固定なんで除外おながい
www.imona2ch.com -> 216.22.28.65 -> ns1.datafly.net
imona.sama.to <-> 218.224.207.100
imona.sakura.ne.jp -> 202.181.99.8 -> www288.sakura.ne.jp
qwe.ne.jp <-> 202.229.20.200

**root▲ ★** · NG

>>90
qb5の.htaccessにあった、バーボンハウス復旧処理の際の残骸を掃除しました。
本来、qb5はバーボンハウスの対象外です。

今の状態でqb5でバーボンになるIPアドレスは、バーボン経由ではなくて、
静的に登録されているもののはず。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 23:27:58

43.235.171.84 (paffy.ac) 60
の中の人です。出先なので携帯から取り急ぎです。
（自分のサイトで教えてこのスレを教えて貰いました→http://pita.paffy.ac/bbs/test/read.cgi/pita/305/125-）

http://pita.paffy.ac/biketh/
↑のために、１５分に１回、バイク板のsubject.txt拾っているのと、
１日１回早朝５時頃、落ちたログを拾ってるだけですが、だめですか？

**のいぽー（本物）** ◆News/n6/H2 · 2005/04/16(土) 23:37:09

さっきまで運営カテゴリの板全部がバーボンだったけれど何かあったの？

クロールの規制には引っかかっていないし規制リストにもIPは載っていなかった。
のにバーボンに。そもそも運営カテゴリって規制中の人でも読み書きできるはずだよね。。。

>>93
何か有ったのか。前スレ読んでくるよｳﾝｺ( ･∀･)/≡●

**root▲ ★** · NG

>>95
たぶん、>>90 >>93 かと。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 23:46:58

せっかく2chの鯖負荷を減らすためにiMonaを作ったのに、作者さんの鯖をアク禁にするのは本末転倒では…？
こうしてほかの中間鯖もアク禁にされて、c.2chが過負荷で人多すぎになって、携帯から2ちゃんねるは見れませんで終了する悪寒

**のいぽー（本物）** ◆News/n6/H2 · 2005/04/16(土) 23:48:11

>>96
ｱﾘｶﾞﾄー

何か色々大変ね。ルートきゅん頑張れ。
夜勤のおにぃさんはあれだ。もうちょっとこう。
行き当たりばったり杉。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 23:49:28

行き当たりばったりの人がいるから
rootくんが安全に獣道の整備ができることに気づけ

**のいぽー（本物）** ◆News/n6/H2 · 2005/04/16(土) 23:53:45

>>99
や、ある程度行き当たりばったりなのは2ちゃんねるの「味」だし、まぁ良いんじゃネーノかよ？と。
「杉」なのがアレな訳よ。
何事も程々と言う物があるわけで。。実験用のサーバで動作テストをするとか。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 23:57:04

>>94
ほんとに15分に1回だったら、全員バーボンになっちゃうね。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 23:58:54

実験用のサーバでテストしてものいぼーくんがひっかかることも
iMonaがひっかかることもわからんかったでしょ

**root▲ ★** · NG

>>97
まだ、前スレを読んでいるわけですが、釣られてみよう。

たぶん、そういった負荷軽減にご協力いただいている方に対応するために、
こちら側でも＊以前よりもより負荷を効率よく軽減するための＊
器を用意することになるんだと思います。
例えば、対外向けdatプールサーバ(ここでblackgoatと称しているもの)とか。

つまり、今までよりも一歩前にいって、もっとよくしようというわけです。
今は、それを生み出すための陣痛がはじまった段階なのかなと。

で、 c.2ch.net 関係については、大幅な設備増強が決定しました。
このスレの前スレで、管理人が正式にNTTecのJimさんにゴーを出しました。
かなりの数の「tiny tigerサーバ(*1)」と、それに対応するための高価なスイッチ(全ポート1G対応)が、
これから数ヶ月～たぶん半年ぐらいの間に、投入されていきます。

なお、これらの携帯用サーバを設置するためのラックスペースは「この用途専用」のものとなっており、
先月の工事によりPIEに拡張された「XO」というロケーションに、1ラックまるごと確保されています。

なお、これらの料金はすべてひ（りゃが払います。ふとっぱら。

(*1)携帯フロントエンド用。基本的には今のtigerサーバで、ディスクがSCSIではなくてIDEなもの。
携帯用フロントエンドサーバでは高い処理能力は必要ですが、
高速ディスクI/Oが不要なため、このサーバを採用することになりました。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 00:02:49

ひの字のひとすげー

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 00:04:40

ex10の規制無くなった？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 00:05:43

ひ(ry
よくやった。

**root▲ ★** · NG

>>105
ex10は最重要板、news4vipがありますので、現在のところこれの対象外です。
前スレの574から抜粋。

・oyster901 = ex10

管理人が今最も手厚くしているnews4vipがある、２ちゃんねるで一番大事なサーバなので、
これだけは管理人に決めてもらおうと思います。

管理人が「設定してくださいー」と言えばしくみ発動するし、「しばらく様子を見てくださいー」とか
「しばらく入れないでくださいー」言えば、今は発動しません。

とりあえず、管理人から何らかの明示的な指示があるまで、ex10は保留(発動しない)にします。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 00:08:17

まあ初期のトラブルが無くなるまでは
騒がずにマターリと待っているのが
一番いいと思うのだが。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 00:13:56

>>100
実際に人がいぱーいいる鯖でやらんと実験にならんのよね
つーか、２ちゃんねる全部が実験場と思っとった方がいいですよ

**root▲ ★** · NG

>>94
6 BBON.hobby7.946 　 43.235.171.84 (paffy.ac) 119

これですか。946回 > 400回で、バーボン行きと。

できれば400回を下回るように、ﾏﾀｰﾘとやっていただけると助かります。

# 今の値(400)は、個人的には結構リーズナブル(やさしくやればクリアできる)ぐらいだと思っていたり。

**root▲ ★** · NG

120分経って解除されたら、すぐにまた掲載されました。
50 BBON.hobby7.949 　 43.235.171.84 (paffy.ac) 1

これだと、ちと、ううむで。

97 · 2005/04/17(日) 00:23:36

rootたん

携帯鯖強増マジトンクスです。
ですが、ブックマーク機能がないので非常に使いにくいです。専ブラのブックマークを、IEのお気に入りで代用するような感じで…

**動け動けウゴウゴ２ちゃんねる** · NG

>>111
関係無いのですが、昨日も寝ずに動いておられたので今夜はちゃんと寝て休んで下さいね。

**root▲ ★** · NG

>>112
例えば設備に余裕ができれば、機能強化も可能なのかもしれませんね。
そもそも今の機能削減は、blackgoat側の負荷を減らすためにやったことだった気がするので。

ちなみに、感謝する相手は私ではなくて、管理人です（す）。

94 · 2005/04/17(日) 00:32:15

>>110
それはデイリーのリクエスト数ですか？
ってことは多分、一定期間鯖が落ちたため、
全てのスレ(バイク板)を新スレと誤認識したせいだと思います。
さっき書き忘れましたが、subject.txt拾った後に、
新スレがあったらその>>1の内容だけ拾ってました。
なので現存スレを全部舐めちゃったんだと思います。
＞運営な方
その辺の仕様は早めに直しますので、
出来れば解除してくださいです(´・ω・`)

**root▲ ★** · NG

>>114
最初の例えばは削除で。

**root▲ ★** · NG

>>115
デイリーじゃなくて、単位時間あたりです。
非公開ですが、1時間よりは少ないですよ。

で、もうしわけないですが、直すほうを急いでいただければと。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 00:34:17

>>115
直してから、でしょ

94 · 2005/04/17(日) 00:36:29

>>111
あう。。。
書いてる間に。携帯書きにくい(´・ω・`)

しばらく接続できてなかったので、また全スレ舐めちゃったんだと思います＿|￣|〇

**root▲ ★** · NG

>>65
1回ですね。
だから、バーチャルホストを2つ入れるのは、実はあんまりやりたくなかったり。

**root▲ ★** · NG

>>85
> 1 morningcoffee　2 news4vip 等の板名と

今までの仕組みでひっかかった(過剰な投稿、過剰なスレ立て)。

> 5 BBON.news18.846 6 BBON.news19.453 等の鯖名の違いは何？

今回の仕組みでひっかかった(クロール、過剰なリロード)。

**のいぽー（本物）** ◆News/n6/H2 · 2005/04/17(日) 00:41:20

>>102
や、俺様個人などは大した問題じゃないでしょう。
設定ファイルが壊れて多数の人がqbを見られなくなったりとかさ。そう言うの。

>>109
確かに一理あるな。。

94 · 2005/04/17(日) 00:44:08

>>117-118
了解しました

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 00:45:18

>や、俺様個人などは大した問題じゃないでしょう。
何をおっしゃっておられるのですか。
のいぽー様は2ちゃんの導きの光なのです。

◆BFzK/mtqM2 · 2005/04/17(日) 00:46:43

root★さん

メール出しました

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 00:51:10

すごい
12 BBON.pie.4620 　 218.47.3.125 (i218-47-3-125.s04.a023.ap.plala.or.jp) 89

4620 だって

**root▲ ★** · NG

落ち着いてきたみたいなので、
問題なければ、今後自動チェック対象サーバを増やしていこうかと考えています。
bbspinkは私も脳内予想少ししてましたが、やはりクローラーさんがかなりいるみたいですね。

live系(サーバの安定より連続リロード優先、ただし落ちても文句言わないこと)と
ex10(news4vipがある最重要サーバ)以外には、入れようかなと。

>>125
どもです。受け取りました。
食事おわってから、徐々に返事しようかと。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 00:56:00

>>127
>今後自動チェック対象サーバを増やして
！！！

まだだったのか

>92 にあるやつはどうなった？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 01:04:22

rootたんは一体いつ寝てるんだろう

85 · 2005/04/17(日) 01:07:46

>>121
THX!

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 01:07:54

>>129
rootたんは休み無く働いてます

4 BBON.pie.4620 　 218.47.3.125 (i218-47-3-125.s04.a023.ap.plala.or.jp) 106
36 BBON.hobby7.1587 　 220.10.180.234 (YahooBB220010180234.bbtec.net) 16
1000越えはこれだけか・・・

10000を超えるつわもの（←なぜか変換できない）かも～ん

**root▲ ★** · NG

>>129
さっきまで、よく寝てましたよ。
今日は某自然教育園に行ってきたので、相当いい気分転換になったです。

PIE立ち上げたりHEから撤退してたりしたあの頃に比べれば、それほどでもないし。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 01:13:01

>>132
科博のかなぁ・・・

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 01:15:17

>>132
国立科学博物館付属自然教育園
ttp://www.ins.kahaku.go.jp/

上野？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 01:16:54

白金かも

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 01:19:40

>>132
iMona.netは固定IPだそうですので除外お願いします
http://pc7.2ch.net/test/read.cgi/pc2nanmin/1110366452/162

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 01:30:53

>>134
科博は上野だけど、附属自然教育園は白金。

**帰ってきた100円札マン** ◆100enpax7E · NG

rootさんって本業は何なんだろう・・・。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 01:58:36

プロ飛行機の乗客

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 02:09:12

>>138
たぶん鯖の中の人だよ
調子がおかしくなると外に避難してくる

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 02:44:35

>>139
ﾜﾛｼw

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 02:52:34

こんなん導入されたのか。
これ以前に永遠のバーボンだったとことか解除はされる？
xreaで取得さえバーボンな鯖に当たって困ったんだよね。
subject.txt拾いたいだけだったのに。

**root▲ ★** · NG

>>142
永遠バーボンなところは、前から継続していくつかあるです。
最近ではこことか。

# cybernavi 219.113.228.248/29
# http://qb5.2ch.net/test/read.cgi/operate/1103455176/730
deny from 219.113.228.248/29

身に覚えがないのに永遠バーボンだった場合は、報告いただけると。

**さくら♀** ◆iMona7m46s · 2005/04/17(日) 03:07:25

＞これ以前に永遠のバーボンだったとことか解除はされる？

契約したサーバが運悪くバーボン鯖で、お金をドブに捨てちゃった人おおいですからねぇ。。。

**さくら♀** ◆iMona7m46s · 2005/04/17(日) 03:10:15

>>143
ついでですから、報告。

iMona@z4鯖
ttp://imona.zzzz.jp/

永遠バーボンだと思うのですが、当時iMona住人で調べても情報が出てこなかったﾃﾞｽ。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 03:11:04

XREAとかは公開p2でごっそり焼かれた口じゃね？その後まるごとdenyしたんだっけ？

曳手 ◆p0EQVAkyss · 2005/04/17(日) 03:19:42

ところで、みなさんは巡回で引っかかったことはありませんか？
もしくはどんなペースで巡回してますでしょうか。

私はかちゅ～しゃで2～3日に1回巡回してますが…。

**root▲ ★** · NG

ねむい、、、さすがにちょっとへろへろかも。

>>125 の返事は、明日あらためて出すです。

[―{}@{}@{}-] **FOX ★** · NG

よっ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 05:07:48

>>149
おはよーございますﾉｼ

◆yadoQ//n/E · 2005/04/17(日) 05:08:57

ネギマがあるとなかなかさまになりますね、お疲れさまでした。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 05:12:20

>>148
おやすめなさい
>>149
その名前は昨日のｱﾚのままかい?

[―{}@{}@{}-] **FOX ★** · NG

変身

**マァヴ** ◆jxAYUMI09s · NG

ルータは再起動しないですか(^_^;)そうですか

[―{}@{}@{}-] **FOX ★** · NG

このままで行こうかと、

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 05:30:20

糞狐のその変な眼鏡みたいなの何なの？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 05:33:29

メガネじゃなくて焼き鳥だよ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 05:40:51

おまえら日曜の朝から2chかよｗｗｗｗｗ

**のいぽー（本物）** ◆News/n6/H2 · 2005/04/17(日) 05:57:46

>>158

**FlashLight** ◆f.lightAf6 · 2005/04/17(日) 06:17:23

>>158
定期乙

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 06:37:32

２ちゃんねるだけではなく、他の掲示板でも起こりそうな予感。

**ひろゆき＠どうやら管理人 ★** · NG

210.135.97.178 (p2.razil.jp)
210.135.97.180 (ir04.razil.jp)
これも通しで御願いしますー。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 07:02:17

ひろゆき早起きだな

**ひろゆき＠どうやら管理人 ★** · NG

>>103
電車男の恩恵ってやつで。

◆Reffi/bQ.c · 2005/04/17(日) 07:07:19

>164

衝撃の事実発覚だったりｗ
今度入るスイッチ群は「train man」って名前にしないといけないですね（違

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 07:07:21

>>164
どのくらい儲かったんですか？＞電（ｒｙ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 07:07:54

管理人にも入るんだ
それって著作権料になるん?

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 07:16:13

２ちゃん発のヒット作、２匹目はあるか

電車男て元々どの板で書かれてたんでしだっけ？（素）
毒男？鉄道？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 07:16:36

>>164
それで良いのか？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 07:20:43

>>168
毒かな？もしかしたら喪かも。当時、喪があったかわからんけど
ぷらすやら電車やらでひ（ryの人にも結構金が入ってるんだな

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 07:22:15

おれのPCにネタがたくさんあり本を出せるが編集できない
　半角板　・・・裏多数で無理
　ハングル板；；；面白いが売れまい
　運営板；；；専門すぎ　散漫でうれない
　ブログ板；；；ひろゆき、ほりえもん本出し済
　

**FlashLight** ◆f.lightAf6 · 2005/04/17(日) 07:32:53

電波男と痴漢男の出版停止してくれよ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 08:43:51

なんでひろゆきに金が入ってんだ？てかあんまり出してると２番煎じ状態で売れなくなると思うが

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 08:47:58

電車男がネタだという人は騙されやすい。
http://qa.2ch.net/test/read.cgi/argue/1105042129/l50

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 09:12:16

ばーぼんったかもorz
調子に乗りすぎた…

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 09:47:48

>>169
せっかく還元してくれてんのに

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 10:38:36

いまは電車男でも痴漢男でもねぇ、
　お　ぱ　ん　ち　ゅ　先　生　が熱いぜ！

**root▲ ★** · NG

>>162 了解です。

電車男に支えられる携帯サーバ環境ってことで。

**root▲ ★** · NG

全サーバ、自動チェック有効にしてみるか。
(live系とex10を除く)

**root▲ ★** · NG

これで全部かしら。< ライブな掲示板サーバ

2chplus
aa5
academy3
book3
bubble3
comic5 comic6
etc3 etc4
ex9 (ex10)
food6
game9 game10
hobby5 hobby7
human5
life7
(live14) (live15) (live16) (live18) (live19) (live20)
love3
money3
music4
news18 news19
off3
pc7 pc8
qa
qb5 qb6
school4
science3
society3
sports7
that3
tmp4
travel2
tv6 tv7

**root▲ ★** · NG

dso があるですね(追加済み)。

**root▲ ★** · NG

で、リストが大きくなりすぎていまいちな場合は、これを入れるっていう戦略かなと。

【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17
http://qb5.2ch.net/test/read.cgi/operate/1107376477/834