クローラー＆過剰リロード対策スレ2【新バーボン】

**ｒｅｆｆｉ@報告人 ★** · 2005/04/16(土) 19:30:22

現状把握が困難なので前スレ参照してください。

前スレ
クローラー＆過剰リロード対策スレ
http://qb5.2ch.net/test/read.cgi/operate/1113508190/

**root▲ ★** · NG

>>260
そのほうがまぎらわしくないから、それでいきますか。 < 名前

稀 ◆W.e.h.w.K. · NG

白山羊さんか

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 00:01:25

そうするとまずは外向き（多段）黒山羊さんの実験ですか。
あっ、それ以前に機材の調達待ちになるのかな？

**FOX ★** · NG

White Goat は TinyTiger でok?

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 00:03:05

データ落ちが沢山発生する気がするｗ＞白山羊さんと黒山羊さん

稀 ◆W.e.h.w.K. · NG

機材はもうあるのか

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 00:05:34

し～かた～がないのでお～てがみか～いた

**root▲ ★** · NG

>>265
ローカルキャッシュを持つとすると、
SCSIディスクのほうがいいかもなと。
参考: >>244

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 00:14:48

>>249
>ゆとりが出れば、一般開放(ただしリミットつき、ひどいと403)っていうかんじかと。
今のやつと同じじゃん

white goatのIPアドレスは非公開
IPアドレスの指定は無しの方がいいと思われる

静的ＩＰ (ＩＰ指定)
新バーボンでの除外 whitegoat の利用も可能

動的ＩＰ
新バーボンは除外しない whitegoatの利用するときのIPアドレスを教える (squid側でIDとpassを設定)

**FOX ★** · NG

はいー >>269

当面は TinyTiger をごぼこぼ投入して
あまった Cobra 等を適宜実戦配備(wite goat等)の方向で

五月いっぱいまでに TinyTiger を 6台 or more入れるということで、

**root▲ ★** · NG

>>270
アクセス回数については、ひどい、の基準値を、大幅に上げる(あるいは、なし)です。

**FOX ★** · NG

>>270
何を目的にって書いてくれないと
意味がわからんぞ、

**root▲ ★** · NG

>>271
了解です。

スイッチは、一つ目のtiny tigerと時期をあわせて投入ってかんじですかね。
ひょっとすると、GWに私が自分で据付(w、とかだったりして。

**FOX ★** · NG

>>274
日程的には微妙かも、、、
Jim が請求書書いて
ひろゆきが振り込んで
Jimが発注
届いたら私たちがごそごそ

なんですが
JIm月曜日から某国出稼ぎという噂

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 00:21:42

>>273
whitegoat は DDNSを使用している人(iMonaの中間鯖等)への新バーボン回避
とした方がいいような気がする

無闇に一般公開してしまうと新バーボン回避だけの道具として利用されてしまう可能性が高い

**root▲ ★** · NG

>>275
なるほど、そですか。

FreeBSD 5.4Rも、ちょうど微妙になってきたし。
まぁ、RCまできているので、ex10とかには現地で入れてくる予定ではあります。

あくまで目的は修行なんで(6搭乗12,000マイル)、現地での作業はシュミの範囲だったりするわけですけど。

**root▲ ★** · NG

こんな絵をかいてくれた人がいました。

772 名前：さくら♀ ◆iMona7m46s [sage] 投稿日：2005/04/18(月) 00:24:29
今はこんな感じかしらん。
ttp://nov.s56.xrea.com/kurosiro.jpg

**さくら♀** ◆iMona7m46s · 2005/04/18(月) 00:29:24

わぁ・・・。即座にこっちにペタリンコされてるｗ

**FOX ★** · NG

>>278
wait?? の部分は議論しても仕方が無いので
実際に構築してから調整&調整っすね。

Jim にさっさと請求書送れと催促のメール出しました。
Good Giga switch & TinyTigerx6 & 専用ラック

**root▲ ★** · NG

>>280
了解です。

わたしのほうは、cの中のひとたちと、予備実験はじめるです。
多段化はsquidだからできるはずだけど、増分取得まわりでは
微妙にチューニングが必要かもですね。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 00:32:40

＞ゆとりが出れば、一般開放(ただしリミットつき、ひどいと403)っていうかんじかと。

例えばの話ですが
BEで入って１モリタポ払うとreadだけ５００緩和するとかになるんでしょうか？

**root▲ ★** · NG

>>282
そういった細かな仕様については、骨格ができて、動かし始めてからですね。
>>280 の第一段落におなじかなと。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 00:37:16

虎の子をはたいてTinyTiger x6 購入ですか。
新サーバには電車１号・２号とか名前がつくのかなｗ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 00:41:29

train と hermes で

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 00:42:03

鯖に余裕があったらp2用BlackGoatとか
●持ち専用BlackGoatとか構築して欲しかったり････

無理だよね(´･ω･`)･････

**FOX ★** · NG

galaさんとかは専用のWhite Goatで供給するのが
トレンドかと、

**マァヴ** ◆jxAYUMI09s · NG

>278
ちょと違うっぽい(^_^;)
黒ヤギさんは何匹もいて、それぞれ担当する２ｃｈのBBSサーバが違う。
たとえば黒ヤギさん１号はex10とnews系とlive系。２号はそのほか全部担当って感じ。
最終的に黒ヤギさんが何匹になるかはわかんないけど、いずれにしろ担当サーバがそれぞれに割り振られる・・・・と
んで、c.2ch.netのフロントエンド群は黒ヤギさんから直接データをもらう。
（読み出したいBBSサーバによって、問い合わせる黒ヤギさんを選ぶ）
白ヤギさんは、黒ヤギ軍団に対するキャッシュサーバで、外部のフロントエンドサーバからの呼び出しに応じて
適切な黒ヤギさんにデータを要求する。
もちろん白ヤギさんにキャッシュされていれば、それを外部フロントエンドに返す。

って感じかな？(^_^;)文字で書くとややこしい

**root▲ ★** · NG

>>288
>>278 の絵は、概念図っすからね。
どのリクエストをどう振るかとか、板やサーバで首振るか(今はそうなっていますが)とかは、
実装段階での采配かなと。

**マァヴ** ◆jxAYUMI09s · NG

>289
ぅぃぅぃ(^_^;)相関概念ですな
白ヤギさんのイメージとしてなんでもう一段キャッシュ入れるのかってのがわかりにくいかな
と思って、黒ヤギ軍団のイメージを書いてみたのです。
いや、結局わかりにくいんだけどさ(^_^;)

**root▲ ★** · NG

なんにせよ、携帯対応を含む、内外からのdat要求をうまく処理するのは
雪だるまと並んで今年の大きなテーマの一つだと思っていますので、
そのつもりで、すすめていこうかなと。

**マァヴ** ◆jxAYUMI09s · NG

んだすな(^_^;)
今のところおちついてるPCのアクセスも、将来大爆発したら同じ枠組みで捌いたりとか・・・・

**FOX ★** · NG

ex10 で BBON 動かしてみた

**root▲ ★** · NG

>>293
51 BBON.ex10.484 　 202.229.14.2 (ps28.suite2.arena.ne.jp) 2
52 BBON.ex10.481 　 222.7.19.174 (ZL019174.ppp.dion.ne.jp) 2
53 BBON.ex10.400 　 219.106.159.178 (baidb6a9fb2.bai.ne.jp) 2

3人ですか。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 01:27:52

白山羊にアクセスする為にはやっぱりIDとパスワードを
iMona中間鯖管理人等に発行することになるんでしょうね
それ以外のアクセスははじく、と

**マァヴ** ◆jxAYUMI09s · NG

こんな感じで(^_^;)
http://yy92.kakiko.com/photo/1113755299074036.jpg

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 01:31:29

白山羊さんにiMona中間鯖業務自体をやらせてしまえとか思った僕はだめですか。
まあ、自分専用の中間鯖立ててるからあんまり関係ない話だけど。

**FOX ★** · NG

大きな流れは「雪だるま作戦」です。
つまり「複数台で一つの仮想サーバ１台として稼動させる」流れです。
携帯からのアクセスの分離もその一環と考えられます。
クローリングを２ちゃんねるの各サーバからはじく(別の出入り口を用意する)
というのもまさにこの流れです。

さらに進むと「read.cgiの別サーバ化」「bbs.cgiの別サーバ化」なんて感じですかねぇ

**root▲ ★** · NG

>>296
概ね、そんな路線ですね。

>>297
公式iMona中間サーバというのは、ありうるかもです。
でもiMonaについて、べんきょしないといけないですね(概念ぐらいは知っていますけど)。わたしが。

さて、きょうはそろそろ、みせじまいで。

**root▲ ★** · NG

>>298
うんうん。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 01:41:12

わかりやすさで>>278に一票

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 01:42:47

ttp://saiken.ddo.jp/upload2/is/data/IS_00072.jpgとなるわけですか。

**マァヴ** ◆jxAYUMI09s · NG

んでわ、スキルないし見守るしかできないなんてつまんないというあなたに(^_^;)

2ch GOAT Systemの概念図を描くスレッド(^_^;)
http://yy92.kakiko.com/test/read.cgi/beta/1113756194/l50

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 02:12:48

>>79
とりあえずqweのとこのiMona鯖は

imona.jp→202.229.14.203

の固定ＩＰだからqwe.ne.jpを除外しても無意味。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 02:18:32

>>115 一定期間鯖が落ちたため、全てのスレ(バイク板)を新スレと誤認識した
そういうことはたまに起こるとは思いますが（そして >>216 みたいな処理をしてない全中間サーバからの激しいアクセスが起きるでしょうが）、
一般的に、中間サーバが欲しいのはスレッド単位ではなくて、板単位の更新情報ですよね。

>>261 BlackGoatが１分のwait
ということであれば、各掲示板について、
「h時 m分0秒～ m分59秒の全発言」を過去30分間とか60分間とかについて保存しておいて、
1つの掲示板、1分間あたり1回のリクエストで返す仕組みを提供するのはいかがかと。
10分間とか1時間とかのファイルは公開しても良いかもしれません。

/minute.cgi/operate/200504180212 とリクエストすると
1113647422 48 304 (このスレの >>304 の内容)
みたいな行が全スレ分ずらずらと帰ってくる、そういうイメージなんですが、長くなりましたがいかがでしょう。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 02:25:22

バーボンハウスのタイトルタグがちゃんと閉じてないので直して～

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 02:46:24

ほんまやw

<title>ようこそバーボンハウスへ</title/>

**FOX ★** · NG

はいはい

**FOX ★** · NG

あれれん?
誰かが既に直してような、

**FOX ★** · NG

みっけ c403.cgiの方か、

**動け動けウゴウゴ２ちゃんねる** · NG

FOXたんは朝までたいへんね・・・。

**306** · 2005/04/18(月) 11:38:45

>>310
おつ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 14:59:21

ﾌｫｯｸｿさんはいつ寝てるんだろう？　

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 15:00:57

>>313
FOXは共通キャップな訳だが．．．

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 15:18:44

ｼｮﾎﾞｰﾝ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 16:19:21

ぼくはｲﾓﾅが使いたいだけなんです
しーにちゃんねっとなんて糞すぎて使ってられません
狐さんは規制かけてる暇があるなら
ｲﾓﾅに替わる携帯ブラウザをつくってください
1年2組愛茂那

**FOX ★** · NG

>>316
了解です

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 16:24:16

工エエェェｪ(´д｀)ｪェェエエ工

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 16:35:15

>>314
FOXさんはマァブの中の人だよ。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 16:38:17

ﾜﾛﾀ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 16:39:17

　 ∧＿∧
　（　・∀・）新ブラウザﾜｸﾜｸ
　（　∪ ∪
　と＿_）__）

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 16:40:33

>>319
いや。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 16:52:15

>>317　工エｴェｪ(´д｀)ｪェｴエ工

**root▲ ★** · NG

iMonaについて、ひとつしつもんが。
でも、あとでLove Affairなスレできこう。

稀 ◆W.e.h.w.K. · 2005/04/18(月) 17:13:24

>>317
その前にbe対応のを。。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 17:18:59

＞複数台で一つの仮想サーバ１台として稼動させる

　 ∧＿∧
　（　・∀・）ついに本格始動？
　（　∪ ∪ ﾜｸﾜｸ
　と＿_）__）

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 17:47:04

狐さんアプリはやめてね(^з^)-☆Chu!!

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 18:12:05

ﾜﾛｽ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 21:54:48

>>305
各掲示板について、
「h時 m分0秒～ m分59秒の全発言」を過去30分間とか60分間とかについて保存しておいて、
1つの掲示板、1分間あたり1回のリクエストで返す仕組み

全体でだいたい200万レス/日だから平均して1400レス/分で、板は600とか700なので、
やるなら板ごとじゃなくてサーバごとでは。
独自形式作らなくて RSS でいいし。RiSuSaんアプリ。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/19(火) 03:43:39

>>324
それよりiMona本スレで聞いたほうが・・・

**クソねこ▲▲** ◆KUSOZsaPr6 · 2005/04/19(火) 04:56:33

狐さんブラウザﾏﾀﾞ-? （･∀･）っ/凵⌒☆ﾁﾝﾁﾝ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/19(火) 06:24:47

>>331
狐さんブラウザは鯖のことを考え、１時間に１回しかDAT読み込みしない仕様になります。
よろしいですか？

**FlashLight** ◆f.lightAf6 · 2005/04/19(火) 07:13:59

>>332
(；ﾟдﾟ)

**動け動けウゴウゴ２ちゃんねる** · 2005/04/19(火) 07:34:32

いかんがな（´・ω・`）

**動け動けウゴウゴ２ちゃんねる** · 2005/04/19(火) 18:03:40

BBON.pie.453 133.41.130.50 (theo.phys.sci.hiroshima-u.ac.jp) 81
http://theo.phys.sci.hiroshima-u.ac.jp/

......

**動け動けウゴウゴ２ちゃんねる** · 2005/04/20(水) 00:36:41

広大院か

**root▲ ★** · NG

さすがに実際にHDD破損しちゃったんで、
ex10でもリロードバーボンを実験的に動かしてみようかなと。

◆Reffi/bQ.c · 2005/04/21(木) 04:01:29

>337
ついにｅｘ１０も導入ですか。。。。
ひ（ryもそれは納得すると思います。
（既にＨＤＤ破損しちゃってるし）

**root▲ ★** · NG

で、live系で間違って動いていたのを、再度除外しておきました。

ex10は超実験サーバなんで、ようすをみつつということで。
もちろんひ（りゃからの解除指令があれば、すぐに解除のはこびで。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/21(木) 04:08:24

さっそくひっかかりますた　(;´Д｀)rootたん'`ｧ'`ｧﾊｧﾊｧ　

**root▲ ★** · NG

＞若者

動かすサーバのリストをf22のリストと共有しましたので、
f22が動いているホストが、自動的にリロードバーボンのターゲットになります。
(この作業の際に、間違ってlive系で動いてしまった)

**動け動けウゴウゴ２ちゃんねる** · 2005/04/21(木) 04:22:42

若者って年でもないんだがｗ
ちょいはしゃぎ杉た。もう寝まする

**動け動けウゴウゴ２ちゃんねる** · 2005/04/21(木) 04:28:56

いや、サザん君の事だと思うよ（； ^ω^）

**動け動けウゴウゴ２ちゃんねる** · 2005/04/21(木) 15:39:05

いよいよ掲示板はp2pが当たり前の時代へ

早くならないかな

**動け動けウゴウゴ２ちゃんねる** · NG

そいえばhobby7って毎日午後４時過ぎに一瞬人大杉になるようですが
これもクローラーさんのしわざなのかな。

**未承諾広告※** ◆TWARamEjuA · NG

>>345
おそらくcrondさんの仕業。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/21(木) 21:41:05

午後四時ってなんかサーバのほうで
作業してなかったっけ？

**動け動けウゴウゴ２ちゃんねる** · NG

あ、なるほど。バックアップとかやってるのかな。

未夢 ◆Miyue6KicE · NG

うはｗｗｗｗｗｗ珍種でバーボン初めてくらったｗｗｗｗｗｗｗｗｗ
さて2時間マジメに仕事するかｗｗｗｗｗｗｗっうぇうぇｗｗｗｗｗｗ

**FlashLight** ◆f.lightAf6 · 2005/04/22(金) 00:52:45

バーボンハウスを過剰リロードしたらどうなるんだろ

**root▲ ★** · 2005/04/22(金) 01:32:20

>>350
qb6もチェック対象っすね。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/22(金) 02:03:26

スクリプトはクーロンで回してんの？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/22(金) 13:13:42

/etc/crontab

**動け動けウゴウゴ２ちゃんねる** · 2005/04/22(金) 18:26:17

手動でも引っかかるじゃん

◆X7F1FulWvk · 2005/04/22(金) 18:35:55

>>354
詳しく。

**root▲ ★** · NG

ふむ。>>354-355

もし手動でひっかかった場合、

・どの板で
・どういうことをしていてひっかかったか

を、教えていただけると助かります。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/22(金) 19:05:54

そういえば昨日100くらいスレ開いて（内pc8鯖のスレが30くらい）
JaneStyleで全タブ新着チェックを何回かしたらpc8で引っかかった

これ304でも引っかかるのかな

2005/04/22(金) 19:32:35

HEADリクエストで引っかかるのですか?
それだと少し困る...

**動け動けウゴウゴ２ちゃんねる** · NG

>>357
全タブ新着チェックは巡回と同じで自動リロードに該当するような気分

**動け動けウゴウゴ２ちゃんねる** · 2005/04/22(金) 21:38:30

Styleは更新ﾁｪｯｸ（subject.txt取得）も同時接続数が
無制限だから気を付た方が良いな

**動け動けウゴウゴ２ちゃんねる** · NG

ログ拾いまくりの「便利ツール」なサイトが増えたねえ。
廃人は2万スレ巡回するし。

アクセス過多で大変大変言う割に情報量が増えている気がしないのは、
人は増えずに読み込みだけが増えていると言う事か。