クローラー＆過剰リロード対策スレ2【新バーボン】

[1 ｒｅｆｆｉ@報告人 ★ 2005/04/16(土) 19:30:22 ID:???0]

現状把握が困難なので前スレ参照してください。

前スレ
クローラー＆過剰リロード対策スレ
http://qb5.2ch.net/test/read.cgi/operate/1113508190/

[234 動け動けウゴウゴ２ちゃんねる 2005/04/17(日) 22:41:08 ID:VoijqS5k0]

>>231
何のためにiMonaが中間鯖経由してるのかわかってねえな、あんたは
アプリの仕様でiアプリはアプリを落としたところだけ
auのEZアプリ（Java)は3箇所のみしかアクセスできないから
中間鯖経由してんだぞ
それを規制されたらiMonaの意味無いじゃんか

[235 動け動けウゴウゴ２ちゃんねる 2005/04/17(日) 22:45:04 ID:hkDHif/H0]

>>234
だから>>232-233という可能性もあるかもしれない。
（ウルトラＣだろうけど。）

現状で携帯からのアクセスが過多になってるのは事実ですからねぇ。
そもそも携帯からのアクセスをバッサリ切られても不思議じゃないですよ。

[236 動け動けウゴウゴ２ちゃんねる 2005/04/17(日) 22:47:56 ID:hkDHif/H0]

糸みみずさんって何やってる人？

[237 root▲ ★ NG NG]

サーバの大幅増強は決まっているわけで、外向け(外の携帯メニューとか、良心的なクローラーさんとか)の
blackgoat(datを持っているサーバ)の増設もあると思ってるです。
つまり、時間が解決するんではないかと。

[238 さくら♀ ◆iMona7m46s 2005/04/17(日) 22:58:18 ID:56b7U8U70]

>>230-235
一部の中間鯖からのアクセスが集中しているだけでiMona全体が引っかかっている訳ではないです。
利用者同士で
上手に各公開鯖へ分散すれは新バーボンを回避する事も可能です。
どうなるか決まりきってない以上、利用者同士が呼びかけあってアクセスの分散を図るのが今出来る
一番の方法です。意見は出す方が良いに決まってます。が、ここで騒いでもアレでしょうから、

携帯用2chブラウザiMona質問スレPart6
http://hobby7.2ch.net/test/read.cgi/appli/1113058932/l50

こっちで意見を出し合いましょう。。。

[239 動け動けウゴウゴ２ちゃんねる 2005/04/17(日) 23:01:41 ID:X6uJFPtCO]

iモード使うのとimona使うのではどちらが鯖に優しいの？運営の方々

あなたに従いますよ
iモード使えとおっしゃるのなら使いましょう

もしimonaを使う方が良いのなら
規制から除外して。

[240 マァヴ ◆jxAYUMI09s NG NG]

imonaやクラシック、みみずんや肉チャンネルさんなどについては現状でバーボンされることと
この先どうなるかが見えないのが不安なとことやね(^_^;)
方向性だけでも提示したほうが、全体の流れがスムースになると思われ。

[241 FOX ★ 2005/04/17(日) 23:07:29 ID:???0]

Black Goat 経由で　>>240

[242 動け動けウゴウゴ２ちゃんねる NG NG]

それらは特別な配慮をする必要がある存在なのか、という話は、

[243 動け動けウゴウゴ２ちゃんねる 2005/04/17(日) 23:09:57 ID:hkDHif/H0]

あっさり解決

[244 root▲ ★ NG NG]

>>240
ですね。

数日以内に、まずはクラシックミラー・クラシックテストを使用して、
外向けblackgoatのテストをはじめる予定です。

で、その後は段階的に外にサービス開放、、、といきたいところですが、
中向けスイッチ(1G対応)が、いつくるかに依存しているですね。

で、blackgoat2台がその結果おなかいっぱいになってきたら、
横並びで増やしていくことになるのかなと。

blackgoatはI/Oが強烈に強くないといけないので、tiny tigerではちょっとつらい気がするので、
DoCoMo用のtiny tiger投入後に、今のc-docomo系に使っているcobraを1つ使うとか、
そういうことになるんじゃないかなと、勝手に考えています。

[245 マァヴ ◆jxAYUMI09s NG NG]

ふむ・・・・(^_^;)
１　外部の携帯フロントエンドやログ収集サイトについては黒ヤギさんからログを取得していただく

さて(^_^;)
・準備ができるまではどうする？
・開放は一般開放？　それともIP指定開放？

[246 稀 ◆W.e.h.w.K. NG NG]

>>245
IP指定開放なんじゃないんですか？

[247 マァヴ ◆jxAYUMI09s NG NG]

>246
ってことは、告知とか窓口とか・・・・まあ、なるようになるか(^_^;)

[248 動け動けウゴウゴ２ちゃんねる 2005/04/17(日) 23:32:14 ID:hkDHif/H0]

黒山羊さんたら読まずに食べた

[249 root▲ ★ NG NG]

>>245
たぶん最初はIPアドレス指定で、
ゆとりが出れば、一般開放(ただしリミットつき、ひどいと403)っていうかんじかと。

[250 動け動けウゴウゴ２ちゃんねる 2005/04/17(日) 23:37:00 ID:I4UrYT050]

iMonaユーザってどれくらいいるんですかね。
（かく言う私も出先ではお世話になってるんですが）

全員がc.2ch.netに回ったらいきなりc.2ch.netの負荷倍増になったりして。

[251 FOX ★ NG NG]

詳しくは知らないんですが

その中間サーバというやらが 10台あったとして
それぞれが２ちゃんねるのサーバを見に行くより
BlackGoat を見に行くほうが２ちゃんねるの各サーバは
大助かりなわけでして、

[252 動け動けウゴウゴ２ちゃんねる 2005/04/17(日) 23:43:01 ID:rrrdxgpw0]

つか携帯用全部を黒山羊に集めて、アクセス増えたらカネかけて増設なんてするよりも、
各中間鯖に適正なウェイト入れてもらって負荷分散するほうが、２ちゃんにとっても(ﾟдﾟ)ｳﾏｰだと思えるのだが。

[253 root▲ ★ NG NG]

>>252
各中間サーバに適正なウェイト入れてもらったうえで、アクセスを全部黒山羊に集めるのが
ｳﾏｰだと思うです。

[254 FOX ★ NG NG]

>>252
bbs用サーバ一台当たりの容量は有限で常に逼迫していますのよん。
たとえば ex10 とか、

[255 稀 ◆W.e.h.w.K. 2005/04/17(日) 23:48:20 ID:hkDHif/H0]

黒山羊
↓
中間
↓
imona

こっちは？

[256 動け動けウゴウゴ２ちゃんねる 2005/04/17(日) 23:50:26 ID:rrrdxgpw0]

>>253,254
そですか、、、
んじゃ、そうゆうことで(･`ω´･)ノ

[257 root▲ ★ NG NG]

>>255
つまり、多段化ですね。そういうの、できるですか。
悪くないかもです。

[258 FOX ★ NG NG]

iMoma について考えると

２ちゃんねるの各サーバ
↓
Black Goat x N台
↓
Black Goat 外向き
↓
中間さーば
↓
クライアント

って考えていたけど?

[259 root▲ ★ NG NG]

>>258
なるほどです。
はじめから、多段化でいくと。< 外向け

[260 FOX ★ NG NG]

Black Goat 外向き = White Goat かも知れず、

[261 動け動けウゴウゴ２ちゃんねる 2005/04/17(日) 23:58:14 ID:/gsNBAY30]

>>255
BlackGoatが１分のwait、さらに中間鯖のwait、使いにくくなるな多分。

[262 root▲ ★ NG NG]

>>260
そのほうがまぎらわしくないから、それでいきますか。 < 名前

[263 稀 ◆W.e.h.w.K. NG NG]

白山羊さんか

[264 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 00:01:25 ID:3H23Ez1u0]

そうするとまずは外向き（多段）黒山羊さんの実験ですか。
あっ、それ以前に機材の調達待ちになるのかな？

[265 FOX ★ NG NG]

White Goat は TinyTiger でok?

[266 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 00:03:05 ID:3H23Ez1u0]

データ落ちが沢山発生する気がするｗ＞白山羊さんと黒山羊さん

[267 稀 ◆W.e.h.w.K. NG NG]

機材はもうあるのか

[268 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 00:05:34 ID:dedmGuCP0]

し〜かた〜がないのでお〜てがみか〜いた

[269 root▲ ★ NG NG]

>>265
ローカルキャッシュを持つとすると、
SCSIディスクのほうがいいかもなと。
参考: >>244

[270 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 00:14:48 ID:3qICJBMW0]

>>249
>ゆとりが出れば、一般開放(ただしリミットつき、ひどいと403)っていうかんじかと。
今のやつと同じじゃん

white goatのIPアドレスは非公開
IPアドレスの指定は無し の方がいいと思われる


静的ＩＰ (ＩＰ指定)
新バーボンでの除外 whitegoat の利用も可能

動的ＩＰ
新バーボンは除外しない whitegoatの利用するときのIPアドレスを教える (squid側でIDとpassを設定)

[271 FOX ★ NG NG]

はいー >>269

当面は TinyTiger をごぼこぼ投入して
あまった Cobra 等を適宜実戦配備(wite goat等)の方向で

五月いっぱいまでに TinyTiger を 6台 or more入れるということで、

[272 root▲ ★ NG NG]

>>270
アクセス回数については、ひどい、の基準値を、大幅に上げる(あるいは、なし)です。

[273 FOX ★ NG NG]

>>270
何を目的にって書いてくれないと
意味がわからんぞ、

[274 root▲ ★ NG NG]

>>271
了解です。

スイッチは、一つ目のtiny tigerと時期をあわせて投入ってかんじですかね。
ひょっとすると、GWに私が自分で据付(w、とかだったりして。

[275 FOX ★ NG NG]

>>274
日程的には微妙かも、、、
Jim が請求書書いて
ひろゆきが振り込んで
Jimが発注
届いたら私たちがごそごそ

なんですが
JIm月曜日から某国出稼ぎという噂

[276 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 00:21:42 ID:3qICJBMW0]

>>273
whitegoat は DDNSを使用している人(iMonaの中間鯖等)への新バーボン回避
とした方がいいような気がする


無闇に一般公開してしまうと新バーボン回避だけの道具として利用されてしまう可能性が高い

[277 root▲ ★ NG NG]

>>275
なるほど、そですか。

FreeBSD 5.4Rも、ちょうど微妙になってきたし。
まぁ、RCまできているので、ex10とかには現地で入れてくる予定ではあります。

あくまで目的は修行なんで(6搭乗12,000マイル)、現地での作業はシュミの範囲だったりするわけですけど。

[278 root▲ ★ NG NG]

こんな絵をかいてくれた人がいました。

772 名前：さくら♀ ◆iMona7m46s [sage] 投稿日：2005/04/18(月) 00:24:29
今はこんな感じかしらん。
ttp://nov.s56.xrea.com/kurosiro.jpg

[279 さくら♀ ◆iMona7m46s 2005/04/18(月) 00:29:24 ID:ZN17vRu20]

わぁ・・・。即座にこっちにペタリンコされてるｗ

[280 FOX ★ NG NG]

>>278
wait?? の部分は議論しても仕方が無いので
実際に構築してから調整&調整っすね。


Jim にさっさと請求書送れと催促のメール出しました。
Good Giga switch & TinyTigerx6 & 専用ラック

[281 root▲ ★ NG NG]

>>280
了解です。

わたしのほうは、cの中のひとたちと、予備実験はじめるです。
多段化はsquidだからできるはずだけど、増分取得まわりでは
微妙にチューニングが必要かもですね。

[282 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 00:32:40 ID:trmCApyx0]

＞ゆとりが出れば、一般開放(ただしリミットつき、ひどいと403)っていうかんじかと。

例えばの話ですが
BEで入って１モリタポ払うとreadだけ５００緩和するとかになるんでしょうか？

[283 root▲ ★ NG NG]

>>282
そういった細かな仕様については、骨格ができて、動かし始めてからですね。
>>280 の第一段落におなじかなと。

[284 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 00:37:16 ID:3H23Ez1u0]

虎の子をはたいてTinyTiger x6 購入ですか。
新サーバには電車１号・２号とか名前がつくのかなｗ

[285 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 00:41:29 ID:qTfjtn1K0]

train と hermes で

[286 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 00:42:03 ID:LJvR7hFG0]

鯖に余裕があったらp2用BlackGoatとか
●持ち専用BlackGoatとか構築して欲しかったり････

無理だよね(´･ω･`)･････

[287 FOX ★ NG NG]

galaさんとかは専用のWhite Goatで供給するのが
トレンドかと、

[288 マァヴ ◆jxAYUMI09s NG NG]

>278
ちょと違うっぽい(^_^;)
黒ヤギさんは何匹もいて、それぞれ担当する２ｃｈのBBSサーバが違う。
たとえば黒ヤギさん１号はex10とnews系とlive系。２号はそのほか全部担当って感じ。
最終的に黒ヤギさんが何匹になるかはわかんないけど、いずれにしろ担当サーバがそれぞれに割り振られる・・・・と
んで、c.2ch.netのフロントエンド群は黒ヤギさんから直接データをもらう。
（読み出したいBBSサーバによって、問い合わせる黒ヤギさんを選ぶ）
白ヤギさんは、黒ヤギ軍団に対するキャッシュサーバで、外部のフロントエンドサーバからの呼び出しに応じて
適切な黒ヤギさんにデータを要求する。
もちろん白ヤギさんにキャッシュされていれば、それを外部フロントエンドに返す。

って感じかな？(^_^;)文字で書くとややこしい

[289 root▲ ★ NG NG]

>>288
>>278 の絵は、概念図っすからね。
どのリクエストをどう振るかとか、板やサーバで首振るか(今はそうなっていますが)とかは、
実装段階での采配かなと。

[290 マァヴ ◆jxAYUMI09s NG NG]

>289
ぅぃぅぃ(^_^;)相関概念ですな
白ヤギさんのイメージとしてなんでもう一段キャッシュ入れるのかってのがわかりにくいかな
と思って、黒ヤギ軍団のイメージを書いてみたのです。
いや、結局わかりにくいんだけどさ(^_^;)

[291 root▲ ★ NG NG]

なんにせよ、携帯対応を含む、内外からのdat要求をうまく処理するのは
雪だるまと並んで今年の大きなテーマの一つだと思っていますので、
そのつもりで、すすめていこうかなと。

[292 マァヴ ◆jxAYUMI09s NG NG]

んだすな(^_^;)
今のところおちついてるPCのアクセスも、将来大爆発したら同じ枠組みで捌いたりとか・・・・

[293 FOX ★ NG NG]

ex10 で BBON 動かしてみた

[294 root▲ ★ NG NG]

>>293
51 BBON.ex10.484 　 202.229.14.2 (ps28.suite2.arena.ne.jp) 2
52 BBON.ex10.481 　 222.7.19.174 (ZL019174.ppp.dion.ne.jp) 2
53 BBON.ex10.400 　 219.106.159.178 (baidb6a9fb2.bai.ne.jp) 2

3人ですか。

[295 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 01:27:52 ID:Ql/zDF8l0]

白山羊にアクセスする為にはやっぱりIDとパスワードを
iMona中間鯖管理人等に発行することになるんでしょうね
それ以外のアクセスははじく、と

[296 マァヴ ◆jxAYUMI09s NG NG]

こんな感じで(^_^;)
http://yy92.kakiko.com/photo/1113755299074036.jpg

[297 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 01:31:29 ID:QpdwwqkT0]

白山羊さんにiMona中間鯖業務自体をやらせてしまえとか思った僕はだめですか。
まあ、自分専用の中間鯖立ててるからあんまり関係ない話だけど。

[298 FOX ★ NG NG]

大きな流れは「雪だるま作戦」です。
つまり「複数台で一つの仮想サーバ１台として稼動させる」流れです。
携帯からのアクセスの分離もその一環と考えられます。
クローリングを２ちゃんねるの各サーバからはじく(別の出入り口を用意する)
というのもまさにこの流れです。

さらに進むと「read.cgiの別サーバ化」「bbs.cgiの別サーバ化」なんて感じですかねぇ

[299 root▲ ★ NG NG]

>>296
概ね、そんな路線ですね。

>>297
公式iMona中間サーバというのは、ありうるかもです。
でもiMonaについて、べんきょしないといけないですね(概念ぐらいは知っていますけど)。わたしが。

さて、きょうはそろそろ、みせじまいで。

[300 root▲ ★ NG NG]

>>298
うんうん。

[301 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 01:41:12 ID:qTfjtn1K0]

わかりやすさで>>278に一票

[302 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 01:42:47 ID:hOqUHSvb0]

ttp://saiken.ddo.jp/upload2/is/data/IS_00072.jpgとなるわけですか。

[303 マァヴ ◆jxAYUMI09s NG NG]

んでわ、スキルないし見守るしかできないなんてつまんないというあなたに(^_^;)

2ch GOAT Systemの概念図を描くスレッド(^_^;)
http://yy92.kakiko.com/test/read.cgi/beta/1113756194/l50

[304 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 02:12:48 ID:uFQfaMnm0]

>>79
とりあえずqweのとこのiMona鯖は

imona.jp→202.229.14.203

の固定ＩＰだからqwe.ne.jpを除外しても無意味。

[305 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 02:18:32 ID:kf8jt19h0]

>>115 一定期間鯖が落ちたため、全てのスレ(バイク板)を新スレと誤認識した
そういうことはたまに起こるとは思いますが（そして >>216 みたいな処理をしてない全中間サーバからの激しいアクセスが起きるでしょうが）、
一般的に、中間サーバが欲しいのはスレッド単位ではなくて、板単位の更新情報ですよね。

>>261 BlackGoatが１分のwait
ということであれば、各掲示板について、
「h時 m分0秒〜 m分59秒の全発言」を過去30分間とか60分間とかについて保存しておいて、
1つの掲示板、1分間あたり1回のリクエストで返す仕組みを提供するのはいかがかと。
10分間とか1時間とかのファイルは公開しても良いかもしれません。

/minute.cgi/operate/200504180212 とリクエストすると
1113647422 48 304 (このスレの >>304 の内容)
みたいな行が全スレ分ずらずらと帰ってくる、そういうイメージなんですが、長くなりましたがいかがでしょう。

[306 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 02:25:22 ID:bcbeVGhu0]

バーボンハウスのタイトルタグがちゃんと閉じてないので直して〜

[307 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 02:46:24 ID:HG9f+VLW0]

ほんまやw

<title>ようこそバーボンハウスへ</title/>

[308 FOX ★ NG NG]

はいはい

[309 FOX ★ NG NG]

あれれん?
誰かが既に直してような、

[310 FOX ★ NG NG]

みっけ c403.cgiの方か、

[311 動け動けウゴウゴ２ちゃんねる NG NG]

FOXたんは朝までたいへんね・・・。

[312 306 2005/04/18(月) 11:38:45 ID:8VKPe7Rj0]

>>310
おつ

[313 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 14:59:21 ID:hMsvjEpO0]

ﾌｫｯｸｿさんはいつ寝てるんだろう？　

[314 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 15:00:57 ID:WcpvoEuW0]

>>313
FOXは共通キャップな訳だが．．．

[315 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 15:18:44 ID:Mj/AC7220]

ｼｮﾎﾞｰﾝ

[316 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 16:19:21 ID:OnXrux+RO]

ぼくはｲﾓﾅが使いたいだけなんです
しーにちゃんねっとなんて糞すぎて使ってられません
狐さんは規制かけてる暇があるなら
ｲﾓﾅに替わる携帯ブラウザをつくってください
1年2組 愛 茂那

[317 FOX ★ NG NG]

>>316
了解です

[318 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 16:24:16 ID:9u+7eijH0]

工エエェェｪ(´д｀)ｪェェエエ工

[319 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 16:35:15 ID:5xmNOfd+0]

>>314
FOXさんはマァブの中の人だよ。

[320 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 16:38:17 ID:9u+7eijH0]

ﾜﾛﾀ

[321 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 16:39:17 ID:lBpy3DdS0]

　 ∧＿∧
　（　・∀・） 新ブラウザﾜｸﾜｸ
　（　∪ ∪
　と＿_）__）

[322 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 16:40:33 ID:4OBcX+kv0]

>>319
いや。

[323 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 16:52:15 ID:xUPqxbeL0]

>>317　工エｴェｪ(´д｀)ｪェｴエ工

[324 root▲ ★ NG NG]

iMonaについて、ひとつしつもんが。
でも、あとでLove Affairなスレできこう。

[325 稀 ◆W.e.h.w.K. 2005/04/18(月) 17:13:24 ID:B/QNNX8t0]

>>317
その前にbe対応のを。。

[326 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 17:18:59 ID:KG4EigHf0]

＞複数台で一つの仮想サーバ１台として稼動させる

　 ∧＿∧
　（　・∀・） ついに本格始動？
　（　∪ ∪ ﾜｸﾜｸ
　と＿_）__）

[327 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 17:47:04 ID:qDo37Z3/O]

狐さんアプリはやめてね(^з^)-☆Chu!!

[328 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 18:12:05 ID:B/QNNX8t0]

ﾜﾛｽ

[329 動け動けウゴウゴ２ちゃんねる 2005/04/18(月) 21:54:48 ID:nhCJHytR0]

>>305
各掲示板について、
「h時 m分0秒〜 m分59秒の全発言」を過去30分間とか60分間とかについて保存しておいて、
1つの掲示板、1分間あたり1回のリクエストで返す仕組み

全体でだいたい200万レス/日だから平均して1400レス/分で、板は600とか700なので、
やるなら板ごとじゃなくてサーバごとでは。
独自形式作らなくて RSS でいいし。RiSuSaんアプリ。

[330 動け動けウゴウゴ２ちゃんねる 2005/04/19(火) 03:43:39 ID:AbDy3mp20]

>>324
それよりiMona本スレで聞いたほうが・・・

[331 クソねこ▲▲ ◆KUSOZsaPr6 2005/04/19(火) 04:56:33 ID:MsUbBXtZO]

狐さんブラウザﾏﾀﾞ-? （･∀･ ）っ/凵⌒☆ﾁﾝﾁﾝ

[332 動け動けウゴウゴ２ちゃんねる 2005/04/19(火) 06:24:47 ID:lR9BdQLT0]

>>331
狐さんブラウザは鯖のことを考え、１時間に１回しかDAT読み込みしない仕様になります。
よろしいですか？

[333 FlashLight ◆f.lightAf6 2005/04/19(火) 07:13:59 ID:QxFEOLg30]

>>332
(；ﾟдﾟ)