2ch特化型サーバ・ロケーション構築作戦 Part58

**動く動くウゴウゴ２ちゃんねる** · NG

2ch特化型サーバ・ロケーション構築作戦のスレッドです。

・２ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更関連の各種作業や調整事項
・２ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携

等を取り扱います。

前スレ:2ch特化型サーバ・ロケーション構築作戦 Part57
http://qb5.2ch.net/test/read.cgi/operate/1280669783/

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 15:25:28

差分取得かぁ

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 15:28:33

今まで
http://qb5.2ch.net/test/read.cgi/operate/1281086504/l50
でも
http://qb5.2ch.net/test/read.cgi/operate/1281086504/100-120
でも
2ch特化型サーバ・ロケーション構築作戦 Part58
http://qb5.2ch.net/test/read.cgi/operate/1281086504/
の全データを転送してたってこと？

**まみら ★** · 2010/08/08(日) 15:33:17

>>155
うん。

**ちきちーた ★** · 2010/08/08(日) 15:33:36

ちがったっけか?

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 15:38:00

一回スレ丸ごと取得してそのdatをC内に保存し、次に同じスレへのアクセスがあった場合は
２ちゃんの鯖にアクセスしてタイムスタンプのみを取得し、日付が変わっていた場合は再取得、同じならC内のDatから読み込む
ってのは？

と書いてみたけど、流れの速いスレじゃ全取得しっぱなしになるのかうーん

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 15:38:59

>>153
読む側も書く側も大改造が必要になると思うが
memcachedなどのキーバリューストアデータベースを使うように改造したらどうだろうか
書く側はレスをファイルに書くと同時にmemcachedにも書く
読む側はmemcachedから必要な部分のクエリーを出して読む
もし今後読む側の性能が不足してきたら今まで同様に並列にホストを並べてスケールさせられる

実際どういうコードになるのよといわれた場合は何も助力できませんすいません

**ちきちーた ★** · 2010/08/08(日) 15:41:25

Cの改造は大改造になる?
ちょちょっと10分くらいで終わると思うけど・・・

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 15:42:43

もう全部ZIPでくれにしちゃうとか

▲ ◆SANUKI/VII · 2010/08/08(日) 15:43:47

差分取得なんてそんな難しいもんじゃないでしょ。

**まみら ★** · 2010/08/08(日) 15:46:20

**まみら ★** · 2010/08/08(日) 15:47:27

If-Modified-Since 使えばいいの？

**ちきちーた ★** · 2010/08/08(日) 15:49:29

そんな難しいやつじゃなくてさ

http://qb5.2ch.net/test/read.cgi/operate/1281086504/100-120 形式にするだけなんだが、
100レス目から120レス目のデータよこせ、、

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 15:51:26

それだけならあぼーん考慮しなくていいし簡単じゃね

▲ ◆SANUKI/VII · 2010/08/08(日) 15:56:48

bgとCの鯖を一つにして
bg鯖/dat.cgi/operate/1234567890/11とかで指定レスだけを
C鯖のプログラムに取得させて表示させるってこと？

**まみら ★** · 2010/08/08(日) 16:00:33

たとえば、

$s['uri'] = "/test/r.so/{$s['host']}/{$s['board']}/{$s['thread']}/";
↓
$s['uri'] = "/test/r.so/{$s['host']}/{$s['board']}/{$s['thread']}/100-200";

これで、いいのかな？

**ちきちーた ★** · 2010/08/08(日) 16:01:48

>>153 の1と2は別々の事象でーす。

1 だけやったら　C(1台)+現BG群(5台)で再度実験、もうあふれることはないでしょう
ピーク時の転送量が100Mbpsを下回れば C(一台)+BG(一台)で実験
ここまで成功するだむでも　11台 -> 2台が実現する

さらに 2をやると 2台->1台になり当初の目論見が実現する。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 16:03:05

全取得方式のままにして、
最終取得から15秒くらいは再取得抑止するのがいいとおもー。
意外に劇的改善にならんかのー。
10秒待てない？●ユーザだけは15秒を2秒とかにするとか。
内情しらんので適当だが。

▲ ◆SANUKI/VII · 2010/08/08(日) 16:03:18

むほむほ。

**ちきちーた ★** · 2010/08/08(日) 16:03:26

>>168
そうそう、
今のread.cgiみたいな感覚、ただ>>1の処理はread.cgi同様書き方が煩雑になるかも。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 16:04:04

>>156
そうでしたかー

>>165
100-120
の分だけ今までよりリクエストが長くなって鯖の処理がちょっこし増えて転送量がぐっと減ると

あんまり技術的なことはわかんないけど最近は転送量がネックになってるらしいから
見込みありそうなのかなー

**ちきちーた ★** · 2010/08/08(日) 16:04:11

>>170
それはBGがすでにやっていまーす

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 16:07:19

非常にレス速度が速いときにはトラブルにならないの？

**ちきちーた ★** · 2010/08/08(日) 16:10:11

20倍改善するんじゃないかなぁ

▲ ◆SANUKI/VII · 2010/08/08(日) 16:10:40

>>175
なんでそうなるのかの理由をしりたい。

**まみら ★** · 2010/08/08(日) 16:12:42

リファレンス見ながら頑張ってみまーす

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 16:13:13

>>177
ユーザーからのリロード要求が増えるような気がするんだけど
はずしてる？

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 16:13:48

えいえいおー

▲ ◆SANUKI/VII · 2010/08/08(日) 16:18:43

>>179
リロード回数なんて変わらないよ。
ユーザーから見たら変わらない。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 16:21:58

そうですか
スマソ

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 16:22:48

2はこういう事でしょ？

2ch－BG－何かの共有ストレージ－C－携帯
（BG・共有ストレージ・Cは1台の鯖内）

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 16:23:58

短パンじゃなくて
http://qb5.2ch.net/operate/kako/1276034202.datを表示したりは無理かな？

**まみら ★** · 2010/08/08(日) 16:32:19

とりあえず、
$s['res'] = preg_replace("/[in]?([cCswa]?)/","",$p['option']);
if($s['res']==""){$s['res']="1-10"}
$s['uri'] = "/test/r.so/{$s['host']}/{$s['board']}/{$s['thread']}/{$s['res']}";

にしてみた。新着レスはどうすればいいんだろう。
正規表現合ってる？

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 16:40:59

2についてはこんな感じ？

・Cは携帯から要求が来たらBGに要求を投げる
・BGは要求に対して
　・スレが既にあるなら「有り」の返答を返す
　・無いなら2chから取得し、内部DISKに保存してから「有り」の返答を返す
　・2chからdat落ち等の返事があれば、それをCに返答する
・CはBGから「有り」の返答があったら内部DISKからスレを読み込んで携帯に返す
　・dat落ちとかの場合はそれを携帯に返答する
・BGは任意のアルゴリズムで2chにスレを要求し内部DISKに保存する
　・例えばCからの要求が多いスレはその度に読みに行くとか

♪ ◆/y.Ychk2JQ · 2010/08/08(日) 17:01:04

BG差分取得対応ですか？
お待ちしております。

**まみら ★** · 2010/08/08(日) 17:06:14

$s['res'] = preg_replace("/[in]?([cCswa]?)/","",$p['option']);
if(preg_match("/[in]?/",$p['option'])){$s['res']="l50";}
$s['uri'] = "/test/r.so/{$s['host']}/{$s['board']}/{$s['thread']}/{$s['res']}";

にしてみた。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 17:10:36

＞　「何行目から何行目をよこせ」というように改造する
パフォーマンスが落ちる

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 17:17:11

>>189
何で？

現在の仕様だとBGはCに内部のキャッシュを返してるだけだから、BGが2chに取得しに行く部分が
多少増えても見かけのパフォーマンスはほとんど変わらないはず。

しかも、差分取得してキャッシュに追加なんて処理的には小さすぎる変更。

**ちきちーた ★** · 2010/08/08(日) 17:29:26

>>189
20倍にあがると思うよ

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 17:30:19

予想・予測は立てれても、その時の条件で結果は変わってくるんだから、実験してみないとわからんよ。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 17:32:57

実験してだめなら、また考えればいいだけだから、やってみよう。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 17:34:14

石橋を叩きながら渡るですね

**ちきちーた ★** · 2010/08/08(日) 17:34:36

ようし　たとえ話大会に・・・

某国は「牛タン」しか食べないのに牛を丸ごと一頭毎回輸入して「牛タン」以外は捨てていたんだな
それ輸送費はかかるわなんだで無駄だから「牛タン」だけ輸入することにしようと、

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 17:36:50

牛さんもったいないです…

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 17:37:10

>>195
ビルの地下のsavoyの支店がある飲食店フロアの牛タン屋の常連かい？

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 17:38:46

>>195
牛タンだけ輸入しようとしたら、他の部位も買ってくれなきゃ売らないと言われるんですね

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 17:43:00

吉野屋の牛丼は現地であまり食べられない部位を輸入して成功したとか

**ちきちーた ★** · 2010/08/08(日) 17:45:12

Cってデフォだと一回の表示で何レス表示されるの?

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 17:50:16

**まみら ★** · 2010/08/08(日) 17:50:28

デフォは10レスですー

**まみら ★** · 2010/08/08(日) 17:51:01

じゃあ、L10にしろって事ですか。そうですか。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 17:52:09

>>1も表示するから11じゃない？

**ちきちーた ★** · 2010/08/08(日) 17:52:18

その10レスを表示するのにdat全部(最悪　1000レス)毎回もらってくるのが現状
これが500Mbpsなんですな

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 17:54:52

>>205
それって、キャッシュさせずに捨ててるの？
携帯から1回要求ある度に、全レス要求していた？

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 17:55:12

テールほしい

**まみら ★** · 2010/08/08(日) 17:55:17

>>206
そうですー

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 17:55:18

>>191 >>190
単純な分岐条件増やせば遅くなる

以上

まぁーためしに実装してみな。遅くなるから。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 17:57:45

>>174
無知すまそ。
じゃ、BGから上へのリクエスト時に欲しい範囲があるならそれを伝えるようにする、
というのが今の話？
それともCからBGのサーバの話？

後者はかなり価値がありそうだね。
BGは持ってるデータで十分か上に取得しに行く必要があるかを判断できる
材料が増えることになるね。
携帯だとページングしてるからキャッシュが使える率も上がってよさそう。

**ちきちーた ★** · 2010/08/08(日) 17:58:29

>>209
目的は 500Mbps っすけど、
ちなみに現在は同じ処理をCがやってるだけですけど、
なぜ遅くんるか私にはわからない
さらに 2の段階で切り出しまでキャッシュしてしまえば・・・
数千倍はやくなると思うぞ

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 18:01:01

>>208
なるほど。これなら、改良すれば間違いなく早くなると思う。
キャッシュさせたほうがいいかは、どうなんだろ？
1台にすると、キャッシュのサイズが大きくなりすぎるのかな？
今回の改良がうまくいったら、次に試してみたいね。

**まみら ★** · 2010/08/08(日) 18:13:55

あと、どこ弄ったらいいかわかんない。。・ﾟ・(ﾉД`)・ﾟ・。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 18:16:19

ヽ(・ω・)/ｽﾞｺｰ

**ちきちーた ★** · 2010/08/08(日) 18:19:36

>>213
いやいや　まだBGの改造していないし、
なによりもまずI/F決めなきゃだし、、

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 18:20:47

>>213
焦らないでー
全部一人で背負い込まないでみんなでわいわいがやがやしようよ

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 18:23:14

>>211
切り出しまでキャッシュって
110-120が要求されたらdatから110-120を切り出して
キャッシュに入れるんだろうけど、
同じ110-120を再要求された時に探すの大変にならんのかな？

**まみら ★** · 2010/08/08(日) 18:24:36

たぶん、>>１関連。。。。l50に>>1が含まれてると嬉しいなっ。
そしたら変更終わりって事になるかも。
そうでなかったら実際動かしてみないとわかんないかも。
最新50（or10）に>>1が入ってなかったら、
再度リクエストして、タイトルや本文取得する方向でしょうか。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 18:26:50

NHK総合でアニソンやってますけど

**ちきちーた ★** · 2010/08/08(日) 18:29:35

>>217
ポインタだけで中身は移動しないし、
レス番号はリニアだし、

>>218
今は案をまな板に乗っけて叩いているところだす
それが終わったらI/F決めて
それから C/BGの改修へと

**まみら ★** · 2010/08/08(日) 18:34:42

ouiです。
なんかこっちのソースでも出す所ありますかね？

**ちきちーた ★** · 2010/08/08(日) 18:43:36

いまのとみろ特にないような

**まみら ★** · 2010/08/08(日) 18:56:09

聞きたい人が居ないのもそれはそれで寂しいですね

増築しすぎて無駄な分岐が沢山あるんですよー
この機に乗じて助けて欲すぃ

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 18:56:28

>>222
おいちゃん、ひらがな入力かw

♪ ◆/y.Ychk2JQ · 2010/08/08(日) 18:56:57

>>209
BG単体での話なら分からなくもないけど。
今はCがその処理をしているわけで、それをBGがするようになるだけでしょ。
むしろdatすべての転送が終わるまで処理できないことがなくなるから今より遅くなることはないよ。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 19:02:54

>>219
hayabusaが60.335Mで＋40M くらい

**まみら ★** · 2010/08/08(日) 19:06:20

>>225　！！！
なるほど！分かりやすい話がきた！

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 19:07:59

CPU時間と転送量のどっちを取るかって言う昔から繰り返してきたネタだな

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 19:18:51

>>209
いまのボトルネックが何なのかも考えず、単に分岐だけの話かよ。
何だかな～

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 19:36:59

>>229
おまえが知らないだけ

**rafale▲▲△ ★** · 2010/08/08(日) 20:25:29

富豪的プログラミングを叩く年寄りみたいだな

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 20:26:55

おおー、bgの差分ようやく来たー

これ20もおｋでしょ？

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 20:30:16

あっと正確には差分じゃないか、指定か

なんにせよ無駄がへるへる

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 20:42:03

此処でシャドーはやめてー

**ちきちーた ★** · 2010/08/08(日) 20:47:49

月面基地?

♪ ◆/y.Ychk2JQ · 2010/08/08(日) 20:50:36

bg20はまだまだ全レス取得してる。>>232

♪ ◆/y.Ychk2JQ · 2010/08/08(日) 20:57:03

っていうかまだじゃん？

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 21:03:23

いえ、なる予定って事でしょ？

外の人には大変態ありがたいんじゃねー

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 21:03:28

http://traffic.maido3.com/tVYn/37Nk/YfUc/

もうやってる？

**ちきちーた ★** · 2010/08/08(日) 21:08:15

わしゃ　まだ何もしとらんが、

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 21:13:15

トラフィックが落ちてたから、導入してうまく行ったのかと思ったｗ

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 21:13:17

小人さんはだれだ?

♪ ◆/y.Ychk2JQ · 2010/08/08(日) 21:15:06

>>238
いや。ほんとにすみません。２レス書いた時点で気付いたです。
とりっくさんの投稿の意味。
でも恥ずかしいのであまり触れないでください＞＜

**ちきちーた ★** · 2010/08/08(日) 21:19:23

Cの方は変えたの?

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 21:28:07

>>241
この時間帯だとグラフが一回りしてるんじゃないかと

**はんだごて** ◆HANDAGOT9E · NG

>>244
まみらさんのスレを見るにまだかも。苦戦していそうです

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 21:37:00

>>245
あー、なるほど。完全な勘違いでしたorz

**まみら ★** · 2010/08/08(日) 21:40:54

c-testに変えたの入れてますよー。

**ちきちーた ★** · 2010/08/08(日) 21:42:58

了解ですー

頑張ってBGにも入れます
まずはソース探さなきゃ・・・

**ちきちーた ★** · 2010/08/08(日) 21:45:27

もう動いちゃってる?
それともおかしい?

http://c-test.2ch.net/test/-/operate/1281086504/i

**まみら ★** · 2010/08/08(日) 21:48:45

>>188 の
上二行追加、下一行変更のみです。
>>1に対応してないので、タイトル表示されないですね。

その後に続くファイルを舐める作業がどう動くのかは未知数。。

**まみら ★** · 2010/08/08(日) 21:54:37

http://c-test.2ch.net/test/-!debug=1/operate/1281086504/i
動いてる上に、おかしいですー。正規表現間違ってる！

**はんだごて** ◆HANDAGOT9E · 2010/08/08(日) 21:56:43

>>250
動いていますよ、と>>250のリンクから書いてみたり(´・ω・｀)