2ch特化型サーバ・ロケーション構築作戦 Part58

**動く動くウゴウゴ２ちゃんねる** · NG

2ch特化型サーバ・ロケーション構築作戦のスレッドです。

・２ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更関連の各種作業や調整事項
・２ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携

等を取り扱います。

前スレ:2ch特化型サーバ・ロケーション構築作戦 Part57
http://qb5.2ch.net/test/read.cgi/operate/1280669783/

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 17:57:45

>>174
無知すまそ。
じゃ、BGから上へのリクエスト時に欲しい範囲があるならそれを伝えるようにする、
というのが今の話？
それともCからBGのサーバの話？

後者はかなり価値がありそうだね。
BGは持ってるデータで十分か上に取得しに行く必要があるかを判断できる
材料が増えることになるね。
携帯だとページングしてるからキャッシュが使える率も上がってよさそう。

**ちきちーた ★** · 2010/08/08(日) 17:58:29

>>209
目的は 500Mbps っすけど、
ちなみに現在は同じ処理をCがやってるだけですけど、
なぜ遅くんるか私にはわからない
さらに 2の段階で切り出しまでキャッシュしてしまえば・・・
数千倍はやくなると思うぞ

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 18:01:01

>>208
なるほど。これなら、改良すれば間違いなく早くなると思う。
キャッシュさせたほうがいいかは、どうなんだろ？
1台にすると、キャッシュのサイズが大きくなりすぎるのかな？
今回の改良がうまくいったら、次に試してみたいね。

**まみら ★** · 2010/08/08(日) 18:13:55

あと、どこ弄ったらいいかわかんない。。・ﾟ・(ﾉД`)・ﾟ・。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 18:16:19

ヽ(・ω・)/ｽﾞｺｰ

**ちきちーた ★** · 2010/08/08(日) 18:19:36

>>213
いやいや　まだBGの改造していないし、
なによりもまずI/F決めなきゃだし、、

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 18:20:47

>>213
焦らないでー
全部一人で背負い込まないでみんなでわいわいがやがやしようよ

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 18:23:14

>>211
切り出しまでキャッシュって
110-120が要求されたらdatから110-120を切り出して
キャッシュに入れるんだろうけど、
同じ110-120を再要求された時に探すの大変にならんのかな？

**まみら ★** · 2010/08/08(日) 18:24:36

たぶん、>>１関連。。。。l50に>>1が含まれてると嬉しいなっ。
そしたら変更終わりって事になるかも。
そうでなかったら実際動かしてみないとわかんないかも。
最新50（or10）に>>1が入ってなかったら、
再度リクエストして、タイトルや本文取得する方向でしょうか。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 18:26:50

NHK総合でアニソンやってますけど

**ちきちーた ★** · 2010/08/08(日) 18:29:35

>>217
ポインタだけで中身は移動しないし、
レス番号はリニアだし、

>>218
今は案をまな板に乗っけて叩いているところだす
それが終わったらI/F決めて
それから C/BGの改修へと

**まみら ★** · 2010/08/08(日) 18:34:42

ouiです。
なんかこっちのソースでも出す所ありますかね？

**ちきちーた ★** · 2010/08/08(日) 18:43:36

いまのとみろ特にないような

**まみら ★** · 2010/08/08(日) 18:56:09

聞きたい人が居ないのもそれはそれで寂しいですね

増築しすぎて無駄な分岐が沢山あるんですよー
この機に乗じて助けて欲すぃ

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 18:56:28

>>222
おいちゃん、ひらがな入力かw

♪ ◆/y.Ychk2JQ · 2010/08/08(日) 18:56:57

>>209
BG単体での話なら分からなくもないけど。
今はCがその処理をしているわけで、それをBGがするようになるだけでしょ。
むしろdatすべての転送が終わるまで処理できないことがなくなるから今より遅くなることはないよ。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 19:02:54

>>219
hayabusaが60.335Mで＋40M くらい

**まみら ★** · 2010/08/08(日) 19:06:20

>>225　！！！
なるほど！分かりやすい話がきた！

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 19:07:59

CPU時間と転送量のどっちを取るかって言う昔から繰り返してきたネタだな

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 19:18:51

>>209
いまのボトルネックが何なのかも考えず、単に分岐だけの話かよ。
何だかな～

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 19:36:59

>>229
おまえが知らないだけ

**rafale▲▲△ ★** · 2010/08/08(日) 20:25:29

富豪的プログラミングを叩く年寄りみたいだな

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 20:26:55

おおー、bgの差分ようやく来たー

これ20もおｋでしょ？

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 20:30:16

あっと正確には差分じゃないか、指定か

なんにせよ無駄がへるへる

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 20:42:03

此処でシャドーはやめてー

**ちきちーた ★** · 2010/08/08(日) 20:47:49

月面基地?

♪ ◆/y.Ychk2JQ · 2010/08/08(日) 20:50:36

bg20はまだまだ全レス取得してる。>>232

♪ ◆/y.Ychk2JQ · 2010/08/08(日) 20:57:03

っていうかまだじゃん？

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 21:03:23

いえ、なる予定って事でしょ？

外の人には大変態ありがたいんじゃねー

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 21:03:28

http://traffic.maido3.com/tVYn/37Nk/YfUc/

もうやってる？

**ちきちーた ★** · 2010/08/08(日) 21:08:15

わしゃ　まだ何もしとらんが、

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 21:13:15

トラフィックが落ちてたから、導入してうまく行ったのかと思ったｗ

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 21:13:17

小人さんはだれだ?

♪ ◆/y.Ychk2JQ · 2010/08/08(日) 21:15:06

>>238
いや。ほんとにすみません。２レス書いた時点で気付いたです。
とりっくさんの投稿の意味。
でも恥ずかしいのであまり触れないでください＞＜

**ちきちーた ★** · 2010/08/08(日) 21:19:23

Cの方は変えたの?

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 21:28:07

>>241
この時間帯だとグラフが一回りしてるんじゃないかと

**はんだごて** ◆HANDAGOT9E · NG

>>244
まみらさんのスレを見るにまだかも。苦戦していそうです

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 21:37:00

>>245
あー、なるほど。完全な勘違いでしたorz

**まみら ★** · 2010/08/08(日) 21:40:54

c-testに変えたの入れてますよー。

**ちきちーた ★** · 2010/08/08(日) 21:42:58

了解ですー

頑張ってBGにも入れます
まずはソース探さなきゃ・・・

**ちきちーた ★** · 2010/08/08(日) 21:45:27

もう動いちゃってる?
それともおかしい?

http://c-test.2ch.net/test/-/operate/1281086504/i

**まみら ★** · 2010/08/08(日) 21:48:45

>>188 の
上二行追加、下一行変更のみです。
>>1に対応してないので、タイトル表示されないですね。

その後に続くファイルを舐める作業がどう動くのかは未知数。。

**まみら ★** · 2010/08/08(日) 21:54:37

http://c-test.2ch.net/test/-!debug=1/operate/1281086504/i
動いてる上に、おかしいですー。正規表現間違ってる！

**はんだごて** ◆HANDAGOT9E · 2010/08/08(日) 21:56:43

>>250
動いていますよ、と>>250のリンクから書いてみたり(´・ω・｀)

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 21:58:00

いやん丸見え

**まみら ★** · 2010/08/08(日) 21:59:00

if(preg_match("/[in]?/",$p['option'])){$s['res']="l50";}
↓
if(preg_match("/[in]/",$p['option'])){$s['res']="l50";}

変更してみました。これで動いてるはず。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 22:01:00

切り出しまでキャッシュっていうのは、
各レスの先頭オフセットのインデックステーブルを作っておく
ということだと思うのだけれど、違うのかな。

**ちきちーた ★** · 2010/08/08(日) 22:01:55

正しく動いているの?
まだBGは何もしていないんだけど、
何もしなくてもそうなっていた、何もしなくてもいいってこと?

**ちきちーた ★** · 2010/08/08(日) 22:02:27

>>256
そうそう

**まみら ★** · 2010/08/08(日) 22:06:03

ええと、BG側で変更されてないって事はレスの番号無視されてると思うので、
たとえば、
http://bg22.2ch.net/test/r.so/qb5.2ch.net/operate/1281086504/233-
の末尾233-に反応してないので、dat全部持ってきてます。今。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 22:07:34

いまはc側で処理してるんでしょ？特にbg何も変わってないようだけど

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 22:08:20

http://traffic.maido3.com/i6Br/Rnt3/JYBP/1gbps/

グラフでも、Sentに比べてRecvが大きいのですね。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 22:09:39

●の値段は４台／もとの台数にするんだよね？？？

**ちきちーた ★** · 2010/08/08(日) 22:12:28

>>260
できれば、、
そのC側での処理をやめていただけるとBGの開発がしやすいなぁ

**ちきちーた ★** · 2010/08/08(日) 22:15:19

というか、まずI/Fを・・・決めたいんだけど、
決まっちゃった?
決まったらここに書いていただけると嬉しいです
そのわうにBGをコーディングしますんで、

**まみら ★** · 2010/08/08(日) 22:15:50

ですよねー。
どの関数使えばファイルの途中から読めるのかしら、、？

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 22:17:11

わう

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 22:30:08

>>264
I/Fってのは例えば>>259の様なBGに投げるパラメータの事？

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 22:30:49

fseek?

**まみら ★** · 2010/08/08(日) 22:33:20

>>268
ローカルリソースのみです。。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 22:33:20

とりあえず

233
233-
233-266

ってのがbgから取得できればいいんじゃね？ほんで>>1を>>256でキャッシュしといて
iとかでそいつも取得できればいいってことかしら

233,266とかはどうすっべ？

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 22:33:22

Cならseekとかfseekとかlseekとか、って話じゃなくて？

● ◆SUAMA.Cbav5m **＠SUAMA ★** · 2010/08/08(日) 22:34:33

>>263-264
bgを先に作ったほうが楽なんじゃないかってことですかー？

♪ ◆/y.Ychk2JQ · 2010/08/08(日) 22:38:17

CにあわせてBG作るのか。BGにあわせてCを作るのか。

C側って（今は）内部でキャッシュしないで、携帯からのリクエストをそのままBGに取りに行っているのかしら？
なら、
233
233-　（～以降）
233-240　（範囲）
233,240　もしくは　233+240　（複数のレス）
l50　（最新～レス指定）

よく使われるのはこんな感じ？

**まみら ★** · 2010/08/08(日) 22:40:03

＞233,266とかはどうすっべ？
＞233,240　もしくは　233+240　（複数のレス）
これは使ってないです。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 22:43:12

>>1の中のスレタイって使ってないの？

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 22:43:36

今の状況は >>153の1.

・Cが差分だけのリクエストをBGに投げる＞とりあえず完了？
・BGがCからのリクエスト通りに差分部分をCに返す＞これが今から作る？

こう言う事？

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 22:46:52

むー、外からじゃ良くわからんので、まみらさんが欲しいI/Fを書けば医院で内科医？
そんでおきつねさんがそれを元にbgをこーちんぐすると

>>273
そういうことじゃねーすか、じゃないと500Mbpsもいかんでしょ
そのためのbgだったし

**まみら ★** · 2010/08/08(日) 22:49:40

だいたいファイルのポインタって何よ。バイト毎じゃん。
同居して同じHDDだったら読めるかもしれないけど、使いこなせるかしら。

**まみら ★** · 2010/08/08(日) 22:51:18

標準的なI/Fの提示ってどういう風にするのですか？

**まみら ★** · 2010/08/08(日) 22:52:58

>>275
がんがん使ってます。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 22:53:29

まみら ★さんが話を理解していない気がする

♪ ◆/y.Ychk2JQ · 2010/08/08(日) 22:55:19

>>278
まずは、こういう風にしたいっていう要望書けば良いんじゃないですか？
そうすればみんあでがやがやできるし。
あとはそれをコーディングしてくれる気がする。
それにあわせてC側をコーディングする。

要求の提示→仕様をつめる→BGコーディング→Cコーディング

で、どう？

**まみら ★** · 2010/08/08(日) 22:57:03

>>282
なるほど

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 22:57:13

まみらさんのなかで、「それ私がやるの？」が渦巻いていないといいんだが

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 22:57:29

>>280
じゃあ>>1＋要求レスがBGから返るようにするのが簡単じゃないですかね
IFとしては

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 22:58:19

>>211
好きにしろ。

**まみら ★** · 2010/08/08(日) 23:00:48

>>285
あ、今それ私も書こうとしてた！

**ちきちーた ★** · 2010/08/08(日) 23:02:16

さて、まずはソース探してくる bg20にあるのかなぁ
bg20に入れるのかなぁ

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 23:03:13

まずは、現在のC側の実装がどうなっているかと思います。

たとえば、bgにdat全部をRequestして、Responseを
PHPの配列なりに格納し、1のスレタイと必要range(233-)を
加工・編集し、携帯側へ送信しているとした場合、

(1) 1だけをbgにRequestしResponseを配列に格納
(2) 233以降をbgにRequestしResponseを配列に格納
(3) (1)/(2)の配列を元に携帯側への送信pageを生成
といった形にするのが今回の対応なのではないかと。

で、(1)/(2)のbg部分のIFをどうするのかが課題かと。

**ちきちーた ★** · 2010/08/08(日) 23:07:22

bg20.2ch.netに入れた。ソース発見。

2008/7/29 が１番新しいようだ。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 23:10:36

>>278
C 側が l50 とか送ると、必要なものだけを BG 側が送ってきてくれるから、
C 側ではシークとかしなくてもOK

BG 側から送ってくるのは、現状ではスレタイ + 1...n のレスという形になっているはずだけれど、
今度は 10-20 とかなら、スレタイ + 10...20 のレス*だけ*になるというイメージ。
ファイルの途中から読むとか、インデックスどーのこーのは BG 側の話だから、おいちゃんの担当。

と書いていて思ったんだけれど、l50とかだと先頭のレス番は BG 側から送ってあげないとならないから、
BG 側からのデータには「先頭レスのレス番」と、「レス数」位は必要そう。

● ◆SUAMA.Cbav5m **＠SUAMA ★** · 2010/08/08(日) 23:13:14

まちBBSのofflaw.cgiみたいに、
レス番号<>なまえ<>～
みたいにしてもいいかもしれない >レス番号＠bg

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 23:14:10

10+20+30 なんてモノのことも考えると、いっそのこと BG 側で各レスの先頭に
レス番をつけてしまうのもありかな。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 23:15:37

失礼。かぶっちまったぜ org

**ちきちーた ★** · 2010/08/08(日) 23:17:09

>>291
そうそう、そんな感じ
で、どういうI/F(呼び方)にするかなぁということで、従来のread.cgiの方法もあるけど、めんどくさいからなぁ
ちょっとたたき台考えてくる、

♪ ◆/y.Ychk2JQ · 2010/08/08(日) 23:23:57

スレタイをどうやってデータに含めるか、も重要だね。
dat的には>>1にスレタイがあるわけで。

BG側は変に拡張せず要求どおりに元データを転送するほうが良いと思う。
つまり、BG側への要求は　/200-210 ってだけでスレタイもBGから送信されるんじゃなくて、
スレタイ要求＋/200-210　ではじめてスレタイもBGから送信されるようにするって感じ。

外部にも利用されることを考えると特定の（ここではC）だけに特化させないほうが良いと思う。

>>291
「先頭レスのレス番」は必要だと思うけど、「レス数」は送られてきたレス数から判定できるしいらないんじゃない？

♪ ◆/y.Ychk2JQ · 2010/08/08(日) 23:25:21

×「レス数」は送られてきたレス数から判定できるし
○「レス数」は送られてきたレスから何レスか判定できるし

**ちきちーた ★** · 2010/08/08(日) 23:27:48

http://qb5.2ch.net/test/read.cgi/operate/1281086504/287-289

まみら ★<>sage<>2010/08/08(日) 23:00:48 ID:???P<> 本文 <>
ちきちーた ★<><>2010/08/08(日) 23:02:16 ID:???0<> 本文 <>
動け動けウゴウゴ２ちゃんねる<>sage<>2010/08/08(日) 23:03:13 ID:tI0KheRp0<> 本文 <>

が欲しい時は、

http://bg20.2ch.net/test/r.so/qb5/operate/1281086504/287-289　と呼ぶ(あってるべか)
スレタイが必要なら一行目はかならず >>1 を送ることにする?

動く動くウゴウゴ２ちゃんねる<>sage<>2010/08/06(金) 18:21:44 <a href="http://2ch.se/">神</a> ID:AnY3u5PS0 BE:1123996695-PLT(34555) 株主優待<> 本文 <>2ch特化型サーバ・ロケーション構築作戦 Part58
まみら ★<>sage<>2010/08/08(日) 23:00:48 ID:???P<> 本文 <>
ちきちーた ★<><>2010/08/08(日) 23:02:16 ID:???0<> 本文 <>
動け動けウゴウゴ２ちゃんねる<>sage<>2010/08/08(日) 23:03:13 ID:tI0KheRp0<> 本文 <>

**まみら ★** · 2010/08/08(日) 23:27:54

たたき台お願いします。

getres.php半分以上書き換えになる予感。ちょっとパニックになりました。
sports2と「２ちゃんねる総合案内」を例外処理してるのですが、
それをどうしようかと。

[´・ω・｀] EATcf-87p236.ppp15.odn.ne.jp · 2010/08/08(日) 23:28:33

BG不要。
http://鯖.2ch.net/test/range.cgi/板/スレ/レス　でレスの始まりのバイト数(4byte)返すようにして、
datは専ブラのようにHTTP　1.1のRangeヘッダ使って取得でおk。
スレタイはsubject.txtから。

**ちきちーた ★** · 2010/08/08(日) 23:28:45

>>296
>スレタイ要求＋/200-210　ではじめてスレタイもBGから送信されるようにするって感じ。

その方がいい?
read.cgiは・・・　なんてつけるんだったっけか

**ちきちーた ★** · 2010/08/08(日) 23:30:11

>>299
本番じゃなくテストですんで、ほっといていい予感。

**まみら ★** · 2010/08/08(日) 23:31:04

>>296
そうですね。あまり拡張しない方が。

**ちきちーた ★** · 2010/08/08(日) 23:32:04

read.cgi は
http://qb5.2ch.net/test/read.cgi/operate/1281086504/287-289
こうやると >>1も表示するのか、

http://qb5.2ch.net/test/read.cgi/operate/1281086504/287-289n
こうやると　>>1 の表示なしか、

▲ ◆SANUKI/VII · 2010/08/08(日) 23:33:48

いまおいらが作ってるやつは
/ 全取得
/1 個別取得
/2-11 範囲取得
/1+3+5 指定取得
して
xmlデータにスレタイと名無しデータとかいろいろ突っ込んで送ってるよ。

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 23:34:11

直近の5resと>>1
http://qb5.2ch.net/test/read.cgi/operate/1281086504/l5
直近の5resのみ
http://qb5.2ch.net/test/read.cgi/operate/1281086504/l5n

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 23:35:26

>>304
http://qb5.2ch.net/test/read.cgi/operate/1281086504/n287-289
これでも同じですよ

**ちきちーた ★** · 2010/08/08(日) 23:36:55

>>305
今回　/1+3+5 指定取得　はやらないとして、

/ 全取得　←　これは出来ている。
/1 個別取得　←　つくらなくてもいい? /1-1でいいんじゃまいか
/2-11 範囲取得　+ >>1つき　←　これを作る

かな? これでC側は足りる?

**動け動けウゴウゴ２ちゃんねる** · 2010/08/08(日) 23:38:01

常に>>1を含むのが楽