やっぱりc.2ch.netもパワーアップしてみよう作戦

**まみら ★** · 2007/06/27(水) 23:17:13

現行のサーバも3年ほど使ってるので、
管理人さんに新しいのを買ってもらえそうです。
と、いう事で、こちらで「わいわいがやがや」やってみましょう。

------------------------

質問・雑談スレ256＠運用情報板
http://qb5.2ch.net/test/read.cgi/operate/1182209120/783-n

783 名前：ひろゆき＠どうやら管理人 ★ 本日のレス投稿日：2007/06/27(水) 19:53:56 ???0 ?

788 名前：まみら ★ 本日のレス投稿日：2007/06/27(水) 21:10:04 ???P
>>783
c.2ch.net用の新しいサーバ買って？

790 名前：ひろゆき＠どうやら管理人 ★ 本日のレス投稿日：2007/06/27(水) 21:32:23 ???0 ?
>>788
何台ぐらいいりますかね？

794 名前：まみら ★ 本日のレス投稿日：2007/06/27(水) 21:48:26 ???P
とりあえず調子悪いのはバック２台とフロント１台です。

そのフロント１台は新しいの来てるけど
ネットワークカードの関係でrootさんが調整中です。
何かが足りない様子です。

台数増やす事も考えて、ちょっと相談してまたお話します。

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 14:09:04

今の鯖体制での効率化が先だろうね

◆garnetGnNk · 2007/06/29(金) 14:18:26

がっくしも差分取得に対応しようそうしよう
差分取得できたら20秒間隔で取得してもいいですか？（今は40秒）

**root▲▲ ★** · 2007/06/29(金) 14:21:29

全体に転送量が増えている & 負荷が増えているのは、
やっぱり c が落ちているからかなと。

hobby9 が今日から人大杉設定みたいですが、
それもこの関連ですかね。occult とか携帯多いです。

>>105
現状のままがいいかなと。

**まみら ★** · 2007/06/29(金) 14:25:36

…すまない皆様、伺ってもよろしいですか。
もしかして、差分取得ってスクリプト側の仕事？

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 14:27:49

そうだろうな
スクリプトの仕事だろうな

**root▲▲ ★** · 2007/06/29(金) 14:28:14

>>107
もちろん。

今私が知っている差分取得対応しているやつ:

・u.la
・AAS
・s2ch(讃岐メニュー)

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 14:28:50

携帯がこれからハイスピード化することも考えてパワーアップを考えてるのかどうかが問題

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 14:28:56

もうこうなったら一週間閉鎖してサーバ変えた方が早い

**root▲▲ ★** · 2007/06/29(金) 14:29:26

u.la は「対応しているはず」と思ってますが、
転送量グラフとか、この目で確認したわけではないです。

AASとs2chは、以前転送量グラフで確認したです。

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 14:30:00

ディスクアクセスが悲鳴を上げるなら、最初は全板対象じゃなくてもいいと思うんですよ。
wwwww鯖のみ・live鯖のみ・news鯖のみ・ex鯖のみ・・・な感じで利用板を絞れば、
キャッシュに持つdatの量減ってキャッシュのヒット率上がるのではないかと？

◆garnetGnNk · 2007/06/29(金) 14:30:13

＞106
了解ですー

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 14:30:18

ルータンの考え方はどうなの？

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 14:30:18

s2ch の下がり方は劇的だった

**まみら ★** · 2007/06/29(金) 14:38:39

じゃあ、落ちてる今の内に作っておかないと。。

**まみら ★** · 2007/06/29(金) 15:01:26

まず、自分の所(c系)のdat置き場のファイルを開きますよね。
多分、//c.2ch.net/dat/hogehoge/fugafuga.datとかにしておけば、
今のDNSの仕組みで適当なサーバに接続できますよね？
これは現行の仕組みと同じかな。？。見た感じそんな気がする。
それで既にキャッシュ済みのレスが表示できます。

新着レスがある場合、新しい部分は2chサ＝[バから取ってｂｱなければいけｂﾈい。
なｂｯれば、キャッャVュをぞのまま封\示。
あｂ黷ﾎ、2chサーバから取ってきたdatを表示。

判定はファイルサイズで行うのかな？
それとも凄い方法があるのかな？

新着レスがあった場合は、>>1から最後まで全部持ってきて良いのかな？
それともキャッシュに追記できるような仕組みがあるのかな？

ご存知の方がいらっしゃいましたら教えてくださるか、何かヒントを…！
考え方がおかしかったら指摘して下さい。

**こうすけ ★** · 2007/06/29(金) 15:02:09

どこかに差分取得のスクリプトはあるはず
docomo7あたりだったかな？

**root▲▲ ★** · 2007/06/29(金) 15:06:40

既に差分取得を成功させている中の人たち(>>109)に、
アルゴリズムを解説いただくのがいいんではないかと。

**root▲▲ ★** · 2007/06/29(金) 15:07:12

>>119
おぉ。

で、これから会議→たぶんそのまま外勤の予感。

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 15:14:09

つーか実況カテゴリだけ外して復帰させろよ。
本来実況なんて無くてもいい板だろ。
それでもヤバイならVIPも切ってみよう。

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 15:14:43

monazilla Part 5
http://pc11.2ch.net/test/read.cgi/tech/1057329161/

**まみら ★** · 2007/06/29(金) 15:45:57

>>119
探してきます。

>>120
よし。讃岐君にアクセスしてみよう(ﾟ∀ﾟ)。

>>123
読んでくれば良いの？不動楽さんがいてなごんだ(´∇｀)。

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 15:48:13

>>124
今の感想をひとことおねがいします

>>126
なぜ韓国に謝罪しないんですか？

>>127
どうして靖国に参拝されるのですか？

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 15:52:56

韓国？それて食い物か？

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 15:53:43

靖国参拝？全く記憶に御座いません！

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 16:08:41

正確には差分取得じゃなくてキャッシュ処理？
差分だったら新しいところだけ取得できる感じだよね。

**まみら ★** · 2007/06/29(金) 16:18:30

>>128
うん。私もその漢字に惑わされた。

それっぽいファイルを見つけたけど、@fopenとか今まで目を逸らしてたから
ムツカシー

**こうすけ ★** · 2007/06/29(金) 16:59:08

差分取得するには元のデータがないといけないので、差分取得はキャッシュとセットです。

▲ ◆SANUKI/VII · 2007/06/29(金) 17:04:09

今北重工業

**root▲▲ ★** · 2007/06/29(金) 17:07:27

>>130
ですね。

というか、BGをやめて各フロントにdatキャッシュを持たせるなら
(前にも書きましたがそのこと自体は悪くないと思う)
動かす＊前に＊差分取得を実装してからにしてほしい、
というのが、長年見てきた私からのお願い、かなと。

そうじゃないと、フロントが増えるごとに、
どんどん転送量が増えていってしまうことになってしまうです。
(もちろんサーバがデータを提供する負荷も増える)
差分取得入れてももちろん増えていくわけですが、増え方が全然違うので。

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 17:08:24

ここで讃岐をみんなｽﾙｰしたら面白いんだが・・・

**root▲▲ ★** · 2007/06/29(金) 17:09:00

>>131
ｷﾀ━━━━━━(ﾟ∀ﾟ)━━━━━━ !!

差分取得のやり方について、cの中の人たちに協力してもらえるとうれしいです。

で、私はまたしてもオフラインに。

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 17:10:09

讃岐行きていたのか

**チャンピオンM** ◆.ChampionM · 2007/06/29(金) 17:14:12

携帯から全く繋がらんﾋﾞｸｯ

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 17:21:27

banana405.maido3.com
c-others1.2ch.net [206.223.150.145] 90.001 sec.Time out
0.02 0.12 0.08failed 板数：0　詳細：c-others1.2ch.net
携帯 au,docomo 以外のフロントエンド

banana406.maido3.com
c1.2ch.net [206.223.150.145] 90.001 sec.Time out
0.02 0.12 0.08failed 板数：0　詳細：c1.2ch.net
classic メニュ。

tiger511.maido3.com
blackgoat3.2ch.net [206.223.151.55] 90.003 sec.Time out
1.44 1.35 1.33failed 板数：0　詳細：blackgoat3.2ch.net
携帯アクセス用バックエンド鯖（黒やぎさん１）

tiger512.maido3.com
blackgoat4.2ch.net [206.223.151.57] 90.004 sec.Time out
0.35 0.41 0.56failed 板数：0　詳細：blackgoat4.2ch.net
携帯アクセス用バックエンド鯖（黒やぎさん２）

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 17:28:15

復活マダー？

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 17:34:47

今のうちにハイスピードに対応しておかないとドコモ905iシリーズが出る頃には大変なことになる

**まみら ★** · 2007/06/29(金) 17:36:46

>>131
差分取得って何？あたりから成功してる大先生に日本語で教えて欲しいのです。
こうすけさんか不動楽さんが作ったみたいなモジュールは既にあるみたいです。
まずは連絡先を教えて？

スクリプトの本文どこまでココに書いていいのか分からないので。

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 17:38:41

sanuki at s2ch.net

**まみら ★** · 2007/06/29(金) 17:41:10

>>141
ありがとうございます。

**2ch-i.net** ◆PUeDWwcmWo · 2007/06/29(金) 17:42:43

差分取得を自作した事あるけれど、、、、、
はまった所は、透明あぼーんでDATが大幅に短くなった場合の考慮漏れがあった事かな。
短くなった状態で差分取得しようとするとサーバが 416 を返してくるんだよね…。

http://info.2ch.net/wiki/pukiwiki.php?monazilla%2Fdevelop%2Faccess#Range

あとズレ判定用として私は2スレ分は溯るようにしました。
（あぼーんが連続した時のご認識回避のためです。）

**外野ｧｧﾝ** · 2007/06/29(金) 17:42:45

s2chのスクリプトを正式採用しちゃえばいいんじゃね？

**まみら ★** · 2007/06/29(金) 17:46:09

s2chってPHPだっけ？

▲ ◆SANUKI/VII · 2007/06/29(金) 17:46:25

まず普通にdatをキャッシュする
↓
GET /bbs/dat/key.dat HTTP/1.0
Host: server
User-Agent: UA
Range: bytes=ファイルサイズ-1
Connection: close
↓
206なら更新があるので返ってきたデータの先頭が改行コードなら書き足す
もし改行コードじゃなかったらあぼーん判定してdatを再取得

304なら更新がなかったので更新時間のみを変更

416ならあぼーん判定してdatを再取得する

こんな感じ

**まみら ★** · 2007/06/29(金) 17:54:23

ごめん。全然わからないや。
docomo7に置いてあったものと随分やり方が違う模様。。。。
しくしく。

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 17:56:42

讃岐たんとことまったく同じにしてくれたら使いやすい

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 17:57:31

>>146
If-Modified-Since: も付けないと304は帰ってこないと思われ。

**まみら ★** · 2007/06/29(金) 18:01:24

＞206なら
まず、ここが分からない。誰がコレを返すの？

＞まず普通にdatをキャッシュする
これを最初にやったら、全転送と同じじゃない？

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 18:05:21

>>150
RFC 2616を読みたまへ

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 18:06:45

HTTPステータスコード
http://www.asahi-net.or.jp/~AX2S-KMTN/ref/status.html

＞＞まず普通にdatをキャッシュする
＞これを最初にやったら、全転送と同じじゃない？

一回目は全部取得して、二回目以降は差分を取得するんですよ。

**stream** ◆ap/yuix/tw · 2007/06/29(金) 18:07:21

If-Modified-Sinceはお勧めしない
http://pc11.2ch.net/test/read.cgi/tech/1057329161/424

けど、問題は特に起こってないのかな
Janeだと流れの速いスレだとたまに発生してうざいけど

▲ ◆SANUKI/VII · 2007/06/29(金) 18:10:17

>>149
よくわからないけど返ってきてるはず
それ入れると微妙に挙動不審になったりするし
あと、s2ch.netのスレの下の方にある(･∀･)新着ﾅｲﾖってやつが304が返ってきたときに出るやつ

>>150
上
ステータスコード

下
1回にいくつまでとか決まってるの？

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 18:16:17

>>153
なるほど、秒単位問題ですか、知らなかった。
でも、-1秒して取得をかければ問題なさそうだけどね。
それで>>146みたいに304の場合は更新日時だけ変更すればいいかも。

>>154
そうなのか…。
でも何に対して「更新は無かった」って判定しているのだろうか？
If-None-Match？

**まみら ★** · 2007/06/29(金) 18:18:17

206とか304は2chサーバが返すんですよね？携帯用じゃなくて。

＞改行コードなら書き足す
キャッシュしたデータにキャッシュしたデータを書き足す？？
2chサーバが増分だけ送ってきてくれるですか？

**まみら ★** · 2007/06/29(金) 18:23:23

>>152
304だったら、ファイルは開くけど保存しないで捨てるって事ですね？！
なんとなく分かってきた気がします。

▲ ◆SANUKI/VII · 2007/06/29(金) 18:25:55

あっ、改行コードなら先頭の改行コードを切り取って書き足すの間違いね

例
50レスあるスレを取得
↓
1分待つ
↓
通信
↓
60レスになっていたので、先頭に改行コード+10レスが返ってくる
↓
先頭の改行コードを切り取って50レス+10レスで60レスになったよﾔﾀｰ

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 18:38:20

>>157
304だとデータ部分が空で「変更はなかったよ」って応答が帰ってくる。
中身が殻なので余計なトラフィックが発生しません。

**まみら ★** · 2007/06/29(金) 18:40:17

やっと、見てる行が違うのが分かりました！
function createcacheていうのを見てたら、
なんとなく分かってきた。
でも、コレ、206の時、何もしないになってる。なんでだろ。

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 18:43:21

まみら★さんに萌えフラグが立ちました。

**まみら ★** · 2007/06/29(金) 18:50:51

>>158-159
増分だけなんですね。
よく見てみたら増分と全部では貰うステートメントが違うのかな。
よく見てみよう。

**こうすけ ★** · 2007/06/29(金) 18:51:06

case文の部分だよね。
206は416と同じ動きになりますよ。何もしていないのではないですよ

**まみら ★** · 2007/06/29(金) 18:55:37

えええー>>163
そういや、break;してない！そっかーなるほど。見落としてました。
すいませんVBA厨で。。

**まみら ★** · 2007/06/29(金) 18:56:55

ちょっと知恵熱が出てきたので離脱します。

**こうすけ ★** · 2007/06/29(金) 19:00:40

200で全取得
206,416で差分取得
304で時間のみ更新
って処理をしているはずですよ

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 19:05:00

まみらかわいいよまみら

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 19:06:27

おまいら頭いいな！

何言ってるかさっぱり分かんねーけど

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 19:14:24

>>168
|ω・`）最後の一文リアルでワロタｗ

**おまいら** · 2007/06/29(金) 19:18:02

いやー慣れの問題だけですから（　´_ゝ`）ｴﾍﾝ

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 19:30:52

なんかしらんけどプラウザ側の資料ですが置いておきますね
ttp://age.s22.xrea.com/talk2ch/#get

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 19:45:44

よくわからんが、差分取得時のロジック改善を計画しているのか？
おまえら大変だな

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 20:28:14

期待してます＞＜

◆TWARamEjuA · 2007/06/29(金) 20:36:10

キャッシュがあるか無いかは、多分DB使った方が良さそうな♪

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 21:20:41

大坊？

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 21:23:44

皆さん乙です
正座して待ってますよ(･∀･)

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 21:52:37

まみらって誰だよ！

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 22:00:31

まみらだよ

**動け動けウゴウゴ２ちゃんねる** · 2007/06/29(金) 23:53:33

さっぱりだけど、システムを改良しようとしてるのくらいはわかるよ
がんばってください

**動け動けウゴウゴ２ちゃんねる** · 2007/06/30(土) 00:50:36

べっかんこで採用されてるgooとか言う画像変換使える様にして欲しい
結構見れない画像があるので

**動け動けウゴウゴ２ちゃんねる** · 2007/06/30(土) 01:08:23

>>180
新機能は、まだまだ後の話だな。

**動け動けウゴウゴ２ちゃんねる** · 2007/06/30(土) 01:12:06

今は本機能の復旧が先だしな

**動け動けウゴウゴ２ちゃんねる** · 2007/06/30(土) 01:17:26

それもそうだねf^_^;

**動け動けウゴウゴ２ちゃんねる** · 2007/06/30(土) 01:28:58

>>181
urlクッションごときに、『新機能』という表現はおかしいぞｗ

**動け動けウゴウゴ２ちゃんねる** · 2007/06/30(土) 03:56:32

べっかんこは変な昨日付きすぎで使いずらい
早く復帰をお願いします

**動け動けウゴウゴ２ちゃんねる** · 2007/06/30(土) 04:10:44

スレ内検索ができたらいいな。

**こうすけ ★** · 2007/06/30(土) 05:04:48

一応、キャッシュする仕組みは作りました。（c-docomo7）
（ただしdatのみ、subjectはもうすこししてから）

**root▲▲ ★** · 2007/06/30(土) 12:36:19

今日は後で少し時間とれるかも。

とりあえず、BG3/BG4 を落としっぱなしにしておくのもいまいちなので、
負荷で落ちているのかそうでもないのかも含めて、
一度立ち上げなおしてもらいます。

フロントの squid は落としておき、
そのうえで1.0で要請入れて、
立ち上がったら、BG の squid を落とします。

ということで、これからたんたんと。

# 個人的にはBG3/BG4のsquidは、もうBG目的では上げない気でいます。

**root▲▲ ★** · 2007/06/30(土) 12:39:24

ちと私の都合で予定ずらして、>>188 は13:00からやります。

**まみら ★** · 2007/06/30(土) 12:40:48

>>123のスレ読んできた！頭に入ったかどうかは謎。

>>180
cに入れるとdeny対象に入るかも。

>>187
乙です。見てこようっ。

**動け動けウゴウゴ２ちゃんねる** · 2007/06/30(土) 12:41:13

落ちてる奴の復旧だから他に影響はないわな
頑張ってくだされ

**まみら ★** · 2007/06/30(土) 12:45:21

>>187
思ってた所と違うみたいだった。

**root▲▲ ★** · 2007/06/30(土) 12:45:56

BG上げてもBGとしては動かさないので、
差分転送サポート & datをキャッシュするしくみをフロントで、
になるまでは、現状のままかと。

# サーバが健康なら再整備してフロントに入れることはありうるかもですが。

**まみら ★** · 2007/06/30(土) 13:00:19

＞こうすけさん
if($use_cache){}の中身とcreatecacheをコピペすれば良いのかしら？
それだけで動くと思うのは素人でしょうか。

global $fh;
global $unlimited;
global $time_now;
global $use_cache;
これらがどこで定義されてるか探したほうが良いですか？

**まみら ★** · 2007/06/30(土) 13:12:38

ここまで出た話題。

【抜本的に仕組みを作り替えること】
・サーバの追加を単純にしたい。>>9
・キャリア別をやめたい。バック/フロント制をやめたい。>>10
・どのサーバも現在のバック/フロント機能を持ちたい。>>10
・BG-squid方式の是非。>>14
・パブリック=プライベート型のネットワーク方式の是非。>>14
.　⇒長所：トラフィックに強い。短所：汎用性が無い。>>14
・差分取得したい>>14,15
.　⇒BG-squid方式不可、ディスク I/O強化要。>>16,33,46
・フロントからdatを取りたい。>>15
.　⇒BG-squid方式不可、差分取得要、キャッシュ要。>>17-18
.　⇒全量転送ダメ、絶対。>>103
.　⇒取得間隔は何秒？>>105-106
・最初は差分取得する対象のサーバを限定する。>>113

【当面を乗り切る対策】
・datキャッシュ方式の再チャレンジ。>>21,29
・仕組みを守る動作（アクセスコントロール）を入れたい。>>29
・メモリキャッシュorディスクキャッシュの充実。>>46
・今生きてるサーバで非BG-squidをやろう！>>100-103

【その他】
・電源大丈夫？>>36
・管理人の懐具合。>>36
・さらに機能を削減する。>>65

**まみら ★** · 2007/06/30(土) 13:13:26

ここまでのスペック。

台数：未定。BG×3＆FEnd×9説浮上。
種類：全部同じの（T-BANANA相当？）
OS：最新？
CPU：Xeon 2.8GHz dual以上。Core2？。AM2dualはマザボに注意。
メモリ：2GBytes以上。4GBにします？
HDD容量：200GBytes IDE HDD x 1以上
ディスク I/O の性能：強くて安定してて枯れてるの
NIC：1枚でもいいかもしれない。現状は2枚。
電力：沢山

＜＜宿題＞＞
T-BANANA相当のスペックを調べてくる。I/F：SATA

**動け動けウゴウゴ２ちゃんねる** · 2007/06/30(土) 13:15:24

>>190
denyって何ですか？

**動け動けウゴウゴ２ちゃんねる** · 2007/06/30(土) 13:16:26

アク禁

というか、コピペでだけで完璧に動くコードを見てみたい・・・ｗ

**こうすけ ★** · 2007/06/30(土) 13:17:31

>>194
基本的にはそのはずです。
global　は　test.php　で定義しています。
$fh　はゴミですね。

**動け動けウゴウゴ２ちゃんねる** · 2007/06/30(土) 13:18:49

denyとはこの手の用語で制限のこと
アクセス規制の意味がある

**動け動けウゴウゴ２ちゃんねる** · 2007/06/30(土) 13:28:05

>>200
て事は採用は難しいって事ですかね？

**まみら ★** · 2007/06/30(土) 13:32:33

>>199
わーい。そしたら何とか出来そう！

今はrootさんが見てると思うので触らないです。

>>201
採用するのは全然かまわないけど、すぐに見れなくなるかもね？って話です。

**root▲▲ ★** · 2007/06/30(土) 13:35:08

>>202
フロントのsquid切ってある => 外にとりに行かない
ので、フロントのプログラム部分は触ってもかまいません。