X



やっぱりc.2ch.netもパワーアップしてみよう作戦

■ このスレッドは過去ログ倉庫に格納されています
1まみら ★
垢版 |
2007/06/27(水) 23:17:13ID:???0
現行のサーバも3年ほど使ってるので、
管理人さんに新しいのを買ってもらえそうです。
と、いう事で、こちらで「わいわいがやがや」やってみましょう。

------------------------

質問・雑談スレ256@運用情報板
http://qb5.2ch.net/test/read.cgi/operate/1182209120/783-n

783 名前:ひろゆき@どうやら管理人 ★ 本日のレス 投稿日:2007/06/27(水) 19:53:56 ???0 ?

788 名前:まみら ★ 本日のレス 投稿日:2007/06/27(水) 21:10:04 ???P
>>783
c.2ch.net用の新しいサーバ買って?

790 名前:ひろゆき@どうやら管理人 ★ 本日のレス 投稿日:2007/06/27(水) 21:32:23 ???0 ?
>>788
何台ぐらいいりますかね?

794 名前:まみら ★ 本日のレス 投稿日:2007/06/27(水) 21:48:26 ???P
とりあえず調子悪いのはバック2台とフロント1台です。

そのフロント1台は新しいの来てるけど
ネットワークカードの関係でrootさんが調整中です。
何かが足りない様子です。

台数増やす事も考えて、ちょっと相談してまたお話します。
2007/06/29(金) 17:41:10ID:???P
>>141
ありがとうございます。
2007/06/29(金) 17:42:43ID:iqSlb7PT0
差分取得を自作した事あるけれど、、、、、
はまった所は、透明あぼーんでDATが大幅に短くなった場合の考慮漏れがあった事かな。
短くなった状態で差分取得しようとするとサーバが 416 を返してくるんだよね…。

http://info.2ch.net/wiki/pukiwiki.php?monazilla%2Fdevelop%2Faccess#Range

あとズレ判定用として私は2スレ分は溯るようにしました。
(あぼーんが連続した時のご認識回避のためです。)
2007/06/29(金) 17:42:45ID:+kv5K1X/0
s2chのスクリプトを正式採用しちゃえばいいんじゃね?
2007/06/29(金) 17:46:09ID:???P
s2chってPHPだっけ?
2007/06/29(金) 17:46:25ID:dmXJt60NP?2BP(8375)
まず普通にdatをキャッシュする

GET /bbs/dat/key.dat HTTP/1.0
Host: server
User-Agent: UA
Range: bytes=ファイルサイズ-1
Connection: close

206なら更新があるので返ってきたデータの先頭が改行コードなら書き足す
もし改行コードじゃなかったらあぼーん判定してdatを再取得

304なら更新がなかったので更新時間のみを変更

416ならあぼーん判定してdatを再取得する

こんな感じ
2007/06/29(金) 17:54:23ID:???P
ごめん。全然わからないや。
docomo7に置いてあったものと随分やり方が違う模様。。。。
しくしく。
148動け動けウゴウゴ2ちゃんねる
垢版 |
2007/06/29(金) 17:56:42ID:LXTOJ65tO
讃岐たんとことまったく同じにしてくれたら使いやすい
2007/06/29(金) 17:57:31ID:iqSlb7PT0
>>146
If-Modified-Since: も付けないと304は帰ってこないと思われ。
2007/06/29(金) 18:01:24ID:???P
>206なら
まず、ここが分からない。誰がコレを返すの?

>まず普通にdatをキャッシュする
これを最初にやったら、全転送と同じじゃない?
2007/06/29(金) 18:05:21ID:++yjqpzd0
>>150
RFC 2616を読みたまへ
2007/06/29(金) 18:06:45ID:iqSlb7PT0
HTTPステータスコード
http://www.asahi-net.or.jp/~AX2S-KMTN/ref/status.html

>>まず普通にdatをキャッシュする
>これを最初にやったら、全転送と同じじゃない?

一回目は全部取得して、二回目以降は差分を取得するんですよ。
153stream ◆ap/yuix/tw
垢版 |
2007/06/29(金) 18:07:21ID:tNyOnWm+0
If-Modified-Sinceはお勧めしない
http://pc11.2ch.net/test/read.cgi/tech/1057329161/424

けど、問題は特に起こってないのかな
Janeだと流れの速いスレだとたまに発生してうざいけど
2007/06/29(金) 18:10:17ID:dmXJt60NP?2BP(8375)
>>149
よくわからないけど返ってきてるはず
それ入れると微妙に挙動不審になったりするし
あと、s2ch.netのスレの下の方にある(・∀・)新着ナイヨってやつが304が返ってきたときに出るやつ

>>150

ステータスコード


1回にいくつまでとか決まってるの?
2007/06/29(金) 18:16:17ID:iqSlb7PT0
>>153
なるほど、秒単位問題ですか、知らなかった。
でも、-1秒して取得をかければ問題なさそうだけどね。
それで>>146みたいに304の場合は更新日時だけ変更すればいいかも。


>>154
そうなのか…。
でも何に対して「更新は無かった」って判定しているのだろうか?
If-None-Match?
2007/06/29(金) 18:18:17ID:???P
206とか304は2chサーバが返すんですよね?携帯用じゃなくて。

>改行コードなら書き足す
キャッシュしたデータにキャッシュしたデータを書き足す??
2chサーバが増分だけ送ってきてくれるですか?
2007/06/29(金) 18:23:23ID:???P
>>152
304だったら、ファイルは開くけど保存しないで捨てるって事ですね?!
なんとなく分かってきた気がします。
2007/06/29(金) 18:25:55ID:dmXJt60NP
あっ、改行コードなら先頭の改行コードを切り取って書き足すの間違いね


50レスあるスレを取得

1分待つ

通信

60レスになっていたので、先頭に改行コード+10レスが返ってくる

先頭の改行コードを切り取って50レス+10レスで60レスになったよヤター

2007/06/29(金) 18:38:20ID:iqSlb7PT0
>>157
304だとデータ部分が空で「変更はなかったよ」って応答が帰ってくる。
中身が殻なので余計なトラフィックが発生しません。
2007/06/29(金) 18:40:17ID:???P
やっと、見てる行が違うのが分かりました!
function createcacheていうのを見てたら、
なんとなく分かってきた。
でも、コレ、206の時、何もしないになってる。なんでだろ。
2007/06/29(金) 18:43:21ID:NDWvaLWl0
まみら★さんに萌えフラグが立ちました。
2007/06/29(金) 18:50:51ID:???P
>>158-159
増分だけなんですね。
よく見てみたら増分と全部では貰うステートメントが違うのかな。
よく見てみよう。
163こうすけ ★
垢版 |
2007/06/29(金) 18:51:06ID:???O
case文の部分だよね。
206は416と同じ動きになりますよ。何もしていないのではないですよ
2007/06/29(金) 18:55:37ID:???P
えええー>>163
そういや、break;してない! そっかーなるほど。見落としてました。
すいませんVBA厨で。。
2007/06/29(金) 18:56:55ID:???P
ちょっと知恵熱が出てきたので離脱します。
166こうすけ ★
垢版 |
2007/06/29(金) 19:00:40ID:???O
200で全取得
206,416で差分取得
304で時間のみ更新
って処理をしているはずですよ
2007/06/29(金) 19:05:00ID:I1JhTwDc0
まみらかわいいよまみら
168動け動けウゴウゴ2ちゃんねる
垢版 |
2007/06/29(金) 19:06:27ID:LXTOJ65tO
おまいら頭いいな!


何言ってるかさっぱり分かんねーけど
2007/06/29(金) 19:14:24ID:uAy6IkTsP
>>168
|ω・`)最後の一文リアルでワロタw
170おまいら
垢版 |
2007/06/29(金) 19:18:02ID:kaBSQ31x0
いやー慣れの問題だけですから( ´_ゝ`)エヘン
2007/06/29(金) 19:30:52ID:aBzrMMKk0
なんかしらんけどプラウザ側の資料ですが置いておきますね
ttp://age.s22.xrea.com/talk2ch/#get
172動け動けウゴウゴ2ちゃんねる
垢版 |
2007/06/29(金) 19:45:44ID:T1t1NLQ2O
よくわからんが、差分取得時のロジック改善を計画しているのか?
おまえら大変だな
173動け動けウゴウゴ2ちゃんねる
垢版 |
2007/06/29(金) 20:28:14ID:ZhsmsrbyO
期待してます><
2007/06/29(金) 20:36:10ID:+LxaReDr0?2BP(6824)
キャッシュがあるか無いかは、多分DB使った方が良さそうな♪
2007/06/29(金) 21:20:41ID:aEjN9XDaO
大坊?
2007/06/29(金) 21:23:44ID:qmQIXql70
皆さん乙です
正座して待ってますよ(・∀・)
2007/06/29(金) 21:52:37ID:A5UjveNG0
まみらって誰だよ!
2007/06/29(金) 22:00:31ID:FYO3onPf0
まみらだよ
2007/06/29(金) 23:53:33ID:/cUyV8UnO
さっぱりだけど、システムを改良しようとしてるのくらいはわかるよ
がんばってください
180動け動けウゴウゴ2ちゃんねる
垢版 |
2007/06/30(土) 00:50:36ID:6s6IDwurO
べっかんこで採用されてるgooとか言う画像変換使える様にして欲しい
結構見れない画像があるので
2007/06/30(土) 01:08:23ID:bGiqltEiP
>>180
新機能は、まだまだ後の話だな。
2007/06/30(土) 01:12:06ID:49tCX7Ew0
今は本機能の復旧が先だしな
183動け動けウゴウゴ2ちゃんねる
垢版 |
2007/06/30(土) 01:17:26ID:6s6IDwurO
それもそうだねf^_^;
2007/06/30(土) 01:28:58ID:7RKseqzRP
>>181
urlクッションごときに、『新機能』という表現はおかしいぞw
185動け動けウゴウゴ2ちゃんねる
垢版 |
2007/06/30(土) 03:56:32ID:zQgNKEjVO
べっかんこは変な昨日付きすぎで使いずらい
早く復帰をお願いします
2007/06/30(土) 04:10:44ID:FLxt4iRpO
スレ内検索ができたらいいな。
187こうすけ ★
垢版 |
2007/06/30(土) 05:04:48ID:???0
一応、キャッシュする仕組みは作りました。(c-docomo7)
(ただしdatのみ、subjectはもうすこししてから)

188root▲▲ ★
垢版 |
2007/06/30(土) 12:36:19ID:???0?PLT(74075)
今日は後で少し時間とれるかも。

とりあえず、BG3/BG4 を落としっぱなしにしておくのもいまいちなので、
負荷で落ちているのかそうでもないのかも含めて、
一度立ち上げなおしてもらいます。

フロントの squid は落としておき、
そのうえで1.0で要請入れて、
立ち上がったら、BG の squid を落とします。

ということで、これからたんたんと。

# 個人的にはBG3/BG4のsquidは、もうBG目的では上げない気でいます。
189root▲▲ ★
垢版 |
2007/06/30(土) 12:39:24ID:???0?PLT(74075)
ちと私の都合で予定ずらして、>>188 は13:00からやります。
2007/06/30(土) 12:40:48ID:???P
>>123のスレ読んできた! 頭に入ったかどうかは謎。

>>180
cに入れるとdeny対象に入るかも。

>>187
乙です。見てこようっ。
2007/06/30(土) 12:41:13ID:pXSfVwMw0
落ちてる奴の復旧だから他に影響はないわな
頑張ってくだされ
2007/06/30(土) 12:45:21ID:???P
>>187
思ってた所と違うみたいだった。
193root▲▲ ★
垢版 |
2007/06/30(土) 12:45:56ID:???0?PLT(74075)
BG上げてもBGとしては動かさないので、
差分転送サポート & datをキャッシュするしくみをフロントで、
になるまでは、現状のままかと。

# サーバが健康なら再整備してフロントに入れることはありうるかもですが。
2007/06/30(土) 13:00:19ID:???P
>こうすけさん
if($use_cache){}の中身とcreatecacheをコピペすれば良いのかしら?
それだけで動くと思うのは素人でしょうか。

global $fh;
global $unlimited;
global $time_now;
global $use_cache;
これらがどこで定義されてるか探したほうが良いですか?
2007/06/30(土) 13:12:38ID:???P
ここまで出た話題。

【抜本的に仕組みを作り替えること】
・サーバの追加を単純にしたい。>>9
・キャリア別をやめたい。バック/フロント制をやめたい。>>10
・どのサーバも現在のバック/フロント機能を持ちたい。>>10
・BG-squid方式の是非。>>14
・パブリック=プライベート型のネットワーク方式の是非。>>14
. ⇒長所:トラフィックに強い。短所:汎用性が無い。>>14
・差分取得したい>>14,15
. ⇒BG-squid方式不可、ディスク I/O強化要。>>16,33,46
・フロントからdatを取りたい。>>15
. ⇒BG-squid方式不可、差分取得要、キャッシュ要。>>17-18
. ⇒全量転送ダメ、絶対。>>103
. ⇒取得間隔は何秒?>>105-106
・最初は差分取得する対象のサーバを限定する。>>113

【当面を乗り切る対策】
・datキャッシュ方式の再チャレンジ。>>21,29
・仕組みを守る動作(アクセスコントロール)を入れたい。>>29
・メモリキャッシュorディスクキャッシュの充実。>>46
・今生きてるサーバで非BG-squidをやろう!>>100-103

【その他】
・電源大丈夫?>>36
・管理人の懐具合。>>36
・さらに機能を削減する。>>65
2007/06/30(土) 13:13:26ID:???P
ここまでのスペック。

台数:未定。BG×3&FEnd×9説浮上。
種類:全部同じの(T-BANANA相当?)
OS:最新?
CPU:Xeon 2.8GHz dual以上。Core2?。AM2dualはマザボに注意。
メモリ:2GBytes以上。4GBにします?
HDD容量:200GBytes IDE HDD x 1以上
ディスク I/O の性能:強くて安定してて枯れてるの
NIC:1枚でもいいかもしれない。現状は2枚。
電力:沢山

<<宿題>>
T-BANANA相当のスペックを調べてくる。I/F:SATA
197動け動けウゴウゴ2ちゃんねる
垢版 |
2007/06/30(土) 13:15:24ID:6s6IDwurO
>>190
denyって何ですか?
2007/06/30(土) 13:16:26ID:sSoiPRWQ0
アク禁

というか、コピペでだけで完璧に動くコードを見てみたい・・・w
2007/06/30(土) 13:17:31ID:???0
>>194
基本的にはそのはずです。
global は test.php で定義しています。
$fh はゴミですね。
2007/06/30(土) 13:18:49ID:pXSfVwMw0
denyとはこの手の用語で制限のこと
アクセス規制の意味がある
201動け動けウゴウゴ2ちゃんねる
垢版 |
2007/06/30(土) 13:28:05ID:6s6IDwurO
>>200
て事は採用は難しいって事ですかね?
2007/06/30(土) 13:32:33ID:???P
>>199
わーい。そしたら何とか出来そう!

今はrootさんが見てると思うので触らないです。

>>201
採用するのは全然かまわないけど、すぐに見れなくなるかもね?って話です。
203root▲▲ ★
垢版 |
2007/06/30(土) 13:35:08ID:???0?PLT(74075)
>>202
フロントのsquid切ってある => 外にとりに行かない
ので、フロントのプログラム部分は触ってもかまいません。
204root▲▲ ★
垢版 |
2007/06/30(土) 13:36:32ID:???0?PLT(74075)
で、BGが何らかの結論を見たら、
当面の方針とか、そのへんを。
205root▲▲ ★
垢版 |
2007/06/30(土) 13:40:38ID:???0?PLT(74075)
>>202-203 補足

要請は 1.0 でしているので、「1.0 の対応」になります。
なので、フロントの改変とかは、すすめていただければokかと。

ただし、現状どのフロントもT-bananaよりパワー弱いので(特にHDD)、
その範囲内でということで。
206動け動けウゴウゴ2ちゃんねる
垢版 |
2007/06/30(土) 13:41:31ID:6s6IDwurO
>>202
ソフトバンクには有り難いので是非採用して頂きたい、他のだと画像が小さいので
207root▲▲ ★
垢版 |
2007/06/30(土) 14:00:52ID:???0?PLT(74075)
tiger512は遠隔リブートで上がりました。(squid上がらないようにしました)

tiger511は遠隔リブートでは上がらなかった模様。
その旨を伝え、チェック・対応を依頼しました。
2007/06/30(土) 14:19:28ID:???P
>その範囲内
またムツカシイ事を言われてしまった。

docomo7のtest.php見てきます。
getres.phpに該当部分はもう貼ってもいいのかな?
2007/06/30(土) 14:30:12ID:KVeKMP4G0
携帯からの接続は、通信が遅いせいでApacheのスロットがなかなか解放
されないのが問題なんだよね? スロットが開放されないと裏方も解放
されないから、メモリも余計に使うと。

そうならば、80番ポートで一時受付させる"リレープロセス"を走らせて、
裏で走っているApache(別ポートに変更)にリレーするようにしたら
どうかな?
リレープロセス〜Apache間はデータの受け渡し時のみ接続して"さっさ
と切断"させる。あとはリレープロセスがマターリ携帯にデータを送ると。

リレー側はなるべく軽くして大量に掃けるようにする必要はあるけど、
こうすればApache側の負荷は軽減すると思うよ。その気になればリレー
側で流入量の制御も出来るだろうし。
210動け動けウゴウゴ2ちゃんねる
垢版 |
2007/06/30(土) 14:32:29ID:l42Qu4HgO
おい、早くパワーアップさせろや
2007/06/30(土) 14:33:57ID:pXSfVwMw0
>>210
帰れ、作業の邪魔だ
2007/06/30(土) 14:45:18ID:???0?PLT(74075)
>>209
> 携帯からの接続は、通信が遅いせいでApacheのスロットがなかなか解放
> されないのが問題なんだよね? スロットが開放されないと裏方も解放
> されないから、メモリも余計に使うと。

これはまさによく言われていることですね。
KeepAlive とかは当然offだったりします。
httpd が売り切れないようにいろんなチューニングするのは、
結構もう実施していたりするです。

ただ、今回のcはそれが問題というより、
別のところ(そもそもの処理の重さ)の問題の方が大きいかなと。

> そうならば、80番ポートで一時受付させる"リレープロセス"を走らせて、
> 裏で走っているApache(別ポートに変更)にリレーするようにしたら
> どうかな?

これ、一時期試してみようと思ったことあるです。
squid あたりを HTTP アクセラレータにするとか、そんなかんじですかね。

で、うまくsquidにボリュームがつけられれば、
死ぬまで受け入れることにはならないと。
2007/06/30(土) 14:51:13ID:???0?PLT(74075)
で、一時期 >>209 >>212 を試してみようと思ったけどやめたのは、
eAccelerator 入れて、BG方式にしてフロントでのディスクI/Oをやめた結果、
httpd の売り切れの症状が出なくなったことからですね。

でも今後差分取得が実装でき次第、
各フロントでdatキャッシュ持たせる方向だと思うので、
再度試してみる価値はあるかも。
214動け動けウゴウゴ2ちゃんねる
垢版 |
2007/06/30(土) 14:52:31ID:jhhFYQ9WO
パワーアップするのはいいが
まさかべっかんこ並みに派手にするつもりとか?
1ページ当たりの容量が増えたら携帯に保存されたキャッシュも
すぐ消えてなくなるし困る
2007/06/30(土) 14:55:15ID:???0?PLT(74075)
>>214
当面は機能追加よりも「安定志向」だと思っているです。
高機能なものが使いたければ、そういうメニューは既にあるわけで。
2007/06/30(土) 14:59:27ID:KVeKMP4G0
>>212

> これ、一時期試してみようと思ったことあるです。
> squid あたりを HTTP アクセラレータにするとか、そんなかんじですかね。

普通のリバースプロキシだと、携帯側との接続が切れないと内部側とも
切断しないんじゃないかな?とか思ってます。
なるべく早くApacheを切断してあげるのが肝かと思ってます。

> ただ、今回のcはそれが問題というより、
> 別のところ(そもそもの処理の重さ)の問題の方が大きいかなと。

orzもそれで悩んでいるみたいですね。(キャッシュ検索あたり)
まだまだアクセスが伸びるだろうし、輻輳時に落とさない仕組みが必要に
なりそうですね。
2007/06/30(土) 15:02:51ID:???0?PLT(74075)
>>216
> 普通のリバースプロキシだと、携帯側との接続が切れないと内部側とも
> 切断しないんじゃないかな?とか思ってます。

うーむ、そうかも。

Apache status で w になっているやつが多くなると、危険ですね。
携帯も網が早くなったせいか以前ほどには
「てめー早く受け取りやがれゴルァ」みたいなのは多くないですが、
本質は変わらないですからね。

一番いやんなのは昔どっかにも書いたけど、
リンク押した直後に圏外のところに逃げちゃうことかなと。
(地下鉄とか?)
2007/06/30(土) 15:09:18ID:KVeKMP4G0
> 一番いやんなのは昔どっかにも書いたけど、
> リンク押した直後に圏外のところに逃げちゃうことかなと。
> (地下鉄とか?)

地下鉄で通勤しているのでよくやってるw
あれはやっぱりサーバには良くなかったのか orz
2007/06/30(土) 15:19:55ID:7BaO2y5j0?PLT(15011)
>>217
JMだとW状態のまま10000秒以上のこっちゃってるやつがあるんですが、
強制的に切断させるのってどう設定すればいいんですかねぇ。
2007/06/30(土) 15:21:32ID:???0?PLT(74075)
Timeout 5

とか httpd.conf に書くんではだめなんだっけ。>>219
2007/06/30(土) 15:23:14ID:7BaO2y5j0?PLT(15011)
>>220
やってますけど、意味が無いみたいな・・・
2007/06/30(土) 15:23:53ID:pXSfVwMw0
今日も携帯スレは賑やかだわ
2007/06/30(土) 15:39:40ID:E8gdf12Z0
各板から、「携帯で書けねーぞゴルァ!」 な人たちを誘導してるからなぁ
2007/06/30(土) 15:42:37ID:???0?PLT(74075)
tiger511 も上がりました。(squid上がらないようにしました)
フロントのsquidを上げました(誘導かかるようになったかと)。

ちと、しばらくオフライン。
2007/06/30(土) 15:43:30ID:???0?PLT(74075)
で、

>>208
混乱させてしまってごめんなさい。
私のほうの作業はいったん終わりなので、
フロントのほう、みていただいてOKです。
2007/06/30(土) 16:07:37ID:???P
global $unlimited;
global $fh;
の処理がまだよく分かんないけど、やっちゃいますね。(管理人式)
2007/06/30(土) 16:11:05ID:???0
>>226
global $unlimited;
保持するキャッシュの数です。

global $fh;
ゴミなので消しちゃって良いです
2007/06/30(土) 16:13:35ID:???P
>>227
docomo7のtest.phpにはunlimitedの文字が無かったんですけど、
そのままだったらマズかったかしら?
2007/06/30(土) 16:17:26ID:???0
>>228んじゃ、100くらいにしときましょう
test.phpの先頭に書き込んでください。
そのうち、板ごとに設定しましょう
2007/06/30(土) 16:28:57ID:???0
subjectはとりあえずproxyなしに変えますね。
2007/06/30(土) 16:30:12ID:???P
>>229
100にしましたー。

getsubjectの方が差分に対応してないみたいなので、
まだエラー出てるみたい?
2007/06/30(土) 16:31:12ID:???P
わかったー。docomo7のコピーしますね
2007/06/30(土) 16:35:01ID:yyw8NnLJ0
subject.txtって毎回全更新だから差分取りする必要ない気が。
最終更新時間の判定だけでいいのでは?
2007/06/30(土) 16:36:11ID:???0
>>231-232
んじゃ、キャッシュ格納ディレクトリを作ります
2007/06/30(土) 16:37:17ID:zh/l0Wkz0?2BP(5890)
>>219
RLimitcpuは設定した?httod.confに。
2007/06/30(土) 16:37:51ID:???0
>>233
面倒だから単にproxy通そうかなと思ってたりして、、、
2007/06/30(土) 16:47:36ID:???P
>>232
終わったー
2007/06/30(土) 16:49:50ID:???0
>>237
おつです。
2007/06/30(土) 17:13:01ID:7BaO2y5j0?PLT(15011)
>>235
してなかったですー。
ということでしてみた
2007/06/30(土) 17:14:04ID:yyw8NnLJ0
乙です!>こうすけさん、まみらさん

>>236
なるほど
2007/06/30(土) 17:15:21ID:???P
なんで>>1が常に出るようになったのかしら?
getres.phpの比較してみたんだけど、
思い当たるフシがありません。
# ちなみにNoEditorというのを使ってみる事にしました。
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。

ニューススポーツなんでも実況