■ 新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!?
巨大Live専用サーバの構築
live系のサーバは台数投入したところで、ほとんど遊んでいる
サーバ + 一台の負荷が高くてアクセスできないサーバという
悲惨な状況になっちゃうので、複数のサーバを巨大な一台と見立てて
なんとかならんものなのかを模索するー。
【Step1】四台のbananaサーバで 現 live8/live16/live18 を全部収容する。
■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1
■ このスレッドは過去ログ倉庫に格納されています
1FOX ★
05/01/07 03:19:00ID:???05/01/07 03:19:16ID:hq0BGd3C
|三|
/■ \
|´∀` | オニギリュキダルマガ2ゲト
★ ヽ__ノ ★
\ ミ≡≡彡 /
/ 巛 ヽ
| |
丶 ノ
\___/
⌒⌒⌒⌒⌒⌒⌒⌒⌒⌒⌒⌒⌒⌒⌒⌒⌒
05/01/07 03:19:27ID:???
乙
4南アルプス ◆98YENoslbU
05/01/07 03:20:14ID:HlCyIUwW 今ここに醜い自演を見た。
5ひろゆき@どうやら管理人 ★
05/01/07 03:20:37ID:??? mysqlがクラスタリングのモデルだしましたけど、
あれはどうなんでしょう?
あれはどうなんでしょう?
05/01/07 03:22:19ID:???
汎用は所詮汎用だと思うなぁ、、、
NGNG
(n‘∀‘)η
05/01/07 03:26:35ID:pqmq0YTE
9じじぃ その4 ◆HETAREzfq.
05/01/07 03:28:06ID:CcqiS2fj とりあえずbbs.cgiのsubject関係とdat関係の処理を明示的に分離しるんけ?
ようワカランけんども
ようワカランけんども
11マァヴ ★
05/01/07 03:31:43ID:??? あー、3年くらい前に構造を色々考えたことがあった気がする(^_^;)
あの頃とはかなり様相が変わったんだよね・・・・
能力を分割するとしたら
・bbs.cgi
・disk I/O
・read.cgi
の3つかな?
あの頃とはかなり様相が変わったんだよね・・・・
能力を分割するとしたら
・bbs.cgi
・disk I/O
・read.cgi
の3つかな?
12その他 ★
05/01/07 03:34:35ID:??? banana227 を bqckend にして
live14/live18 あたりを front にしてbasicなものを組んで
試行錯誤してみようかな、、
banana227 の root pw を明日になったら送りまーす >>10
banana386 と
banana613 は最初は単に virtualhost 作ってラウンドロビンしてみよう
live14/live18 あたりを front にしてbasicなものを組んで
試行錯誤してみようかな、、
banana227 の root pw を明日になったら送りまーす >>10
banana386 と
banana613 は最初は単に virtualhost 作ってラウンドロビンしてみよう
13マァヴ ★
05/01/07 03:37:07ID:??? bサーバ、dサーバ、rサーバと仮に名前をつけると味気ないので
弘法・聖徳・空海と名づけるとしよう(^_^;)
まず聖徳の仕事
弘法から投げられた書き込みをひたすらメモリーに書き込む
空海から呼びだしを受けたら、どんどんdatを投げる
1000に達したスレッドはガンガンディスクに書き込んで、メモリ上から消す
こんなかんじ?
弘法・聖徳・空海と名づけるとしよう(^_^;)
まず聖徳の仕事
弘法から投げられた書き込みをひたすらメモリーに書き込む
空海から呼びだしを受けたら、どんどんdatを投げる
1000に達したスレッドはガンガンディスクに書き込んで、メモリ上から消す
こんなかんじ?
05/01/07 03:39:27ID:7j1zguJR
15root▲ ★
05/01/07 03:40:58ID:???16マァヴ ★
05/01/07 03:43:38ID:??? 弘法の仕事(^_^;)
ラウンドロビンでたくさんたてて、どこに書き込みが来ても適切な聖徳に渡す
やってきた書き込みが正当かどうかのチェックをする(聖徳は書き込む以外やらないですむように)
空海の仕事
ラウンドロビンでたくさん立てて、どこに読み出しが来ても適切な聖徳からdatを取得する
読み出しの要求に対して、聖徳からdatを引っ張ってきて、htmlに変換して吐き出す
一定時間(10秒程度?)はキャッシュして、聖徳への呼びだし回数を減らす
こんな感じ?(^_^;)
ラウンドロビンでたくさんたてて、どこに書き込みが来ても適切な聖徳に渡す
やってきた書き込みが正当かどうかのチェックをする(聖徳は書き込む以外やらないですむように)
空海の仕事
ラウンドロビンでたくさん立てて、どこに読み出しが来ても適切な聖徳からdatを取得する
読み出しの要求に対して、聖徳からdatを引っ張ってきて、htmlに変換して吐き出す
一定時間(10秒程度?)はキャッシュして、聖徳への呼びだし回数を減らす
こんな感じ?(^_^;)
05/01/07 03:44:11ID:pqmq0YTE
root ★タンの説明は分かりやすいなぁ
05/01/07 03:45:18ID:pqmq0YTE
>>17
ありゃ▲抜けてた。
ありゃ▲抜けてた。
19マァヴ ★
05/01/07 03:45:29ID:??? >15
bbs.cgiとread.cgiの分割だけでも充分かもしれないですね(^_^;)
弘法と聖徳は一体化・・・・
ただ、そうするとbbs.cgiにスケールメリットが取れなくなるけど
bbs.cgiとread.cgiの分割だけでも充分かもしれないですね(^_^;)
弘法と聖徳は一体化・・・・
ただ、そうするとbbs.cgiにスケールメリットが取れなくなるけど
20root▲ ★
05/01/07 03:47:09ID:??? で、読み手担当は、read.cgiサービスと、datファイル直読みサービスを提供します。
bbs.cgiのフロントエンド(と仮に名づけよう)も、担当するかな。
つまり、お客さんの相手に専念する。
で、bbs.cgiフロントエンドは、いろんなチェックしたら、
datファイルやらリモホ情報やらを、書き手担当に何らかの方法で通信して伝えます。
書き手担当は、ひたすらI/Oする。
datちょうだい、と読み手担当に言われれば渡すし、
これ処理しといて、と読み手担当に言われたら、たんたんと処理する。
でも、お客さんの相手は基本的にしない。
削除とか芋堀とか、いわゆる保守系は、書き手担当が受け付けるのかな。
あくまで、保守系だけね。お客さんは受付へどうぞ。
bbs.cgiのフロントエンド(と仮に名づけよう)も、担当するかな。
つまり、お客さんの相手に専念する。
で、bbs.cgiフロントエンドは、いろんなチェックしたら、
datファイルやらリモホ情報やらを、書き手担当に何らかの方法で通信して伝えます。
書き手担当は、ひたすらI/Oする。
datちょうだい、と読み手担当に言われれば渡すし、
これ処理しといて、と読み手担当に言われたら、たんたんと処理する。
でも、お客さんの相手は基本的にしない。
削除とか芋堀とか、いわゆる保守系は、書き手担当が受け付けるのかな。
あくまで、保守系だけね。お客さんは受付へどうぞ。
21マァヴ ★
05/01/07 03:50:45ID:??? >20
read.cgiとbbs.cgiだと、負荷総量ではreadのほうが圧倒的にでかいんじゃなかったっけ?(^_^;)
readを分離したほうがいいと思うんだけど。
read.cgiとbbs.cgiだと、負荷総量ではreadのほうが圧倒的にでかいんじゃなかったっけ?(^_^;)
readを分離したほうがいいと思うんだけど。
22▲ 某ソレ511
05/01/07 03:53:56ID:T/3Yj/xH live系だとbbs.cgiのほうの負荷で重い場合が多いんですよね、、たしか。
ラピュタの時は読み込みが多くてだったけど。
ラピュタの時は読み込みが多くてだったけど。
23じじぃ その4 ◆HETAREzfq.
05/01/07 03:55:48ID:CcqiS2fj 負荷がたかくなるとsubject.txtがまず壊れる場合が多いんじゃが
read.cgiサービスとbbs.cgiサービスを分けることでコレは改善しるのけ?
ようワカランなりにおらが理解してたのでは
agesageの処理もかなりきつかったような気がしるんじゃが
read.cgiサービスとbbs.cgiサービスを分けることでコレは改善しるのけ?
ようワカランなりにおらが理解してたのでは
agesageの処理もかなりきつかったような気がしるんじゃが
24マァヴ ★
05/01/07 03:56:49ID:??? >23
改善はしないと思う(^_^;)
改善はしないと思う(^_^;)
25マァヴ ★
05/01/07 03:57:39ID:??? http://kobodaishi.xrea.jp/
ふはははは(^_^;)
ふはははは(^_^;)
26root▲ ★
05/01/07 03:57:46ID:??? >>21
bbs.cgiの方が圧倒的にでかいですね。
特にread.cgiはdso化して起動コストがなくなったので。
bbs.cgi(のフロントエンド)ができるだけブロックしないようにしたいですね。
重い処理(ディスクI/O関連)を、後ろに回すのが、たぶん第一段階の最初かと。
で、後ろに回した処理がボトルネックになるようなら、最初は成功。
あとは、後ろ側の処理の効率を上げる方向で、チューニングしていくと。
bbs.cgiの方が圧倒的にでかいですね。
特にread.cgiはdso化して起動コストがなくなったので。
bbs.cgi(のフロントエンド)ができるだけブロックしないようにしたいですね。
重い処理(ディスクI/O関連)を、後ろに回すのが、たぶん第一段階の最初かと。
で、後ろに回した処理がボトルネックになるようなら、最初は成功。
あとは、後ろ側の処理の効率を上げる方向で、チューニングしていくと。
05/01/07 03:58:50ID:lOoHJK9M
>>13
弘法と空海は同一人物では・・・
弘法と空海は同一人物では・・・
28root▲ ★
05/01/07 03:59:41ID:??? もちろん、前と後ろの通信をうまくやってできるだけブロックしないようにするとか、
そういう方向でのプログラミング的手法も、必要になりそうかな。
いずれにせよ、またお風呂にでも入りながら、
ちょっと脳内で絵を描いてみようかと。
そういう方向でのプログラミング的手法も、必要になりそうかな。
いずれにせよ、またお風呂にでも入りながら、
ちょっと脳内で絵を描いてみようかと。
29マァヴ ★
05/01/07 04:00:19ID:??? >26
なるほど(^_^;)
まずはbbs.cgiの分離ですね
なるほど(^_^;)
まずはbbs.cgiの分離ですね
30通行人
05/01/07 04:06:28ID:98B+xnhu 実況系はagesageの処理を無くしてもいいんじゃないかと思ったり・・・
31その他 ★
05/01/07 04:07:54ID:??? 1) 机上の空論
2) それに基づいた絵
3) 絵を描く
4) 実験する
5) 1)が合っていたかどうかの検証
これをひたすら繰り返すと、
2) それに基づいた絵
3) 絵を描く
4) 実験する
5) 1)が合っていたかどうかの検証
これをひたすら繰り返すと、
32じじぃ その4 ◆HETAREzfq.
05/01/07 04:11:11ID:CcqiS2fj コレを機会に負荷が高くなった時に起きる不可視やら板とびやらの
主だった仕組み(原因)をご教授願いたいものじゃ
datを更新しました⇒(伝達)⇒subjectを書き換えます
のどっちかが溢れてしまうからこういうことになるんじゃとおもうんじゃが
どっちが溢れることが多いんじゃ?
subject生成の工程に伝わった時点でそこが溢れておるのか、
dat更新の段階で溢れてしまってsubjec生成tの工程に伝わってないのか、
主だった仕組み(原因)をご教授願いたいものじゃ
datを更新しました⇒(伝達)⇒subjectを書き換えます
のどっちかが溢れてしまうからこういうことになるんじゃとおもうんじゃが
どっちが溢れることが多いんじゃ?
subject生成の工程に伝わった時点でそこが溢れておるのか、
dat更新の段階で溢れてしまってsubjec生成tの工程に伝わってないのか、
33その他 ★
05/01/07 04:11:44ID:??? んで
現状は bbs.cgi が律速であると解かっている
bbs.cgi を動かすサーバを二台にしてみる
ただしdatは一箇所に書かなきゃ意味が無いので
backendにdat処理用一台と、
これでやって、 subject.txt や 規制系やその他もろもろが
使い物になるのかどうか、、、
特に規制系はsambaにしても連投規制にしても、かなり手ごわいかと、
あきらめるのも一手ですが、
現状は bbs.cgi が律速であると解かっている
bbs.cgi を動かすサーバを二台にしてみる
ただしdatは一箇所に書かなきゃ意味が無いので
backendにdat処理用一台と、
これでやって、 subject.txt や 規制系やその他もろもろが
使い物になるのかどうか、、、
特に規制系はsambaにしても連投規制にしても、かなり手ごわいかと、
あきらめるのも一手ですが、
34ひろゆき@どうやら管理人 ★
05/01/07 04:12:49ID:??? readがいくらでも分散できるのは
blackgoatで証明済みなような。
blackgoatで証明済みなような。
36FOX ★
05/01/07 04:15:04ID:???37root▲ ★
05/01/07 04:15:29ID:??? で、最近のことをちょっと書いておくと、、、。
特にlive16とかはread.cgiやdat直読みの人が待たないようにするために、
ほんとはもっとhttpdの数を増やしたいわけです。
しかし昔は、起動数をむげに増やすと、「どーん」とbbs.cgiが同時に100個以上
起動された時に(例: 西部警察で導火線爆弾が出る等)、もう即死するしかなかった。
で、昨年bbs.cgiをSpeedyCGIにすることで、
最大並列処理数(バックエンドの最大起動数)を制限することができるようになり、
即死のリスクをとても減少させることができました。
でもこの場合、bbs.cgiの実際の処理をしている人がおなかいっぱいになると、
こんどはフロントエンドがバックエンドの処理終了を待ってしまって、
結局httpdを埋めていってしまうことになります。
つまり、流入は制限されるのですが、「終了に時間がかかって、窓口人員が不足がちになる」
ことに変わりはないわけです。
また、バルスとかマツケンサンバとか、超人気番組の場合、
おそろしい勢いで読み手が攻めてきて、httpdが売り切れになってしまい、
サーバは負荷が低いのに、誰も書き込みができないし、
読むのも難しい、という状態になったりします。
これも、窓口の人手が足りない状態。
ということで、
・窓口の人手を増やして
・お客をできるだけ待たせないようにしながら
・でも、サーバにはやさしい方法で処理する
ような手法はないだろうか、というのが、今回の試みなのではないかなと。
特にlive16とかはread.cgiやdat直読みの人が待たないようにするために、
ほんとはもっとhttpdの数を増やしたいわけです。
しかし昔は、起動数をむげに増やすと、「どーん」とbbs.cgiが同時に100個以上
起動された時に(例: 西部警察で導火線爆弾が出る等)、もう即死するしかなかった。
で、昨年bbs.cgiをSpeedyCGIにすることで、
最大並列処理数(バックエンドの最大起動数)を制限することができるようになり、
即死のリスクをとても減少させることができました。
でもこの場合、bbs.cgiの実際の処理をしている人がおなかいっぱいになると、
こんどはフロントエンドがバックエンドの処理終了を待ってしまって、
結局httpdを埋めていってしまうことになります。
つまり、流入は制限されるのですが、「終了に時間がかかって、窓口人員が不足がちになる」
ことに変わりはないわけです。
また、バルスとかマツケンサンバとか、超人気番組の場合、
おそろしい勢いで読み手が攻めてきて、httpdが売り切れになってしまい、
サーバは負荷が低いのに、誰も書き込みができないし、
読むのも難しい、という状態になったりします。
これも、窓口の人手が足りない状態。
ということで、
・窓口の人手を増やして
・お客をできるだけ待たせないようにしながら
・でも、サーバにはやさしい方法で処理する
ような手法はないだろうか、というのが、今回の試みなのではないかなと。
38マァヴ ★
05/01/07 04:17:25ID:??? >33
sambaや連投規制は、frontendが今まで通りにやればいいんでないかな?(^_^;)
ラウンドロビンしてるとはいえ、短期的には同じサーバにアクセスするわけだし。
ほかにどういう規制があるんだろう・・・・
まずそのリストアップしないと(^_^;)
sambaや連投規制は、frontendが今まで通りにやればいいんでないかな?(^_^;)
ラウンドロビンしてるとはいえ、短期的には同じサーバにアクセスするわけだし。
ほかにどういう規制があるんだろう・・・・
まずそのリストアップしないと(^_^;)
39root▲ ★
05/01/07 04:17:35ID:??? >>34
そうですね。読ませるほうは、比較的楽なのですよ。
Apacheのリバースプロキシとか、blackgoatみたいにsquid使うとか、
結構いろいろな手法があります。
問題は、書かせるほうをいかに処理するか。
従来の、bbs.cgiによる簡便なインタフェースをできるだけ残しつつ、
いかに中身をうまく効率化するか、なのかなと。
そうですね。読ませるほうは、比較的楽なのですよ。
Apacheのリバースプロキシとか、blackgoatみたいにsquid使うとか、
結構いろいろな手法があります。
問題は、書かせるほうをいかに処理するか。
従来の、bbs.cgiによる簡便なインタフェースをできるだけ残しつつ、
いかに中身をうまく効率化するか、なのかなと。
40FOX ★
05/01/07 04:22:41ID:??? ラウンドロビン (←弱そうな名前であまり好きでないのだが)
を使うのであれば、
Samba24 は、うまく行くか、
連投規制は、どうなるかな?
スレ立て規制は元々スレ立てやすい設定だから
あんまり気にする事無いか、トカゲの尻尾もあるし
あと・・・ 何あったっけ?
を使うのであれば、
Samba24 は、うまく行くか、
連投規制は、どうなるかな?
スレ立て規制は元々スレ立てやすい設定だから
あんまり気にする事無いか、トカゲの尻尾もあるし
あと・・・ 何あったっけ?
41root▲ ★
05/01/07 04:24:42ID:??? 個人的には、NFS経由での書き込みはあまり使いたくないな、
と思っています。トラブルの元。
読むほうでのNFSの利用は、うまくやればありかもですね。
と思っています。トラブルの元。
読むほうでのNFSの利用は、うまくやればありかもですね。
42root▲ ★
05/01/07 04:26:36ID:??? datは、キャッシングかなと思っているです。
フロントにもdatプールみたいなのを作って、キャッシュできないかなと。
で、どっかで話が出ましたが、SolarisだとCacheFSという仕組みがあって、
このへんが結構うまく動くです。
FreeBSDでは、どうするか。フロント側でもsquidみたいなの使ってみるかなぁ。
フロントにもdatプールみたいなのを作って、キャッシュできないかなと。
で、どっかで話が出ましたが、SolarisだとCacheFSという仕組みがあって、
このへんが結構うまく動くです。
FreeBSDでは、どうするか。フロント側でもsquidみたいなの使ってみるかなぁ。
43マァヴ ★
05/01/07 04:26:37ID:??? http://info.2ch.net/wiki/pukiwiki.php?%BD%F1%A4%AD%B9%FE%A4%E1%A4%CA%A4%A4%BB%FE%A4%CE%C1%E1%B8%AB%C9%BD
アクセス規制・プロキシ−規制・Rock54
BBQなど外部問い合わせ型は問題なし
内部問い合わせ型も、それぞれがテーブルを持っていれば問題なし
(つまり従来通り)
samba24・二重書き込み・連続投稿
フロントエンド単位で規制。
ラウンドロビンしていても、短期的には同じサーバで書き込みチェックを行うので。
(つまり従来どおり)
ブラウザ情報規制
従来通り
スレ立て規制
これは微妙(^_^;)どうやればいいんだ
あるいは別な手法を考える?
バーボンハウスって同じ機能?
アクセス規制・プロキシ−規制・Rock54
BBQなど外部問い合わせ型は問題なし
内部問い合わせ型も、それぞれがテーブルを持っていれば問題なし
(つまり従来通り)
samba24・二重書き込み・連続投稿
フロントエンド単位で規制。
ラウンドロビンしていても、短期的には同じサーバで書き込みチェックを行うので。
(つまり従来どおり)
ブラウザ情報規制
従来通り
スレ立て規制
これは微妙(^_^;)どうやればいいんだ
あるいは別な手法を考える?
バーボンハウスって同じ機能?
44マァヴ ★
05/01/07 04:28:30ID:??? お茶飲み規制・落ち着け規制・とかげの尻尾
仕組みがよーわからん(^_^;)
その他
従来通り
仕組みがよーわからん(^_^;)
その他
従来通り
45FOX ★
05/01/07 04:29:58ID:??? お茶飲み規制・落ち着け規制 <- 現在これらはないはず
とかげの尻尾 <- BBQ のように外部経由です
とかげの尻尾 <- BBQ のように外部経由です
46root▲ ★
05/01/07 04:32:11ID:??? 最初の段階でのイメージとしては、bbs.cgi(フロント)が、バックにあるbbs-back.cgi(仮称)を叩く、
という、きわめて単純なイメージを考えています。
dat書き込み、リモホ記録といった「書き込み系」をbbs-back.cgiがやると。
で、書いたデータを読みたい時(例えばSambaとか)は、
例えば一番どろくさいやり方するなら、単純にNFSのread onlyで
フロントのbbs.cgiがバックのファイルを直読みするかんじかなと。
かしこいやり方するなら、プロセス間通信でやるとか、
あるいはmysqlみたいなのを使うとか、そういうかんじですかね。
(これらは第2段階以降だと思っています)
という、きわめて単純なイメージを考えています。
dat書き込み、リモホ記録といった「書き込み系」をbbs-back.cgiがやると。
で、書いたデータを読みたい時(例えばSambaとか)は、
例えば一番どろくさいやり方するなら、単純にNFSのread onlyで
フロントのbbs.cgiがバックのファイルを直読みするかんじかなと。
かしこいやり方するなら、プロセス間通信でやるとか、
あるいはmysqlみたいなのを使うとか、そういうかんじですかね。
(これらは第2段階以降だと思っています)
48マァヴ ★
05/01/07 04:33:45ID:??? スレ立て規制以外の規制は、同じ機能をほとんどいじらずに使えそうですな(^_^;)
>samba24・二重書き込み・連続投稿
ラウンドロビンでサーバが切り替わるタイミング(DNSのTTL単位かな?)ごとに
新しいフロントエンドサーバに割り当て直しが起こるので
今までより多少甘くなるかも・・・・
>スレたて規制
BBQみたいな仕組みに置き換え?
あるいは廃止?
あるいは全然別の仕組み?
>samba24・二重書き込み・連続投稿
ラウンドロビンでサーバが切り替わるタイミング(DNSのTTL単位かな?)ごとに
新しいフロントエンドサーバに割り当て直しが起こるので
今までより多少甘くなるかも・・・・
>スレたて規制
BBQみたいな仕組みに置き換え?
あるいは廃止?
あるいは全然別の仕組み?
49root▲ ★
05/01/07 04:36:35ID:???50root▲ ★
05/01/07 04:38:54ID:??? なんにせよ、明日以降まずは土地を整地して、
器の構築をやるです。
I/O屋さんに仕立て上げる方向で。
blackgoatみたいにccdを使ってみるか。
器の構築をやるです。
I/O屋さんに仕立て上げる方向で。
blackgoatみたいにccdを使ってみるか。
51マァヴ ★
05/01/07 04:39:30ID:??? >49
つまり「samba24・二重書き込み・連続投稿」は要改良という方向で(^_^;)
どれも(スレたて規制もふくめて)トカゲの尻尾にまとめちゃうっていう手はあるなぁ・・・・
つまり「samba24・二重書き込み・連続投稿」は要改良という方向で(^_^;)
どれも(スレたて規制もふくめて)トカゲの尻尾にまとめちゃうっていう手はあるなぁ・・・・
52じじぃ その4 ◆HETAREzfq.
05/01/07 04:39:34ID:CcqiS2fj ん?
規制といえば
SETTING.TXTで定める値が必然的に各板共通になるのけ?
規制といえば
SETTING.TXTで定める値が必然的に各板共通になるのけ?
53マァヴ ★
05/01/07 04:40:47ID:??? subcakはbackendのお仕事になるのかな?(^_^;)やはり
54マァヴ ★
05/01/07 04:41:37ID:??? subbackじゃないや(^_^;)subjectだ
55root▲ ★
05/01/07 04:43:19ID:???56マァヴ ★
05/01/07 04:49:16ID:??? おつかれさまです(^_^;)おやすみなさい
おいらもそろそろ寝る〜
おいらもそろそろ寝る〜
57ひろゆき@どうやら管理人 ★
NGNG ディスクI/Oの分散化じゃないすかね?
dat番号で保存するサーバを切り分けるとか。
dat番号で保存するサーバを切り分けるとか。
05/01/07 05:38:24ID:qLUZud1A
59桶屋
05/01/07 08:15:26ID:FthWzdgq60FOX ★
05/01/07 13:44:12ID:??? うーん 逆なんだけどなぁ
フロント複数で datサーバは一台でとうぶん間に合うんだけど、
たぶん 一台で 1,000万post/day くらい処理できそうなんだが、
フロント複数で datサーバは一台でとうぶん間に合うんだけど、
たぶん 一台で 1,000万post/day くらい処理できそうなんだが、
61root▲ ★
05/01/07 14:13:19ID:??? 私も、そう思ってますです。
datのマスターを管理するのは、1台でいけるんではないかと。
フロントエンドがdatファイルをキャッシュするイメージを想定しています。
で、read.cgiは、そのキャッシュを読む。
そのあたりにおいて、携帯サーバとは、ちょっとだけ路線が違うのかなと。
1000万posts/dayという値は例の「おじさんの動物的直感(これが意外とあてになるんだ)」としても、
当面の路線として「必要以上には処理を複雑にしない」で、できるだけいきたいなと。
datのマスターを管理するのは、1台でいけるんではないかと。
フロントエンドがdatファイルをキャッシュするイメージを想定しています。
で、read.cgiは、そのキャッシュを読む。
そのあたりにおいて、携帯サーバとは、ちょっとだけ路線が違うのかなと。
1000万posts/dayという値は例の「おじさんの動物的直感(これが意外とあてになるんだ)」としても、
当面の路線として「必要以上には処理を複雑にしない」で、できるだけいきたいなと。
62root▲ ★
05/01/07 14:19:44ID:??? >>61 のキャッシュは、ライブdatはメモリディスク利用かな。
で、過去ログ(●)はNFS経由か、バックエンドに丸投げ。
Sambaはあのディレクトリをフロントエンドで共有すればいいはずだから、NFSなんじゃないかなぁ。
削除系はバックエンド直叩きすね。
bbs.cgiは最初は単純に後ろに渡すだけのシンプルなもので、いいかも。
で、過去ログ(●)はNFS経由か、バックエンドに丸投げ。
Sambaはあのディレクトリをフロントエンドで共有すればいいはずだから、NFSなんじゃないかなぁ。
削除系はバックエンド直叩きすね。
bbs.cgiは最初は単純に後ろに渡すだけのシンプルなもので、いいかも。
64FOX ★
05/01/07 14:33:59ID:??? bbs-back.cgi は bbs-back.so でやりますんで
dso 化お願いします < banana227
dso 化お願いします < banana227
67FOX ★
05/01/07 14:40:52ID:??? banana227.maido3.com
liveb1.2ch.net
ch2b1
んで 私が遊ぶとこ作ってくださいー
liveb1.2ch.net
ch2b1
んで 私が遊ぶとこ作ってくださいー
05/01/07 15:11:40ID:cevNcrZr
69root▲ ★
05/01/07 15:41:23ID:??? OS上げて整地してごそごそして、、、。
週末作業ってかんじで。
週末作業ってかんじで。
70ひろゆき@どうやら管理人 ★
NGNG71ひろゆき@どうやら管理人 ★
NGNG bbs.cgiの分散化って昔、sp.2ch.netでテストして
出来た気がする。。
出来た気がする。。
72/usr/local/bin/ch2 -o i686 ◆P8fXJj6wwo
05/01/07 17:36:11ID:8sspz10K >>70-71
ここまでの方針を見る限りは、bbs.cgiの分散化というよりは
ディスクへの書き込みをいかにして均すかということでしょう。
bbs.cgiのコストの最たる部分ですし。
そのうえで受付をふやせればいうことなし。
ここまでの方針を見る限りは、bbs.cgiの分散化というよりは
ディスクへの書き込みをいかにして均すかということでしょう。
bbs.cgiのコストの最たる部分ですし。
そのうえで受付をふやせればいうことなし。
73root▲ ★
05/01/07 17:51:30ID:???74ひろゆき@どうやら管理人 ★
NGNG たんにsquidの透過プロキシーでした。
ネットワーク周りの負荷をとりもって、
本体はbbs.cgiの処理に集中って感じでした。
ネットワーク周りの負荷をとりもって、
本体はbbs.cgiの処理に集中って感じでした。
05/01/07 18:27:33ID:taUVfEqj
以前話が出ていたことがあるけど、
bbs.cgiから.dat,subject.txt,subback.htmlにアクセスする部分を別サーバーにして
.datの読み書きをバックエンドにしつつ、subject.txtは
オンメモリで保持するのが良いかと思ってたりします。
で、同じサーバーでread.cgiのバックエンドも動かして、キャッシュを持つと。
フロントではbbs.cgiの処理として
index.htmlや書き込みログやBBxの対処を担当して
実際の書き込みはバックエンドが行うと。
フロント側では、.dat/read.cgi/subject.txt/subback.htmlに対するリクエストは
そのままバックエンド側に回す。
バックエンドでは、bbs.cgiの求める書き込みが妥当かどうかをチェックして
実際に書き込み、フロント側の求めに応じて.datのイメージ等を渡すみたいな。
必要なら、1スレッドでキューに入れながらの非同期書き込みも視野に入れて。
bbs.cgiから.dat,subject.txt,subback.htmlにアクセスする部分を別サーバーにして
.datの読み書きをバックエンドにしつつ、subject.txtは
オンメモリで保持するのが良いかと思ってたりします。
で、同じサーバーでread.cgiのバックエンドも動かして、キャッシュを持つと。
フロントではbbs.cgiの処理として
index.htmlや書き込みログやBBxの対処を担当して
実際の書き込みはバックエンドが行うと。
フロント側では、.dat/read.cgi/subject.txt/subback.htmlに対するリクエストは
そのままバックエンド側に回す。
バックエンドでは、bbs.cgiの求める書き込みが妥当かどうかをチェックして
実際に書き込み、フロント側の求めに応じて.datのイメージ等を渡すみたいな。
必要なら、1スレッドでキューに入れながらの非同期書き込みも視野に入れて。
76root▲ ★
05/01/07 18:37:52ID:???NGNG
む、、、この作戦が成功すると
地震板がまともに機能するようになるのかな?
地震板がまともに機能するようになるのかな?
05/01/07 20:06:47ID:cQJBfLAp
臨時板がまともを期待してはいけません(す
05/01/07 20:23:46ID:pqmq0YTE
82あぼーん
NGNGあぼーん
83桃太郎 ★
05/01/08 00:12:40ID:??? 地震板、電話の輻輳みたく、「お掛けになった方面の鯖は、ただ今大変込み合ってつながりにくくなっています」
なんてメッセージ画面表示したら、起こられるんだろうな・・・
なんてメッセージ画面表示したら、起こられるんだろうな・・・
05/01/08 00:34:09ID:P9MZ8Rfx
85む P061198142013.ppp.prin.ne.jp
05/01/08 00:39:09ID:FPGcP1MY それって、一昔前にあった、お茶飲め規制なんすよね。
つまり、掲示板みたいなメディアだと、あんまり効果なかったりするです。
つまり、掲示板みたいなメディアだと、あんまり効果なかったりするです。
86root▲ ★
05/01/08 07:16:04ID:??? banana227 概ねセットアップ完了。
FreeBSD 5.3R-p4に更新済み。
カーネル的にNFS関連有効に設定。実際の設定はまだ。
ディスクI/O重視セッティング。
・/homeはccdを利用し、ソフトウェアでストライピング(ad0とad1)
・/homeのnewfsパラメータは newfs -U -b 65536 -f 8192 /dev/ccd0
・/homeはnoatime有効(以前から)
ネットワーク周りは、とりあえず携帯フロントエンドサーバ並みのチューニング。
FreeBSD 5.3R-p4に更新済み。
カーネル的にNFS関連有効に設定。実際の設定はまだ。
ディスクI/O重視セッティング。
・/homeはccdを利用し、ソフトウェアでストライピング(ad0とad1)
・/homeのnewfsパラメータは newfs -U -b 65536 -f 8192 /dev/ccd0
・/homeはnoatime有効(以前から)
ネットワーク周りは、とりあえず携帯フロントエンドサーバ並みのチューニング。
89root▲ ★
05/01/08 07:56:24ID:??? ということで、作業はとりあえずここまで。
ネットワーク帯域どうしましょうか。
現状のMAX10Mbpsだと、
今回の用途からして、キャパ的にどきどきかも。
ネットワーク帯域どうしましょうか。
現状のMAX10Mbpsだと、
今回の用途からして、キャパ的にどきどきかも。
90動け動けウゴウゴ2ちゃんねる
05/01/09 19:04:22ID:pgorbTHJ 1Gbps
91root▲ ★
05/01/09 21:23:29ID:??? なお dso を使用するため、httpd そのものを ch2b1 権限で動くようにしてあります。
それに伴い、SuExecもなし。
それに伴い、SuExecもなし。
05/01/10 20:24:35ID:VFBoVca8
D言語お勧め
05/01/31 11:31:26ID:1Pqyrpe70
なんか進展ないのかな・・・
94FOX ★
05/01/31 11:33:29ID:???0 もう少し暖かくなってからかも、
05/01/31 13:07:41ID:ZrtyVVcK0
暖かくなったら溶けませんか? > 雪だるま
05/01/31 13:22:06ID:9jxffk/E0
雪だるまが溶けないうちに雪だるま作戦はあらかた完了しなければならないと思われ、
05/01/31 14:41:26ID:RzOb5kYE0
雪なんて4月になっても残ってるわけだが
05/02/03 00:01:27ID:xt3Py2g/0
冷凍庫に保存してあるから大丈夫
05/02/03 00:15:49ID:5z25kMKc0
溶けた雪だるまをどうするかって問題じゃなかった?w
→dat(3の倍数)+レス書き込み
----→delegate-------→dat(3の倍数+1)+レス書き込み
(逆プロキシ) →dat(3の倍数+2)+レス書き込み
→subject+スレ立て
(振り分け)
下記の2点だけ出来れば動きそう
subjectサーバからdatサーバにスレ立てたら通知
datサーバからsubjectサーバにageの通知
→dat(3の倍数)+レス書き込み
----→delegate-------→dat(3の倍数+1)+レス書き込み
(逆プロキシ) →dat(3の倍数+2)+レス書き込み
→subject+スレ立て
(振り分け)
下記の2点だけ出来れば動きそう
subjectサーバからdatサーバにスレ立てたら通知
datサーバからsubjectサーバにageの通知
05/02/03 00:16:04ID:5z25kMKc0
ずれまくりorz
>>99
どれどれ
どれどれ
■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 【兵庫】斎藤・兵庫知事不信任案を検討 立民系会派「辞職求める」 [ぐれ★]
- 石破首相、トランプ関税は「国難」 [おっさん友の会★]
- 湖池屋「ポテトチップス のり塩」60g→55g スナック16品を減量 [おっさん友の会★]
- 関西テレビの大多亮社長が「辞任」を発表 フジテレビ中居さん問題で当時の編成担当役員 [征夷大将軍★]
- 【株式】日経平均株価が大幅続落、一時3万4000円割れ ★2 [牛乳トースト★]
- 【独占告白】フジテレビに被害女性Aさんが望むこと「被害者救済を第一というなら、様々な報道で貶められた名誉の回復を願います」 [Ailuropoda melanoleuca★]
- りそな銀行って国有化されてるらしいな
- 【画像】万博のり弁(500円) [834922174]
- 【終国】フジテレビ女子アナ性上納リストに政府関係者wwwwwwwwwwwwwwwwwwwwwww [458340425]
- 生きてるだけで周りに迷惑をかけてる人だけが書き込めるスレ
- ▶ラミィのえちえちデカぱい
- 広島カープ、激弱wwwwwwwwwww