【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part14
■ このスレッドは過去ログ倉庫に格納されています
peko作戦について語るスレです。
サーバの新ロケーション、PIEに関する話題もこちらで。
現在の主要なテーマは、
・新ロケーション、PIEの安定化
・pekoサーバ突然死の原因究明
となります。
レンタルサーバー maido3.com ２ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html
PINKちゃんねるで現在進行中のama作戦については、こちら。
【Project ama】PINKちゃんねる特化型ｻｰﾊﾞ構築作戦 Part2
http://qb3.2ch.net/test/read.cgi/operate/1082721809/l50
携帯電話特化型サーバ構築作戦については、こちら。
【Love Affair】携帯からのアクセスに対する考察・次の一手 Part1
http://qb5.2ch.net/test/read.cgi/operate/1075887465/
前スレ
【Project peko】2ch特化型サーバ構築作戦 Part13
http://qb5.2ch.net/test/read.cgi/operate/1085678587/ >>151 >>153
ども。1レスをもちょっと短めにするといいかもです。
(ここは60秒規制なのでややつらいですが)
中身のコメントは別途。
で、おれさまメモ。Zend Optimizerの効果はかなりある。
【Love Affair】携帯からのアクセスに対する考察・次の一手 Part1
http://qb5.2ch.net/test/read.cgi/operate/1075887465/797- >>154
bbs.cgi関連を最適化しても恩恵を受けるのは実況サーバだけという
気もするので微妙ですが、もし手を付けるのであれば教えてください。
デーモン部分のコードをCで書きますです。 お返事どうも。
フェアキューイングの説明については、余計なことだったようで申し訳
ありませんでした。2chのバックエンドについてまったく理解していない
一般人ですけれども、結論的には、同じところに落ち着いているようで、
少しほっとしました。
さて、上記の書き込みですけれども、直感的な感想です。
1は、簡単ですよね。パケットが契約帯域を越えるとドロップされるなら、
サーバ側で絞れば良いだけのような気がします。
2は、普通は、間にキャッシュサーバを数台噛まして負荷分散、という
アプローチになると思いますけれど、キャッシュは置けないという前提の
ようですね。そうなると、「遅い」コネクションをいかに落とすか、
あるいは、同じホスト上で、何らかのソフトウェアでキャッシュサーバ
の挙動をエミュレートしてやるか、という話になりますか...。
3は、「実況」時のリクエストのプロファイルによると思いますけれども、
「同じファイルを読み書きする」限りは、バッファキャッシュの効率が
高まるので、基本的に個々のプロセスの処理効率は高まると思います。
148は、その問題に対して、読み書きのトラフィックをユーザーランドで
write gatheringするというアプローチだと理解しますが、それは、逆に、
コンテクストスイッチ分だけ効率を落とすことになるような気がします。
この手のプロセスまわりの性能問題は、結局はスレッドベースのhttpdに
するしかないのでしょうね。逆に言えば、Apacheの利便を取る限りは、
犠牲にするしかない類の話なのかも知れません。
ともあれ、ある程度ネットワークに出力がないと、フェアキューイング的
に美味しくない、というのは正しいでしょうね。ただ、出力のバッファの
挙動って、よく分からない動きをするので、やっぱり、やってみないと
分からないというのが正直なところです。
game6/news11, comic4とも、メモリ節約セッティングに変更後にread.cgiを動かして
数日間安定して動いている模様なので、
tmp3/live12 (cobra2245)も同じセッティングに変更の上、
read.cgiを動かしてみた。
etc2/food5は来週には移転とのことなので、とりあえず今のままで。 pekoサーバのread.cgiはいずれも、munmap()を明示的にするバージョン。
少なくともFreeBSD/amd64では、このほうがかなり安定に動く模様。 そういえば、mod_netniceの作者ってこういう人だったり。
こことは親和性がいいのかも(w。
http://www.netnice.org/2ch.html カイサード アルサード キ・スク・ハンセ・グロス・シルク
灰燼と化せ 冥界の賢者 七つの鍵をもて 開け地獄の門 (´-`).｡ｏＯ（そんなボケが未承諾広告さんの口から聞けるとはｗ) >>163
ハーローイーン
七 鍵 守 護 神！！！
ですか。懐かし漫画板へ逝ってください。 バスタードはまだ懐かしじゃないぞぉ、と釣られてみよう。
ついこないだようやく単行本新刊出たし、MMORPG化も進んでる？ようだし。
以後は質雑スレで。 そろそろ移転という噂もありますが、
oyster247のhttpdの設定をcomic4と同一に変更して、
etc2とfood5のread.cgiを復活させました。
これで、掲示板があるすべてのpekoサーバでread.cgiが復旧したはず。 pekoサーバのread.cgi問題ですが、
・munmap()を明示的に実行するようにする
・httpd.confに以下の設定を入れる
1)メモリ使用量に制限を入れる
2)メモリリークによるhttpdの肥大化を防ぐ
ことで、ここ数ヶ月苦労した問題は解決したのかもしれません。
<IfModule prefork.c>
StartServers 64
MinSpareServers 5
MaxSpareServers 32
ServerLimit 128
MaxClients 128
MaxRequestsPerChild 100 <=
MaxMemFree 1024 <=
</IfModule>
突然死というぐらいで「突然」起こるので、まだ予断を許しませんが。 根本解決じゃなく、あくまでもすり抜けてるレベルだわな Op鯖導入後からROMってましたが、一つの山を越えたようで、皆さん乙でした！
移動中にtmp3/live12が、、、。
該当時間、負荷は高かったみたいですが、
これが負荷が理由なのか、はたまた例の突然死なのか。 リモートコンソールとかであれこれ状況を見れないんですか？ヾ('-')ﾉ
線が外れてるんだっけ・・・('-';) root★様いつも乙です。
今回のナルコレプシーが既知の問題点である、メモリリークの不具合ではなく、
偶発的に発生した問題で、極めてレアケースであることを祈ってます。
いえ、それはそれで、勿論問題なのですが。game6やcomic4でroot★さまが
立てた解決への道筋が、間違いでないコトを祈って。 どもです。>>180
愚痴を言わせてもらおうっと。
正直、live12/tmp3というペアリングはちょっとチューニング的に難しいです。
live系のセッティングと一般系の掲示板ではトラフィック傾向がかなり違うため、
本来はセッティングを変えたいところなのです。
例えばlive系だと暇な状態でもhttpdの常駐数が減らないようにして、
突発的なリクエストに耐えるようにするとか、read.cgiが比率的に多くないので、
MaxRequestsPerChildをやや増やせるとか、
いくつかのチューニング手法があります(live8で実施)。
でも、そういうセッティングは、tmp3のようないつもかなり多くのユーザがいて、
かつread.cgiもかなりの比率あるところには、あまり向かないわけです。
で、今は突然死対策もあり、comic4と同じセッティング(= tmp3寄り)になっています。
ということで、live系の負荷増、特に突発的な負荷増には、やや弱いかなと。
でもまぁ、そこをなんとかするのも、腕の見せ所ではあるわけで。
# 安定に動くならperchildかなぁ。それともこれこそnetniceとか使うといいのかも。
ということで、めし。 移動中に落ちるってことは、LANボードかネットワークドライバ周りに異常か？ >>181
実況系統とそうでない系統を同居させるのは正直、いかがなものかと・・・ >>184
祭りが良く起きるダウソ板の挙動が不安でbananaに移りたくないのかも？＞tmpの中の人 質問でーす
game6 , comic4 , tmp3 @peko
は 現在 read.cgi 動いているのですか?
それと、今後の予想はどうなんですかねぇ? >188
read.cgiは動いてるですよ。＞game6 , comic4 , tmp3 gameは夏までに整理できるところは整理したほうがよいかと
いいかげん頭打ちになるような気がしないでもないが netniceのBOFってどこなの？
BSDなひとときで見てたけど情報がみあたらない。 黒山羊さん生誕の儀式を依頼しておきますです。
今日の構築作業はここまで。続きは明日夜以降。
以下を2ch.netのDNSに追加お願いします。
+blackgoat.2ch.net:206.223.150.190 うーむ。
>>181を鑑みるに、live9/game7みたいなdat保持数が多い実況板も
再編したほうがいいのかねぇ。。
どうなんでしょ？ >>201
;; ANSWER SECTION:
blackgoat.2ch.net. 1D IN A 206.223.150.190
Excellent! あれ、blackgoatってフロントエンドとプライベートIPでつなぐんじゃ
なかったけ？外にも公開することにしたのかな？ というか、blackgoatが掲示板サーバーからデータを取ってくるわけですし
グローバルIPがないと掲示板サーバーと通信できない気が >>206
もちろん、そですね。
ということでこれを作りました。その方面のかた、よろしくです。
http://blackgoat.2ch.net/_service/20040701.txt
これ以外はグローバル側からのアクセスは「人大杉」ということで。
これからcの中の人にメール書きます。 comic4 なんですが、、、
FTP で接続はできるのですが
public_html へ移動しようとすると
listing が出来ないようで、それっきりになってしまいます、、、
public_html から 1035 bytes が来たところでしまってしまう
どうしたのかなぁ >>208
なんだか移転が上手くいってないっぽい…？ >>210
(((( ；ﾟДﾟ)))ｶﾞｸｶﾞｸﾌﾞﾙﾌﾞﾙ 他に残ってる板（まだ移転してない板）は書き込みとか読み込みはできるけれど…
どうなのだろう＞comic4 bbs.cgi@comic4 とめます
何か不吉な予感ということで、 HDD交換ってことなら
どうせなら不治痛MAUの導入実験きぼんぬ。
実験、実験。たのしい実験。 comic4って鯖落ち回避のためにバックアップをしてないはずだけどログとか大丈夫なのかしら。 root ★さんへ
一度 comic4 の状況見てくださいー
>>208
>>210
>>215 裏で復帰作業が入っていたがそれが原因ってことではないよね。 >>221
壊れたかもしれないcomic4とcomic5は別マシンなので
無関係だと思うです。 comic4から移った板は通常営業って事でいいの？ >>223
なんでだろ・・・
comic4 -> comic6
comic , wcomic , csaloon の移転(dat)移し&index.html変更おねがいできますかー
んで bbs.cgi 再開してくださいー 今気が付いた、俺>>221で何を書いてんだろう。
comic5と見間違えちゃった。
>>225
移転できたのは通常でOKだとおもいます。 留守番さんがpeko246に嫌われちゃったとか（ﾏﾃ
で、それぞれ3板しか移ってないのは何か意味あるのですか？ システムメッセージ 正常
fsck -n 問題なし
その他システムレスポンス 正常
不審なプロセス・不審なコマンドの形跡 なし
攻撃の形跡・異常なアクセスの形跡 なし
ロードアベレージの急な上昇 なし 気のせいだったということで、
私が入れるようになったら他のも移転しまーす
が、
サザン ★さんが適当に割り振って移転してくれても ok でーす
comic4 -> comic5,comic6
私は次に tmp3 -> tmp4 をやりまーす comic6 にログインして comic4 にFTPかけて、
public_html に移動してファイルいくつか転送してみたけど、
何の異常もないなぁ。 >>233
んじゃ、
>>235 のスレを参考に移転しますー、 うーむ、、、。でもおじさんの勘はすごいからなぁ。
http://newsplus.jp/~gedo/bbs/test/read.cgi/gedo/1076046104/7 スレ違いなので、大変申し訳ないのですが、チョット失礼します。
root★さま、comic4のpeko鯖のお守り、お疲れ様でした、
有難う御座います。
peko鯖との別れは辛いのですが、何時かpekoに戻れる日を夢見て
bananaで頑張りますので、rootさまもpekoプロジェクト頑張って下さい。
ただ、お体には気をつけて。
スレ違い、失礼しました。 game6か。地雷を踏んだか。
とりあえず緊急対応。効果が出るといいのだが。
http://qb5.2ch.net/test/read.cgi/operate/1088057820/354
354 名前：root ★[sage] 投稿日：04/07/02 23:47 ID:???
game6のhttpdの最大数をcomic4と同じに減らします。
(従来はメモリ3Gであったため、comic4とlive8の中間にしていた) ということで、焼け石に水かもしれないけど、効果はあるはず。
携帯→2ch運用情報スレッド9
http://qb5.2ch.net/test/read.cgi/operate/1086680380/896
896 名前：root ★[] 投稿日：04/07/03 04:54 ID:???
c-others作業終了。
blackgoat, c-au, c-docomo, c-othersのすべての/homeを
ストライピング仕様に更新。
またnewfsの際に、、
newfs -U -b 65536 -f 8192 /dev/ccd0 で設定。
これで、でかいディレクトリ(例えばdatの下のたくさんファイルがあるところとか)が
ある場合に、効果があるはず。
/homeにはクラシックメニューシステムも入っているので、
全体のパフォーマンスに対して効果も期待できる。
(フロントエンドでやる意味はそのあたりに)
すくなくともいったんよけていた/homeのデータのリストア(3Gぐらい)の速度は
かなり速くなったので、効果はあったのかなと。
これにて本日の作業は終了。
おやすみなさい。
ということで、三姉妹の中身は土曜日にいじれる状態になりました。
土曜は夜まで基本的にいないので、その間にごそごそしてみてくださいです。＞中の人 今日はこれからお出かけ。終日オフラインの予定。
【oyster争奪戦】新サーバ情報スレッド 14
http://qb5.2ch.net/test/read.cgi/operate/1086435290/549 について。
>549 名前：留守番 ★[] 投稿日：04/07/03 05:44 ID:???
>考えていること、、、
>
>1) game6 も空ける、これは Tiger 待ちか !?
>2) これで Cobra が三台空く
>3) 247 は BBM の予感
>4) 245 は live の予感
>5) 246 は BlackGoat 試験機二号の予感
>6) みかんのでかいのは伊予柑
game6も空けるなら、Cobra 4台分ですね。
244 = game6 => Tiger待ちか => 何に使う?
245 = live12 => 現状継続
246 = comic4 => もうすぐ空く => BlackGoat2へ
247 = etc2/society2/food5 => もう空いている => BBMへ
かな? >>244 続き。
ということで旧246(BlackGoat2)は設置場所変更とともに206へのリナンバ、
同時にディスクストライピング導入がいい予感。
だとするとそれより前に掲示板系データはmemoriesへの収容という運びかなと。
ということで問題なければぼちぼち、oyster246と247の掲示板部分の中身を
memoriesに入れる作業にとりかかろうかなと。 >>244
>4) 245 は live の予感
の数字が間違ってるだけじゃないのかなぁ？
245でなくて244
でlive10復活？ >>245
あてにしないでください
今のBlackGoatが当初予定通りの満足いく結果を出さなければ
全て白紙の予定です。 >>192-193
向こうで書くのがどうかと思ったので一応こっちに
game系に限らず利用者の多いカテゴリはその時点での必要性に追われて
悪く言えば場当たり的な板増設を繰り返してきたので
振り返ってみるとライトユーザーが見たときにどの話題が何の板かわかりにくくなってしまってるところがある
で同じような趣旨のスレがいろんな板に同時に多数存在していたり（有益なものもあるが）、
板違いなスレが（圧縮のきつい板に限って）繰り返し立っては他のスレを落としたりという無駄があり、
これらは各板の取り扱い範囲を仕切りなおすといったソフト的な対応で
リソースをより有効活用する工夫もいるのではないかと思う
今まではハード環境の制限が大きかったのでそこまで考える余裕がなかったが
これからはカテゴリごとの再編成も視野に入れて
ハードとソフト両面で最適化を図ることができるのではないかと 一カ所に集めると人が多くなってスレが加速する傾向があるので
＞で同じような趣旨のスレがいろんな板に同時に多数存在していたり（有益なものもあるが）、
＞板違いなスレが（圧縮のきつい板に限って）繰り返し立っては他のスレを落としたりという無駄があり、
この辺が無駄とは全然思えないのです
で圧縮が多いから負荷が高いというより、人が多いから負荷が高いのではないでしょうか
のでわかりやすいから負荷が減るとは一概にいえないわけです
カテゴリ再編はアイディア出してくださいで終わると思います(-A-)ｼﾒｼﾞ ■ このスレッドは過去ログ倉庫に格納されています
