【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16
■ このスレッドは過去ログ倉庫に格納されています
peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。
＜現在の主要なテーマ＞
・read.cgiのmod_cgidso化によるパフォーマンスアップ
・bbs.cgiのSpeedyCGI化によるパフォーマンスアップ
・FreeBSD 5.3Rへのサーバ更新作業&さらなるチューニング
＜関連板・スレッド＞
また挑戦。＠2ch掲示板
http://dso.2ch.net/myanmar/
また挑戦２。＠2ch掲示板
http://dso.2ch.net/yangon/
bbs.cgi再開発プロジェクト４
http://qb5.2ch.net/test/read.cgi/operate/1101984763/
read.cgi再開発スレ
http://qb5.2ch.net/test/read.cgi/operate/1087199303/
＜関連サイト＞
レンタルサーバー maido3.com ２ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html
＜前スレ＞
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part15
http://qb5.2ch.net/test/read.cgi/operate/1093068260/ >>606
あ、いつも動いてたget_なんちゃらですか。
なんかいつも動いていたので、気になってはいたのですけど。
おつでした。 >>601
だとすると実況系の過去ログ閲覧のdisk traffic次第ですね
>>603
まだ正式リリースされていないものをいれるのは、
またrootさんの経験がないOSをいれるのはどうかと Solarisは旧SunOS 3.5からSolaris 2.6まで、
それはもうばっちりやらせていただきました。
/etc/systemとか、いじりまくり。
SPARC版での話ですが。
フロントエンドにSolarisのCacheFSというのは、確かにありかも。
しかし、FreeBSDのvr、Solaris 10で動くのかしら。 Solaris 7、8、9、10での主な新機能や改善点を
どなたかここにでも書いていただけると。
で、Solaris 10は使途もフリーになったので
(今までは商用は有料だった)、確かにちょっとありかも。 >>610 補足
> しかし、FreeBSDのvr、Solaris 10で動くのかしら。
vr0: <VIA VT6102 Rhine II 10/100BaseTX> port 0xe400-0xe4ff mem 0xee001000-0xee0010ff irq 11 at device 18.0 on pci0
miibus0: <MII bus> on vr0
ukphy0: <Generic IEEE 802.3u media interface> on miibus0
ukphy0: 10baseT, 10baseT-FDX, 100baseTX, 100baseTX-FDX, auto
vr0: Ethernet address: 00:30:18:22:14:24
がSolarisで動くか、ってことです。
あと、昔のSolaris 2.6/i386は、相当重かった記憶も。
「やっぱSolarisはSPARCかなぁ」と思ったもんですが、
そのへんはどうなんだろ。 Googleの結果。いちおうあるのか。
Free NIC drivers for x86 Solaris
http://homepage2.nifty.com/mrym3/taiyodo/ root ★さーん
news19 を dso化きぼん >>615
ついに来ましたか。
これから、作業するです。 .so 拡張子と read.cgi を dso で動くようにしました。< news19 >>610
そいつは失礼しますた・・・・
>>611
ええええええええ
まじでやりますか？おもしろそー
7:ろくでもなかったらしい
8:http://jp.sun.com/software/solaris/8/(x86はこのころから)
9:http://jp.sun.com/software/solaris/9/
10:nisサポートがきられた、amd64正式サポート！ 動作確認のために、dso.2ch.netのread.cgiを入れたら、、、。
なんか、動作が変に。 リモートコンソールも応答なくなった、、、。
リブート必要かも。 >>622
ごめんなさいです。
動作確認をしようとおもたんですが。
よく考えれば、read.so で入れればよかったわけか。ｼｮﾎﾞｰﾝ リモートコンソールはつながったので、
リブートいただいたところをシングルユーザで操作して、
今入れたread.cgiを削除すれば、元に戻るはず。 tiger509.maido3.com りぶーとしますー 現在の read.cgi@dso をいれますー/いれてくださいー シングルユーザでリモートコンソール経由で操作して、
read.cgi関連を元に戻して、再度リブート中。
dsoの組み込みは、されている状態です。
ジンギスカン入れているので、立ち上がったら復帰が必要かと。 上がりました。
復帰とread.cgiの入れ替えは、おまかせします。
しばらくシステム側の様子観察するです。 …ということで既に mod_cgidso は入った状態なので、
read.cgi を入れれば、動くはず。 read.cgi が動いたのを確認しました。
ちとでかけてくるです。遅い初詣。 FreeBSDは触ったこと無いけど、WebのパフォーマンスはSolaris<Linuxだな
zOS上でも、WebパフォーマンスだけはAIX<Linuxだった WebのパフォーマンスでいうのならLinux<FreeBSD
Solaris 10 ではネットワークスタックも FireEngine というコードネームで
更新されてパフォーマンス向上が図られているということですね．Sun 自身が
出しているベンチマークの数値を額面通りに受け取るかはともかくとしても． 今dsoなサーバ:
cobra / live8
tiger / ex7 live16 news19
banana / ex9 live16とnews19でもこの設定を解除した。
bbs.cgiとread.cgiでもKeepAlive有効。
#SetEnvIf Request_URI ^/test/bbs\.cgi nokeepalive
#SetEnvIf Request_URI ^/test/subbbs\.cgi nokeepalive
#SetEnvIf Request_URI ^/test/read\.cgi nokeepalive read.cgi再開発スレ
http://qb5.2ch.net/test/read.cgi/operate/1087199303/516-
tigerサーバ、すべてread.cgiをmod_cgidso化。
同時に read.cgi / subbbs.cgi / bbs.cgi における nokeepalive を廃止。
これをコメントアウト。
#SetEnvIf Request_URI ^/test/bbs\.cgi nokeepalive
#SetEnvIf Request_URI ^/test/subbbs\.cgi nokeepalive
#SetEnvIf Request_URI ^/test/read\.cgi nokeepalive
これを追加。
LoadModule cgidso_module libexec/apache2/mod_cgidso.so
# for mod_cgidso
<IfModule mod_cgidso.c>
AddHandler dso-script so
</IfModule>
<IfModule mod_cgidso.c>
<Files read.cgi>
SetHandler dso-script
</Files>
</IfModule> >>633
NFSはsolaris>linuxだそうな
kernel2.6でどれだけうｐしたかしらんけど、
最低でも2.7ブランチまではクリティカルなところには入れられないしw 掲示板ありのtigerサーバのRLimitCPUを、
RLimitCPU 30
から、
RLimitCPU 120
にしました。
SpeedyCGI化に伴い、CPU時間によるリミッター値を上げ。
(ex7/live8/live16では既に実施済みだったものを、全サーバに反映) http://www.apple.com/jp/xsan/
ふむふむ、こういうのがあるのですねφ(･_･) ﾒﾓﾒﾓ > 同時に read.cgi / subbbs.cgi / bbs.cgi における nokeepalive を廃止。
まだsubbbs.cgiあるの? >>641
今日出たxserveの最新版にあわせて発売されました
xserveは１台375〜500オイスター。無制限ライセンスつき！
案外今検討されている実況システムに向いているかも。。。 Single Processor
￥346,290
（本体価格￥329,800）
2.0GHz PowerPC G5
512K 二次キャッシュ
1GHz システムバス
1GB DDR400 ECC SDRAM
80GB Serial ATA Drive
Mac OS X Server（無制限ライセンス）
デュアル ギガビット Ethernet
ビデオカードなし
コンボドライブ
Dual Processor
￥461,790
（本体価格￥439,800）
Dual 2.3GHz PowerPC G5
各512K 二次キャッシュ
1.15GHz システムバス
1GB DDR400 ECC SDRAM
80GB Serial ATA Drive
Mac OS X Server（無制限ライセンス）
デュアル ギガビット Ethernet
ビデオカードなし
コンボドライブ
Cluster Node
￥346,290
（本体価格￥329,800）
Dual 2.3GHz PowerPC G5
各512K 二次キャッシュ
1.15GHz システムバス
512MB DDR400 ECC SDRAM
80GB Serial ATA Drive
Mac OS X Server（10ライセンス）
デュアル ギガビット Ethernet
ビデオカードなし
基本状態でこれ……高い…ｗｗｗ
参考：Dual Proseccorを最高までBTOした結果
- デュアル 2.3GHz PowerPC G5
- 8GB DDR400 ECC SDRAM - 8x1GB
- 1200GB ADM [3x400GB Serial ATA]
- SuperDrive（DVD-R/CD-RW）
- ハードウェア RAID PCI カード（下段スロット）
- ギガビット Ethernet PCI-X カード（上段スロット）
- Mac OS X Server Unlimited クライアントライセンス
- アクセサリキット
- Xserve RAID 5600G/ 14x400G/ 2x2GB FC/ 1GB Cache
- AppleCare Premium Service and Support Plan for Xserve
本体価格 ￥2,731,800
消費税 ￥136,590
小計 ￥2,868,390 >>644
って、memories2をつくるわけじゃないし、ディスクはそんなにイラネ >>646追記
#この場合の参考は価格面でつ。言葉足りませんでしたort 1年ぐらい前のpekoスレでXserve RAIDを推薦したときは無下に候補から落とされたよなぁ……
まぁFreeBSD/amd64から使うには無謀だとは思うけど。 >>648
確かあれは、memoriesを作っているときの文脈で、
値段の問題とか、そこまでの高速なのはとりあえずいらないとか、
そういう問題だったように記憶しているです。
で、SATA RAID + FibreChannel に落ち着いたと。
今回のは高速性が大事な局面なので、
bananaでパイロットした後で本物を作るフェーズになれば、候補になりうるのかも。 とくにFSBが既存のx86系アーキとくらべても激速ですからね >>650
追加
サウスブリッジもHyperTransportなんでcobraよりはやいはず
一番のネックはまたしてもディスク回転数か・・・・
http://www.wdc.com/jp/products/current/retailkits/WD740GDRTL.asp
は10krpmだけど、今の主力であるCheetah 15Kより劣る上に新xserveには対応しているのか？ 突っ込めば動くだろうけど、それでいいのか？
というもんだいかしら。 >>651
回転数というより、それ、SCSI-SATA変換かましてるから
そっちのほうがネックじゃよ
それにそれはSATAIIちゃうし
（同じ回転数のSCSIドライブよりかなり落ちる） ここしばらくで、立て続けに2つ5.3Rにfixが入りました。
Topic: NFS Server may panic under certain load patterns
Topic: sk(4) driver instability on SMP systems
NFSは雪だるま作戦で使うかもしれないので、適用必要すね。
skドライバはとりあえず２ちゃんねるでは関係ないけど、関係する人は多いかなと。 雪だるまって何のことかと思ったらこれか。
■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1
http://qb5.2ch.net/test/read.cgi/operate/1105035540/l50
qa.2ch.net @banana386(live14) に作ります。 基本セット入れればいいのかな? < qa.2ch.net 儀式依頼です。
■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1
http://qb5.2ch.net/test/read.cgi/operate/1105035540/86-87
(新規追加)
+liveb1.2ch.net:206.223.151.135 http://qa.2ch.net/ の準備が出来ました
板を作ることが可能になりました。
dat保持数は10,000に設定されていまーす。
>>662 というわけで、bananaサーバ方面は .htaccess で制限かけて、
tiger/cobraサーバ方面は、昨年も使ったやつを、とりあえずごにょごにょと。 ex7、なぜかhttpdの数が減っていたので、リスタートした。
この設定だったら、ひまな状態でも減らないと思うんだけど、なんでだろ。
<IfModule prefork.c>
StartServers 1024
MinSpareServers 5
MaxSpareServers 1024
ServerLimit 1024
MaxClients 1024
MaxRequestsPerChild 1000000
</IfModule> >>666 何らかの要因で httpd が終了しても，MinSpareServers まで
スペアの httpd が減らないと新たな httpd が立ち上がらないとか．
httpd 終了の要因としては......
・ MaxRequestsPerChild 回リクエストを処理した．
・ segfault で死んだ．
・ etc. >>667
ふーむ、MinSpareServersを1024にすればいいのかしら。 意外に、read.cgi内でexitしてたりして。 >>668 ずっと 1024 をキープしたいとすればそうですね．
>>670 そうなってると，確かに httpd ごと終了しちゃいます...... がんがんread.cgiが起動されてるnews19ではそんなことないっすね。
ex7は既にちょっと減少していたりします。>>667 かなと。 ということでこれにしました。
本日の「7期該当なしショック」の時に1280に増やしても問題なさそうだったので、
tigerサーバはこれでいこうかなと。
<IfModule prefork.c>
StartServers 1280
MinSpareServers 1280
MaxSpareServers 1280
ServerLimit 1280
MaxClients 1280
MaxRequestsPerChild 1000000
</IfModule> ex7、live17以外のサーバのhttpdの数を1024に戻す予定。
(hobby7/game10は後で)
ひさしぶりに、設定ミス(と思われる)で落としてしまった。鬱。 ex7も他と同様、httpdを1024固定にした。
1280だと、かえってつらそうすね。(live17はread.cgi率が少ないため、1280のまま)
game10 hobby7 も 1024 固定に設定。 banana201 を 5.3R にバージョンアップしました。
(www.2ch.net/www2.2ch.net/yakin.cc)
これで、RAIDカード入れて中身を初期化する予定のcobra2245と
慎重にバージョンアップする必要があるため現地に行けたら作業しようと思っている
oyster902 = memoriesを除き、
私が見ているサーバはすべてFreeBSD 5.3Rになりました。
これでとりあえず、バージョンアップ系の工事は一段落のはず。 寝る前に気がついたので。
例の攻撃かも & 大量スワップアウト騒ぎで、bbs.cgi (speedy) の -t660 を -t60 に変えたわけですが、
そもそも10分で自爆するようにbbs.cgiで設定していたような気がするので、
-t660 は、実は正しい設定だったような気がしてきました。
…でも今日はFOXさんが早寝しているので、
とりあえず今は設定を変えず、とりえあずそのままにしておくことにします。
覚え書き: パフォーマンスダウンが起こっていたサーバ:
pc5 hunan5 music4 idol.bbspink.com で、pc5にはtiger/coraに今入れているフィルタと同じものを入れてもらっています。(by Jim-san)
tigre/cobraはフィルタ実装済。
.htaccess からは、はずしてあります。
以上、現状のまとめ。 どもども
月曜から復帰予定でーす
-t660 は 11分ということで設定しました。
それ自身は問題ないかと、
bbs.cgi が引きがねでいろいろ起るのはbbs.cgiに存在する問題点かと
長い戦いとなるでしょう。 bananaの5.3化もやる予定ではあったりして、
これもまた長い戦いになる予感。
一方、史上最大の爆撃を受けているようですが、
序盤のジャブ一発目なのか、はたまた渾身のストレートだったのか、、、
なんせ破壊力は韓国の数十倍は楽にあると予想できますから。 でも LAが上昇して負荷が高い状態になるのは
ここ数週間の経験からいくと read.cgi 起因だす。
何らかのきっかけで read.cgi 暴走
サーバが忙しくなって swap 開始
bbs.cgi の処理が物凄く時間がかかって
書き込み処理事態が swap out
見た目 <speedy_back> が大量に存在。
でも これを見て bbs.cgi の問題とみたり
サーバの設定の問題とみたりしてもうまく行かなかったです。
原因は read.cgi の暴走。
枯れるまでじっと待とうread.cgi もう月曜日だし＾＾；
(￣□￣;）海外・・・・ｏｒｚ >>683
> -t660 は 11分ということで設定しました。
> それ自身は問題ないかと、
そうですね。これで問題が出るようだと、本質的なことが解決できてない、って
ことになるです。
> なんせ破壊力は韓国の数十倍は楽にあると予想できますから。
どっかに「回線がうんこ」って書いてあったような気がしましたが、
うんこだったとしても、数の力はすごいし。
ここの掲示板が他に対してたまに発揮しているのとか見ると、思うです。
例えばUDとか。
で、>>685 の read.cgi の暴走ですが、
dso 化されてしまうと、今のbananaの設定ではその様子が見えないのです。
で、もしよろしければ、pc5 human5 idol.bbspink.com あたりで、
security.bsd.see_other_uids=0
を一時的に外していただけると、うれしかったりします。 ついにメモリが足りないと感じた。
pc5 は増設手配します。 idol は板移転(->sakura03) で分散かな、
あとあったっけ? >>688
512M → 1G すね。< pc5
あとは、maleがあるhuman5あたりか。 human5 も投稿数が多く逼迫しているかと思えば
RAMには余裕ありげ、、
read.cgi 起動数の差なのかな・・・ >>690
ありえますね。
あと、昨日のgame10/hobby7でのトラブルは、APC Acceleratorを入れたまま、
httpdの数を1280にしたのが原因だった模様。
APC Acceleratorをはずすだけで、ひとつあたり仮想記憶を40M食っていたhttpdが、
9.4Mになったです。
携帯系サーバでは必須だけど、一般サーバではいらないんで、
はずしておこうかと。 現在 pc5 は -M16 でやってます
メモリ節約できるらしい
まず bbs.cgi の改造で 各サーバの状況にあわせた
パラメータ設定できるようにしてみよう。 常駐するspeedy_backendの数を減らす戦略ですか。
cobra/tiger系だと、もう少し多くてもいいかもとか、
同じbananaでもサーバの性格に合わせてセッティングを変えるとか、
できるといいかも。 掲示板tiger, liveb1, wwwのhttpdから、apc.soの読み込みを外した。 pc5 (banana210) にRAMを追加するように頼んだ、(512MB追加)
「届いたら、追加しちゃって witout any notice」と頼んだ
だから作業中は突然止まります < pc5 いつ頃届くのかなぁ・・・。
30min程度の停止ですよね？ Jim (2:33) :
Ram will happen today 24時間後に月例Windowsupdate祭りがあるからそれまでに済んで欲しいな news系の再配置で
banana241 (news15/16/17)
banana372 (news13)
があいた。 >>700
1台はいったん整地して雪だるま行きかしら。
# 実験をすすめるにあたりクライアント側にも、root権限ありが1台あるといいかも。 まぁ もう二台くらいあけてから
ゆっくりと、、、
当分 bbs.cgi の改良が頭から離れそうもないので、
Sambaa 値はやっぱ SETTING.TXT だよなぁとか ＞ Sambaa 値はやっぱ SETTING.TXT だよなぁとか
ほうほう。となると申請で容易に（？）変えられることになるとですな。 ■ このスレッドは過去ログ倉庫に格納されています
