【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16
■ このスレッドは過去ログ倉庫に格納されています
peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。
＜現在の主要なテーマ＞
・read.cgiのmod_cgidso化によるパフォーマンスアップ
・bbs.cgiのSpeedyCGI化によるパフォーマンスアップ
・FreeBSD 5.3Rへのサーバ更新作業&さらなるチューニング
＜関連板・スレッド＞
また挑戦。＠2ch掲示板
http://dso.2ch.net/myanmar/
また挑戦２。＠2ch掲示板
http://dso.2ch.net/yangon/
bbs.cgi再開発プロジェクト４
http://qb5.2ch.net/test/read.cgi/operate/1101984763/
read.cgi再開発スレ
http://qb5.2ch.net/test/read.cgi/operate/1087199303/
＜関連サイト＞
レンタルサーバー maido3.com ２ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html
＜前スレ＞
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part15
http://qb5.2ch.net/test/read.cgi/operate/1093068260/ >>646追記
#この場合の参考は価格面でつ。言葉足りませんでしたort 1年ぐらい前のpekoスレでXserve RAIDを推薦したときは無下に候補から落とされたよなぁ……
まぁFreeBSD/amd64から使うには無謀だとは思うけど。 >>648
確かあれは、memoriesを作っているときの文脈で、
値段の問題とか、そこまでの高速なのはとりあえずいらないとか、
そういう問題だったように記憶しているです。
で、SATA RAID + FibreChannel に落ち着いたと。
今回のは高速性が大事な局面なので、
bananaでパイロットした後で本物を作るフェーズになれば、候補になりうるのかも。 とくにFSBが既存のx86系アーキとくらべても激速ですからね >>650
追加
サウスブリッジもHyperTransportなんでcobraよりはやいはず
一番のネックはまたしてもディスク回転数か・・・・
http://www.wdc.com/jp/products/current/retailkits/WD740GDRTL.asp
は10krpmだけど、今の主力であるCheetah 15Kより劣る上に新xserveには対応しているのか？ 突っ込めば動くだろうけど、それでいいのか？
というもんだいかしら。 >>651
回転数というより、それ、SCSI-SATA変換かましてるから
そっちのほうがネックじゃよ
それにそれはSATAIIちゃうし
（同じ回転数のSCSIドライブよりかなり落ちる） ここしばらくで、立て続けに2つ5.3Rにfixが入りました。
Topic: NFS Server may panic under certain load patterns
Topic: sk(4) driver instability on SMP systems
NFSは雪だるま作戦で使うかもしれないので、適用必要すね。
skドライバはとりあえず２ちゃんねるでは関係ないけど、関係する人は多いかなと。 雪だるまって何のことかと思ったらこれか。
■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1
http://qb5.2ch.net/test/read.cgi/operate/1105035540/l50
qa.2ch.net @banana386(live14) に作ります。 基本セット入れればいいのかな? < qa.2ch.net 儀式依頼です。
■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1
http://qb5.2ch.net/test/read.cgi/operate/1105035540/86-87
(新規追加)
+liveb1.2ch.net:206.223.151.135 http://qa.2ch.net/ の準備が出来ました
板を作ることが可能になりました。
dat保持数は10,000に設定されていまーす。
>>662 というわけで、bananaサーバ方面は .htaccess で制限かけて、
tiger/cobraサーバ方面は、昨年も使ったやつを、とりあえずごにょごにょと。 ex7、なぜかhttpdの数が減っていたので、リスタートした。
この設定だったら、ひまな状態でも減らないと思うんだけど、なんでだろ。
<IfModule prefork.c>
StartServers 1024
MinSpareServers 5
MaxSpareServers 1024
ServerLimit 1024
MaxClients 1024
MaxRequestsPerChild 1000000
</IfModule> >>666 何らかの要因で httpd が終了しても，MinSpareServers まで
スペアの httpd が減らないと新たな httpd が立ち上がらないとか．
httpd 終了の要因としては......
・ MaxRequestsPerChild 回リクエストを処理した．
・ segfault で死んだ．
・ etc. >>667
ふーむ、MinSpareServersを1024にすればいいのかしら。 意外に、read.cgi内でexitしてたりして。 >>668 ずっと 1024 をキープしたいとすればそうですね．
>>670 そうなってると，確かに httpd ごと終了しちゃいます...... がんがんread.cgiが起動されてるnews19ではそんなことないっすね。
ex7は既にちょっと減少していたりします。>>667 かなと。 ということでこれにしました。
本日の「7期該当なしショック」の時に1280に増やしても問題なさそうだったので、
tigerサーバはこれでいこうかなと。
<IfModule prefork.c>
StartServers 1280
MinSpareServers 1280
MaxSpareServers 1280
ServerLimit 1280
MaxClients 1280
MaxRequestsPerChild 1000000
</IfModule> ex7、live17以外のサーバのhttpdの数を1024に戻す予定。
(hobby7/game10は後で)
ひさしぶりに、設定ミス(と思われる)で落としてしまった。鬱。 ex7も他と同様、httpdを1024固定にした。
1280だと、かえってつらそうすね。(live17はread.cgi率が少ないため、1280のまま)
game10 hobby7 も 1024 固定に設定。 banana201 を 5.3R にバージョンアップしました。
(www.2ch.net/www2.2ch.net/yakin.cc)
これで、RAIDカード入れて中身を初期化する予定のcobra2245と
慎重にバージョンアップする必要があるため現地に行けたら作業しようと思っている
oyster902 = memoriesを除き、
私が見ているサーバはすべてFreeBSD 5.3Rになりました。
これでとりあえず、バージョンアップ系の工事は一段落のはず。 寝る前に気がついたので。
例の攻撃かも & 大量スワップアウト騒ぎで、bbs.cgi (speedy) の -t660 を -t60 に変えたわけですが、
そもそも10分で自爆するようにbbs.cgiで設定していたような気がするので、
-t660 は、実は正しい設定だったような気がしてきました。
…でも今日はFOXさんが早寝しているので、
とりあえず今は設定を変えず、とりえあずそのままにしておくことにします。
覚え書き: パフォーマンスダウンが起こっていたサーバ:
pc5 hunan5 music4 idol.bbspink.com で、pc5にはtiger/coraに今入れているフィルタと同じものを入れてもらっています。(by Jim-san)
tigre/cobraはフィルタ実装済。
.htaccess からは、はずしてあります。
以上、現状のまとめ。 どもども
月曜から復帰予定でーす
-t660 は 11分ということで設定しました。
それ自身は問題ないかと、
bbs.cgi が引きがねでいろいろ起るのはbbs.cgiに存在する問題点かと
長い戦いとなるでしょう。 bananaの5.3化もやる予定ではあったりして、
これもまた長い戦いになる予感。
一方、史上最大の爆撃を受けているようですが、
序盤のジャブ一発目なのか、はたまた渾身のストレートだったのか、、、
なんせ破壊力は韓国の数十倍は楽にあると予想できますから。 でも LAが上昇して負荷が高い状態になるのは
ここ数週間の経験からいくと read.cgi 起因だす。
何らかのきっかけで read.cgi 暴走
サーバが忙しくなって swap 開始
bbs.cgi の処理が物凄く時間がかかって
書き込み処理事態が swap out
見た目 <speedy_back> が大量に存在。
でも これを見て bbs.cgi の問題とみたり
サーバの設定の問題とみたりしてもうまく行かなかったです。
原因は read.cgi の暴走。
枯れるまでじっと待とうread.cgi もう月曜日だし＾＾；
(￣□￣;）海外・・・・ｏｒｚ >>683
> -t660 は 11分ということで設定しました。
> それ自身は問題ないかと、
そうですね。これで問題が出るようだと、本質的なことが解決できてない、って
ことになるです。
> なんせ破壊力は韓国の数十倍は楽にあると予想できますから。
どっかに「回線がうんこ」って書いてあったような気がしましたが、
うんこだったとしても、数の力はすごいし。
ここの掲示板が他に対してたまに発揮しているのとか見ると、思うです。
例えばUDとか。
で、>>685 の read.cgi の暴走ですが、
dso 化されてしまうと、今のbananaの設定ではその様子が見えないのです。
で、もしよろしければ、pc5 human5 idol.bbspink.com あたりで、
security.bsd.see_other_uids=0
を一時的に外していただけると、うれしかったりします。 ついにメモリが足りないと感じた。
pc5 は増設手配します。 idol は板移転(->sakura03) で分散かな、
あとあったっけ? >>688
512M → 1G すね。< pc5
あとは、maleがあるhuman5あたりか。 human5 も投稿数が多く逼迫しているかと思えば
RAMには余裕ありげ、、
read.cgi 起動数の差なのかな・・・ >>690
ありえますね。
あと、昨日のgame10/hobby7でのトラブルは、APC Acceleratorを入れたまま、
httpdの数を1280にしたのが原因だった模様。
APC Acceleratorをはずすだけで、ひとつあたり仮想記憶を40M食っていたhttpdが、
9.4Mになったです。
携帯系サーバでは必須だけど、一般サーバではいらないんで、
はずしておこうかと。 現在 pc5 は -M16 でやってます
メモリ節約できるらしい
まず bbs.cgi の改造で 各サーバの状況にあわせた
パラメータ設定できるようにしてみよう。 常駐するspeedy_backendの数を減らす戦略ですか。
cobra/tiger系だと、もう少し多くてもいいかもとか、
同じbananaでもサーバの性格に合わせてセッティングを変えるとか、
できるといいかも。 掲示板tiger, liveb1, wwwのhttpdから、apc.soの読み込みを外した。 pc5 (banana210) にRAMを追加するように頼んだ、(512MB追加)
「届いたら、追加しちゃって witout any notice」と頼んだ
だから作業中は突然止まります < pc5 いつ頃届くのかなぁ・・・。
30min程度の停止ですよね？ Jim (2:33) :
Ram will happen today 24時間後に月例Windowsupdate祭りがあるからそれまでに済んで欲しいな news系の再配置で
banana241 (news15/16/17)
banana372 (news13)
があいた。 >>700
1台はいったん整地して雪だるま行きかしら。
# 実験をすすめるにあたりクライアント側にも、root権限ありが1台あるといいかも。 まぁ もう二台くらいあけてから
ゆっくりと、、、
当分 bbs.cgi の改良が頭から離れそうもないので、
Sambaa 値はやっぱ SETTING.TXT だよなぁとか ＞ Sambaa 値はやっぱ SETTING.TXT だよなぁとか
ほうほう。となると申請で容易に（？）変えられることになるとですな。 サーバダウン(鯖落ち)情報 Part58
http://qb5.2ch.net/test/read.cgi/operate/1105300405/77-81
oyster243、3度目のダウン。
cobra2245のRAID 1構築は、どんな状況だろう。 で、>>707 ですが、
個人的にはメモリディスクを1Gとっているから、、、と推測。
(メモリには余裕があります(下記))
last pid: 1056; load averages: 0.00, 0.04, 0.01 up 0+00:34:55 05:14:38
84 processes: 1 running, 81 sleeping, 2 zombie
CPU states: % user, % nice, % system, % interrupt, % idle
Mem: 834M Active, 272M Inact, 263M Wired, 16K Cache, 214M Buf, 2525M Free
Swap: 4096M Total, 4096M Free
このへんのproblem reportって、出ているんだろうか。
ハングしちゃうのは、ちとつらいなと。 >>699
緊急クラスのセキュリティパッチが出るようですね。
ttp://www.microsoft.com/japan/technet/security/bulletin/advance.mspx BBQ を DSN参照方式じゃない方式に切り替えますかね。 >>700 の２台をまっさらに再インストールをしようかと、
banana241 (news15/16/17)
banana372 (news13)
を Suma に退避していただけるとありがたいです。
5.3 にしちゃおうかと、
>>711
今夜、帰宅後あたりにでも。
banana241にはnews14も入ってるので、それも含めて。 >>710
んー、それはややいまいちっすね。
BBQって、DNSでやるのが一番適しているパターンの一つですから。
BBQは、同じサーバ2台作ると、簡単に2台にできます。
この路線がいいかなと。→というわけでcobra2245のRAID化&構築がいいかなと。
で、うまくいくようなら同じRAIDカードをoyster243にも刺せば、当面安泰と。
そのうえで、
ほんとうはDB全部をまるっきり生成しなおさなくても、
データの追加ってできるはずなんです。
今できないのは、rbldnsの実装の問題です。
もうちょっといい実装があるような気がするので、ちと調べてみるです。 >>713
> 簡単に2台にできます。
^DNSのしくみで ラウンドロビン化＋ミラーリング(RAIDのそれに限らず)ってところですね。 cobra2245 を power off しておきました。
%halt -p
Connection to cobra2245.maido3.com closed by remote host.
Connection to cobra2245.maido3.com closed. 帰宅。
これ、DNSサーバに使えるのかなぁ。
rbldnsd: Small Daemon for DNSBL
http://www.corpit.ru/mjt/rbldnsd.html >>718
たぶんおそらくbbqの詳細版が出来るかもかも＠127.0.0.3ならBoo80だとかとか >718
ずいぶん前からportsに入ってますよ。
自分のところではqmailのRBL用として使用中。 Jim は PIEへと to take care of oyster2245 現在はoyster2245のケースにRAID用のカードが
テープで貼り付けてある状況です。
まずは どうすればいいのかな? 1)ふたを開ける
2)今入っているSCSI cardを取り外す
3)新しいSCSI cardを取り付ける
4)HDDをつなぐ
ここまでできたら、電源を入れる＊前に＊、ここにその旨書いてくださいです。 5)ふたを閉める
6)元の位置にサーバを戻す
7)コンソール・キーボードをつなぐ
でもまだ電源はつながない RAID用のカード
とりあえずデフォルトの設定をマジックで書いておく。＜ディップスイッチ等
接続素子部分に接点復活剤を吹き付けて磨く。
ケースにRAID設定の変遷をつづる紙を張り付けてみる
そしてとりあえず今日は寝て、上手い使い方が明日目覚めたときに浮かぶことを祈る >>720
確かにあるですね。さっき >>711 を流しながら、見てました。
悪くないかも。 おお。
収容作業終わりました。
以下のDNS変更をお願いします。(明日かな)
(現在)
+news13.2ch.net:206.223.150.20
+news14.2ch.net:206.223.147.60
+news15.2ch.net:206.223.147.60
+news16.2ch.net:206.223.147.60
+news17.2ch.net:206.223.147.60
(変更後)
+news13.2ch.net:206.223.151.230
+news14.2ch.net:206.223.151.230
+news15.2ch.net:206.223.151.230
+news16.2ch.net:206.223.151.230
+news17.2ch.net:206.223.151.230 >>724 の続き
8) 電源を入れる
9)LSI LogicのSCSI BIOSのところで、所定のキーを押して
メニュー画面に入る
10)コマンドを入力して、2つのSCSIディスクが認識されていることを確認する
11)問題なければ、2つのディスクをRAID 1構成に設定し、
ディスクアレイを構成するコマンドを流す
12)しばらくすると終わる
13)電源を落とす
(続く) I am at pie, a couple broken machines to work on before I can work on oyster
ということで待機中。。。 14)FreeBSD のインストールCDを入れる
15)HDDがアレイになった1台で認識されるので、/home のディスクを割り当てずに、
他のディスクはこれまでと同じパーティション割付でインストールを行う
16)ここまで
という流れです。 散々迷った挙句ここにお邪魔
N+の住人ですが
ニュー速に実況を認めるのは止めてください
N+は散々負荷を減らすためにニュースの範囲を減らしてきました
実況がありならとっくにやってます
最悪でも両板で実況ありでお願いします
鯖が落ちれば管理人さんも考え直すでしょう
実況+でがんばっている人のことも考えてください >>732
了解です。
う、そういえばJimさん、5.3R/amd64版のCDメディア、持ってるかしら。
5.2.1Rはもう公式にサポートされてないので、FTPインストールとかできない気がします。
インストールイメージが全部入ったフルメディアからなら、入れられますが、、、。 >>736
> う、そういえばJimさん、5.3R/amd64版のCDメディア、持ってるかしら。
あらかじめもたせなかったらそれは準備不足というものでつが 昨年12月にSean君に頼んだときは、そう言ってあったのです。
今回はうっかりしていた、、、かも。ｼｮﾎﾞｰﾝ まぁ これからっす
いろいろあるのはいつものことかと CD-Rが無くてもLANで見えるところに.isoが有ればなんとかなる。 >>739
すんませんです。
>>740
確かに、、、。
でもその手順を二人羽織するのは、若干どきどきかも。 >>736
んじゃ
まずその辺の事を Jim に聞いてみよう
コントロール渡します。 Jimさんは、別の仕事をPIEでしています。
私はちと、おふろ。
Me (02:49 AM) :
Jim-san, now I'll take a bath, so I will be offline for about 30 minutes.
Mata atode. >741
いちおう定番のネットワークインストールのところをはっときます。
http://www15.big.or.jp/~yamamori/sun/pxe/
まぁ普通にbootできるCDが有るのなら、NFSサーバー用意してmdconfigで.isoマウントしたのを公開すりゃいいんだけど。
sysinstallのインストール元でNFSサーバー選べば。 ■ このスレッドは過去ログ倉庫に格納されています
