次期主力bananaサーバ建造委員会　その４

**動け動けウゴウゴ２ちゃんねる** · 2007/02/12(月) 03:04:54

　　

　　＿＿＿
　　／　　　　＼
　／　⌒　　⌒　ヽ　　　　　　　＿＿＿＿＿＿＿＿＿
/　（●）　（●）　|　　　　／
| ::: ⌒（__人__）⌒:: |　　　＜　　ま、そんな事はどうでもいいんですけどね
| 　　　 |r┬|　　　i　　　　　＼＿＿＿＿＿＿＿＿＿
＼　　　ｰ―' ＿／.　　　| | 　　　　　　 |
　　⌒ヽ　ヽノ　ヽ　　　　| | 　　　　　　 |
/　　　ノ::::::::::::::::::ｌ＼.　　| | 　　　　　　 |
ヽ　　`ー― ⌒､ヽ　　　　|_|＿＿＿＿＿＿|
　　ー――､＿ヾ⌒ヽ～＝＝　| |　　|

**ピロリ** · 2007/02/14(水) 01:02:03

>>725
でたり引っ込んだりなんですよね

read.cgiもdsoだからapacheさんの一部と考えていいのかな?
そのへんにはbugたくさんあるでしょねー

◆TWARamEjuA · 2007/02/14(水) 01:22:00

>>726
→でたり引っ込んだりなんですよね
それならちょうどプロセスが死ぬ間際ってところかなぁ＠その時にtopさんが拾うみたいだから。

$ ps auxww
の結果は貼り付けられないですよね？（苦笑）

**ピロリ** · 2007/02/14(水) 01:23:11

ch2ex21@banana290:~/public_html/test$ ps auxww
USER PID %CPU %MEM VSZ RSS TT STAT STARTED TIME COMMAND
ch2ex21 47662 5.8 0.9 19108 18656 ?? S 8:16AM 0:12.57 /usr/local/bin/speedy_backend -- -M32 -b1048576 -t660 -T/md/tmp/speedy/t bbs.cgi
ch2ex21 47294 3.7 0.9 19664 19188 ?? S 8:15AM 0:15.27 /usr/local/bin/speedy_backend -- -M32 -b1048576 -t660 -T/md/tmp/speedy/t bbs.cgi
ch2ex21 47664 2.1 0.9 18280 17740 ?? S 8:16AM 0:10.25 /usr/local/bin/speedy_backend -- -M32 -b1048576 -t660 -T/md/tmp/speedy/t bbs.cgi
ch2ex21 45292 1.0 0.8 17784 17260 ?? S 8:09AM 0:06.46 /usr/local/bin/speedy_backend -- -M32 -b1048576 -t660 -T/md/tmp/speedy/t bbs.cgi
ch2ex21 46695 0.6 0.9 19716 19184 ?? S 8:13AM 0:17.59 /usr/local/bin/speedy_backend -- -M32 -b1048576 -t660 -T/md/tmp/speedy/t bbs.cgi
ch2ex21 48086 0.5 0.8 17968 17480 ?? S 8:17AM 0:05.16 /usr/local/bin/speedy_backend -- -M32 -b1048576 -t660 -T/md/tmp/speedy/t bbs.cgi
ch2ex21 839 0.0 0.2 6252 3312 ?? S 6:13AM 0:00.55 sshd: ch2ex21@ttyp0 (sshd)
ch2ex21 24396 0.0 0.1 2704 2200 ?? Is 7:16AM 0:00.05 /usr/local/bin/speedy_backend -- -M32 -b1048576 -t660 -T/md/tmp/speedy/t bbs.cgi
ch2ex21 48823 0.0 0.1 2704 2212 ?? I 8:19AM 0:00.00 /usr/local/bin/speedy_backend -- -M32 -b1048576 -t660 -T/md/tmp/speedy/t bbs.cgi
ch2ex21 49641 0.0 0.1 2704 2212 ?? I 8:22AM 0:00.00 /usr/local/bin/speedy_backend -- -M32 -b1048576 -t660 -T/md/tmp/speedy/t bbs.cgi
ch2ex21 49749 0.0 0.0 0 0 ?? Z 8:22AM 0:00.00 <defunct>
ch2ex21 49756 0.0 0.0 0 0 ?? Z 8:22AM 0:00.00 <defunct>
ch2ex21 840 0.0 0.1 3220 2052 p0 Ss 6:13AM 0:00.02 -bash (bash)
ch2ex21 49758 0.0 0.0 1428 908 p0 R+ 8:22AM 0:00.00 ps auxww

◆TWARamEjuA · 2007/02/14(水) 01:26:41

わー♪

長生きしているやつほどメモリを食っているような♪

-t660 をもっと短くすると良いのかな？＠11分

◆TWARamEjuA · 2007/02/14(水) 01:28:50

→ch2ex21 24396 0.0 0.1 2704 2200 ?? Is 7:16AM 0:00.05
もしかしてなぁんにもしないでサボっている？

**ピロリ** · 2007/02/14(水) 01:33:38

どですかねぇ
なんで -t660 にしたんでしたっけ?

長く常駐すると暴走しちゃうとかでしたっけ、

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 01:49:23

>>714
最速でログ検索したけど、古い

254 名前：外野ｧｧﾝ[sage] 投稿日：2005/07/07(木) 22:23:24 ID:oqiBgJKE0
vipの最速1000記録ってどれくらいだっけ？

255 名前：動け動けウゴウゴ２ちゃんねる[sage] 投稿日：2005/07/07(木) 22:23:43 ID:K0u2yc190
49s >>254

2006年はチャレンジした形跡あるけど記録がわからん

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 01:52:35

>>732
通常では49秒でおｋ
雪だるま実験場では4秒が出たけど、これは別の話だろう

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 01:54:24

２号機の見せ場　→　何板入れるのかｗ

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 01:55:34

最近21鯖の住人になったんですが、ここにきて落ちてる意味がわかりました
中の人、633氏、ｶﾞﾝｶﾞってくださいな。いい物を期待してます。ﾏﾀｰﾘ待ちますよ

ｽﾚ汚しｽﾏｿ

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 02:38:13

>>722
スワップ用というのか一次キャッシュ用と言うのか分からんが…
一次的にデータ置く場所としてhd足してもダメってこと？

書き込みより読み込みの方がもたつくのかな？

素人考えだと
板をもっと分けて、負担かけそうなの分散させて、全体的にバランスとるんじゃダメなんかな？と思うんだが…

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 04:55:52

マァヴって、
東京と札幌を飛行機で何度も往復してるのな。

ＺＥＲＯって、お金あるんだな。。

● ◆ANGLERlqvM · 2007/02/14(水) 06:47:26

一晩の内に物凄く進展してますね。。
後は安定すれば、次はRAID1の実証試験をするのかなぁ。。

それと、ex21.2ch.netのリブート依頼の扱いどうしますかね？
放置→Ver1.0対応→Ver2.0対応もＯＫと経過してますが。。

**どくどくさぼてん** · 2007/02/14(水) 09:25:51

おもいっきし寝てた。。
ってか昨日のex21のPV数1255万かよっ

>>605
休日は、平日働いている人も昼間からアクセスできるようになるので、
その分昼間のアクセス数が上がるんですよ。
なので、平日とは違ってグラフが平らになる、、と。
これは大体どこのサーバでも見られる現象だったと思います。

そういや、ex20の時って、平日はむしろ15:00あたりが1日のピークだったのに、
今のex21だと平らになるくらいの影響しかないように見えてしまう、、のか？

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 09:38:11

>>728 情報thx
これを見る限り今回の原因は bbs.cgi でも read.cgi でもなさそうですね。
単純に httpd のコネクション処理数の限界値とメモリの兼ね合いの部分かな？
SpeedyCGI の起動パラメータに関しては現状からいじる必要はないでしょう。
少し監視所などのデータを集めてみたのですが

http://stats.2ch.net/karasu2.cgi?yesterday
で、投稿数は ex17 に負けているのでまだ限界に到達してないと思われがちですが

http://pv.40.kg/
では、ex17 より静的ファイルのリクエストは ex21 が１割近く上回ってます。

これらの数値と経験から計算した内容になりますが、ex21 のピーク時には

　 read.cgi は人大杉で処理しないとしても 50～80 req/sec
　 bbs.cgi は 8～10 req/sec
　静的ファイルは 350～400 req/sec

となっており、恐らくリモートからのリクエストを処理できる限界に近い
状態であるのではないか？と推測されます。

apache bench などで簡単に実測限界測定すれば、httpd の処理能力は計測できる
と思いますが、この手のテストの結果はどなたかご存知でしょうか？

他にも思うところが長くなってきたので info.2ch.net の Wiki お借りして書いてみます。

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 10:08:33

>>733 thx

**root▲▲ ★** · 2007/02/14(水) 10:20:24

昨日は寝ていたです。
よく、ではないですが。

昨日もダウンしたようですが、これまでの落ち方と変わったと。
これまではいきなりpingかからなくなったけど、
こんどはpingかかる形でダウンしたですか。

で、>>633 さんによる(挙動を外部から見た)考察と推定がなされ(>>722)、
限界性能を測る実験は終わりに近づいたと。(>>721)

ちなみに>>725-727 ですが、
speedy プロセスが終わろうとしている時に観測されるもので、
異常動作ではないです。
(このguessは長年tigerサーバを観測してきた経験からですので結構自信あります)。

忙しいサーバで speedycgi を CGI モードで動かしていると、結構見られます。

>>731
フェイルセーフだったような。
bbs.cgi では10分で自爆するように書いてあるわけですが、
死ななかった時のための。

で、これを書いている間に >>740 のレスが。
これは別途レスを。

**root▲▲ ★** · 2007/02/14(水) 10:29:10

そんなわけで。

>>740
> これを見る限り今回の原因は bbs.cgi でも read.cgi でもなさそうですね。

そうですね。CPUがCore 2 Duoになったとはいえ、
i386アーキテクチャなので、これまで相当長年に渡ってもまれてきた
bbs.cgi(speedycgi)やread.cgiが原因になるのは、ちと考えにくいです。

> 単純に httpd のコネクション処理数の限界値とメモリの兼ね合いの部分かな？

ありえると思います。
個人的には httpd の売り切れあたりを疑っていたり。
昨日現場にいなかったので、推測に過ぎないですが。

> SpeedyCGI の起動パラメータに関しては現状からいじる必要はないでしょう。

これも同意ですね。
-M32 -b1048576 -t660 のセッティングは、
メモリ2Gのサーバではもう数年間(２ちゃんねるではすごいと思う)の実績があるです。

> 少し監視所などのデータを集めてみたのですが
> http://stats.2ch.net/karasu2.cgi?yesterday
> で、投稿数は ex17 に負けているのでまだ限界に到達してないと思われがちですが
> http://pv.40.kg/
> では、ex17 より静的ファイルのリクエストは ex21 が１割近く上回ってます。

ふむふむ。
morningcoffee がいたりと、今の ex21 のメンバーさんは
専用ブラウザのユーザが結構多いようです。

今のサーバ(の一部、私がおもりしているやつだけ)の統計資料としては、
このへんをご参考にしていただければと。

http://mumumu.mu/mrtg/
http://mumumu.mu/bremen/
http://mumumu.mu/serverlist.html

**root▲▲ ★** · 2007/02/14(水) 10:37:16

(続き)
>>740
> これらの数値と経験から計算した内容になりますが、ex21 のピーク時には
> 　 read.cgi は人大杉で処理しないとしても 50～80 req/sec
> 　 bbs.cgi は 8～10 req/sec
> 　静的ファイルは 350～400 req/sec
> となっており、恐らくリモートからのリクエストを処理できる限界に近い
> 状態であるのではないか？と推測されます。

だいたい、そのくらいになるですね。
他のサーバとの比較ですが、実測値とも比較的一致している気がするです。

> apache bench などで簡単に実測限界測定すれば、httpd の処理能力は計測できる
> と思いますが、この手のテストの結果はどなたかご存知でしょうか？

そういった形でのベンチマークは、ここではやったことないかもしれないですね。
外からabで叩いていただいたことは、何回かあるような。

ここの掲示板では「ある程度のトレーニング(エージング)をするといきなり実戦投入」
というのを、長年に渡って繰り返してきたという経緯があるようです。

> 他にも思うところが長くなってきたので info.2ch.net の Wiki お借りして書いてみます。

おぉ、楽しみにしているです。

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 10:44:43

＞外からabで叩いていただいたことは、何回かあるような。
ﾜﾛﾀ

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 10:55:05

実戦でテストできるってマジ裏山

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 10:58:05

まぁ普通赦しちゃくれないしなぁ、んな事

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:05:40

州´・ｖ･）＜あんまり困らせないでください

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:06:36

また落ちたかね

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:06:46

またいっちゃったみたいっすよ

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:08:19

がんばりきれなかったか

**root▲▲ ★** · 2007/02/14(水) 11:10:54

それほど負荷かかってないのに(livemarket1とかあるけど)、
いきなりpingかからなくなりましたね。

ログインウインドウ(放置状態)も、クローズした。

意外と、メモリがうまく合っていないとかそういう話だったりして。

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:11:22

復旧に取り組むPIEのおじちゃんたち
ttp://rank.bbspink.com/piepower/

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:11:46

なんか、上記の理由だけじゃなくてネックがありそうだな・・・

なんとなくメモリー自体じゃないかと孟宗竹。

**root▲▲ ★** · 2007/02/14(水) 11:11:53

あ、ていうか、今pingかかりますね。
ちとみてみるです。

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:11:54

熱は大丈夫ですか

**root▲▲ ★** · 2007/02/14(水) 11:12:56

今上がってますね。

勝手にリブートしたと。
そういえば、メモリ1Gの時代も一度こういうのあったような。

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:13:07

動いたみたいです

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:13:45

そういやメモリ単体のテストやってないんだっけ？

**root▲▲ ★** · 2007/02/14(水) 11:14:05

とりあえず板復帰して、動かすかんじですかね。

なんか、この落ち方は明らかに挙動不審な気が。

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:14:44

バレンタインだから鯖が拗ねちゃったんですかね

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:16:01

ぱっと見た感じ板復帰が必要だった。
httpd (inetd ?) が止まったんじゃなくて、勝手にﾘﾌﾞ㌧くさいですな…

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:16:12

やっぱりハードのどこかが不安定っぽい気が・・・

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:17:48

やっぱりマザボごと取っ替えちゃえば？
それで安定化したらラッキーってことで
その前にmemテスト一回ぐらいはやったほうがいいと思うけど

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:18:26

それとも、裏でなにか設定いじったんだろうか？

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:19:27

>>757
あったあった

http://qb5.2ch.net/test/read.cgi/operate/1169758672/892

**root▲▲ ★** · 2007/02/14(水) 11:19:29

/var/log/messages は見られないので dmesg コマンドの出力だけですが、
突然リブートがかかったようなかんじですね。

250Wでは足りないとかも、考えられはするのかな。
クランプメーターとかで現地で計測するのがよさげですね。
こんなやつ。

http://www.sanwa-meter.co.jp/japan/product/clamp/clamp_list.htm

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:19:30

rootさん復帰かけてますか？
それともこちらでやりますか？

**root▲▲ ★** · 2007/02/14(水) 11:20:05

>>768
おながいします。

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:19:55

鯖に入ってる板全部閉鎖しちゃっていいよもう
鯖を落とす為にこんな事ばっかやってる訳であって安定運用の為じゃないのが分かったし

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:20:46

了解しましたー。やっときます。

**root▲▲ ★** · 2007/02/14(水) 11:21:21

15Mbpsぐらいで突然死するとなると、どきどきするですね。
二号機以降が来るみたいな話が上のほうで出ていた気がするので、
それと比較すれば、より原因がつかめるのではないのかなと。

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:23:51

我々は雑談したり情報交換する為に鯖使ってるのであって
お前らと馴れ合ったり迷惑かけられる為に来てるんじゃないしね
鯖の問題ではなくて常識の問題だよね

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:25:20

お前は何を言ってるんだ

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:25:29

お祭りだと思えばよろしｗ

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:26:13

VIAはメモリ相性キツかったけど今もそうかな？
PEN4はもっさりだから問題なかったとか？

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:29:25

１５Ｍ（負荷）なんですかね・・・なんか条件に共通点・再現性がないような。

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:32:10

補足

この落ち方は。

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:33:19

そろそろ空を飛びたくなったんじゃね

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:33:56

腹すいたんです

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:35:16

お尻だって洗って欲しいさ

**州´・ｖ・） 愛理** ◆Airi/DR5XU · 2007/02/14(水) 11:38:46

>>772
rootﾀﾑといっしょのスレにいるとドキドキするですね。

**F-4EJ改** · 2007/02/14(水) 11:53:52

メモリを４ＧＢにして、挙動を調べてみるのもいいかもよ。
落ちる直前のFreeメモリみて見たい。

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 11:54:59

>>767
これかなoptimization changedってやつ
http://qb5.2ch.net/test/read.cgi/operate/1169758672/927

**root▲▲ ★** · 2007/02/14(水) 12:04:45

>>784
そのoptimization changedはこのスレの上のほうでも出ましたが、
サーバが落ちることとはあんまり関係ないですね。

/md 使っているbanana/tiger/cobraのいずれでも出ていた(いる)です。

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 12:41:49

そですか。
頻度も秒単位って訳でもないので、無関係っぽいですね…

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 12:42:45

グラフ更新
http://img.wazamono.jp/pc/src/1171424382132.gif

11時過ぎに落ちたのは予想外ですね。以前と関連が全く見えません。
誰かログインして別の作業とかしてたり状況が違うのでしょうか？

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 12:52:52

次は実況詰め込み実験だな

全ての実況鯖つめコンでみるとか

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 12:56:05

アニメサロンから開始だな

**stream** ◆PNstream2s · 2007/02/14(水) 12:59:34

昨日httpdが落ちてリブート要請v2を使ったんですけど、
maido3.comの人がリブートする前に復活しました。

そのときはリブート要請2.0がかぶったのかと思いましたが
よく考えたら2.0がかぶった場合はmaido3.comの人が気付くんで
勝手にリブートしたのかもしれません。

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 13:05:04

>>790
「鯖がハード的に落ちた」「OSが止まった」「httpdプロセス消滅」「httpdが一時的に処理停止していただけ」
この切り分けは非常に重要だと思われます。昨日の夜と今日の昼の対応がどのような状況だったか詳しく説明希望。

「メモリ不良でない」という前提で話が進んでいますが、まだハードウェア異常があるなら電源は安定していると
すれば、メモリの不良という状況がまだ残っていそうです

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 13:11:05

このままの条件で２．３日稼働させてデータを取ったほうがいい希ガス。

**root▲▲ ★** · 2007/02/14(水) 13:11:57

>>790
つまり、今回と同じ現象かもしれないと。

>>787
> 11時過ぎに落ちたのは予想外ですね。以前と関連が全く見えません。

そうですね。
なお、該当時間にサーバにログインして作業していた形跡はないようです。

>>791
> この切り分けは非常に重要だと思われます。

はげしくどういで。

**stream** ◆PNstream2s · 2007/02/14(水) 13:15:37

pingはかかるがhttpdの応答が無くなる
Apacheが起動してない場合、すぐ接続が失敗するし(ポートがclosedの状態)
子プロセスがSEGV起こしてる場合は繋がるけどすぐ接続が切れるからこれらとは違う。

↓

ピロリのおっちゃんがリブート要請2.0をしてくれと言うのでする。
しばらくしてhttpdが応答するようになる。23:10ぐらいに、再起動がかかった。
http://ex21.2ch.net/_service/20070213.txt

↓

23:40にメールが。
-------------------------------------------------------
お問い合わせありがとうございます。BIG-server.comです。

Banana290サーバのリブートをご依頼頂きましたが
弊社環境から確認したところ、ご連絡頂いたドメイン
http://ex21.2ch.net/　へのアクセスが可能なようです。
サーバのリブートをいたしますか？
お手数ですが、???????@maido3.com まで再度ご連絡を
頂けますと幸いです。
--------------------------------------------------------

なので、リブート要請を取り消す返事をした。

**root▲▲ ★** · 2007/02/14(水) 13:21:08

で、>>721 の書き込みを見ると、
きっと「原因の切り分けは2号機以降を入れてからじっくりと」っていうふうに
なるような気もしますね。

いずれにせよ(同じような構成の)2号機以降が来るなら、
原因の切り分けという意味でも、それ自体は有用なんではないかなと。

ということで2号機以降が来たら、
電源構成(なんか上のほうに「150Wかも」って書いてあったような)等には、
たぶんきっと要注意なかんじで。

**マァヴ** ◆jxAYUMI09s · 2007/02/14(水) 13:21:40

色々いっぱいあるんで(^_^;)順番に

まずは2号機,3号機が到着しました。
現在OSインストール中。
電源は250Wが付いています。
細かい仕様のチェックはOSが入ってからdmesして確認予定ー

**マァヴ** ◆jxAYUMI09s · 2007/02/14(水) 13:24:33

昨夜のダウン(^_^;)
昨夜23:10頃のダウンは、勝手に落ちて勝手にリブートしたようです。
つまり以前mem1GB時代にあったのと同じ現象。
2.0要員の人が初動で確認した時点で、もうhttpdが上がってました。
確認なんですが、このときサーバが戻ってから、板復帰は必要でしたか？

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 13:25:33

こんどは２５０Wついてましたか

**マァヴ** ◆jxAYUMI09s · 2007/02/14(水) 13:25:42

今朝のダウン(^_^;)
これも同様に勝手にダウンして勝手にブートしたようです。

今、ダウン前後のsyslogと、10分に一回TOPを取ってあるので
その情報をまとめてます(^_^;)

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 13:25:52

>>797
http://qb5.2ch.net/test/read.cgi/operate/1168773296/659
23:20過ぎの復帰

**マァヴ** ◆jxAYUMI09s · 2007/02/14(水) 13:26:54

>800
どもです(^_^;)
ってことで、23:10の障害もサーバにリブートがかかったことはほぼ間違いないですね。

**root▲▲ ★** · 2007/02/14(水) 13:30:13

ということは、電源を強化してからは「pingがかからなくなる突然死」は
いまだ経験していないと。

**マァヴ** ◆jxAYUMI09s · 2007/02/14(水) 13:31:19

NASについて(^_^;)
polywelに持ち込み修理中のNASですが、HDDのリビルドが必要とのこと
本日中に作業は完了しないと連絡がありました。

**マァヴ** ◆jxAYUMI09s · 2007/02/14(水) 13:32:26

>802
ですね(^_^;)250Wになってからの２回はいずれも「突然リブート」です
150W時代には1GBメモリのときに１回経験してますが2GBになってからはなかった現象です。

**マァヴ** ◆jxAYUMI09s · 2007/02/14(水) 13:33:52

ただ、150W2GB時代の突然死が実は同源で電源が弱くて立ち上がれなかった可能性はあると思います(^_^;)

**root▲▲ ★** · 2007/02/14(水) 13:36:50

>>803
そのNASは桃色なんでしたっけ。

>>804
推測に過ぎませんが、2GBになってからはなかったというか、
その前に突然死が来ていただけで、要素としては残っていた、
と考えるのが自然かもしれないですね。

いずれにせよ250W電源搭載で2号機以降が来たなら、
そのへんがハードウェア由来のものなのかそうでないのかとか、
おいおいわかってくる可能性もあるのかなと。

**マァヴ** ◆jxAYUMI09s · 2007/02/14(水) 13:38:00

>806
そです(^_^;)NASはpinkの過去ログストレージになる予定のやつです

ぅぃぅぃ(^_^;)
syslogとTOPの定期記録がまとまったようなので、どっかにアップします。

**root▲▲ ★** · 2007/02/14(水) 13:38:41

>>805
ありえますね。

「150W1Gmem→突然リブート」」
「150W2Gmem→立ち上がれない」
「250W2Gmem→突然リブート」

と変遷したと。

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 13:42:52

ただ１ＧＢ時と比べて落ちる間隔が短くなっている気も・・・途中で交換とかが入って
いるのであくまで感じですけども。

**マァヴ** ◆jxAYUMI09s · 2007/02/14(水) 13:43:03

(^_^;)つhttp://mickey.mirv.net/b290log070214.txt

**マァヴ** ◆jxAYUMI09s · 2007/02/14(水) 13:46:31

改行直した(^_^;)

**マァヴ** ◆jxAYUMI09s · 2007/02/14(水) 13:47:51

TOPつーかメモリの状態の記録やね(^_^;)＞10分ごとの記録

**root▲▲ ★** · 2007/02/14(水) 13:58:18

>>810
システムログは何も残っていないと。

で、メモリの様子ですが、それだけだと特に異常なかんじには見えにくいですね。
使っているとInactが増えていって、リブート直後はFreeが多いのは、
FreeBSDのVMでは、特に変な動作ではないですし。

● ◆ANGLERlqvM · 2007/02/14(水) 14:04:57

本当に突然リブートがかかってるんですね。。

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 14:14:16

ex21 で作業できる方がいるならログインしてユーザ権限でよいので
> nohup vmstat -w 1 > vmstat-`date +%m%d-%H%M%S`.log &
のコマンドをサーバに仕込んでみて下さい。

１秒毎(-w 1)にプロセス状況、メモリ状況、ディスクI/O状況、CPU状況などを
時刻が名前に入ったログファイルを作って書き出していきます。
出力内容に時刻が記録されないので、ファイル名とタイムスタンプ
(最後の行が出力された時刻)から状況を推測する形となります。

一秒毎に約80Byteずつ増えて一日放置すると7MB弱のサイズになります。
止める場合はプロセス番号を調べてkillするだけです。
異常が発生する瞬間を捉えられる可能性がありますので、有識者がいれば
怪しいコマンドでないことを確認して実行してみてください。

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 14:18:43

>815
怪しくないのはわかります(^_^;)1秒ごとか・・・・
やる？(^_^;)

● ◆ANGLERlqvM · 2007/02/14(水) 14:21:05

今の状態だったら、１日に一回は不具合が再現してますし
やるだけやってみように一票。ネタが無いと分かりませんし。

**root▲▲ ★** · 2007/02/14(水) 14:22:12

vmstat 1をとるですか。
定跡ということで、問題ないのではないかと。

_service に入れるようにすればいいんではないかなと。
私がやってもいいですが、どうしましょう。

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 14:23:31

>>816
落ちる直前の状況がわかるのならやって見る価値はあるのでは・・・。
まあ、原因がわかるかはわかりませんが、一日中取ってても８０M程度ですし
だめもとでやってみれば同でしょうか・・・。
でも、こういう仕掛けを入れたときの限ってなかなか落ちないんですよね・・・。

**F-4EJ改** · 2007/02/14(水) 14:28:50

SWAP 2GBっていいの？
SWAPはメモリの倍のサイズを設定しなさいって、死んだばあちゃんがよく言ってたけど。

**マァヴ** ◆jxAYUMI09s · 2007/02/14(水) 14:33:00

>818
こっちで仕掛けます(^_^;)

>820
2号機、3号機は4GBでレイアウトしてます(^_^;)
つっても倍ではなくて、メモリと同じ量になるけど＞3号機

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 14:33:42

また落ちるの？

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 14:36:39

>>820 私の経験則より
今回のような鯖では、「SWAPが少し発生するけど落ちずに稼動している」はＮＧであり、最大負荷をかけても
SWAPを発生させないようにソフトウェアのパラメータなどを設定する必要があります。
ウェブ系鯖ではSWAPが発生するような設定の場合、今回のようにサービス停止、鯖落ちに直結します。

SWAPが主メモリの倍というのはデスクトップ環境のように、時々メモリを大量に使うソフトがあるような時に、
他のアプリケーションを停止することなく実行するための意味合いが強いです。

結論としては、動作検証の時にはSWAP発生してぎりぎり乗り越えるのがチューニングを見極める限界であり、
おかしな操作をしない限り何があっても落ちない鯖とは、SWAP領域が1MBしかなくてもでも安定して動作します。

**root▲▲ ★** · 2007/02/14(水) 14:38:45

>>821 第一段落
了解です。

私も「死んだばあちゃんがよく言っていた」世代ですが、
きょうびではメモリと同じ容量か、
へたするとスワップなしとかで動かしている人もいたりして。

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 14:38:50

>815
それだとでっかいファイルが出来上がるんで
cronで1分ぶんごとのファイルを生成するように仕組みます(^_^;)ちと挑戦中
一秒ごとに１ファイルだと一時間で3600ファイルもできちゃうんで
これはこれでオーバーヘッドでかそう・・・・

>822
今のところ落とす予定はない(^_^;)

**動け動けウゴウゴ２ちゃんねる** · 2007/02/14(水) 14:40:00

なして名前が入ったり抜けたりするのだ

次期主力bananaサーバ建造委員会 その４

次期主力bananaサーバ建造委員会　その４