【 MACKEREL HAS BEEN DOWN 】リブート部隊連絡所 -- Count 01
■ このスレッドは過去ログ倉庫に格納されています
サーバが落ちたときにの連絡用として。＠サーバダウン情報スレが機能していないため。
● 落ちた？
・内部作業によるダウンかを確認。
→作業前にでもこのスレッドでその旨を宣言して貰えるとありがたい。
・経路を調べる。traceroute 鯖名 (*nix,MacOSX) | tracert 鯖名 (WIN)
※経路中途が断の時もある。
もし２ちゃんねる鯖に入れる環境であるならば、そこからも経路を調べる。
・経路障害が無くともサービスが止まっている場合もある。
※他のサービスをあたってみる。
ssh 鯖名 → 鯖鍵がなければ問われるのでそれで確認が出来る。
ftp 鯖名 → アカウントが無くとも、入ることだけなら可能。
など。
smtp pop3 は、ほとんどの鯖で動いていない。
● サーバダウンが確認が出来たら？
・要請を出す。
他の人が出していないかをチェック。
内容は英文で簡潔に。余計な情報は流さない。
★ サーバダウンチェッカ
10 分間、サーバから httpd のレスポンスが無いときに限りメール発射する装置が「2ch 鯖監視係。」にあります。
ご入り用でしたら下記まで。要送信先メールアドレス。
mishowdaq-ad@correo.baila6.jp banana218、リブート要請メール出してきましたなのら
ってか、おいらが出したのほぼ1ヶ月ぶりなんだな、 c-docomo3(cobra2246.maido3.com) httpd が立ち上がってきませんのでリブート要請出してみます。 pingつながらないのでbanana229、リブート要請メール出しますねー pingは戻りましたが、http/sshはつながるものの応答ない状態。
再度リブート要請します。ううむ。
blackgoat.2ch.net = banana406.maido3.com (206.223.150.190)
落ちている模様。リブート要請します。 oyster901、リブート要請します。
しかし、超高負荷の後で落ちやすいのは、あいかわらずだ、、、。 oyster901、またトンだ（pingもつながんない）のでリブート要請のメール出しましたー 再度 blackgoat.2ch.net = banana406.maido3.com (206.223.150.190)
落ちている模様。リブート要請します。 m.2ch.net (cobra2245)、リブート要請するも正常に立ち上がらず。
再度要請へ。 banana404.maido3.com のリブート要請します。 >>76
要請する寸前で蘇生を確認しましたので却下しました。 cobra2246.maido3.com (206.223.151.210) リブート要請しました。
pingかかるものの、他のサービスがダウン。 cobra2246.maido3.com (206.223.151.210) リブート要請しました。
症状は >>78 と同じ。 tiger503.maido3.com [206.223.150.110] = ex7 リブート要請しました。 cobra2247.maido3.com[c-docomo2.2ch.net]のリブートを要請しました。
>>78-79と同じ症状かもしれません。 tiger503.maido3.com [206.223.150.110] = ex7 リブート要請しました。
上がったら、いったん設定を元に戻す(= シングルCPUモード)予定。 tiger509.maido3.com (206.223.152.65) リブート要請出しました。
上がったら設定確認します。 tiger510.maido3.com（hobby7.2ch.net）
リブート要請 〜(・∀・)〜だしますよー cobra2246.maido3.com[c-docomo3] は自動で立ち上がったのかな？＠未要請 cobra2246.maido3.com[c-docomo3]のリブートを要請しました。 cobra2246.maido3.com[c-docomo3]
PINGは通る
HTTPは反応しない
SSHでログインできる
FTPもログインできる
rootさんが、httpdを再起動してくれればOKかもしれませんが、、、、、
一応、お願いします。
>>89
http://sv2ch.baila6.jp/server.cgi?server=c-docomo3.2ch.net
httpd だけが止まると、生死状態と反応速度グラフに赤印が付くのですがそのような形跡はありませんですし、
負荷平均率グラフをみてもリブートされた形跡もありませんですし、、、＠up 7 days,
現在は如何でしょうか？
当方からでは、
$ telnet c-docomo3.2ch.net 80
で接続できたことも確認できました。 おぉ
復活している、なんだろう？
あとでrootさんに調べてもらいます。 さっき(昼頃)は急いでたんで、とりあえずおかしくなさそうだったけどapacheだけリスタートしたです。
ログには特に不審な形跡はないみたい(MRTGグラフ見ても落ちてたような様子ないもよう)。
http://mumumu.mu/mrtg/mrtg-rrd.cgi/traffic/ cobra2246.maido3.com[c-docomo3]
PINGは通る
HTTPは反応しない
SSHでログインできるも、激重でなにもできず。。。。
FTPもログインできる も、激重でなにもできず。。。。
リブートお願いします。 >>93
対応が遅れて申し訳ありませんでした。ただいま要請を出しましたm(_ _)m 深謝 >>94
ありがとうございます。
ﾏﾀｰﾘと待ちます。 banana388.maido3.com[comic6.2ch.net] 206.223.150.195
リブート要請出しましたm(_ _)m oyster901 = live8.2ch.net
リブート要請出します。 oyster901 応答がない模様。
リブート要請しました。 >>99
う、、、何かしらの作業をやっているのかと思って放置していましたm(_ _)m 902の反応が無くなりましたのでリブート要請を出しました。 また902=memories おかしい模様。
前回と同じ症状？pingかかる、sshつながる、でも応答ない、httpd応答ない
とりあえずリブート要請します。
上がったらようすみてみます。 902がむずがっている原因の一つは、/etc/resolv.conf の設定に問題があったための模様。
他にも調整事項ある模様。再度リブート中。 oyster901 = live8 リブート要請しました。
上がったら、Apacheのセッティングを見直す予定。 ex7。まあ、これ以上bbs.cgi(perl)が起動してもらっちゃ困るし。
%ps ax | grep perl | wc -l
92
%ps ax | grep perl | wc -l
89 tiger503 = ex7 リブート要請出しました。 cobra2244 リブート要請しました。
ううむ、、、。 oyster901 (live8)
tiger503 (ex7)
リブート要請済み。 cobra2244 = c-docomo4 リブート要請しました。 事後になるけど、
oyster243 リブート要請しましたー ＞ 対応されました。
お疲れ様でした。 oyster243.peko.2ch.net[206.223.151.220] has been down.
って事でりぶぅと要請を出しました。
しかし現地は日曜日の夜明け前なので、復旧には多少のお時間をいただくかもしれませんですm(_ _)m 836 名前：root▲ ★ 投稿日：04/12/19 21:07:06 ID:???
実家に戻りました。
とりあえずlive16はBBQを引かないように緊急対策。
926 名前：root▲ ★ 投稿日：04/12/19 21:19:51 ID:???
tigerサーバ緊急対策完了。
該当するのは以下。
ex7.2ch.net game10.2ch.net news18.2ch.net
game9.2ch.net dso.2ch.net live16.2ch.net
life7.2ch.net news19.2ch.net hobby7.2ch.net
935 名前：root▲ ★ 投稿日：04/12/19 21:21:19 ID:???
cobraサーバ完了。
live8.2ch.net
952 名前：root▲ ★ 投稿日：04/12/19 21:23:27 ID:???
あとのサーバは、、、DNSキャッシュを自分で持ってない & 私がroot権限を持ってないので、
緊急対応にはやや時間を要する見込み。
とりあえず、他の状況を確認してきます。
51 名前：root▲ ★ 投稿日：04/12/19 21:41:16 ID:???
oyster243、pingかからないですね。リモートコンソールも応答ない模様。
oyster243以外は、動いてるのかな。
oyster243のリブート依頼は既に出ていますね。未承諾広告※さんか。
まだリブートはされていないと。
で、現地は日曜の朝4時半か。
…しかし前回の事件があって、
ここ(dnscache/BBQ)を強化すべく活動しはじめてた矢先にこれか。 cobra2247 = c-docomo, c-docomo2 リブート要請しましたです。 ばーべきゅー(oyster243) また調子悪いみたいね、、
とりあえず新年一発目のメール送っておきましたです。。(m_ _)m tiger509 = news19 リブート依頼しました。 tiger504 = game10
tiger510 = hobby7
リブート要請しました。 oyster243 = BBQ
リブート要請しました。 banana307 = BBM
リブート要請しました。 cobra2246 = c-docomo3
リブート要請しました。 tige503 = ex7
リブート要請しました。 tige503 = ex7
リブート要請しました。ううむ。 oyster243 = bbq
リブート要請しました。 Pinging bbq.2ch.net [206.223.151.220] with 32 bytes of data:
Request timed out.
Request timed out.
Request timed out.
Request timed out.
Ping statistics for 206.223.151.220:
Packets: Sent = 4, Received = 0, Lost = 4 (100% loss), >>132
oyster243 = bbq = [206.223.151.220]
リブート要請しました。
よく墜ちるよなぁ、、、 >>133
5.2.1R時代(ずっと安定していた)と比べて変えているのは、
メモリディスクを他のサーバよりもかなり大きくとって、
そこにBBQとdnscache関連のDNSデータとログを入れるようにしたことですね。
それ以外は変えていないので、そこに原因があるのはほぼ間違いなさげです。
cobra2245への切り替え作業を急ぎます。 banaa272は、dnscacheの向きを変えていないのかも。とここにメモ。 >>133-135 お疲れ様です。ありがとうございますm(__)m oyster243 リブート要請しました。
上がったら、メモリディスクの利用を一時的に中断します。 memories(oyster902)[206.223.151.230]
のリブート要請をしました。
Date: Sun Jan 30 09:26:11 2005 JST-9 (Sat Jan 29 16:26:11 2005 PST+8PDT)
Target: oyster902.peko.2ch.net[memories.2ch.net] 206.223.151.230 >>138
うぅむ、、、過負荷が掛かっていただけで墜ちてはいなかったもより。。。
でもってリブートされてから戻ってこないもより（汗）
多少時間が掛かるんでしたっけ？ >>139
oyster902はリブートに時間かかるです。
様子そのものも、確かに変な模様。 >>140
リブートから２時間経過。
ちょっと長すぎます？（苦笑） >>141
だいたい、2時間半近くかかる模様です。
ﾏﾀｰﾘ待つが吉かと。
Jan 30 03:17:17 <5.3> oyster902 syslogd: exiting on signal 15
Jan 30 05:32:24 <0.6> oyster902 syslogd: kernel boot file is /boot/kernel/kernel oyster243のリブート要請メール出しましたー。
ううむ。 oyster902 リブートかかりました。
日本時間16:00ぐらいから、ぼちぼち対処開始ってとこかと。
場合によっては、HDD入れ替え作業→サービス一時中断へ。 また不調になったので、oyster902のリブート要請を出しました。
いったん拡張ディスクなし(ソフトウェア的に)にしといて、
5.3Rに上げた方がいい気がしてきました。 oyster902 リブート要請出しました。ううむ。 oyster902 リブート要請しました。
上がったら、Sumaストレージを中心に、
設定を見直す予定。 c-au1.2ch.netが死んでいるみたいなのでリブートお願いします。
ssh、ftpも応答なし。。。 >>150
banana403のリブートを要請しますた♪ >>151
ありがとうございます。
後はまたーりと待ちます。 banana273.maido3.com (cvsup.peko.2ch.net)
リブート要請します。
blackgoat4からcvsupしてたら、なんかつながらなくなった、、、。 リブートいただきました。
#vm.defer_swapspace_pageouts=1
#vm.disable_swapspace_pageouts=1
をコメントアウトして、スワップを使うのを許すことにした。< banana273 banana307.maido3.com (BBM/m.2ch.net)
リブート要請しました。
上がったら >>155 と同じ設定、入れておくか。 banana210.maido3.com (pc5.2ch.net)
pingは通ったけどhttp応答がなかったので
リブート要請しましたー。 tiger503.maido3.com (live20.2ch.net)
リブート要請しました。 banana702.maido3.com (www2/wow/okazu/vip.bbspink.com)
リブート要請出しました。 banana404.maido3.com (206.223.150.140)
リブート要請しました。 banana702.maido3.com も要請すべきでしょうか、、、 >>162
自然復旧したみたいですね。
何かネットワーク系の作業だったのかしら。 oyster902.peko.2ch.net (206.223.151.230)
リブート要請しました。 ■ このスレッドは過去ログ倉庫に格納されています
