【 MACKEREL HAS BEEN DOWN 】リブート部隊連絡所 -- Count 02
■ このスレッドは過去ログ倉庫に格納されています
サーバが落ちたときにの連絡用として。＠サーバダウン情報スレが機能していないため。
● 落ちた？
・内部作業によるダウンかを確認。
→作業前にでもこのスレッドでその旨を宣言して貰えるとありがたい。
・経路を調べる。traceroute 鯖名 (*nix,MacOSX) | tracert 鯖名 (WIN)
※経路中途が断の時もある。
もし２ちゃんねる鯖に入れる環境であるならば、そこからも経路を調べる。
・経路障害が無くともサービスが止まっている場合もある。
※他のサービスをあたってみる。
ssh 鯖名 → 鯖鍵がなければ問われるのでそれで確認が出来る。
ftp 鯖名 → アカウントが無くとも、入ることだけなら可能。
など。
smtp pop3 は、ほとんどの鯖で動いていない。
● サーバダウンが確認が出来たら？
・要請を出す。
他の人が出していないかをチェック。
内容は英文で簡潔に。余計な情報は流さない。
★ サーバダウンチェッカ
10 分間、サーバから httpd のレスポンスが無いときに限りメール発射する装置が「2ch 鯖監視係。」にあります。
ご入り用でしたら下記まで。要送信先メールアドレス。
mishowdaq-ad@correo.baila6.jp
前スレ
http://qb5.2ch.net/operate/kako/1089/10891/1089118995.html
サーバーダウン（鯖落ち）情報 part123
http://qb5.2ch.net/test/read.cgi/operate/1163150706/911
911 名前：ちょろ ★ 本日のレス 投稿日：2006/11/11(土) 14:29:50 ???0
おっ bbs.cgi うごいたっすね、
何にも対策していないどころか、急遽作ったサーバなので
落とさないように、壊さないように。
落ちたらそのままにしておいてください > 関係各位 >>169
情報追加。
サーバの本名：cobra2248.maido3.com tiger512.maido3.com = blackgoat4.2ch.net
落ちてしまったようです。(T-T)。
どなたかお手透きの時にお願いいたします。
>>172
たしか狐さんに2.0は止められたけど
もう使って良いんでしようか。 しょっちゅうじゃないので、2.0使います。
＞ 169 名前：たにし ★ 投稿日：2006/10/04(水) 06:02:31 ???0
＞ しょっちゅう落ちるサーバはver2.0対応はなしということで、 tiger511.maido3.com [206.223.151.55]
Reboot 1.0 でリブート申請しました。 c.2ch不具合報告総合スレ6
http://qb5.2ch.net/test/read.cgi/operate/1147960100/821
tiger512.maido3.com
Reboot 1.0 でリブート申請しました。 tiger512.maido3.com
Reboot 1.0 でリブートお願いします
そろそろ511もヤバイかも… >>177
rootさんに対応していただきました。 tiger2510.maido3.com = c-docomo5.2ch.net
リブート要請しました。 鯖落ちしても放置してくださいと指定されている鯖。
>>169-170
ex17.2ch.net = cobra2248.maido3.com
http://qb5.2ch.net/test/read.cgi/operate/1169758672/545-547
ex21.2ch.net = banana290.maido3.com
banana290.maido3.com = ex21.2ch.net
リブート部隊による対応はOKとのことなので、
リブート要請しました。 banana290.maido3.com = ex21.2ch.net
これって送ってもいいんだっけね、、
とりあえずリブート要請しますね
ちなみに、さっきのはいったんAPCが効かなくて
けっきょく手動でリブートしたらしい。 ごめんなさい、、なんか普段のアドレスから送信できなかったので
yahooのメールで送っちゃいました。。 banana290.maido3.com = ex21.2ch.net
リブート要請しました。 tiger511.maido3.com = BG3
tiger512.maido3.com = BG4
リブート要請(1.0)発動しました。 >>187
また、すぐ落ちた模様、、、。
1.0を再度発しましたが、
中身の詳細をチェックできるのは日曜深夜以降になるかも。 >>187
某所より中身をチェック。
応急処置済。 再発によるリブート要請V1.0で要請しました。
news21.2ch.net = tiger505.maido3.com
【参考】
http://qb5.2ch.net/test/read.cgi/operate/1152266515/290-292 【参考】
banana405.maido3.com = c-others1.2ch.net
リブート要請出しました。
サーバーダウン（鯖落ち）情報 part153
http://qb5.2ch.net/test/read.cgi/operate/1181121627/145-148 banana405.maido3.com = c-others1.2ch.net
再度pingが通らない状態になりました。
再要請しました。
要請メールに以下の文を書いています。
> Please reboot after the check of this server. tiger511.maido3.com（blackgoat3.2ch.net）
tiger512.maido3.com（blackgoat4.2ch.net）
落ちていますのでリブート要請(1.0)お願いします。 tiger511.maido3.com = blackgoat3.2ch.net
tiger512.maido3.com = blackgoat4.2ch.net
リブート要請出しました。 banana405.maido3.com = c-others1.2ch.net
リブート要請出しました。 tiger512.maido3.com = blackgoat4.2ch.net
が落ちているみたいなのでリブート要請1.0お願いします。 tiger512.maido3.com = blackgoat4.2ch.net
も落ちましたので、両方お願いします。。。。 banana405.maido3.com = c-others1.2ch.net
tiger511.maido3.com = blackgoat3.2ch.net
tiger512.maido3.com = blackgoat4.2ch.net
リブート要請出しました。 tiger511.maido3.com = blackgoat3.2ch.net
また落ちたようです。
よろしくお願いいたします。。 で、KVMからtiger511のコンソール画面をチェックしようと思ったのですが、
うまくいかないみたい。 >>200 いちおう、プライベート側からも ping かからないことまで確認済みで。 squidのキャッシュが悪さしているのかと思ったけど、もしかしたらハード？ 今 tiger512 のコンソール画面を開いていたのですが、
em1: RX overrun
がでまくりです。
早晩また落ちるかも。 もうsquidとかそういう個々の問題じゃなくて、
単純に負荷が大き過ぎるかんじ。>>203
さて、どうすればいいのかなと。 間に合わないかもしれないけど、
フロントの httpd をいったん全部止めてみます。
このままだと作業もできない。 httpd全部止めました。< c系
しばらく止めておきます。
これで、リブート要請を改めて。 >>206
フロント側のsquidにもう少し頑張ってもらえばなんとかなるかな？ >>208
そういうかんじでもないかも。
tiger511あがりました。
tiger512はこれから再度要請。
で、フロントはまだ上げないでください。
バックのメンテしないと、きっとまた落ちるので。 Jun 24 19:47:03 <0.4> tiger511 kernel: em0: RX overrun
Jun 24 19:47:34 <0.4> tiger511 last message repeated 41 times
Jun 24 19:48:02 <0.4> tiger511 last message repeated 125 times
Jun 24 19:48:02 <0.2> tiger511 kernel: em1: Could not setup receive structures
Jun 24 19:48:03 <0.4> tiger511 kernel: em0: RX overrun
Jun 24 19:48:35 <0.4> tiger511 last message repeated 132 times
Jun 24 19:49:02 <0.4> tiger511 last message repeated 35 times
Jun 24 19:49:02 <0.2> tiger511 kernel: em1: Could not setup receive structures
Jun 24 19:49:03 <0.4> tiger511 kernel: em0: RX overrun
Jun 24 19:49:34 <0.4> tiger511 last message repeated 39 times
Jun 24 19:50:02 <0.4> tiger511 last message repeated 41 times
Jun 24 19:50:02 <0.2> tiger511 kernel: em1: Could not setup receive structures
こんなかんじ。 tiger512 も上がりました。
アクセスされないように、tiger511/512はsquid切りました。
BG3/4は緊急メンテナンスするとして、
その間フロントに来る人は、orz と u.la に誘導ですかね、、、。
フロントにそういう仕込みをするのは可能かしら。
可能なら、その状態にして動かすかんじかなと。
orzやulaも連鎖的にこけてしまうようだと、まずいですが。
(それなら、ただ落としておくほうがよいかも) >>211
200と302と404以外の時に
スレ一覧とレス表示には誘導のURL入れてます。
TOPにも加えるって事でしょうか？ >>212
既にそのへんに入っているのであれば、現状でおｋと思います。
あと、あちら↓にて。
携帯→2ch運用情報スレッド44
http://qb5.2ch.net/test/read.cgi/operate/1182716034/ tiger511 = BG3
tiger512 = BG4
1.0 要請済。
banana405 (上がってもすぐ落ちる: 既に切り離し済)は別途相談するので、
そのままにしておいてくださいです。 BGはリブートかかったけど直ぐに落ちたのかな？
それともリブートかかってないのかな？
>>215
> リブートかかったけど直ぐに落ちた
ですね。
カーネルが一度転ぶと、下記メッセージが出続けてだめぽな状態に。
↓
em1: Could not setup receive structures しかし、ただカーネルの設定変えてリブートするだけで
立ち上がりが悪くて、一発では上がらない場合が多々あるようです。< tiger511/tiger512
フロントを止めて、負荷のない状態にしてもそうなる。
掲示板tigerよりもぶん回っていることを考えると、
そろそろ、きびしい状況なのかも。 tiger511.maido3.com = blackgoat3.2ch.net
tiger512.maido3.com = blackgoat4.2ch.net
リブート要請出しました。 oyster243 リブート要請出しました。(sshログインできないため)
oyster902 も同様の状況であったため、
同様に要請しました。 ■ このスレッドは過去ログ倉庫に格納されています
