【 MACKEREL HAS BEEN DOWN 】リブート部隊連絡所 -- Count 02

■ このスレッドは過去ログ倉庫に格納されています
0001こうすけ ★2005/07/29(金) 01:25:37ID:???0
サーバが落ちたときにの連絡用として。@サーバダウン情報スレが機能していないため。

● 落ちた?
・内部作業によるダウンかを確認。
→作業前にでもこのスレッドでその旨を宣言して貰えるとありがたい。

・経路を調べる。traceroute 鯖名 (*nix,MacOSX) | tracert 鯖名 (WIN)
 ※経路中途が断の時もある。
 もし2ちゃんねる鯖に入れる環境であるならば、そこからも経路を調べる。

・経路障害が無くともサービスが止まっている場合もある。
 ※他のサービスをあたってみる。
 ssh 鯖名 → 鯖鍵がなければ問われるのでそれで確認が出来る。
 ftp 鯖名 → アカウントが無くとも、入ることだけなら可能。
 など。
 smtp pop3 は、ほとんどの鯖で動いていない。

● サーバダウンが確認が出来たら?
・要請を出す。
 他の人が出していないかをチェック。
 内容は英文で簡潔に。余計な情報は流さない。

★ サーバダウンチェッカ
 10 分間、サーバから httpd のレスポンスが無いときに限りメール発射する装置が「2ch 鯖監視係。」にあります。
 ご入り用でしたら下記まで。要送信先メールアドレス。
 mishowdaq-ad@correo.baila6.jp

前スレ
http://qb5.2ch.net/operate/kako/1089/10891/1089118995.html

0169◆ANGLERlqvM 2006/11/11(土) 14:55:30ID:i0zEhMSv0?BRZ(5799)
サーバーダウン(鯖落ち)情報 part123
http://qb5.2ch.net/test/read.cgi/operate/1163150706/911

911 名前:ちょろ ★ 本日のレス 投稿日:2006/11/11(土) 14:29:50 ???0
おっ bbs.cgi うごいたっすね、
何にも対策していないどころか、急遽作ったサーバなので
落とさないように、壊さないように。

落ちたらそのままにしておいてください > 関係各位

0170◆ANGLERlqvM 2006/11/11(土) 15:05:30ID:i0zEhMSv0?BRZ(5799)
>>169
情報追加。
サーバの本名:cobra2248.maido3.com

0171まみら@しぃ2ちゃん ★2007/01/02(火) 08:06:24ID:???0
tiger512.maido3.com = blackgoat4.2ch.net
落ちてしまったようです。(T-T)。
どなたかお手透きの時にお願いいたします。

0172 ◆TWARamEjuA 2007/01/02(火) 08:43:37ID:raHCw7GT0?BRZ(6677)
>>171
【より敏感に】 リブート要請 Ver2.0
http://qb5.2ch.net/test/read.cgi/operate/1152266515/1

0173 ◆mami/ZczII 2007/01/02(火) 09:48:51ID:ImxOmeVjP
>>172
たしか狐さんに2.0は止められたけど
もう使って良いんでしようか。

0174まみら@しぃ2ちゃん ★2007/01/02(火) 09:55:25ID:???0
しょっちゅうじゃないので、2.0使います。

> 169 名前:たにし ★ 投稿日:2006/10/04(水) 06:02:31 ???0
> しょっちゅう落ちるサーバはver2.0対応はなしということで、

0175root▲▲ ★2007/01/28(日) 21:41:12ID:???0?PLT(23456)
tiger511.maido3.com [206.223.151.55]

Reboot 1.0 でリブート申請しました。

0176root▲▲ ★2007/01/29(月) 16:04:50ID:???0?PLT(23456)
c.2ch不具合報告総合スレ6
http://qb5.2ch.net/test/read.cgi/operate/1147960100/821

tiger512.maido3.com

Reboot 1.0 でリブート申請しました。

0177 ◆mami/ZczII 2007/01/31(水) 09:34:24ID:4Va8KOX2P
tiger512.maido3.com

Reboot 1.0 でリブートお願いします

そろそろ511もヤバイかも…

0178動け動けウゴウゴ2ちゃんねる2007/01/31(水) 10:14:22ID:iX9WJiTX0
ageます

0179 ◆mami/ZczII 2007/01/31(水) 11:57:01ID:4Va8KOX2P
>>177
rootさんに対応していただきました。

0180root▲▲ ★2007/01/31(水) 15:07:25ID:???0?PLT(23456)
tiger2510.maido3.com = c-docomo5.2ch.net

リブート要請しました。

0181◆ANGLERlqvM 2007/02/05(月) 17:00:18ID:IrQEGzDw0?BRZ(5890)
鯖落ちしても放置してくださいと指定されている鯖。
>>169-170
ex17.2ch.net = cobra2248.maido3.com

http://qb5.2ch.net/test/read.cgi/operate/1169758672/545-547
ex21.2ch.net = banana290.maido3.com


0182◆ANGLERlqvM 2007/02/12(月) 17:10:17ID:DbU5G2BL0?BRZ(5890)
banana290.maido3.com = ex21.2ch.net
リブート部隊による対応はOKとのことなので、
リブート要請しました。

0183さぼてん ★2007/02/12(月) 20:46:02ID:???0
banana290.maido3.com = ex21.2ch.net

これって送ってもいいんだっけね、、
とりあえずリブート要請しますね

ちなみに、さっきのはいったんAPCが効かなくて
けっきょく手動でリブートしたらしい。

0184さぼてん ★2007/02/12(月) 20:57:57ID:???0
ごめんなさい、、なんか普段のアドレスから送信できなかったので
yahooのメールで送っちゃいました。。

0185root▲▲ ★2007/03/24(土) 08:13:27ID:???0?PLT(74000)
banana290.maido3.com = ex21.2ch.net

リブート要請しました。

0186root▲▲ ★2007/03/31(土) 01:46:07ID:???0?PLT(74000)
tiger511.maido3.com = BG3
tiger512.maido3.com = BG4

リブート要請(1.0)発動しました。

0187root▲▲ ★2007/03/31(土) 12:25:19ID:???0?PLT(74072)
>>187
また、すぐ落ちた模様、、、。

1.0を再度発しましたが、
中身の詳細をチェックできるのは日曜深夜以降になるかも。

0188root▲▲ ★2007/03/31(土) 14:07:49ID:???0?PLT(74072)
>>187
某所より中身をチェック。
応急処置済。

0189◆ANGLERlqvM 2007/04/11(水) 07:06:12ID:Kn9mmJI10?2BP(5890)
再発によるリブート要請V1.0で要請しました。
news21.2ch.net = tiger505.maido3.com

【参考】
http://qb5.2ch.net/test/read.cgi/operate/1152266515/290-292

0190◆ANGLERlqvM 2007/06/09(土) 05:52:17ID:bmiUy0MN0?2BP(5890)
【参考】
banana405.maido3.com = c-others1.2ch.net
リブート要請出しました。

サーバーダウン(鯖落ち)情報 part153
http://qb5.2ch.net/test/read.cgi/operate/1181121627/145-148

0191◆ANGLERlqvM 2007/06/09(土) 09:47:02ID:bmiUy0MN0?2BP(5890)
banana405.maido3.com = c-others1.2ch.net
再度pingが通らない状態になりました。

再要請しました。
要請メールに以下の文を書いています。

> Please reboot after the check of this server.

0192こうすけ ★2007/06/21(木) 22:10:27ID:???0
tiger511.maido3.com(blackgoat3.2ch.net)
tiger512.maido3.com(blackgoat4.2ch.net)
落ちていますのでリブート要請(1.0)お願いします。

0193◆ANGLERlqvM 2007/06/22(金) 02:05:35ID:SrT5xfAN0?2BP(5890)
tiger511.maido3.com = blackgoat3.2ch.net
tiger512.maido3.com = blackgoat4.2ch.net

リブート要請出しました。

0194◆ANGLERlqvM 2007/06/22(金) 22:30:47ID:SrT5xfAN0?2BP(5890)
banana405.maido3.com = c-others1.2ch.net
リブート要請出しました。

0195こうすけ ★2007/06/24(日) 19:08:12ID:???O
tiger512.maido3.com = blackgoat4.2ch.net
が落ちているみたいなのでリブート要請1.0お願いします。

0196こうすけ ★2007/06/24(日) 21:38:49ID:???0
tiger512.maido3.com = blackgoat4.2ch.net
も落ちましたので、両方お願いします。。。。

0197◆ANGLERlqvM 2007/06/25(月) 07:40:26ID:WeZlDOkd0?2BP(5890)
banana405.maido3.com = c-others1.2ch.net
tiger511.maido3.com = blackgoat3.2ch.net
tiger512.maido3.com = blackgoat4.2ch.net

リブート要請出しました。

0198動け動けウゴウゴ2ちゃんねる2007/06/25(月) 08:00:23ID:dUiSTuj90








0199まみら ★2007/06/25(月) 11:08:05ID:???P
tiger511.maido3.com = blackgoat3.2ch.net
また落ちたようです。
よろしくお願いいたします。。

0200root▲▲ ★2007/06/25(月) 11:48:59ID:???0?PLT(74075)
>>199
依頼出しました。
が、いまいちかも。

0201root▲▲ ★2007/06/25(月) 11:50:15ID:???0?PLT(74075)
で、KVMからtiger511のコンソール画面をチェックしようと思ったのですが、
うまくいかないみたい。 >>200

0202root▲▲ ★2007/06/25(月) 11:52:02ID:???0?PLT(74075)
いちおう、プライベート側からも ping かからないことまで確認済みで。

0203こうすけ ★2007/06/25(月) 11:55:28ID:???O
squidのキャッシュが悪さしているのかと思ったけど、もしかしたらハード?

0204root▲▲ ★2007/06/25(月) 11:55:29ID:???0?PLT(74075)
今 tiger512 のコンソール画面を開いていたのですが、
em1: RX overrun
がでまくりです。

早晩また落ちるかも。

0205root▲▲ ★2007/06/25(月) 11:56:57ID:???0?PLT(74075)
もうsquidとかそういう個々の問題じゃなくて、
単純に負荷が大き過ぎるかんじ。>>203

さて、どうすればいいのかなと。

0206root▲▲ ★2007/06/25(月) 11:58:28ID:???0?PLT(74075)
間に合わないかもしれないけど、
フロントの httpd をいったん全部止めてみます。
このままだと作業もできない。

0207root▲▲ ★2007/06/25(月) 12:02:59ID:???0?PLT(74075)
httpd全部止めました。< c系
しばらく止めておきます。

これで、リブート要請を改めて。

0208こうすけ ★2007/06/25(月) 12:02:59ID:???O
>>206
フロント側のsquidにもう少し頑張ってもらえばなんとかなるかな?

0209root▲▲ ★2007/06/25(月) 12:05:49ID:???0?PLT(74075)
>>208
そういうかんじでもないかも。

tiger511あがりました。
tiger512はこれから再度要請。

で、フロントはまだ上げないでください。
バックのメンテしないと、きっとまた落ちるので。

0210root▲▲ ★2007/06/25(月) 12:09:34ID:???0?PLT(74075)
Jun 24 19:47:03 <0.4> tiger511 kernel: em0: RX overrun
Jun 24 19:47:34 <0.4> tiger511 last message repeated 41 times
Jun 24 19:48:02 <0.4> tiger511 last message repeated 125 times
Jun 24 19:48:02 <0.2> tiger511 kernel: em1: Could not setup receive structures
Jun 24 19:48:03 <0.4> tiger511 kernel: em0: RX overrun
Jun 24 19:48:35 <0.4> tiger511 last message repeated 132 times
Jun 24 19:49:02 <0.4> tiger511 last message repeated 35 times
Jun 24 19:49:02 <0.2> tiger511 kernel: em1: Could not setup receive structures
Jun 24 19:49:03 <0.4> tiger511 kernel: em0: RX overrun
Jun 24 19:49:34 <0.4> tiger511 last message repeated 39 times
Jun 24 19:50:02 <0.4> tiger511 last message repeated 41 times
Jun 24 19:50:02 <0.2> tiger511 kernel: em1: Could not setup receive structures

こんなかんじ。

0211root▲▲ ★2007/06/25(月) 12:22:08ID:???0?PLT(74075)
tiger512 も上がりました。
アクセスされないように、tiger511/512はsquid切りました。

BG3/4は緊急メンテナンスするとして、
その間フロントに来る人は、orz と u.la に誘導ですかね、、、。

フロントにそういう仕込みをするのは可能かしら。
可能なら、その状態にして動かすかんじかなと。

orzやulaも連鎖的にこけてしまうようだと、まずいですが。
(それなら、ただ落としておくほうがよいかも)

0212まみら ★2007/06/25(月) 13:08:47ID:???P
>>211
200と302と404以外の時に
スレ一覧とレス表示には誘導のURL入れてます。
TOPにも加えるって事でしょうか?

0213root▲▲ ★2007/06/25(月) 13:12:38ID:???0?PLT(74075)
>>212
既にそのへんに入っているのであれば、現状でおkと思います。

あと、あちら↓にて。

携帯→2ch運用情報スレッド44
http://qb5.2ch.net/test/read.cgi/operate/1182716034/

0214root▲▲ ★2007/06/26(火) 01:56:46ID:???0?PLT(74075)
tiger511 = BG3
tiger512 = BG4

1.0 要請済。

banana405 (上がってもすぐ落ちる: 既に切り離し済)は別途相談するので、
そのままにしておいてくださいです。

0215こうすけ ★2007/06/26(火) 09:59:02ID:???O
BGはリブートかかったけど直ぐに落ちたのかな?
それともリブートかかってないのかな?

0216root▲▲ ★2007/06/26(火) 10:51:47ID:???0?PLT(74075)
>>215
> リブートかかったけど直ぐに落ちた

ですね。

カーネルが一度転ぶと、下記メッセージが出続けてだめぽな状態に。

em1: Could not setup receive structures

0217root▲▲ ★2007/06/26(火) 11:11:32ID:???0?PLT(74075)
しかし、ただカーネルの設定変えてリブートするだけで
立ち上がりが悪くて、一発では上がらない場合が多々あるようです。< tiger511/tiger512
フロントを止めて、負荷のない状態にしてもそうなる。

掲示板tigerよりもぶん回っていることを考えると、
そろそろ、きびしい状況なのかも。

0218◆ANGLERlqvM 2007/06/27(水) 08:55:02ID:YTTRrtyX0?2BP(5890)
tiger511.maido3.com = blackgoat3.2ch.net
tiger512.maido3.com = blackgoat4.2ch.net

リブート要請出しました。

0219root▲▲ ★2007/07/10(火) 18:26:19ID:???0?PLT(74077)
oyster243 リブート要請出しました。(sshログインできないため)

oyster902 も同様の状況であったため、
同様に要請しました。

■ このスレッドは過去ログ倉庫に格納されています