【 MACKEREL HAS BEEN DOWN 】リブート部隊連絡所 -- Count 02

**こうすけ ★** · 2005/07/29(金) 01:25:37

サーバが落ちたときにの連絡用として。＠サーバダウン情報スレが機能していないため。

● 落ちた？
・内部作業によるダウンかを確認。
→作業前にでもこのスレッドでその旨を宣言して貰えるとありがたい。

・経路を調べる。traceroute 鯖名 (*nix,MacOSX) | tracert 鯖名 (WIN)
　※経路中途が断の時もある。
　もし２ちゃんねる鯖に入れる環境であるならば、そこからも経路を調べる。

・経路障害が無くともサービスが止まっている場合もある。
　※他のサービスをあたってみる。
　ssh 鯖名 → 鯖鍵がなければ問われるのでそれで確認が出来る。
　ftp 鯖名 → アカウントが無くとも、入ることだけなら可能。
　など。
　smtp pop3 は、ほとんどの鯖で動いていない。

● サーバダウンが確認が出来たら？
・要請を出す。
　他の人が出していないかをチェック。
　内容は英文で簡潔に。余計な情報は流さない。

★ サーバダウンチェッカ
　10 分間、サーバから httpd のレスポンスが無いときに限りメール発射する装置が「2ch 鯖監視係。」にあります。
　ご入り用でしたら下記まで。要送信先メールアドレス。
　mishowdaq-ad@correo.baila6.jp

前スレ
http://qb5.2ch.net/operate/kako/1089/10891/1089118995.html

**さぼてん ★** · 2007/02/12(月) 20:57:57

ごめんなさい、、なんか普段のアドレスから送信できなかったので
yahooのメールで送っちゃいました。。

**root▲▲ ★** · 2007/03/24(土) 08:13:27

banana290.maido3.com = ex21.2ch.net

リブート要請しました。

**root▲▲ ★** · 2007/03/31(土) 01:46:07

tiger511.maido3.com = BG3
tiger512.maido3.com = BG4

リブート要請(1.0)発動しました。

**root▲▲ ★** · 2007/03/31(土) 12:25:19

>>187
また、すぐ落ちた模様、、、。

1.0を再度発しましたが、
中身の詳細をチェックできるのは日曜深夜以降になるかも。

**root▲▲ ★** · 2007/03/31(土) 14:07:49

>>187
某所より中身をチェック。
応急処置済。

● ◆ANGLERlqvM · 2007/04/11(水) 07:06:12

再発によるリブート要請V1.0で要請しました。
news21.2ch.net = tiger505.maido3.com

【参考】
http://qb5.2ch.net/test/read.cgi/operate/1152266515/290-292

● ◆ANGLERlqvM · 2007/06/09(土) 05:52:17

【参考】
banana405.maido3.com = c-others1.2ch.net
リブート要請出しました。

サーバーダウン（鯖落ち）情報 part153
http://qb5.2ch.net/test/read.cgi/operate/1181121627/145-148

● ◆ANGLERlqvM · 2007/06/09(土) 09:47:02

banana405.maido3.com = c-others1.2ch.net
再度pingが通らない状態になりました。

再要請しました。
要請メールに以下の文を書いています。

> Please reboot after the check of this server.

**こうすけ ★** · 2007/06/21(木) 22:10:27

tiger511.maido3.com（blackgoat3.2ch.net）
tiger512.maido3.com（blackgoat4.2ch.net）
落ちていますのでリブート要請(1.0)お願いします。

● ◆ANGLERlqvM · 2007/06/22(金) 02:05:35

tiger511.maido3.com = blackgoat3.2ch.net
tiger512.maido3.com = blackgoat4.2ch.net

リブート要請出しました。

● ◆ANGLERlqvM · 2007/06/22(金) 22:30:47

banana405.maido3.com = c-others1.2ch.net
リブート要請出しました。

**こうすけ ★** · 2007/06/24(日) 19:08:12

tiger512.maido3.com = blackgoat4.2ch.net
が落ちているみたいなのでリブート要請1.0お願いします。

**こうすけ ★** · 2007/06/24(日) 21:38:49

tiger512.maido3.com = blackgoat4.2ch.net
も落ちましたので、両方お願いします。。。。

● ◆ANGLERlqvM · 2007/06/25(月) 07:40:26

banana405.maido3.com = c-others1.2ch.net
tiger511.maido3.com = blackgoat3.2ch.net
tiger512.maido3.com = blackgoat4.2ch.net

リブート要請出しました。

**動け動けウゴウゴ２ちゃんねる** · 2007/06/25(月) 08:00:23

も
ぅ
ウ
ン
ザ
リ
で
す

**まみら ★** · 2007/06/25(月) 11:08:05

tiger511.maido3.com = blackgoat3.2ch.net
また落ちたようです。
よろしくお願いいたします。。

**root▲▲ ★** · 2007/06/25(月) 11:48:59

>>199
依頼出しました。
が、いまいちかも。

**root▲▲ ★** · 2007/06/25(月) 11:50:15

で、KVMからtiger511のコンソール画面をチェックしようと思ったのですが、
うまくいかないみたい。 >>200

**root▲▲ ★** · 2007/06/25(月) 11:52:02

いちおう、プライベート側からも ping かからないことまで確認済みで。

**こうすけ ★** · 2007/06/25(月) 11:55:28

squidのキャッシュが悪さしているのかと思ったけど、もしかしたらハード？

**root▲▲ ★** · 2007/06/25(月) 11:55:29

今 tiger512 のコンソール画面を開いていたのですが、
em1: RX overrun
がでまくりです。

早晩また落ちるかも。

**root▲▲ ★** · 2007/06/25(月) 11:56:57

もうsquidとかそういう個々の問題じゃなくて、
単純に負荷が大き過ぎるかんじ。>>203

さて、どうすればいいのかなと。

**root▲▲ ★** · 2007/06/25(月) 11:58:28

間に合わないかもしれないけど、
フロントの httpd をいったん全部止めてみます。
このままだと作業もできない。

**root▲▲ ★** · 2007/06/25(月) 12:02:59

httpd全部止めました。< c系
しばらく止めておきます。

これで、リブート要請を改めて。

**こうすけ ★** · 2007/06/25(月) 12:02:59

>>206
フロント側のsquidにもう少し頑張ってもらえばなんとかなるかな？

**root▲▲ ★** · 2007/06/25(月) 12:05:49

>>208
そういうかんじでもないかも。

tiger511あがりました。
tiger512はこれから再度要請。

で、フロントはまだ上げないでください。
バックのメンテしないと、きっとまた落ちるので。

**root▲▲ ★** · 2007/06/25(月) 12:09:34

Jun 24 19:47:03 <0.4> tiger511 kernel: em0: RX overrun
Jun 24 19:47:34 <0.4> tiger511 last message repeated 41 times
Jun 24 19:48:02 <0.4> tiger511 last message repeated 125 times
Jun 24 19:48:02 <0.2> tiger511 kernel: em1: Could not setup receive structures
Jun 24 19:48:03 <0.4> tiger511 kernel: em0: RX overrun
Jun 24 19:48:35 <0.4> tiger511 last message repeated 132 times
Jun 24 19:49:02 <0.4> tiger511 last message repeated 35 times
Jun 24 19:49:02 <0.2> tiger511 kernel: em1: Could not setup receive structures
Jun 24 19:49:03 <0.4> tiger511 kernel: em0: RX overrun
Jun 24 19:49:34 <0.4> tiger511 last message repeated 39 times
Jun 24 19:50:02 <0.4> tiger511 last message repeated 41 times
Jun 24 19:50:02 <0.2> tiger511 kernel: em1: Could not setup receive structures

こんなかんじ。

**root▲▲ ★** · 2007/06/25(月) 12:22:08

tiger512 も上がりました。
アクセスされないように、tiger511/512はsquid切りました。

BG3/4は緊急メンテナンスするとして、
その間フロントに来る人は、orz と u.la に誘導ですかね、、、。

フロントにそういう仕込みをするのは可能かしら。
可能なら、その状態にして動かすかんじかなと。

orzやulaも連鎖的にこけてしまうようだと、まずいですが。
(それなら、ただ落としておくほうがよいかも)

**まみら ★** · 2007/06/25(月) 13:08:47

>>211
200と302と404以外の時に
スレ一覧とレス表示には誘導のURL入れてます。
TOPにも加えるって事でしょうか？

**root▲▲ ★** · 2007/06/25(月) 13:12:38

>>212
既にそのへんに入っているのであれば、現状でおｋと思います。

あと、あちら↓にて。

携帯→2ch運用情報スレッド44
http://qb5.2ch.net/test/read.cgi/operate/1182716034/

**root▲▲ ★** · 2007/06/26(火) 01:56:46

tiger511 = BG3
tiger512 = BG4

1.0 要請済。

banana405 (上がってもすぐ落ちる: 既に切り離し済)は別途相談するので、
そのままにしておいてくださいです。

**こうすけ ★** · 2007/06/26(火) 09:59:02

BGはリブートかかったけど直ぐに落ちたのかな？
それともリブートかかってないのかな？

**root▲▲ ★** · 2007/06/26(火) 10:51:47

>>215
> リブートかかったけど直ぐに落ちた

ですね。

カーネルが一度転ぶと、下記メッセージが出続けてだめぽな状態に。
↓
em1: Could not setup receive structures

**root▲▲ ★** · 2007/06/26(火) 11:11:32

しかし、ただカーネルの設定変えてリブートするだけで
立ち上がりが悪くて、一発では上がらない場合が多々あるようです。< tiger511/tiger512
フロントを止めて、負荷のない状態にしてもそうなる。

掲示板tigerよりもぶん回っていることを考えると、
そろそろ、きびしい状況なのかも。

● ◆ANGLERlqvM · 2007/06/27(水) 08:55:02

tiger511.maido3.com = blackgoat3.2ch.net
tiger512.maido3.com = blackgoat4.2ch.net

リブート要請出しました。

**root▲▲ ★** · 2007/07/10(火) 18:26:19

oyster243 リブート要請出しました。(sshログインできないため)

oyster902 も同様の状況であったため、
同様に要請しました。