【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part18

220.117.237.222＠root▲ ★ · NG

peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。

＜現在の主要なテーマ＞
・「Love affair作戦」による、携帯系サーバの大幅強化・外向けdat供給サーバの構築
・「雪だるま作戦」による、スケーラブルなサーバ群構築
・BBQの2台体制化・RAID1化
・FreeBSD 5.4Rの導入検討
・各種作戦・プロジェクトとの連携
・FreeBSDのさらなるチューニング詰め

＜主な関連スレッド＞
【Love Affair】携帯からのアクセスに対する考察・次の一手 Part3
http://qb5.2ch.net/test/read.cgi/operate/1095146311/
■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1
http://qb5.2ch.net/test/read.cgi/operate/1105035540/

＜主な関連サイト＞
MRTGによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねる/PINKちゃんねる稼動中のサーバ一覧: http://mumumu.mu/serverlist.html
２ちゃんねるサーバ負荷監視所: http://ch2.ath.cx/load/
2ch 鯖監視係。: http://sv2ch.baila6.jp/

＜前スレ＞
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17
http://qb5.2ch.net/test/read.cgi/operate/1107376477/

**18歳＠のいぽー（本物）** ◆News/n6/H2 · 2005/05/04(水) 00:14:32

おねがい中の人。

**動け動けウゴウゴ２ちゃんねる** · 2005/05/04(水) 00:15:20

　 |＼　　ｲﾏﾀﾞ!2ﾁｬｸｹﾞﾄｰ!!ｗ　　　
　 |　＼　￣￣∨￣￣￣￣
　､､､　＿∧　∧∧　　
　▽　（＿｀ | (ﾟДﾟ）　　ﾊﾟｯﾊﾟｶﾊﾟ-　　　　(´´
　　　　｜　Ю⊂）_√ヽ　　　　　　　(´⌒(´
　　　　（　￣　∪　）^)ﾉ　≡≡≡(´⌒;;;≡≡≡
　　　　＠￣￣＠　　≡　 (´⌒(´⌒;;
　　　　　　　　ﾄﾞﾄﾞﾄﾞﾄﾞｫｰｰｰｰｰｯ　　　(´⌒;

**ヾ（ﾟﾊﾟ）ﾉ** ◆f0.zuburi6 · 2005/05/04(水) 00:16:43

>>1 ぼみょーヾ（ﾟﾊﾟ）ﾉ

>>3 …ヾ（ﾟﾊﾟ；）

**動け動けウゴウゴ２ちゃんねる** · NG

**動け動けウゴウゴ２ちゃんねる** · 2005/05/04(水) 00:19:10

>>5
おいらが貼ろうとしたら、http://が多すぎます言われた。。。

**root▲ ★** · NG

hobby7 ログインできました。
新アドレスに変わっていて、1Gで繋がっています。

ジンギスカンなので、全板復帰が必要と思われます。

**root▲ ★** · NG

998 名前：資材二課 ★[sage] 投稿日：2005/05/04(水) 00:25:24 ID:???0
わたしに情報が来ないなら
撤収します

ということなので、ここのスレ経由で対応方法を書きますので、
資材二課さんのほうから、PIE側に指示をお願いいただけますか。

**root▲ ★** · NG

hobby7 = tiger510 中身をチェックします。

問題なければ、板の復帰依頼へと。

**FOX ★** · 2005/05/04(水) 00:32:20

tiger509.maido3.com (news19.2ch.net) IPが206.223.151.67に変更。
　　http://206.223.151.67/~ch2news19/
tiger510.maido3.com (hobby7.2ch.net) IPが206.223.151.62に変更。
　　http://206.223.151.62/~ch2hobb7/
tiger511.maido3.com (blackgoat3.2ch.net) IPが206.223.151.55に変更。
　　pingうつとbanana210.maido.comが見える
　　http://206.223.151.55/~ch2blackgoat3/
tiger512.maido3.com (blackgoat4.2ch.net) IPが206.223.151.57に変更
　　http://206.223.151.57/~ch2blackgoat4/

**FOX ★** · 2005/05/04(水) 00:32:53

tiger512 リブートしてもらいます。

**FOX ★** · 2005/05/04(水) 00:33:25

あと　落ちていると思われるのは banana403 ?

**root▲ ★** · NG

>>11
tiger512 復活確認しました。

**root▲ ★** · NG

あ、、、きれました。< tiger512
リブートかしら。

>>12
はい。

**FOX ★** · 2005/05/04(水) 00:36:21

banana403 もリブートしてもらいます。

**root▲ ★** · NG

あとは、

1)banana402のプライベート側ネットワークが落ちている。
no carrierなので、ケーブルが繋がっていないと思われる。

5)cobra2247のプライベート側ネットワークが落ちている。
no carrierなので、ケーブルが繋がっていないと思われる。
また、外側の接続速度がまだ100Mbpsのままである。

のふたつ。

**root▲ ★** · NG

tiger512 = blackgoat4 復活を確認。
1Gで繋がっています。

**FOX ★** · 2005/05/04(水) 00:40:24

りょうかい

banana403
we are trying to reboot it

**まみら＠しぃ２ちゃん ★** · 2005/05/04(水) 00:40:33

>>17
では携帯の振り分け元に戻します。
まだ待った方がいいですか？

**root▲ ★** · NG

>>19
やってください。
今(PIEにひとがいるうちに)動作確認したほうがいいので。

**まみら＠しぃ２ちゃん ★** · 2005/05/04(水) 00:43:34

>>20
らじゃーです。元に戻しました。

**動け動けウゴウゴ２ちゃんねる** · 2005/05/04(水) 00:47:51

bbr bby bbs bbxの登録

**root▲ ★** · NG

tiger510 = hobby7 は概ね問題なさそうなので、
全板復帰をお願いできますか。

**root▲ ★** · NG

>>22
なるほど。ありがとうです。
落ち着いたらやります。

**FOX ★** · 2005/05/04(水) 00:49:48

私の回線ではDNSがまだ書き換わっていないようで
両サーバとも見えないので復帰できませんでした。

**削除車 ★** · 2005/05/04(水) 00:50:47

んでは、こちらから復帰します。

http://qb5.2ch.net/test/read.cgi/operate/1108456246/863

**FOX ★** · 2005/05/04(水) 00:51:35

よろしくお願いします～

**root▲ ★** · NG

>>25
ううむ。
2ch.net は TTL=300 のはずなんだが、、、。

私がみようみまねで覚えたやつで、復帰できるかどうか。

>>22 が済んだら、別途やってみます。

**root▲ ★** · NG

>>26
助かります。よろしくです。

**動け動けウゴウゴ２ちゃんねる** · 2005/05/04(水) 00:59:12

http://news19.2ch.net/_service/
http://news19.2ch.net/news/dat/
http://news19.2ch.net/livemarket1/dat/
なぜか403

**root▲ ★** · NG

BBS/BBX/BBY/BBR/BBMへの登録完了。
(BBQ/BBEは登録不要)

>>30
みてきます。

**root▲ ★** · NG

>>30
news19 の .htaccess が 0 バイトになっていました。
なおったはず。

# しばらく、バーボンとかも効きがいまいちなのかな。< news19 / hobby7

**FOX ★** · 2005/05/04(水) 01:05:54

There is an error with Banana403's configuration. I am working on it.
-Sean

please leave it

**root▲ ★** · NG

blackgoat3とblackgoat4のIPアドレスが変わったので、
リロードバーボンの除外IPアドレスを再確認&対応しました。

**root▲ ★** · NG

>>33
りょうかい。

あとは、ケーブルが繋がっていないと思われる2つか。(>>16)

**FOX ★** · 2005/05/04(水) 01:08:05

Some private network setting were changed while moving servers to new
switch, All servers are attached with 2 nic cards. Please tell me the
correct settings for these servers 'Private Network' setting so that I may
update rc.conf file.
-Sean

>>35
直接 Sean さんとやり取りできますか?

**root▲ ★** · NG

確認します。>>36

**削除車 ★** · 2005/05/04(水) 01:21:26

ゴミが残っているのか、
お風呂・銭湯板だけ復帰をかけてもスレを立てても、indexがきれいになりません。
お手数ですが、ちょっと確認いただけますか？

http://hobby7.2ch.net/bath/

**削除車 ★** · 2005/05/04(水) 01:27:16

>>38
自己レス。今はちゃんとなっているようです。

**root▲ ★** · NG

>>39
了解です。

hobby7は、これで復旧かな。
他の問題は、現在現地で対応中の模様。

・banana403 ダウン
・cobra2247 banana402 プライベート側ダウン

**FOX ★** · 2005/05/04(水) 01:55:46

Banana403 is back online.
-Sean

**root▲ ★** · NG

Seanさんと確認中です。>>41

banana403は、増設Ethernet NICが壊れたかもしれないそうです。
現在、内蔵NICに一時的にもとのアドレスをつけて、ラックからはずした状態で
立ち上がっているとのこと。

わたし (01:56 AM) :
I login banana403, but its IP address is attached at vr0, not fxp.
PIE (01:56 AM) :
True... when we moved server, Nic Card fxp did not come up as attached
PIE (01:57 AM) :
I cam removed 403 from rack and investigate if you like.
わたし (01:57 AM) :
Is fxp NIC is broken?
PIE (01:57 AM) :
It may be.. I do not know. But on board lan is all that is visable at the moment.

**FOX ★** · 2005/05/04(水) 02:08:49

Private Network に関しては私はまったくわからないので
よろしくお願いいたします >>42

403 はもしかしたら壊れたのか・・・ (may be だから、そうでもないのか)
これは、一旦切り離したほうが良いという印象。
403のNICについては別途注文が必要そうだけど、どうせ近々退役だから云々

私が関われるのはここまでかと、

**FOX ★** · 2005/05/04(水) 02:14:21

The new 10gbit switch is installed on the 2nd floor XO cage.
The following servers have been moved from the 5th floor cage to the 2nd floor cage.

Tiger503,504,509,510,511, 512
Cobra 2244, 2245, 2246
Banana 402, 403, 404, 405, 406

という情報が、、

**root▲ ★** · NG

>>44
それについては、今いろいろ把握しています。
状況わかったところで、まとめてかきます。

**root▲ ★** · NG

banana402 と cobra2247 は、移動していなかったようです。
移動するように頼みました。で、今リモートから今シャットダウンしました。

**root▲ ★** · NG

banana402は移動していました。
ネットワークの接続がまだだった模様。

今つながったので、banana402はオンラインになったはず。

cobra2247は、これから移動とのこと。

**FOX ★** · 2005/05/04(水) 02:46:08

今って、携帯からは一切見えない状況なのかしら?

**root▲ ★** · NG

今だめなのは、DoComo系だけのはず。

**root▲ ★** · NG

あ、auも一部だめ。< 402が落ちてる

**FOX ★** · 2005/05/04(水) 02:47:44

了解ですー

**まみら＠しぃ２ちゃん ★** · 2005/05/04(水) 02:51:43

>>50-51
こっちからはau1は動いているように見えますー
＠c-control

**まみら＠しぃ２ちゃん ★** · 2005/05/04(水) 02:53:27

mumumuさんのグラフ
http://mumumu.mu/mrtg/mrtg-rrd.cgi/access/

**まみら＠しぃ２ちゃん ★** · 2005/05/04(水) 03:12:19

402はau3でしたね。こちらも覚えないと…。
すみません。

**root▲ ★** · NG

残っている問題

・banana403 = c-au1の問題(ハードウェアじゃないかも、現在調査中)
・cobra2247 = c-docomo代表のプライベート側I/Fがアップしない

**root▲ ★** · NG

原因・状況は概ね把握しました。
緊急対応も、>>55 以外は概ね終了しました。

原因・顛末の報告等は、もちついてからということで。

>>55 の報告(Seanさんが対応中)を受けたら、おふろはいってきます。
ちと、おなかすいたかも。

**root▲ ★** · NG

> ・cobra2247 = c-docomo代表のプライベート側I/Fがアップしない

アップしました。
ケーブルが間違ったポートにささっていたとのこと。

**FOX ★** · 2005/05/04(水) 03:46:55

おおぅ
やつたー

**FOX ★** · 2005/05/04(水) 03:47:54

403 は直れば直っただけど
直らない場合は入院というよりは退役かと
Tiny Tiger が連休あけからぞくぞく登場の予定

**root▲ ★** · NG

403も、同じ理由だったようです。
今対応中。

**root▲ ★** · NG

403アップしました。外側・内側とも正常を確認。
これで、すべての問題は解決しました。

>>59
了解です。< ぞくぞく登場

**root▲ ★** · NG

MRTGの設定を変えておくか。

1G対応になったので、限界値を大きくしておきます。

**root▲ ★** · NG

>>62 は、mumumu.mu の話です。

**root▲ ★** · NG

積み残しの問題を一つ発見。

tigr510 = hobby7 の /etc/rc.conf で、
em0 につけるはずのアドレスが、em1 についています。

とりあえず動いてはいますが、本来と違うほうの I/F にアドレスを振るように、
/etc/rc.conf に間違った設定が入っていました。

em0 も物理的には繋がっているようなので、直してリブートすれば
問題ないはずですが、そのポートに対して VLAN の設定がちゃんと
なされているかどうか疑わしいので、今はこのまま動かし、後で別途
PIEの中の人と調整をすることにします。

他のIPアドレスが変わったサーバも、設定ファイルの内容を
改めて確認しておきます。

**root▲ ★** · NG

他のIPアドレスが変わった、

tiger509 = news19
tiger511 = blackgoat3
tiger512 = blackgoat4

は、こういう間違いはありませんでした(あったらtiger511/512はうまく動かないし)。

banana402～405 と cobra2244～2247 については、あとで別途チェックします。
とりあえずオペレーション的には、復活でいいかと。

**root▲ ★** · NG

◎5月3日～4日のサーバ障害の件について(これまで得ている情報のまとめ)

日本時間5月3日10:00前に、PIEの主にtigerサーバが接続しているスイッチが
物理的に壊れました(最初の障害発生)。
そのため、そのスイッチに接続しているサーバへの接続が一斉に不可能になりました。

それを検知した、JimさんをはじめPIEの中の人たちはPIEにかけつけ、
対応をはじめました。

通常であれば壊れたスイッチをスペアのものに変更して
VLAN(どのポートをどのネットワークに所属させるかの設定、各スイッチにどのサーバを
接続するかによって異なる)を設定しなおし、復旧を図るのですが、
Jimさんはその場で、ちょっと別のことを考えました。

**root▲ ★** · NG

「こいつらはBlackGoat Project
(例の携帯&公開datサーバ構築、PIE内ではこう呼ばれています)のサーバじゃないか。
どうせ今スイッチが壊れてこいつらは落ちてるんだし、
今他のサーバも含めて、移動対象のサーバを全部
新しい場所に移動して動かしてしまえば、一石二鳥。
俺って頭いい。今飛行機の中にいるrootも喜ぶだろう。」(一部台詞は若干脚色あり)

そう判断したJimさんは部下に指示し、サーバの移動をはじめました。

しかしrootは、どのサーバを移動するのかの正確な指示はもちろん、
移動に伴いIPアドレスをどうするか(maido3.comの中の人も私も、
移動でIPアドレスは変わると思っていた)、DNSサーバの設定変更の手順や
サーバのシャットダウン・リブートのタイミング・スケジュール等については、
現地ではまだ何もJimさんに話してはいませんでした。

もちろん、プロジェクトの内容は話し合っていました。そして、
「これは重要なプロジェクトで、かつお互いのコーディネーションが必要な作業だから、
私が帰国したら関係者で連絡をとりあってすすめていこう。」
というのが、現地でのとりきめでした。

**root▲ ★** · NG

tiger503 504 509 510 511 512 が、その壊れたスイッチに接続されていました。

tiger503 (= live20) 504 (= game10) 509 (= news19) 510 (= hobby7) については、
今回のBlackGoat Projectとは関係ありません。

しかし、スイッチが壊れてしまったため、Jimさんはそれらのサーバも
新ロケーション(XO)に移動することにしました。

しかし、XOロケーションに設置したそのスイッチには、
サブネット番号(206.223.144.250の144の部分)が、150と151の分しか設定していませんでした。
tiger503 504 はたまたまそのサブネット番号だったため、IPアドレスの変更は必要ありませんでしたが、
tiger509 510 511 512 は、番号が違っていました。
つまり従来のIPアドレスでは場所を移動することができないわけです。

そのためJimさんは、それら4台のサーバのIPアドレスを急遽変更することにしました。

**root▲ ★** · NG

Jimさんは、tiger/cobraサーバのroot passwordを知っています。
しかしそれは、緊急時や障害対応時にのみ使用することになっており、
顧客にroot権限ありで貸しているサーバには、通常貸主のプロバイダは
顧客に何の通知もなくログインすることはありえません。

しかしJimさんは、私に連絡がとれない状態であったこと(機内なので)、
またこれは緊急事態であると判断して、Jimさんの判断で対象サーバにログインし、
サーバのIPアドレスを変え始めました。

IPアドレスの変更が終わると、
そして、該当するIPアドレスを持っている 2ch.net のDNSサーバの設定を、
つじつまが合うように変更しました。

しかし、maido3.com のDNSサーバの設定は、変更していませんでした。
また、Z社の中の人にも、そのことは伝えていませんでした。

(搭乗時間につき、続きはあとで)

**root▲ ★** · NG

>>69
ちと修正

IPアドレスの変更が終わると、
そして、該当するIPアドレスを持っている 2ch.net のDNSサーバの設定を、
つじつまが合うように変更しました。
↓
IPアドレスの変更が終わると、次にJimさんは、
該当するIPアドレスを持っている 2ch.net のDNSサーバの設定を、
つじつまが合うように変更しました。

**root▲ ★** · NG

続き

それからJimさんたちは、携帯用のサーバ(携帯ネットワーク用スイッチに接続されているサーバ)を
順に移動していきました。

banana402 403 404 405 406、cobra2244 2245 2246の8台のサーバを
Jimさんたちは移動しました。たまたまこれらのサーバはすべて150と151の
サブネット番号を持っていたため、IPアドレスを変更する必要がありませんでした。

移動が終わるとJimさんは、携帯ネットワーク用スイッチをとりはずしました。
このスイッチは旧型のもので既に廃止予定のものでした。
昨年(2004年)PIEのスイッチが壊れることが何度かあったと思いますが、
それはこれと同型のスイッチで、PIEではこの信頼性が低いスイッチを全廃することにし、
このスイッチが生き残っていた最後の一つだったそうです。

こうしてJimさんたちは、その日の作業を終えました。

**root▲ ★** · NG

しかし、本来cobra2245 (= bbq)は、携帯とは関係ありませんでした。
でもJimさんたちは、XOロケーションに移動してしまいました。

また、cobra2247 (= c-docomo/c-docomo2、DoCoMo用入り口)は
もちろん携帯用サーバですが、
Jimさんたちの移動リストから漏れてしまっており、移動されませんでした。

この結果 cobra2247 は、携帯ネットワーク用スイッチからとりはずされた状態に
なりました。

**root▲ ★** · NG

一方、サンフランシスコの空港までJimさんに送ってもらったroot一行は、
そんなことは露知らずに、修行の旅を楽しんでいました。

スターアライアンスゴールド会員の特権を利用し、窓口で長蛇の列に並ぶこともなく、
前方通路側・隣席空きの席を出してもらったうえで、
預ける荷物には「すぐ出てくるおまじない」の優先タグをつけてもらいます。

出国後に免税店を冷やかしたあとは、豪華なエアラインラウンジで
タダ飯やケーキに舌鼓を打っていました。
もちろん、無線LANも電源も使い放題です。

で、30分前にゆっくりと搭乗窓口に行きます。
金色会員は飛行機に一番先に入れてくれるので、あせって登場口に行く必要がないのです。

**root▲ ★** · NG

登場 → 搭乗 >>73 最終行

今回root一行は、太平洋便にシンガポール航空(SQ)に乗っていました。

SQは「品質のエアライン」なので、
エコノミーのくせに食後にハーゲンダッツのアイスクリームが出たり、
AVがVODで何百曲も選べたり、シートもゆったりしていてとても過ごしやすいので、
rootのお気に入りの一つなのです。

今回rootに同行していたぴちぴちくん(仮名)は、
サロン・ケバヤに身を包んだSQのCAのウエストの細さにとりつかれてしまったようで、
なんだかうれしそうです。

そうこうしているうちに飛行機は順調に太平洋を横断して、
ほとんど時間通りに、目的地のインチョン空港に到着しました。

**root▲ ★** · NG

入国審査をスムーズにクリアし、すぐに出てきた荷物を持って、
リムジンバスでソウル市内のホテルに向かいます。

道路はちょっと渋滞していましたが、バスから地下鉄を乗り継いで、
予定通りホテルに到着しました。

事前に「ネットワーク利用可能」を確認しているので、
「さて、運用情報の質雑スレにフシアナしてから、うまい焼肉でも食いにいくかぁ」
などと考えながらPCを開いてネットワークに繋いで、いつものように運用情報を開きました。

**動け動けウゴウゴ２ちゃんねる** · 2005/05/05(木) 17:32:48

　　☆ ﾁﾝ

　　　　　 ☆　ﾁﾝ　　〃　 ∧＿∧ 　／￣￣￣￣￣￣￣
　　　　　　ヽ　＿＿_＼（＼・∀・）＜　 root▲ ★氏、続きまだー？
　　　　　　　＼＿／⊂　⊂＿)＿＼＿＿＿＿＿＿＿
　　　　　　／￣￣￣￣￣￣￣／|
　　　　　　　　| ￣￣￣￣￣￣￣:|　:|
　　　　　　　　|　　　　　　　　　　　.|／

**root▲ ★** · NG

開いたときに「質問・雑談スレ」が一番上にあると、「あぁいつもの運用情報だなぁ」と
なんだか安心します。

しかしその時目に映ったのは「サーバダウン」の6文字でした。
しかも新スレに移行していて、数百以上もレスがついています。
「こりゃ、何かあったな」と、２ちゃんねるサーバ負荷監視所 http://ch2.ath.cx/load/ を
チェックしました。

するとどうも、news19 と hobby7 、それから携帯用サーバの様子がおかしいらしいと
いうことに気がつきました。

「あーあ、こりゃ観光はなしかもなぁ」
そんな予感が走りました。

**root▲ ★** · NG

とりあえず、サーバダウンスレを読んでみることにしました。
みんな、かなり騒いでいます。

少しスレの上の方を読んでみると、
・とりあえずnews19とhobby7にアクセスできないこと、
・携帯系サーバがひどいことになっているらしいこと、
・一部サーバのIPアドレスが変わったらしいこと

がわかりました。

この時点で「問題は簡単ではなさそうなので、対応にはしばらく時間がかかるだろうし、
状況把握できるまで不用意に動くとかえって危なそうだ」と判断しました。

437 ：220.117.237.222＠root▲ ★ ：2005/05/03(火) 21:46:31 ID:???0 ?###
ふむ。つまり、

・IPアドレスが変わったらしい
・落ちているマシンがあるらしい

の、2つね。
きちんと状況把握するまで何かするのは、まずそうだ。

PIE方面からメール入っているかもしれないので、
まずはそっちを見てみます。

**root▲ ★** · NG

この後すぐに資材二課の中のおじさんと連絡がとれ、

・maido3.comの中の人の全員召集をかけたこと
・PIEに緊急連絡を入れ、現地には既に人が向かったこと

を、伝えられました。

また、こちらでもサーバの様子をチェックし、その時点で
大きく分けて5つの障害が発生していることが判明しました。

985 ：root▲ ★ [sage] ：2005/05/03(火) 23:49:30 ID:???0 ?###
で、現在の障害状況

1)banana402のプライベート側ネットワークが落ちている。
no carrierなので、ケーブルが繋がっていないと思われる。

2)banana403に入れない。
pingもかからない状態。

3)tiger510 = hobby7 に入れない。
pingもかからない状態。

4)tiger512 = blackgoat4 に入れない。
pingはかかるが、sshで入れない。
また、プライベート側は ping もかからない。

5)cobra2247のプライベート側ネットワークが落ちている。
no carrierなので、ケーブルが繋がっていないと思われる。
また、外側の接続速度がまだ100Mbpsのままである。

◆Reffi/bQ.c · 2005/05/05(木) 18:18:07

5.4RC-4でSCHED_ULE実装されたみたいです。

ttp://www.freebsd.org/releases/5.4R/todo.html