【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part18
■ このスレッドは過去ログ倉庫に格納されています
peko作戦について語るスレです。 サーバロケーションPIEに関する話題もこちらで。 <現在の主要なテーマ> ・「Love affair作戦」による、携帯系サーバの大幅強化・外向けdat供給サーバの構築 ・「雪だるま作戦」による、スケーラブルなサーバ群構築 ・BBQの2台体制化・RAID1化 ・FreeBSD 5.4Rの導入検討 ・各種作戦・プロジェクトとの連携 ・FreeBSDのさらなるチューニング詰め <主な関連スレッド> 【Love Affair】携帯からのアクセスに対する考察・次の一手 Part3 http://qb5.2ch.net/test/read.cgi/operate/1095146311/ ■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1 http://qb5.2ch.net/test/read.cgi/operate/1105035540/ <主な関連サイト> MRTGによる統計情報: http://mumumu.mu/mrtg/ 2ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html 2ちゃんねる サーバ負荷監視所: http://ch2.ath.cx/load/ 2ch 鯖監視係。: http://sv2ch.baila6.jp/ <前スレ> 【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17 http://qb5.2ch.net/test/read.cgi/operate/1107376477/ |\ イマダ!2チャクゲトー!!w | \  ̄ ̄∨ ̄ ̄ ̄ ̄ 、、、 _∧ ∧∧ ▽ (_` | (゚Д゚ ) パッパカパ- (´´ | Ю⊂)_√ヽ (´⌒(´ (  ̄ ∪ )^)ノ ≡≡≡(´⌒;;;≡≡≡ @ ̄ ̄@ ≡ (´⌒(´⌒;; ドドドドォーーーーーッ (´⌒; >>1 ぼみょーヾ(゚パ)ノ >>3 …ヾ(゚パ;) >>5 おいらが貼ろうとしたら、http:// が多すぎます言われた。。。 hobby7 ログインできました。 新アドレスに変わっていて、1Gで繋がっています。 ジンギスカンなので、全板復帰が必要と思われます。 998 名前:資材二課 ★[sage] 投稿日:2005/05/04(水) 00:25:24 ID:???0 わたしに情報が来ないなら 撤収します ということなので、ここのスレ経由で対応方法を書きますので、 資材二課さんのほうから、PIE側に指示をお願いいただけますか。 hobby7 = tiger510 中身をチェックします。 問題なければ、板の復帰依頼へと。 tiger509.maido3.com (news19.2ch.net) IPが206.223.151.67に変更。 http://206.223.151.67/ ~ch2news19/ tiger510.maido3.com (hobby7.2ch.net) IPが206.223.151.62に変更。 http://206.223.151.62/ ~ch2hobb7/ tiger511.maido3.com (blackgoat3.2ch.net) IPが206.223.151.55に変更。 pingうつとbanana210.maido.comが見える http://206.223.151.55/ ~ch2blackgoat3/ tiger512.maido3.com (blackgoat4.2ch.net) IPが206.223.151.57に変更 http://206.223.151.57/ ~ch2blackgoat4/ あと 落ちていると思われるのは banana403 ? あ、、、きれました。< tiger512 リブートかしら。 >>12 はい。 あとは、 1)banana402のプライベート側ネットワークが落ちている。 no carrierなので、ケーブルが繋がっていないと思われる。 5)cobra2247のプライベート側ネットワークが落ちている。 no carrierなので、ケーブルが繋がっていないと思われる。 また、外側の接続速度がまだ100Mbpsのままである。 のふたつ。 tiger512 = blackgoat4 復活を確認。 1Gで繋がっています。 りょうかい banana403 we are trying to reboot it >>17 では携帯の振り分け元に戻します。 まだ待った方がいいですか? >>19 やってください。 今(PIEにひとがいるうちに)動作確認したほうがいいので。 tiger510 = hobby7 は概ね問題なさそうなので、 全板復帰をお願いできますか。 >>22 なるほど。ありがとうです。 落ち着いたらやります。 私の回線ではDNSがまだ書き換わっていないようで 両サーバとも見えないので復帰できませんでした。 >>25 ううむ。 2ch.net は TTL=300 のはずなんだが、、、。 私がみようみまねで覚えたやつで、復帰できるかどうか。 >>22 が済んだら、別途やってみます。 BBS/BBX/BBY/BBR/BBMへの登録完了。 (BBQ/BBEは登録不要) >>30 みてきます。 >>30 news19 の .htaccess が 0 バイトになっていました。 なおったはず。 # しばらく、バーボンとかも効きがいまいちなのかな。< news19 / hobby7 There is an error with Banana403's configuration. I am working on it. -Sean please leave it blackgoat3とblackgoat4のIPアドレスが変わったので、 リロードバーボンの除外IPアドレスを再確認&対応しました。 >>33 りょうかい。 あとは、ケーブルが繋がっていないと思われる2つか。(>>16 ) Some private network setting were changed while moving servers to new switch, All servers are attached with 2 nic cards. Please tell me the correct settings for these servers 'Private Network' setting so that I may update rc.conf file. -Sean >>35 直接 Sean さんとやり取りできますか? ゴミが残っているのか、 お風呂・銭湯板だけ復帰をかけてもスレを立てても、indexがきれいになりません。 お手数ですが、ちょっと確認いただけますか? http://hobby7.2ch.net/bath/ >>38 自己レス。今はちゃんとなっているようです。 >>39 了解です。 hobby7は、これで復旧かな。 他の問題は、現在現地で対応中の模様。 ・banana403 ダウン ・cobra2247 banana402 プライベート側ダウン Banana403 is back online. -Sean Seanさんと確認中です。>>41 banana403は、増設Ethernet NICが壊れたかもしれないそうです。 現在、内蔵NICに一時的にもとのアドレスをつけて、ラックからはずした状態で 立ち上がっているとのこと。 わたし (01:56 AM) : I login banana403, but its IP address is attached at vr0, not fxp. PIE (01:56 AM) : True... when we moved server, Nic Card fxp did not come up as attached PIE (01:57 AM) : I cam removed 403 from rack and investigate if you like. わたし (01:57 AM) : Is fxp NIC is broken? PIE (01:57 AM) : It may be.. I do not know. But on board lan is all that is visable at the moment. Private Network に関しては私はまったくわからないので よろしくお願いいたします >>42 403 はもしかしたら壊れたのか・・・ (may be だから、そうでもないのか) これは、一旦切り離したほうが良いという印象。 403のNICについては別途注文が必要そうだけど、どうせ近々退役だから云々 私が関われるのはここまでかと、 The new 10gbit switch is installed on the 2nd floor XO cage. The following servers have been moved from the 5th floor cage to the 2nd floor cage. Tiger503,504,509,510,511, 512 Cobra 2244, 2245, 2246 Banana 402, 403, 404, 405, 406 という情報が、、 >>44 それについては、今いろいろ把握しています。 状況わかったところで、まとめてかきます。 banana402 と cobra2247 は、移動していなかったようです。 移動するように頼みました。で、今リモートから今シャットダウンしました。 banana402は移動していました。 ネットワークの接続がまだだった模様。 今つながったので、banana402はオンラインになったはず。 cobra2247は、これから移動とのこと。 >>50-51 こっちからはau1は動いているように見えますー @c-control 402はau3でしたね。こちらも覚えないと…。 すみません。 残っている問題 ・banana403 = c-au1の問題(ハードウェアじゃないかも、現在調査中) ・cobra2247 = c-docomo代表のプライベート側I/Fがアップしない 原因・状況は概ね把握しました。 緊急対応も、>>55 以外は概ね終了しました。 原因・顛末の報告等は、もちついてからということで。 >>55 の報告(Seanさんが対応中)を受けたら、おふろはいってきます。 ちと、おなかすいたかも。 > ・cobra2247 = c-docomo代表のプライベート側I/Fがアップしない アップしました。 ケーブルが間違ったポートにささっていたとのこと。 403 は直れば直っただけど 直らない場合は入院というよりは退役かと Tiny Tiger が連休あけからぞくぞく登場の予定 403アップしました。外側・内側とも正常を確認。 これで、すべての問題は解決しました。 >>59 了解です。< ぞくぞく登場 MRTGの設定を変えておくか。 1G対応になったので、限界値を大きくしておきます。 積み残しの問題を一つ発見。 tigr510 = hobby7 の /etc/rc.conf で、 em0 につけるはずのアドレスが、em1 についています。 とりあえず動いてはいますが、本来と違うほうの I/F にアドレスを振るように、 /etc/rc.conf に間違った設定が入っていました。 em0 も物理的には繋がっているようなので、直してリブートすれば 問題ないはずですが、そのポートに対して VLAN の設定がちゃんと なされているかどうか疑わしいので、今はこのまま動かし、後で別途 PIEの中の人と調整をすることにします。 他のIPアドレスが変わったサーバも、設定ファイルの内容を 改めて確認しておきます。 他のIPアドレスが変わった、 tiger509 = news19 tiger511 = blackgoat3 tiger512 = blackgoat4 は、こういう間違いはありませんでした(あったらtiger511/512はうまく動かないし)。 banana402〜405 と cobra2244〜2247 については、あとで別途チェックします。 とりあえずオペレーション的には、復活でいいかと。 ◎5月3日〜4日のサーバ障害の件について(これまで得ている情報のまとめ) 日本時間5月3日10:00前に、PIEの主にtigerサーバが接続しているスイッチが 物理的に壊れました(最初の障害発生)。 そのため、そのスイッチに接続しているサーバへの接続が一斉に不可能になりました。 それを検知した、JimさんをはじめPIEの中の人たちはPIEにかけつけ、 対応をはじめました。 通常であれば壊れたスイッチをスペアのものに変更して VLAN(どのポートをどのネットワークに所属させるかの設定、各スイッチにどのサーバを 接続するかによって異なる)を設定しなおし、復旧を図るのですが、 Jimさんはその場で、ちょっと別のことを考えました。 「こいつらはBlackGoat Project (例の携帯&公開datサーバ構築、PIE内ではこう呼ばれています)のサーバじゃないか。 どうせ今スイッチが壊れてこいつらは落ちてるんだし、 今他のサーバも含めて、移動対象のサーバを全部 新しい場所に移動して動かしてしまえば、一石二鳥。 俺って頭いい。今飛行機の中にいるrootも喜ぶだろう。」(一部台詞は若干脚色あり) そう判断したJimさんは部下に指示し、サーバの移動をはじめました。 しかしrootは、どのサーバを移動するのかの正確な指示はもちろん、 移動に伴いIPアドレスをどうするか(maido3.comの中の人も私も、 移動でIPアドレスは変わると思っていた)、DNSサーバの設定変更の手順や サーバのシャットダウン・リブートのタイミング・スケジュール等については、 現地ではまだ何もJimさんに話してはいませんでした。 もちろん、プロジェクトの内容は話し合っていました。そして、 「これは重要なプロジェクトで、かつお互いのコーディネーションが必要な作業だから、 私が帰国したら関係者で連絡をとりあってすすめていこう。」 というのが、現地でのとりきめでした。 tiger503 504 509 510 511 512 が、その壊れたスイッチに接続されていました。 tiger503 (= live20) 504 (= game10) 509 (= news19) 510 (= hobby7) については、 今回のBlackGoat Projectとは関係ありません。 しかし、スイッチが壊れてしまったため、Jimさんはそれらのサーバも 新ロケーション(XO)に移動することにしました。 しかし、XOロケーションに設置したそのスイッチには、 サブネット番号(206.223.144.250の144の部分)が、150と151の分しか設定していませんでした。 tiger503 504 はたまたまそのサブネット番号だったため、IPアドレスの変更は必要ありませんでしたが、 tiger509 510 511 512 は、番号が違っていました。 つまり従来のIPアドレスでは場所を移動することができないわけです。 そのためJimさんは、それら4台のサーバのIPアドレスを急遽変更することにしました。 Jimさんは、tiger/cobraサーバのroot passwordを知っています。 しかしそれは、緊急時や障害対応時にのみ使用することになっており、 顧客にroot権限ありで貸しているサーバには、通常貸主のプロバイダは 顧客に何の通知もなくログインすることはありえません。 しかしJimさんは、私に連絡がとれない状態であったこと(機内なので)、 またこれは緊急事態であると判断して、Jimさんの判断で対象サーバにログインし、 サーバのIPアドレスを変え始めました。 IPアドレスの変更が終わると、 そして、該当するIPアドレスを持っている 2ch.net のDNSサーバの設定を、 つじつまが合うように変更しました。 しかし、maido3.com のDNSサーバの設定は、変更していませんでした。 また、Z社の中の人にも、そのことは伝えていませんでした。 (搭乗時間につき、続きはあとで) ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 07.5.5 2024/06/08 Walang Kapalit ★ | Donguri System Team 5ちゃんねる