X
トップページ⇒運用情報
609コメント185KB
【カッパドキア】memories 2.0建造委員会２【過去ログ倉庫】
■ このスレッドは過去ログ倉庫に格納されています
0001マァヴ ◆jxAYUMI09s
垢版 |
2007/12/19(水) 18:42:38ID:qhIAlqBy0
２ちゃんねるの過去ログを一手に引き受けている
oyster902.peko.2ch.net+sumaもデビューから３年。
1.5TBのストレージはそろそろ満杯だし、フロントエンドも結構いっぱいいっぱい
そろそろ次の過去ログ倉庫を作らないとまずいなぁ・・・・

ってことで、RAID 6 8TBのbanana3000.maido3.comを作ってるんです

開発日記
http://www.maido3.com/server/zousan/

お姿
http://www.maido3.com/server/ebanana/

転送量グラフ
http://traffic.maido3.com/jfj1/McNh/nXAg/

■　ぞうさんからのお知らせ part1
http://qb5.2ch.net/test/read.cgi/operate/1197634004/l50
--------------------------------------------------------------
ここまでのお話
いよいよその姿を現した「ぞうさん（花子）banana3000.maido3.com」
しかし、過酷な試験に花子はくじけてしまいそうなのだった。
負けるな花子、がんばれ花子！
0083マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 00:20:04ID:Su8s+lRt0
360分経過(^_^;)84%
0087動け動けウゴウゴ２ちゃんねる
垢版 |
2007/12/20(木) 00:27:37ID:J4S+wxfO0
もうちょっとか。先に言っとく、マァヴおつかれ
0088マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 00:29:39ID:Su8s+lRt0
なんか無事乗り越えられそう(^_^;)
0089動け動けウゴウゴ２ちゃんねる
垢版 |
2007/12/20(木) 00:31:07ID:Cr1O+SxEO
マァヴがんばれー
0090FOX ★
垢版 |
2007/12/20(木) 00:37:03ID:???0
と思った次の瞬間
0093動け動けウゴウゴ２ちゃんねる
垢版 |
2007/12/20(木) 00:38:14ID:QcF9NF4P0
そういやafoxのままだな
ずっとこれ？
0094マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 00:38:53ID:Su8s+lRt0
>90
あるある(^_^;)
0095動け動けウゴウゴ２ちゃんねる
垢版 |
2007/12/20(木) 00:40:38ID:J4S+wxfO0
>>90
こえーこと言うなよ……
0096動け動けウゴウゴ２ちゃんねる
垢版 |
2007/12/20(木) 00:51:25ID:4hyu4S6xP
ちょ… ドキドキ…
0099動け動けウゴウゴ２ちゃんねる
垢版 |
2007/12/20(木) 01:05:36ID:fTdaMg6P0
>>90
どこの探検隊だよｗｗｗ
0101動け動けウゴウゴ２ちゃんねる
垢版 |
2007/12/20(木) 01:16:02ID:L+EdxZtO0
VIP終了マダー？
0102マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 01:16:12ID:Su8s+lRt0
どうか無事終了しますように(^_^;)100%で止まったりしませんように

99%～(^_^;)
0103動け動けウゴウゴ２ちゃんねる
垢版 |
2007/12/20(木) 01:18:58ID:uvXaeN2X0
ワクワク
0104動け動けウゴウゴ２ちゃんねる
垢版 |
2007/12/20(木) 01:20:13ID:BKi2UU/a0
(＊´Д`)ﾊｧﾊｧ
0107マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 01:22:38ID:Su8s+lRt0
100%達成(^_^;)冗長性+1に移行したことを確認！
0109動け動けウゴウゴ２ちゃんねる
垢版 |
2007/12/20(木) 01:23:15ID:uvXaeN2X0
>>107
ぱぉーーん！
0110マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 01:25:01ID:Su8s+lRt0
いやー(^_^;)危機は脱した
つーか、やっぱこういう実践的な試験は大切やね。
心構えを体験できるし。

付き合ってくれたみなさん、おつでしたー(^_^;)
0113マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 01:25:33ID:Su8s+lRt0
残り作業(^_^;)
１　デッキのラベリングとRAIDカードのポート番号が一致しているかの確認
２　15本体制へのリビルド
３　ホットスペアの回復

ってことで、明日10時くらいに、１をやるために一旦電源が落ちるかもー(^_^;)
目視点検やるー
0119動け動けウゴウゴ２ちゃんねる
垢版 |
2007/12/20(木) 01:56:50ID:pIpdqosQ0
超乙
0126マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 13:04:49ID:Su8s+lRt0?PLT(25001)
ホットスペアREADY(^_^;)冗長性+2に
そして15本体制にリビルド中(^_^;)
0129root▲▲ ★
垢版 |
2007/12/20(木) 13:15:54ID:???0?PLT(80222)
>>126
先にホットスペアが増えるんですか。

つまり、

RAID6 2本欠損 (角番)
↓
HDD挿入
↓
リビルド始まる
↓
RAID6 1本欠損
↓
HDD挿入
↓
リビルドしないでそのままホットスペアに
↓
RAID6 1本欠損 + ホットスペア
↓
HDD挿入
↓
リビルド始まる
↓
RAID6 欠損なし + ホットスペア (完全状態)

ということなのかな。
0130マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 13:33:37ID:Su8s+lRt0?PLT(25001)
>129
こんな感じです(^_^;)

RAID6 2本欠損 (角番) ←昨日18:00頃
↓
HDD挿入
↓
リビルド始まる ←昨日18:20頃
↓
RAID6 1本欠損 ←本日01:30頃
↓
HDD挿入 ←本日11:00頃
↓
リビルド始まる→現在も進行中
↓
HDD挿入
↓
即時ホットスペアに ←いまここ
↓
RAID6 欠損なし + ホットスペア (完全状態)
0131root▲▲ ★
垢版 |
2007/12/20(木) 13:37:39ID:???0?PLT(80222)
>>130
なるほど、第二回の＊リビルド中に＊もうひとつHDDを挿入したと。
それならわかります。

第一回のリビルド中にもう一本挿入したらどうなったのかしら。

あと、昨日ばたばたしてたようですが、
結局ぶち抜きテストはどんな結果になったんでしたっけ。
0136動け動けウゴウゴ２ちゃんねる
垢版 |
2007/12/20(木) 13:53:35ID:ItljbY1s0
そりゃまあ、自分の常駐板でやられりゃ騒ぐ気持ちもわからんでも
しかし、素直？なぐらい反応するなあ・・・面白いｗ
0141動け動けウゴウゴ２ちゃんねる
垢版 |
2007/12/20(木) 14:16:23ID:qDRK0MKF0
>>137
実験開始直後に板にアクセスできなくなったから
cgiがとまったか、データ防護で止められたか

セッティングと看板、LRが飛ぶのは予想外でした
0142マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 14:25:31ID:Su8s+lRt0?PLT(25001)
>131
昨日のテストはかなり長い話になります(^_^;)
というか、現在昨日の出来事は結局どういうことだったのかを整理中ー
0144動け動けウゴウゴ２ちゃんねる
垢版 |
2007/12/20(木) 14:33:10ID:EbA3A8U30
板設定は元に戻ってるよ。狐がやってくれたみたい
0145動け動けウゴウゴ２ちゃんねる
垢版 |
2007/12/20(木) 14:37:39ID:qDRK0MKF0
>>143
おちる少し前のセッティングを流し込んでもらえた模様
それまで、任意IDやら連投規制がゆるかったり名無しが「名無しさん」になったり祭に

ちゃんと確認はしてませんが、１００１のAAが1世代前（ずれたままのAA）に戻ったらしいというのを
afox運用で見かけましたね
あれって、直ったんですかね
0146動け動けウゴウゴ２ちゃんねる
垢版 |
2007/12/20(木) 14:44:06ID:uvXaeN2X0
どこかに排他処理の緩い部分があるんだろうね。
落ちる前のリクエストがバッファリングされているだろうしー
冗長性0になったらロックしてリカバリー処理に専念した方が安全なのかもしれない。

でも、0になる前に対処するのが運用管理ってもんだよな。
保守管理作業でのミスまで考慮したら冗長性+1の時にロックすべきか、、、キリが無い。
0147マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 14:44:35ID:Su8s+lRt0?PLT(25001)
んーと(^_^;)わかりやすいようにHDDを次のように書きます

１-２-３-４-５-６-７-８-９-10-11-12-13-14-15-16

７がホットスペアです。○付き数字は故障しているとかそういうドライブです。
昨日の試験開始前の初期状態は検証した結果

１-２-３-４-５-６-⑦-８-９-10-11-12-13-14-15-16

でした。つまりホットスペアは機能していなかった（昨日見てた人、この先の悲劇はもうわかるよね？(^_^;)）
ここからドライブを生きたまま３本引き抜き始めます。
（すでに悲劇は確定的です(^_^;)）
0148FOX ★
垢版 |
2007/12/20(木) 14:44:52ID:???0
VIPのSETTING.TXT等が飛んだのは
現在VIPがジンギスカンだということと関係あるのかも、、、

/md/ がらみと思うなぁ
0149root▲▲ ★
垢版 |
2007/12/20(木) 14:45:30ID:???0?PLT(80222)
>>147
そうやって並べるなら、ホットスペアは単にＨでいいんじゃないかなと。
0150マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 14:47:43ID:Su8s+lRt0?PLT(25001)
まず１を抜きます

①-２-３-４-５-６-⑦-８-９-10-11-12-13-14-15-16

ここでは、表面上なにも起こらず、サービスは維持されています
冗長性は+1です
さらに２を抜きます

①-②-３-４-５-６-⑦-８-９-10-11-12-13-14-15-16

これでも表面上は何も変化はなく、サービスは維持されていました。
＊冗長性は0です＊
さて、ホットスワップが機能していないことに気がついていないおいらは
いよいよ＊冗長性０＊を試すために３番を抜きます・・・・
0151root▲▲ ★
垢版 |
2007/12/20(木) 14:47:57ID:???0?PLT(80222)
で、説明の続きをおながいします。
なんとなくわかった気がしますが、まずは整理整頓をば。

>>148
なるほど、今回のHDDとは別事情ということで。
0153マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 14:52:22ID:Su8s+lRt0?PLT(25001)
①-②-③-４-５-６-⑦-８-９-10-11-12-13-14-15-16

ディスクアレイは停止し、サービスが止まりました(^_^;)
なぜ止まったのかわからないまま、試験を続行しました。
次に３を刺します。

①-②-３-４-５-６-⑦-８-９-10-11-12-13-14-15-16

この時点で、ステータス上は正常（冗長性0）とされ、リビルドなどは発生しませんでしたが
ここでサービスが再開したかあるいは停止したままだったか、現在不明。
0154マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 14:53:19ID:Su8s+lRt0?PLT(25001)
>153
サービスが再開しなかったことが今、確認された。
0156マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 14:56:32ID:Su8s+lRt0?PLT(25001)
更に、２を挿入しました
結果、リビルドが開始されました。

①-Ｒ-３-４-５-６-⑦-８-９-10-11-12-13-14-15-16

このリビルド中に１を挿入しました
すると、１はunit 1に組み込まれ、レイドアレイの外に出てしまいました。
２番のリビルドが終わった時点で

[1]-２-３-４-５-６-⑦-８-９-10-11-12-13-14-15-16

という状態になりました（ちなみにホットスペアの７番はunit2になっていて、やはりレイドアレイの外です）
0157root▲▲ ★
垢版 |
2007/12/20(木) 14:57:09ID:???0?PLT(80222)
>>153-154
なるほど、状況よくわかりますた。

データが吹っ飛ばなかったのは、運がよかったですね、、、。
で、

サービスが再開しなかった
↓
リブートかけた

んでしょう。きっと。

それで、リブートした時に、

「前に一時的にドライブが見えなくなったけど、
同じドライブがまた見えるようになったみたい。
データも残っているから、とりあえずよしとしよう、そうしよう」

となったんですね、きっと。
0158マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 14:57:39ID:Su8s+lRt0?PLT(25001)
この時点で、サーバをリブートし（リビルドが終わるのを待った）た結果
サービスが再開しました。
これが、昨日の16:00頃です。
0159マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 14:58:25ID:Su8s+lRt0?PLT(25001)
第一部　-完- (^_^;)
0163マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 15:01:13ID:Su8s+lRt0?PLT(25001)
第二部(^_^;)

さて、ここで現象を振り返って色々考えたわけですが
まだホットスペアが機能していなかったこと（つまりレイドアレイが破綻したこと）について気がついていません。
第二部の開始状態は以下のとおりです。

[1]-２-３-４-５-６-[7]-８-９-10-11-12-13-14-15-16

ホットスペアも別ユニットになっているので[7]としますね。
0165root▲▲ ★
垢版 |
2007/12/20(木) 15:03:20ID:???0?PLT(80222)
>>163
これは、「RAID6 で一本欠損していて、ホットスペアなしの状態」
でいいのかしら。
0166マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 15:04:33ID:Su8s+lRt0?PLT(25001)
次になにをしようとしたかというと
[1]を抜いて、再度刺してリビルドが行われるかどうかを確かめようとしました
しかし・・・・ここで間違えて４を抜いてしまったのです
（おいらがラベリングとポートの対応を間違えた。これは人為的ミス）
この結果

[1]-２-３-④-５-６-[7]-８-９-10-11-12-13-14-15-16

となります。
冗長性は0です。
ここで初めてホットスペアが機能していないという事実に気がつきます(^_^;)
しかし、実はまだ第一部の検証が終わっていなかったため
レイドが破綻した事実には気がついていません(^_^;)とほー
0167マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 15:04:56ID:Su8s+lRt0?PLT(25001)
>165
そうですそうです(^_^;)
0170マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 15:06:52ID:Su8s+lRt0?PLT(25001)
さて、間違えて引き抜いたことは、引き抜いた直後に気がつきました(^_^;)
しかし、サービスは継続しています。
冗長性0である認識はあったので、まず復旧を行います
４番を刺しました。

[1]-２-３-Ｒ-５-６-[7]-８-９-10-11-12-13-14-15-16

サービスを継続したまま４番のリビルドが行われ
午前01:30頃無事リビルドが完了。冗長性は+1になりました。
0171マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 15:07:19ID:Su8s+lRt0?PLT(25001)
第二部 -完- (^_^;)
0174マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 15:15:14ID:Su8s+lRt0?PLT(25001)
第三部(^_^;)

いよいよ全体像がつかめてきました(^_^;)
あとは[1]と[7]を復旧させるだけです。
当初の考えどおり、１を抜いて再度刺しましたが、状況は変わらず。
そこで[1]を再度抜いた状態で、unit 1を削除しました。
で、全体をリスキャンして、状態を再確認すると

①-２-３-４-５-６-[7]-８-９-10-11-12-13-14-15-16

・１はディスクがないよ
・７はunit1だよ

と認識するようになりました。
0176マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 15:18:14ID:Su8s+lRt0?PLT(25001)
そこで１に新品のディスクを挿入しました。
リビルドが始まりました。

Ｒ-２-３-４-５-６-[7]-８-９-10-11-12-13-14-15-16

更に、７を抜いて、unit1(7が属しているunit)を削除。
７にリスキャンをかけて７に新品を刺したら
刺した瞬間からホットスペアが機能しはじめました。
現在の状況は

Ｒ-２-３-４-５-６-７-８-９-10-11-12-13-14-15-16

１のリビルドが終われば完了の予定です(^_^;)ふう
0177マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 15:19:21ID:Su8s+lRt0?PLT(25001)
ささやいたー(^_^;)チェック開始
0181マァヴ ◆jxAYUMI09s
垢版 |
2007/12/20(木) 15:33:33ID:Su8s+lRt0?PLT(25001)
あい(^_^;)
Unit Maintenance (Controller ID 0)
------------------------------------
Unit 0 15 drives RAID 6 5.91 TB OK
Port 14 ST3500630AS 465.76 GB OK
Port 13 ST3500630AS 465.76 GB OK
Port 12 ST3500630AS 465.76 GB OK
Port 11 ST3500630AS 465.76 GB OK
Port 10 ST3500630AS 465.76 GB OK
Port 9 ST3500630AS 465.76 GB OK
Port 8 ST3500630AS 465.76 GB OK
Port 15 ST3500630AS 465.76 GB OK
Port 6 ST3500630AS 465.76 GB OK
Port 5 ST3500630AS 465.76 GB OK
Port 4 ST3500630AS 465.76 GB OK
Port 3 ST3500630AS 465.76 GB OK
Port 2 ST3500630AS 465.76 GB OK
Port 1 ST3500630AS 465.76 GB OK
Port 0 ST3500630AS 465.76 GB OK
------------------------------------
Unit 1 15 drives RAID 6 5.91 TB INOPERABLE
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
Port 7 ST3500630AS 465.76 GB OK
-- -- -- NOT PRESENT
------------------------------------
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況