【カッパドキア】memories 2.0建造委員会２【過去ログ倉庫】
■ このスレッドは過去ログ倉庫に格納されています
２ちゃんねるの過去ログを一手に引き受けている
oyster902.peko.2ch.net+sumaもデビューから３年。
1.5TBのストレージはそろそろ満杯だし、フロントエンドも結構いっぱいいっぱい
そろそろ次の過去ログ倉庫を作らないとまずいなぁ・・・・
ってことで、RAID 6 8TBのbanana3000.maido3.comを作ってるんです
開発日記
http://www.maido3.com/server/zousan/
お姿
http://www.maido3.com/server/ebanana/
転送量グラフ
http://traffic.maido3.com/jfj1/McNh/nXAg/
■ ぞうさんからのお知らせ part1
http://qb5.2ch.net/test/read.cgi/operate/1197634004/l50
--------------------------------------------------------------
ここまでのお話
いよいよその姿を現した「ぞうさん（花子）banana3000.maido3.com」
しかし、過酷な試験に花子はくじけてしまいそうなのだった。
負けるな花子、がんばれ花子！ いやー(^_^;)危機は脱した
つーか、やっぱこういう実践的な試験は大切やね。
心構えを体験できるし。
付き合ってくれたみなさん、おつでしたー(^_^;) 残り作業(^_^;)
１ デッキのラベリングとRAIDカードのポート番号が一致しているかの確認
２ 15本体制へのリビルド
３ ホットスペアの回復
ってことで、明日10時くらいに、１をやるために一旦電源が落ちるかもー(^_^;)
目視点検やるー ｷﾀ━━━━━━(ﾟ∀ﾟ)━━━━━━!!!!
さぁ、寝るか＾＾ 俺はXOだかで(^_^;)がHDD引っこ抜いてるかと思ったんだ
所が洗濯物を引っこ抜くのを忘れてたんだ ホットスペアREADY(^_^;)冗長性+2に
そして15本体制にリビルド中(^_^;) >>126
先にホットスペアが増えるんですか。
つまり、
RAID6 2本欠損 (角番)
↓
HDD挿入
↓
リビルド始まる
↓
RAID6 1本欠損
↓
HDD挿入
↓
リビルドしないでそのままホットスペアに
↓
RAID6 1本欠損 + ホットスペア
↓
HDD挿入
↓
リビルド始まる
↓
RAID6 欠損なし + ホットスペア (完全状態)
ということなのかな。 >129
こんな感じです(^_^;)
RAID6 2本欠損 (角番) ←昨日18:00頃
↓
HDD挿入
↓
リビルド始まる ←昨日18:20頃
↓
RAID6 1本欠損 ←本日01:30頃
↓
HDD挿入 ←本日11:00頃
↓
リビルド始まる→現在も進行中
↓
HDD挿入
↓
即時ホットスペアに ←いまここ
↓
RAID6 欠損なし + ホットスペア (完全状態) >>130
なるほど、第二回の＊リビルド中に＊もうひとつHDDを挿入したと。
それならわかります。
第一回のリビルド中にもう一本挿入したらどうなったのかしら。
あと、昨日ばたばたしてたようですが、
結局ぶち抜きテストはどんな結果になったんでしたっけ。 無事に済んだらVIPの再引越しか？
またVIPPER達はギャースカ騒ぐんだろうな 引っ越しの時は、先にyutoriを落としてください そりゃまあ、自分の常駐板でやられりゃ騒ぐ気持ちもわからんでも
しかし、素直？なぐらい反応するなあ・・・面白いｗ >>132
> VIP落ちた
がなぜか、は、ちょっと気になるところかも。 >>131
即時ホットスペア
リビルド終了
またリビルド始まる
ＲＡＩＤ６欠損無し >>8だけど、こんなのどうかな？
「smartmontools」によるハードディスクの監視
「MRTG」による温度のグラフ化
http://www.crimson-snow.net/tips/unix/smart.html
S.M.A.R.T.情報の取得
http://www.medias.ne.jp/~nagata/xeon/smartmontools.htm
-d オプションで3wareポート毎情報を取得出来るみたい >>137
実験開始直後に板にアクセスできなくなったから
cgiがとまったか、データ防護で止められたか
セッティングと看板、LRが飛ぶのは予想外でした >131
昨日のテストはかなり長い話になります(^_^;)
というか、現在昨日の出来事は結局どういうことだったのかを整理中ー
>>142
了解です。
板設定 (>>141) は、元に戻したんでしたっけ。 >>143
おちる少し前のセッティングを流し込んでもらえた模様
それまで、任意IDやら連投規制がゆるかったり名無しが「名無しさん」になったり祭に
ちゃんと確認はしてませんが、１００１のAAが1世代前（ずれたままのAA）に戻ったらしいというのを
afox運用で見かけましたね
あれって、直ったんですかね どこかに排他処理の緩い部分があるんだろうね。
落ちる前のリクエストがバッファリングされているだろうしー
冗長性0になったらロックしてリカバリー処理に専念した方が安全なのかもしれない。
でも、0になる前に対処するのが運用管理ってもんだよな。
保守管理作業でのミスまで考慮したら冗長性+1の時にロックすべきか、、、キリが無い。 んーと(^_^;)わかりやすいようにHDDを次のように書きます
１-２-３-４-５-６-７-８-９-10-11-12-13-14-15-16
７がホットスペアです。○付き数字は故障しているとかそういうドライブです。
昨日の試験開始前の初期状態は検証した結果
１-２-３-４-５-６-⑦-８-９-10-11-12-13-14-15-16
でした。つまりホットスペアは機能していなかった（昨日見てた人、この先の悲劇はもうわかるよね？(^_^;)）
ここからドライブを生きたまま３本引き抜き始めます。
（すでに悲劇は確定的です(^_^;)） VIPのSETTING.TXT等が飛んだのは
現在VIPがジンギスカンだということと関係あるのかも、、、
/md/ がらみと思うなぁ >>147
そうやって並べるなら、ホットスペアは単にＨでいいんじゃないかなと。 まず１を抜きます
①-２-３-４-５-６-⑦-８-９-10-11-12-13-14-15-16
ここでは、表面上なにも起こらず、サービスは維持されています
冗長性は+1です
さらに２を抜きます
①-②-３-４-５-６-⑦-８-９-10-11-12-13-14-15-16
これでも表面上は何も変化はなく、サービスは維持されていました。
＊冗長性は0です＊
さて、ホットスワップが機能していないことに気がついていないおいらは
いよいよ＊冗長性０＊を試すために３番を抜きます・・・・ で、説明の続きをおながいします。
なんとなくわかった気がしますが、まずは整理整頓をば。
>>148
なるほど、今回のHDDとは別事情ということで。 ①-②-③-４-５-６-⑦-８-９-10-11-12-13-14-15-16
ディスクアレイは停止し、サービスが止まりました(^_^;)
なぜ止まったのかわからないまま、試験を続行しました。
次に３を刺します。
①-②-３-４-５-６-⑦-８-９-10-11-12-13-14-15-16
この時点で、ステータス上は正常（冗長性0）とされ、リビルドなどは発生しませんでしたが
ここでサービスが再開したかあるいは停止したままだったか、現在不明。 >153
サービスが再開しなかったことが今、確認された。 >>154
(^_^;)がないと真面目っぽく見えるよ＞＜ 更に、２を挿入しました
結果、リビルドが開始されました。
①-Ｒ-３-４-５-６-⑦-８-９-10-11-12-13-14-15-16
このリビルド中に１を挿入しました
すると、１はunit 1に組み込まれ、レイドアレイの外に出てしまいました。
２番のリビルドが終わった時点で
[1]-２-３-４-５-６-⑦-８-９-10-11-12-13-14-15-16
という状態になりました（ちなみにホットスペアの７番はunit2になっていて、やはりレイドアレイの外です） >>153-154
なるほど、状況よくわかりますた。
データが吹っ飛ばなかったのは、運がよかったですね、、、。
で、
サービスが再開しなかった
↓
リブートかけた
んでしょう。きっと。
それで、リブートした時に、
「前に一時的にドライブが見えなくなったけど、
同じドライブがまた見えるようになったみたい。
データも残っているから、とりあえずよしとしよう、そうしよう」
となったんですね、きっと。 この時点で、サーバをリブートし（リビルドが終わるのを待った）た結果
サービスが再開しました。
これが、昨日の16:00頃です。 >>159
つまり洗濯物が干されていない状態（前日のが洗濯槽に入ったママ）でzzz... 第二部(^_^;)
さて、ここで現象を振り返って色々考えたわけですが
まだホットスペアが機能していなかったこと（つまりレイドアレイが破綻したこと）について気がついていません。
第二部の開始状態は以下のとおりです。
[1]-２-３-４-５-６-[7]-８-９-10-11-12-13-14-15-16
ホットスペアも別ユニットになっているので[7]としますね。 >>163
これは、「RAID6 で一本欠損していて、ホットスペアなしの状態」
でいいのかしら。 次になにをしようとしたかというと
[1]を抜いて、再度刺してリビルドが行われるかどうかを確かめようとしました
しかし・・・・ここで間違えて４を抜いてしまったのです
（おいらがラベリングとポートの対応を間違えた。これは人為的ミス）
この結果
[1]-２-３-④-５-６-[7]-８-９-10-11-12-13-14-15-16
となります。
冗長性は0です。
ここで初めてホットスペアが機能していないという事実に気がつきます(^_^;)
しかし、実はまだ第一部の検証が終わっていなかったため
レイドが破綻した事実には気がついていません(^_^;)とほー (^_^;)はようやく、のぼりはじめたばかりだからな
この、はてしなく遠い鯖坂をよ… さて、間違えて引き抜いたことは、引き抜いた直後に気がつきました(^_^;)
しかし、サービスは継続しています。
冗長性0である認識はあったので、まず復旧を行います
４番を刺しました。
[1]-２-３-Ｒ-５-６-[7]-８-９-10-11-12-13-14-15-16
サービスを継続したまま４番のリビルドが行われ
午前01:30頃無事リビルドが完了。冗長性は+1になりました。 第三部(^_^;)
いよいよ全体像がつかめてきました(^_^;)
あとは[1]と[7]を復旧させるだけです。
当初の考えどおり、１を抜いて再度刺しましたが、状況は変わらず。
そこで[1]を再度抜いた状態で、unit 1を削除しました。
で、全体をリスキャンして、状態を再確認すると
①-２-３-４-５-６-[7]-８-９-10-11-12-13-14-15-16
・１はディスクがないよ
・７はunit1だよ
と認識するようになりました。 マァヴ(^_^;) はRAID6より強かった。すげー！
最小被害で抑えたぞうさんもすげー！ そこで１に新品のディスクを挿入しました。
リビルドが始まりました。
Ｒ-２-３-４-５-６-[7]-８-９-10-11-12-13-14-15-16
更に、７を抜いて、unit1(7が属しているunit)を削除。
７にリスキャンをかけて７に新品を刺したら
刺した瞬間からホットスペアが機能しはじめました。
現在の状況は
Ｒ-２-３-４-５-６-７-８-９-10-11-12-13-14-15-16
１のリビルドが終われば完了の予定です(^_^;)ふう >>177
完走したら再度、
【カッパドキア】memories 2.0建造委員会【過去ログ倉庫】
http://qb5.2ch.net/test/read.cgi/operate/1190270743/910
の情報を貼っていただけるとうれしいです。
マァヴさんの説明によれば、
上記は、ホットスペアが機能してなかった状態のもののはず。 まぁ、なによりってことで
>>178
確かにそうだ >>177
活抜実験のとき、3DM2の画面には何も
出てなかったの？（GUI版を使用してた場合だが）
あい(^_^;)
Unit Maintenance (Controller ID 0)
------------------------------------
Unit 0 15 drives RAID 6 5.91 TB OK
Port 14 ST3500630AS 465.76 GB OK
Port 13 ST3500630AS 465.76 GB OK
Port 12 ST3500630AS 465.76 GB OK
Port 11 ST3500630AS 465.76 GB OK
Port 10 ST3500630AS 465.76 GB OK
Port 9 ST3500630AS 465.76 GB OK
Port 8 ST3500630AS 465.76 GB OK
Port 15 ST3500630AS 465.76 GB OK
Port 6 ST3500630AS 465.76 GB OK
Port 5 ST3500630AS 465.76 GB OK
Port 4 ST3500630AS 465.76 GB OK
Port 3 ST3500630AS 465.76 GB OK
Port 2 ST3500630AS 465.76 GB OK
Port 1 ST3500630AS 465.76 GB OK
Port 0 ST3500630AS 465.76 GB OK
------------------------------------
Unit 1 15 drives RAID 6 5.91 TB INOPERABLE
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
Port 7 ST3500630AS 465.76 GB OK
-- -- -- NOT PRESENT
------------------------------------ banana3000# date
Wed Dec 19 22:31:26 PST 2007
banana3000# tw_cli
//banana3000> info c0
Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache
AVrfy
------------------------------------------------------------------------------
u0 RAID-6 OK - - 64K 6053.47 ON OFF
u1 RAID-6 INOPERABLE - - 64K 6053.47 OFF OFF
Port Status Unit Size Blocks Serial
---------------------------------------------------------------
p0 OK u0 465.76 GB 976773168 6QG15YS8
p1 OK u0 465.76 GB 976773168 6QG0TLHT
p2 OK u0 465.76 GB 976773168 6QG11Z7M
p3 OK u0 465.76 GB 976773168 6QG15ZP5
p4 OK u0 465.76 GB 976773168 6QG16SGK
p5 OK u0 465.76 GB 976773168 6QG15EYR
p6 OK u0 465.76 GB 976773168 6QG16SAM
p7 OK u1 465.76 GB 976773168 6QG15DFL
p8 OK u0 465.76 GB 976773168 6QG12MYG
p9 OK u0 465.76 GB 976773168 6QG12NSB
p10 OK u0 465.76 GB 976773168 6QG15YP4
p11 OK u0 465.76 GB 976773168 6QG14N7G
p12 OK u0 465.76 GB 976773168 6QG10SS5
p13 OK u0 465.76 GB 976773168 6QG14N66
p14 OK u0 465.76 GB 976773168 6QG14N34
p15 OK u0 465.76 GB 976773168 6QG10PGX
//banana3000> 現在の状態
１-２-３-４-５-６-[7]-８-９-10-11-12-13-14-15-16
７は別ユニット(^_^;) >>181
微妙に出力形式が違うような、、、。
show unitstatus
とかすればいいのかしら。 >>182-183
了解です。
man してみた。
やはり show unitstatus でわかるみたい。
(以下引用)
/cx show unitstatus
This command presents a list of units, their types, capacity and status cur-
rently managed by the specified controller /cx.
Example:
//localhost> /c2 show unitstatus
Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache AVrfy
------------------------------------------------------------------------------
u0 RAID-5 OK - - 64K 596.004 ON OFF
u1 RAID-0 OK - - 64K 298.002 ON OFF
u2 SPARE OK - - - 149.042 - OFF
u3 RAID-1 OK - - - 149.001 ON OFF u0 が RAID-6 OK で、
u1 が SPARE OK なら、
ぱちぱちぱち、で。 >185-186
そういう表示にならなかった(^_^;)
//banana3000> /c0 show unitstatus
Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache
AVrfy
------------------------------------------------------------------------------
u0 RAID-6 OK - - 64K 6053.47 ON OFF
u1 RAID-6 INOPERABLE - - 64K 6053.47 OFF OFF
//banana3000>
これはホットスペアとして機能してないってことなのか？(^_^;) で、、、。
>>182 をみると、なっていないような肝。
/c0 add type=spare disk=7
/c0 show
でどうかな。
で、マァヴさんのここまでの説明は、よく見るとちょっとどきどきですね。
>>182 とかはドライブを「0から数えている」のに、
マァヴさんは1から数えている。
しかも、別ユニットのは番号が7で一致している、、、。 >>188
してませんね、、、。
u1 の設定がおかしい気がします。
まだマニュアルを5分ぐらいしか読んでませんが、
このRAIDカードは、
・物理 port 0 - port 15 に HDD がつながる
・論理ユニット u0 とか u1 単位で、RAID 設定や spare 設定ができる
・u0 を RAID 6 にして、u1 を spare にする、という感じで設定する
みたいなので、
u0 は 0-6, 8-15 で RAID 6
u1 は 7 で spare
になっていないとおかしいと思います。
で、例えばシステムディスクもここに入れたければ、
u0 0-1 で RAID 1
u1 2-14 で RAID 6
u2 15 u0 u1 共通の spare
とかいうのも可能みたい。 Port7のディスクは刺さってるだけということですか？ といったところで本業の会議。
そのあと締め切り物の原稿(これはもう今やっているが、、、煮詰まるとここに)。
んでは。 >>192
Probably, yes, I guess. >189
あー(^_^;)経緯説明内の番号は、０から15のところ、間違えて1-16で書いちゃいました
操作したドライブの番号は間違ってないけど、あの図の
１の前に0を加えて、最後の16を削ったのが正しい情報になります。 >194
どもです(^_^;)
ホットスペアまわりはもうちっと調べて、必要があれば実験するですー coming soon に一致する日本語のページ 約 529,000 件中 1 - 50 件目 (0.08 秒)
comming soon に一致する日本語のページ 約 83,000 件中 1 - 50 件目 (0.29 秒)
もしかして: coming soon マァブはrootに教えてもらって
cunning soon ■ このスレッドは過去ログ倉庫に格納されています
