2ちゃんねるの過去ログを一手に引き受けている
oyster902.peko.2ch.net+sumaもデビューから3年。
1.5TBのストレージはそろそろ満杯だし、フロントエンドも結構いっぱいいっぱい
そろそろ次の過去ログ倉庫を作らないとまずいなぁ・・・・
ってことで、RAID 6 8TBのbanana3000.maido3.comを作ってるんです
開発日記
http://www.maido3.com/server/zousan/
お姿
http://www.maido3.com/server/ebanana/
転送量グラフ
http://traffic.maido3.com/jfj1/McNh/nXAg/
■ ぞうさんからのお知らせ part1
http://qb5.2ch.net/test/read.cgi/operate/1197634004/l50
--------------------------------------------------------------
ここまでのお話
いよいよその姿を現した「ぞうさん(花子)banana3000.maido3.com」
しかし、過酷な試験に花子はくじけてしまいそうなのだった。
負けるな花子、がんばれ花子!
探検
【カッパドキア】memories 2.0建造委員会2【過去ログ倉庫】
■ このスレッドは過去ログ倉庫に格納されています
1マァヴ ◆jxAYUMI09s
2007/12/19(水) 18:42:38ID:qhIAlqBy0 >>258
> Port 8 ST3500630AS 465.76 GB OK
> Port 15 ST3500630AS 465.76 GB OK
> Port 6 ST3500630AS 465.76 GB OK
> Port 2 ST3500630AS 465.76 GB OK
> Port 7 ST3500630AS 465.76 GB OK
> Port 0 ST3500630AS 465.76 GB OK
(´-`).。oO(なるほど、今回のボリュームを最初に作った時点では port15 がホットスペアだったんだろうな・・・)
(´-`).。oO(で、それが何かの拍子に既に変わっていたんだろうな・・・)
(´-`).。oO(なんでだろうな・・・)
> Port 8 ST3500630AS 465.76 GB OK
> Port 15 ST3500630AS 465.76 GB OK
> Port 6 ST3500630AS 465.76 GB OK
> Port 2 ST3500630AS 465.76 GB OK
> Port 7 ST3500630AS 465.76 GB OK
> Port 0 ST3500630AS 465.76 GB OK
(´-`).。oO(なるほど、今回のボリュームを最初に作った時点では port15 がホットスペアだったんだろうな・・・)
(´-`).。oO(で、それが何かの拍子に既に変わっていたんだろうな・・・)
(´-`).。oO(なんでだろうな・・・)
>260
第一回のテストでホットスペアが起動したから(^_^;)
第一回のテストでホットスペアが起動したから(^_^;)
ささやいた(^_^;)
>263
第一回の結果から、そのように推測されます(^_^;)
で、現在の状況は・・・・・
//banana3000> info c0
Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache
AVrfy
------------------------------------------------------------------------------
u0 RAID-6 OK - - 64K 6053.47 ON OFF
Port Status Unit Size Blocks Serial
---------------------------------------------------------------
p0 OK u0 465.76 GB 976773168 6QG15YS8
p1 OK u? 465.76 GB 976773168 6QG14N85
p2 OK u0 465.76 GB 976773168 6QG11Z7M
p3 OK u0 465.76 GB 976773168 6QG15ZP5
p4 OK u0 465.76 GB 976773168 6QG16SGK
p5 OK u0 465.76 GB 976773168 6QG15EYR
p6 OK u0 465.76 GB 976773168 6QG16SAM
p7 OK u0 465.76 GB 976773168 6QG15DFL
p8 OK u0 465.76 GB 976773168 6QG12MYG
p9 OK u0 465.76 GB 976773168 6QG12NSB
p10 OK u0 465.76 GB 976773168 6QG15YP4
p11 OK u0 465.76 GB 976773168 6QG14N7G
p12 OK u0 465.76 GB 976773168 6QG10SS5
p13 OK u0 465.76 GB 976773168 6QG14N66
p14 OK u0 465.76 GB 976773168 6QG14N34
p15 OK u0 465.76 GB 976773168 6QG10PGX
//banana3000>
第一回の結果から、そのように推測されます(^_^;)
で、現在の状況は・・・・・
//banana3000> info c0
Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache
AVrfy
------------------------------------------------------------------------------
u0 RAID-6 OK - - 64K 6053.47 ON OFF
Port Status Unit Size Blocks Serial
---------------------------------------------------------------
p0 OK u0 465.76 GB 976773168 6QG15YS8
p1 OK u? 465.76 GB 976773168 6QG14N85
p2 OK u0 465.76 GB 976773168 6QG11Z7M
p3 OK u0 465.76 GB 976773168 6QG15ZP5
p4 OK u0 465.76 GB 976773168 6QG16SGK
p5 OK u0 465.76 GB 976773168 6QG15EYR
p6 OK u0 465.76 GB 976773168 6QG16SAM
p7 OK u0 465.76 GB 976773168 6QG15DFL
p8 OK u0 465.76 GB 976773168 6QG12MYG
p9 OK u0 465.76 GB 976773168 6QG12NSB
p10 OK u0 465.76 GB 976773168 6QG15YP4
p11 OK u0 465.76 GB 976773168 6QG14N7G
p12 OK u0 465.76 GB 976773168 6QG10SS5
p13 OK u0 465.76 GB 976773168 6QG14N66
p14 OK u0 465.76 GB 976773168 6QG14N34
p15 OK u0 465.76 GB 976773168 6QG10PGX
//banana3000>
p1 OK u? 465.76 GB 976773168 6QG14N85
やはり自動で組み込まれない(^_^;)
すこし時間を置いてみる。
やはり自動で組み込まれない(^_^;)
すこし時間を置いてみる。
10分経過(^_^;)やはり自動で認識はしないのでリスキャンかける
これでu1にアサインされるはず・・・・
これでu1にアサインされるはず・・・・
2007/12/21(金) 14:58:02ID:5J6JWW0R0
挿入されたら自動でリスキャンするようにするんだよね
リスキャンの結果(^_^;)
//banana3000> info c0
Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache
AVrfy
------------------------------------------------------------------------------
u0 RAID-6 OK - - 64K 6053.47 ON OFF
u1 RAID-6 INOPERABLE - - 64K 6053.47 OFF OFF
Port Status Unit Size Blocks Serial
---------------------------------------------------------------
p0 OK u0 465.76 GB 976773168 6QG15YS8
p1 OK u1 465.76 GB 976773168 6QG14N85
p2 OK u0 465.76 GB 976773168 6QG11Z7M
p3 OK u0 465.76 GB 976773168 6QG15ZP5
p4 OK u0 465.76 GB 976773168 6QG16SGK
p5 OK u0 465.76 GB 976773168 6QG15EYR
p6 OK u0 465.76 GB 976773168 6QG16SAM
p7 OK u0 465.76 GB 976773168 6QG15DFL
p8 OK u0 465.76 GB 976773168 6QG12MYG
p9 OK u0 465.76 GB 976773168 6QG12NSB
p10 OK u0 465.76 GB 976773168 6QG15YP4
p11 OK u0 465.76 GB 976773168 6QG14N7G
p12 OK u0 465.76 GB 976773168 6QG10SS5
p13 OK u0 465.76 GB 976773168 6QG14N66
p14 OK u0 465.76 GB 976773168 6QG14N34
p15 OK u0 465.76 GB 976773168 6QG10PGX
//banana3000> info c0
Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache
AVrfy
------------------------------------------------------------------------------
u0 RAID-6 OK - - 64K 6053.47 ON OFF
u1 RAID-6 INOPERABLE - - 64K 6053.47 OFF OFF
Port Status Unit Size Blocks Serial
---------------------------------------------------------------
p0 OK u0 465.76 GB 976773168 6QG15YS8
p1 OK u1 465.76 GB 976773168 6QG14N85
p2 OK u0 465.76 GB 976773168 6QG11Z7M
p3 OK u0 465.76 GB 976773168 6QG15ZP5
p4 OK u0 465.76 GB 976773168 6QG16SGK
p5 OK u0 465.76 GB 976773168 6QG15EYR
p6 OK u0 465.76 GB 976773168 6QG16SAM
p7 OK u0 465.76 GB 976773168 6QG15DFL
p8 OK u0 465.76 GB 976773168 6QG12MYG
p9 OK u0 465.76 GB 976773168 6QG12NSB
p10 OK u0 465.76 GB 976773168 6QG15YP4
p11 OK u0 465.76 GB 976773168 6QG14N7G
p12 OK u0 465.76 GB 976773168 6QG10SS5
p13 OK u0 465.76 GB 976773168 6QG14N66
p14 OK u0 465.76 GB 976773168 6QG14N34
p15 OK u0 465.76 GB 976773168 6QG10PGX
//banana3000>
Rescan found the following unit(s): 1 : Found the following drives(s):
[none]
Unit Maintenance (Controller ID 0)
Unit 0 15 drives RAID 6 5.91 TB OK
Port 14 ST3500630AS 465.76 GB OK
Port 13 ST3500630AS 465.76 GB OK
Port 12 ST3500630AS 465.76 GB OK
Port 11 ST3500630AS 465.76 GB OK
Port 10 ST3500630AS 465.76 GB OK
Port 9 ST3500630AS 465.76 GB OK
Port 8 ST3500630AS 465.76 GB OK
Port 15 ST3500630AS 465.76 GB OK
Port 6 ST3500630AS 465.76 GB OK
Port 5 ST3500630AS 465.76 GB OK
Port 4 ST3500630AS 465.76 GB OK
Port 3 ST3500630AS 465.76 GB OK
Port 2 ST3500630AS 465.76 GB OK
Port 7 ST3500630AS 465.76 GB OK
Port 0 ST3500630AS 465.76 GB OK
Unit 1 15 drives RAID 6 5.91 TB INOPERABLE
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
Port 1 ST3500630AS 465.76 GB OK
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
Rescan found the following unit(s): 1 : Found the following drives(s):
[none]
Unit Maintenance (Controller ID 0)
Unit 0 15 drives RAID 6 5.91 TB OK
Port 14 ST3500630AS 465.76 GB OK
Port 13 ST3500630AS 465.76 GB OK
Port 12 ST3500630AS 465.76 GB OK
Port 11 ST3500630AS 465.76 GB OK
Port 10 ST3500630AS 465.76 GB OK
Port 9 ST3500630AS 465.76 GB OK
Port 8 ST3500630AS 465.76 GB OK
Port 15 ST3500630AS 465.76 GB OK
Port 6 ST3500630AS 465.76 GB OK
Port 5 ST3500630AS 465.76 GB OK
Port 4 ST3500630AS 465.76 GB OK
Port 3 ST3500630AS 465.76 GB OK
Port 2 ST3500630AS 465.76 GB OK
Port 7 ST3500630AS 465.76 GB OK
Port 0 ST3500630AS 465.76 GB OK
Unit 1 15 drives RAID 6 5.91 TB INOPERABLE
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
Port 1 ST3500630AS 465.76 GB OK
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
-- -- -- NOT PRESENT
なるほど、デフォルトではリスキャンしてもいきなりホットスペアにはならないのね。
u1に1番が組み込まれたものの、今度はRAID 6アレイとしてアサインされている(^_^;)と
これを一旦解除して、Available Driveに設定しなおす。
>267
自動にするほうがいいのかな?(^_^;)できるかどうかはおいといて
これを一旦解除して、Available Driveに設定しなおす。
>267
自動にするほうがいいのかな?(^_^;)できるかどうかはおいといて
できるなら、自動組み入れがいい気がしますね。
oyster902 はそうなっています。
よくあるのは
「破損したディスク差し替えてランプついたけどそのまま設定するのを忘れてた」
oyster902 はそうなっています。
よくあるのは
「破損したディスク差し替えてランプついたけどそのまま設定するのを忘れてた」
2007/12/21(金) 15:04:45ID:d2p6kpkK0
空ディスクなら自動組み込み。何かが入ってたら、、、
2007/12/21(金) 15:05:10ID:qqf6G1Y70
>>272あるある〜。RAID5だとその数日後にもう一個の他のHDDが飛んで全滅ってパターン
>272
確かに(^_^;)そういうミス防げる
>273
なんだよね・・・・(^_^;)条件が複雑すぎる気がする
つまり、よほど自動化のアルゴリズムが鉄壁でないなら
マニュアルでやったほうがいい気もするんだよなぁ・・・・・
確かに(^_^;)そういうミス防げる
>273
なんだよね・・・・(^_^;)条件が複雑すぎる気がする
つまり、よほど自動化のアルゴリズムが鉄壁でないなら
マニュアルでやったほうがいい気もするんだよなぁ・・・・・
2007/12/21(金) 15:07:39ID:qqf6G1Y70
>>275ベイを他の用途に使わないなら、差したら自動でいいんじゃね?
入れるのは空のHDDか古いかも知れない情報が入ったままのHDDなわけだから。
入れるのは空のHDDか古いかも知れない情報が入ったままのHDDなわけだから。
>276
ホットスペアの位置は、出動のたびに故障したHDDのポートに変わっていきます(^_^;)
どこがホットスペアになるかは、次に壊れたHDDの番号で決まるわけです。
なので、ベイを決めうちすることはできないかと(^_^;)
ホットスペアの位置は、出動のたびに故障したHDDのポートに変わっていきます(^_^;)
どこがホットスペアになるかは、次に壊れたHDDの番号で決まるわけです。
なので、ベイを決めうちすることはできないかと(^_^;)
2007/12/21(金) 15:11:30ID:CrJwCSzU0
Auto Rebuild に Hot Spare の項目無し。。。
ん〜探し方が悪いのかな。UserGuide_9690.pdf
ん〜探し方が悪いのかな。UserGuide_9690.pdf
2007/12/21(金) 15:11:31ID:qqf6G1Y70
unit 1を削除し、port 1のDisk Type をSpare Diskに指定(^_^;)
//banana3000> info c0
Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache
AVrfy
------------------------------------------------------------------------------
u0 RAID-6 OK - - 64K 6053.47 ON OFF
Port Status Unit Size Blocks Serial
---------------------------------------------------------------
p0 OK u0 465.76 GB 976773168 6QG15YS8
p1 OK - 465.76 GB 976773168 6QG14N85
p2 OK u0 465.76 GB 976773168 6QG11Z7M
p3 OK u0 465.76 GB 976773168 6QG15ZP5
p4 OK u0 465.76 GB 976773168 6QG16SGK
p5 OK u0 465.76 GB 976773168 6QG15EYR
p6 OK u0 465.76 GB 976773168 6QG16SAM
p7 OK u0 465.76 GB 976773168 6QG15DFL
p8 OK u0 465.76 GB 976773168 6QG12MYG
p9 OK u0 465.76 GB 976773168 6QG12NSB
p10 OK u0 465.76 GB 976773168 6QG15YP4
p11 OK u0 465.76 GB 976773168 6QG14N7G
p12 OK u0 465.76 GB 976773168 6QG10SS5
p13 OK u0 465.76 GB 976773168 6QG14N66
p14 OK u0 465.76 GB 976773168 6QG14N34
p15 OK u0 465.76 GB 976773168 6QG10PGX
//banana3000>
Successfully deleted unit(s) 1
Unit Maintenance (Controller ID 0)
Unit 0 15 drives RAID 6 5.91 TB OK
Port 14 ST3500630AS 465.76 GB OK
Port 13 ST3500630AS 465.76 GB OK
Port 12 ST3500630AS 465.76 GB OK
Port 11 ST3500630AS 465.76 GB OK
Port 10 ST3500630AS 465.76 GB OK
Port 9 ST3500630AS 465.76 GB OK
Port 8 ST3500630AS 465.76 GB OK
Port 15 ST3500630AS 465.76 GB OK
Port 6 ST3500630AS 465.76 GB OK
Port 5 ST3500630AS 465.76 GB OK
Port 4 ST3500630AS 465.76 GB OK
Port 3 ST3500630AS 465.76 GB OK
Port 2 ST3500630AS 465.76 GB OK
Port 7 ST3500630AS 465.76 GB OK
Port 0 ST3500630AS 465.76 GB OK
Available Drives (Controller ID 0)
Port 1 ST3500630AS 465.76 GB OK
//banana3000> info c0
Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache
AVrfy
------------------------------------------------------------------------------
u0 RAID-6 OK - - 64K 6053.47 ON OFF
Port Status Unit Size Blocks Serial
---------------------------------------------------------------
p0 OK u0 465.76 GB 976773168 6QG15YS8
p1 OK - 465.76 GB 976773168 6QG14N85
p2 OK u0 465.76 GB 976773168 6QG11Z7M
p3 OK u0 465.76 GB 976773168 6QG15ZP5
p4 OK u0 465.76 GB 976773168 6QG16SGK
p5 OK u0 465.76 GB 976773168 6QG15EYR
p6 OK u0 465.76 GB 976773168 6QG16SAM
p7 OK u0 465.76 GB 976773168 6QG15DFL
p8 OK u0 465.76 GB 976773168 6QG12MYG
p9 OK u0 465.76 GB 976773168 6QG12NSB
p10 OK u0 465.76 GB 976773168 6QG15YP4
p11 OK u0 465.76 GB 976773168 6QG14N7G
p12 OK u0 465.76 GB 976773168 6QG10SS5
p13 OK u0 465.76 GB 976773168 6QG14N66
p14 OK u0 465.76 GB 976773168 6QG14N34
p15 OK u0 465.76 GB 976773168 6QG10PGX
//banana3000>
Successfully deleted unit(s) 1
Unit Maintenance (Controller ID 0)
Unit 0 15 drives RAID 6 5.91 TB OK
Port 14 ST3500630AS 465.76 GB OK
Port 13 ST3500630AS 465.76 GB OK
Port 12 ST3500630AS 465.76 GB OK
Port 11 ST3500630AS 465.76 GB OK
Port 10 ST3500630AS 465.76 GB OK
Port 9 ST3500630AS 465.76 GB OK
Port 8 ST3500630AS 465.76 GB OK
Port 15 ST3500630AS 465.76 GB OK
Port 6 ST3500630AS 465.76 GB OK
Port 5 ST3500630AS 465.76 GB OK
Port 4 ST3500630AS 465.76 GB OK
Port 3 ST3500630AS 465.76 GB OK
Port 2 ST3500630AS 465.76 GB OK
Port 7 ST3500630AS 465.76 GB OK
Port 0 ST3500630AS 465.76 GB OK
Available Drives (Controller ID 0)
Port 1 ST3500630AS 465.76 GB OK
>280
あ、まだ指定してない(^_^;)unit 1の削除までだった
あ、まだ指定してない(^_^;)unit 1の削除までだった
2007/12/21(金) 15:14:38ID:d2p6kpkK0
自動化するなら他の場所で手動で特定の前処理をかけたディスクのみ
って事にするくらいで無いとヒューマンエラーを排除出来ない。
って事にするくらいで無いとヒューマンエラーを排除出来ない。
283動け動けウゴウゴ2ちゃんねる
2007/12/21(金) 15:16:37ID:YcCTaWCn0 次はホットスペアが使われてリビルドされている最中に新しいHDD挿して
それが新たなホットスペアになるかの確認でもするん?
それが新たなホットスペアになるかの確認でもするん?
u0 の中に hot spare として組み入れることはできないのかしら。
2007/12/21(金) 15:18:50ID:qqf6G1Y70
発生し得るヒューマンエラーって、他のデーターが入ってるディスクを放り込むぐらいしか無いと思うんだが。
その場合、中身の確認もせずに手動で設定するんなら全自動と一緒。
その場合、中身の確認もせずに手動で設定するんなら全自動と一緒。
>283
するー(^_^;)
・ホットスペアが起動してリビルドしてる最中にホットスペア追加
・リビルド中にもう一本抜く
するー(^_^;)
・ホットスペアが起動してリビルドしてる最中にホットスペア追加
・リビルド中にもう一本抜く
>284
なぜ?(^_^;)というのが気になる
>285
たとえば複数のHDDが死亡した状態で、最初に刺したHDDは何になる?(^_^;)とか
刺された順番で振る舞いを変えなければならないとか
もちろん、決めておいて、そのとおりに動けばいいんだけどねー
なぜ?(^_^;)というのが気になる
>285
たとえば複数のHDDが死亡した状態で、最初に刺したHDDは何になる?(^_^;)とか
刺された順番で振る舞いを変えなければならないとか
もちろん、決めておいて、そのとおりに動けばいいんだけどねー
>>287
いや、そうすれば自動でいくんじゃないかなと。
u0 の中にホットスペアがあることがわかっているわけで。
そしてそれは、オペレータが「自動にしてもいい」時にする設定項目のような気がします。
これは直感というか、多分にコントローラの気持ちになってしゃべっていますが。
いや、そうすれば自動でいくんじゃないかなと。
u0 の中にホットスペアがあることがわかっているわけで。
そしてそれは、オペレータが「自動にしてもいい」時にする設定項目のような気がします。
これは直感というか、多分にコントローラの気持ちになってしゃべっていますが。
あと
1 一本抜く
2 ホットスペア起動→リビルド開始
3 リビルド中にホットスペア追加(が成功したとして)
4 更に一本抜く
どうなる?(^_^;)とか・・・・
ここいらあたりまでは確認したい。
1 一本抜く
2 ホットスペア起動→リビルド開始
3 リビルド中にホットスペア追加(が成功したとして)
4 更に一本抜く
どうなる?(^_^;)とか・・・・
ここいらあたりまでは確認したい。
2007/12/21(金) 15:27:51ID:qqf6G1Y70
>288
なるほど(^_^;)
ちと考えます。
いや、だいたいの方向は決めてるんだけど、熟考するところなんで。
おおざっぱな思考
・現状で(いくつかの動作試験は残っているものの)要求を満たす動作をしている
・自動でホットスペアを動かすことで得られるメリットとデメリットはよくて±0
・自動でホットスペアを動かすための仕組みつくりと、その実証は結構大変(しかもできるかどうかもわからない)。
そうしなければならない強い理由があればやらないと・・・・って感じですね(^_^;)おいら的に
今、最優先でやりたいのは
「実際の運用上知っておかなければならないことの体験」と思います(^_^;)
なるほど(^_^;)
ちと考えます。
いや、だいたいの方向は決めてるんだけど、熟考するところなんで。
おおざっぱな思考
・現状で(いくつかの動作試験は残っているものの)要求を満たす動作をしている
・自動でホットスペアを動かすことで得られるメリットとデメリットはよくて±0
・自動でホットスペアを動かすための仕組みつくりと、その実証は結構大変(しかもできるかどうかもわからない)。
そうしなければならない強い理由があればやらないと・・・・って感じですね(^_^;)おいら的に
今、最優先でやりたいのは
「実際の運用上知っておかなければならないことの体験」と思います(^_^;)
2007/12/21(金) 15:32:09ID:d2p6kpkK0
不良クラスタ続発でハネたドライブがフォーマットされちまって再び登場。
ってのがホットスペアとして待機してたって経験が一度ある。
在庫ドライブの無い時に担当者が勝手にやった。
新品だから安全って事は無いんだけどー
ってのがホットスペアとして待機してたって経験が一度ある。
在庫ドライブの無い時に担当者が勝手にやった。
新品だから安全って事は無いんだけどー
2007/12/21(金) 15:43:54ID:qqf6G1Y70
>>292投入チェックの時に自動で調べてくれないんだ・・・それは怖いな。
>新品だから安全って事は
昔のIBMで初期不良率40%とかいう記録が残ってんのを見たことがあるw
だから差し替えたら全部書き込みチェックするもんだとばかり・・・(´・ω・`)シュマソ
>新品だから安全って事は
昔のIBMで初期不良率40%とかいう記録が残ってんのを見たことがあるw
だから差し替えたら全部書き込みチェックするもんだとばかり・・・(´・ω・`)シュマソ
ディスク挿入したらメディアスキャンぐらいは、かかるんじゃないですかね。
もちろん設定次第ですが。
もちろん設定次第ですが。
Unit 1 を設定し、ホットスペアとしてHDD#1が認識された(^_^;)
//banana3000> info c0
Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache
AVrfy
------------------------------------------------------------------------------
u0 RAID-6 OK - - 64K 6053.47 ON OFF
u1 SPARE OK - - - 465.753 - OFF
Port Status Unit Size Blocks Serial
---------------------------------------------------------------
p0 OK u0 465.76 GB 976773168 6QG15YS8
p1 OK u1 465.76 GB 976773168 6QG14N85
p2 OK u0 465.76 GB 976773168 6QG11Z7M
p3 OK u0 465.76 GB 976773168 6QG15ZP5
p4 OK u0 465.76 GB 976773168 6QG16SGK
p5 OK u0 465.76 GB 976773168 6QG15EYR
p6 OK u0 465.76 GB 976773168 6QG16SAM
p7 OK u0 465.76 GB 976773168 6QG15DFL
p8 OK u0 465.76 GB 976773168 6QG12MYG
p9 OK u0 465.76 GB 976773168 6QG12NSB
p10 OK u0 465.76 GB 976773168 6QG15YP4
p11 OK u0 465.76 GB 976773168 6QG14N7G
p12 OK u0 465.76 GB 976773168 6QG10SS5
p13 OK u0 465.76 GB 976773168 6QG14N66
p14 OK u0 465.76 GB 976773168 6QG14N34
p15 OK u0 465.76 GB 976773168 6QG10PGX
//banana3000>
Unit Maintenance (Controller ID 0)
Unit 0 15 drives RAID 6 5.91 TB OK
Port 14 ST3500630AS 465.76 GB OK
Port 13 ST3500630AS 465.76 GB OK
Port 12 ST3500630AS 465.76 GB OK
Port 11 ST3500630AS 465.76 GB OK
Port 10 ST3500630AS 465.76 GB OK
Port 9 ST3500630AS 465.76 GB OK
Port 8 ST3500630AS 465.76 GB OK
Port 15 ST3500630AS 465.76 GB OK
Port 6 ST3500630AS 465.76 GB OK
Port 5 ST3500630AS 465.76 GB OK
Port 4 ST3500630AS 465.76 GB OK
Port 3 ST3500630AS 465.76 GB OK
Port 2 ST3500630AS 465.76 GB OK
Port 7 ST3500630AS 465.76 GB OK
Port 0 ST3500630AS 465.76 GB OK
Unit 1 1 drive SPARE 465.75 GB OK
Port 1 ST3500630AS 465.76 GB OK
Available Drives (Controller ID 0)
NO DRIVES
//banana3000> info c0
Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache
AVrfy
------------------------------------------------------------------------------
u0 RAID-6 OK - - 64K 6053.47 ON OFF
u1 SPARE OK - - - 465.753 - OFF
Port Status Unit Size Blocks Serial
---------------------------------------------------------------
p0 OK u0 465.76 GB 976773168 6QG15YS8
p1 OK u1 465.76 GB 976773168 6QG14N85
p2 OK u0 465.76 GB 976773168 6QG11Z7M
p3 OK u0 465.76 GB 976773168 6QG15ZP5
p4 OK u0 465.76 GB 976773168 6QG16SGK
p5 OK u0 465.76 GB 976773168 6QG15EYR
p6 OK u0 465.76 GB 976773168 6QG16SAM
p7 OK u0 465.76 GB 976773168 6QG15DFL
p8 OK u0 465.76 GB 976773168 6QG12MYG
p9 OK u0 465.76 GB 976773168 6QG12NSB
p10 OK u0 465.76 GB 976773168 6QG15YP4
p11 OK u0 465.76 GB 976773168 6QG14N7G
p12 OK u0 465.76 GB 976773168 6QG10SS5
p13 OK u0 465.76 GB 976773168 6QG14N66
p14 OK u0 465.76 GB 976773168 6QG14N34
p15 OK u0 465.76 GB 976773168 6QG10PGX
//banana3000>
Unit Maintenance (Controller ID 0)
Unit 0 15 drives RAID 6 5.91 TB OK
Port 14 ST3500630AS 465.76 GB OK
Port 13 ST3500630AS 465.76 GB OK
Port 12 ST3500630AS 465.76 GB OK
Port 11 ST3500630AS 465.76 GB OK
Port 10 ST3500630AS 465.76 GB OK
Port 9 ST3500630AS 465.76 GB OK
Port 8 ST3500630AS 465.76 GB OK
Port 15 ST3500630AS 465.76 GB OK
Port 6 ST3500630AS 465.76 GB OK
Port 5 ST3500630AS 465.76 GB OK
Port 4 ST3500630AS 465.76 GB OK
Port 3 ST3500630AS 465.76 GB OK
Port 2 ST3500630AS 465.76 GB OK
Port 7 ST3500630AS 465.76 GB OK
Port 0 ST3500630AS 465.76 GB OK
Unit 1 1 drive SPARE 465.75 GB OK
Port 1 ST3500630AS 465.76 GB OK
Available Drives (Controller ID 0)
NO DRIVES
>293
>ヒューマンエラーを防止する策については
ここですよね(^_^;)はい
いずれにしても自動化についてはもうちっと考えて見ます
つーか、おいらしか抵抗してないってことは自動化するのが普通なのかな?(^_^;)
>ヒューマンエラーを防止する策については
ここですよね(^_^;)はい
いずれにしても自動化についてはもうちっと考えて見ます
つーか、おいらしか抵抗してないってことは自動化するのが普通なのかな?(^_^;)
298FOX ★
2007/12/21(金) 16:01:37ID:???0 今悩むのはナンセンスかと、
両方できるようになってから悩むべし
両方できるようになってから悩むべし
2007/12/21(金) 16:05:18ID:qqf6G1Y70
>>297モレは、管理のヒューマンエラーより現場のヒューマンエラーの方が単純で頻度が高いんで、現場での人間の作業はなるべく減らした方がいいという見解。
何せ現場だと常に時間が無いから、担当者が軽いパニックに陥り易い。順番間違えとか処理忘れとか確認忘れとかw
ミスが凡ミスのわりに事態が深刻になるからね。可能な限り機械にやらせるべきだと思ってる。
やることが赤ランプのディスクを抜いてゴミ箱(不良ボックス)に捨て、新規ディスクを持ってきて差すというだけなら、並や大抵の馬鹿ならミスは起こせないでそ
で、そのまま待機室に戻っても、チェック後にまた使えないディスクを交換汁メッセージが入ってきて同じことを繰り返すw
>>298でも自動化するなら、自動化に必要になりそうな実験のフルログを今のうちにチェックしておかなきゃならないわけで・・・
何せ現場だと常に時間が無いから、担当者が軽いパニックに陥り易い。順番間違えとか処理忘れとか確認忘れとかw
ミスが凡ミスのわりに事態が深刻になるからね。可能な限り機械にやらせるべきだと思ってる。
やることが赤ランプのディスクを抜いてゴミ箱(不良ボックス)に捨て、新規ディスクを持ってきて差すというだけなら、並や大抵の馬鹿ならミスは起こせないでそ
で、そのまま待機室に戻っても、チェック後にまた使えないディスクを交換汁メッセージが入ってきて同じことを繰り返すw
>>298でも自動化するなら、自動化に必要になりそうな実験のフルログを今のうちにチェックしておかなきゃならないわけで・・・
>298
んだすな(^_^;)
ここまでにできたこと
・1本抜いたときの振る舞いの確認
・2本目抜いたときの振る舞い確認
・3本目抜いた時の振る舞いの確認
・4本目抜いてしまった時の振る舞いの確認(^_^;)
・逆手順の振る舞いの確認
・ホットスペアの復旧手順の確認
んだすな(^_^;)
ここまでにできたこと
・1本抜いたときの振る舞いの確認
・2本目抜いたときの振る舞い確認
・3本目抜いた時の振る舞いの確認
・4本目抜いてしまった時の振る舞いの確認(^_^;)
・逆手順の振る舞いの確認
・ホットスペアの復旧手順の確認
2007/12/21(金) 16:29:44ID:1agKna8W0
ワークステーションのおとっぽくなってきた
2007/12/21(金) 17:25:33ID:2j0HIfqz0
花子の頑張りをこれからにと
2007/12/21(金) 17:25:57ID:+BCm8iSr0
>>302
いくつ?
いくつ?
2007/12/21(金) 17:30:27ID:CHWPqkdy0
運が 5 あがった!
運かよっ(^_^;)
2007/12/21(金) 17:42:07ID:qqf6G1Y70
VIPの引越しはいつ頃になる見込み?
2007/12/21(金) 17:43:50ID:fQw6QKb+0
おととい
2007/12/21(金) 18:04:49ID:CrJwCSzU0
腹回りと言われなかっただけ、マシなんじゃないかと。
2007/12/21(金) 18:11:57ID:NUG7mEm80
マァヴだって昔はアレだったんだぞ!きっと、多分…もしかしたら……
http://www.maido3.com/server/zousan/nikki3.html
>(^_^;):「おおっ、1号機(manidame)よりも凄く安定しているぞっ!」
まにだめwwwwwwww
>(^_^;):「おおっ、1号機(manidame)よりも凄く安定しているぞっ!」
まにだめwwwwwwww
2007/12/21(金) 19:13:08ID:C9WsQ49+0
意外とmanidame多いな
2007/12/21(金) 19:13:51ID:LRB1TisC0
まにだめワロタ
てか、誤字をよく見かけるwプレスリリースとかにもあったような
てか、誤字をよく見かけるwプレスリリースとかにもあったような
2007/12/21(金) 19:20:34ID:NUG7mEm80
なんてこったいwww
2007/12/22(土) 00:26:49ID:PuntH9do0
なんか、mamonoと何度か入力してたせいで手が自然にmaと入力してしまっているきがする
2007/12/22(土) 00:42:02ID:flcmVKj10
BNM<の並びによるタイプミス
2007/12/22(土) 00:52:03ID:oJ5PC4Gb0
namamonoとミスタイプする日も遠くない
2007/12/22(土) 01:12:26ID:QLE8U0vX0
namamono鯖ができたりして
2007/12/22(土) 01:16:38ID:5lJNLEVm0
すぐ腐るやん・・・
mahoroなr(ry
2007/12/22(土) 02:08:25ID:PuntH9do0
2007/12/22(土) 02:12:27ID:0YEUUSk10
>>322
ワロタwwwwwww
ワロタwwwwwww
324動け動けウゴウゴ2ちゃんねる
2007/12/22(土) 02:13:43ID:IhfkVx0o0 花子(*´∀`)ハァハァ
2007/12/22(土) 02:19:05ID:xi8lAQEK0
>>322
吹いたww
吹いたww
2007/12/22(土) 03:34:09ID:8SaVYH7L0
2007/12/22(土) 03:38:27ID:xaHumkyX0
こんなデザインがいいと思うんだ>花子
http://up2.viploader.net/pic/src/viploader544280.jpg
http://up2.viploader.net/pic/src/viploader544280.jpg
__ _
/ .\__ノ )
(_ノ フ__,ノ
ノ ( ´∀`)
/ 凵 |コ
(. l
∪、, _ ,,ノ
凵 凵
/ .\__ノ )
(_ノ フ__,ノ
ノ ( ´∀`)
/ 凵 |コ
(. l
∪、, _ ,,ノ
凵 凵
2007/12/22(土) 10:33:20ID:CgzAlJs8O
さしずめ、百式は桃か。名の通り魔物か。
この連休、花子の調教も無さそうだし、余興、余興。
この連休、花子の調教も無さそうだし、余興、余興。
330FOX ★
2007/12/26(水) 02:38:04ID:???0 もう実験は終わったのかなぁ
予定を知りたいなぁ、
予定を知りたいなぁ、
2007/12/26(水) 02:50:57ID:GUIHYggW0
ヘタにちょっかい出すと年末年始を吹っ飛ぶオカン
2007/12/26(水) 13:10:44ID:U9YqKxCBO
VIPをyutoriへ移転させないのかな。
年末年始、とくに年越しのVIPに対応するためという意味も持たせて百式作ってたような気がするんだけど。
年末年始、とくに年越しのVIPに対応するためという意味も持たせて百式作ってたような気がするんだけど。
2007/12/26(水) 13:17:36ID:qt2rqhEq0
確か進捗状況は
抜き差しのテストも終わって、ホットスペア追加等の手順も分かった
しかしSumaのようにガチャポンだけで行けないけどどうするよ?
ってな感じだったかと
負荷がかかっている状態でのテストは済んでいますが
この先もテストをする必要があるかどうかは、情勢によって変わるでしょう。
抜き差しのテストも終わって、ホットスペア追加等の手順も分かった
しかしSumaのようにガチャポンだけで行けないけどどうするよ?
ってな感じだったかと
負荷がかかっている状態でのテストは済んでいますが
この先もテストをする必要があるかどうかは、情勢によって変わるでしょう。
このあとの予定(^_^;)
あと1つだけ実験やります。予定は明日午前中。
1 一本抜く
2 ホットスペア起動→リビルド開始
3 リビルド中にホットスペア追加(が成功したとして)
4 更に一本抜く
どうなる?(^_^;)
これが終わって、16本すべてが所定の状態に戻ったら実験終了です。
あと1つだけ実験やります。予定は明日午前中。
1 一本抜く
2 ホットスペア起動→リビルド開始
3 リビルド中にホットスペア追加(が成功したとして)
4 更に一本抜く
どうなる?(^_^;)
これが終わって、16本すべてが所定の状態に戻ったら実験終了です。
2007/12/26(水) 17:04:58ID:saQQFp9E0
マァヴさん
2つほど質問させてください
・実験中、サーバーは停止しますか
・今回の勝算はいかほどでしょうか
2つほど質問させてください
・実験中、サーバーは停止しますか
・今回の勝算はいかほどでしょうか
>337
・停止するかもしれないししないかもしれない(^_^;)それを確認するための実験だし
・勝算って、どうなったら勝ちなんだろう?(^_^;)動作を確認できればいいわけなんで、勝ち負けはないと思う
・停止するかもしれないししないかもしれない(^_^;)それを確認するための実験だし
・勝算って、どうなったら勝ちなんだろう?(^_^;)動作を確認できればいいわけなんで、勝ち負けはないと思う
NGNG
停止どんとこい
VIP931で他に行けない奴らが鯖落とされたらどうなるか
いとをかし
VIP931で他に行けない奴らが鯖落とされたらどうなるか
いとをかし
340337
2007/12/26(水) 18:17:51ID:GlOSH2Vs0341マァヴ ◆jxAYUMI09s
2007/12/27(木) 14:43:37ID:Wvwp0xw60 本日の実験結果(^_^;)
やること>336
初期状態
UNIT0 0-2-3-4-5-6-7-8-9-10-11-12-13-14-15
UNIT1 1 (ホットスペア)
#2を抜いた
UNIT0 0-2X-3-4-5-6-7-8-9-10-11-12-13-14-15
UNIT1 1 (ホットスペア)
ホットスペアが起動し、#1のリビルドが始まった
UNIT0 0-1R-2X-3-4-5-6-7-8-9-10-11-12-13-14-15
抜いた#2に新品のHDDを入れ、ホットスペアに設定(#1のリビルドは進行中)
UNIT0 0-1R-3-4-5-6-7-8-9-10-11-12-13-14-15
UNIT1 2 (ホットスペア)
#3を抜いた(#1のリビルドは進行中)
UNIT0 0-1R-3X-4-5-6-7-8-9-10-11-12-13-14-15
UNIT1 2 (ホットスペア)
ホットスペアが起動し、#2のリビルドが始まった(#1と#2のリビルドは平行して進む)
UNIT0 0-1R-2R-3X-4-5-6-7-8-9-10-11-12-13-14-15
抜いた#3に新品のHDDを入れ、ホットスペアに設定(#1と#2のリビルドは進行中
UNIT0 0-1R-2R-4-5-6-7-8-9-10-11-12-13-14-15
UNIT1 3 (ホットスペア)
今ここ(^_^;)
やること>336
初期状態
UNIT0 0-2-3-4-5-6-7-8-9-10-11-12-13-14-15
UNIT1 1 (ホットスペア)
#2を抜いた
UNIT0 0-2X-3-4-5-6-7-8-9-10-11-12-13-14-15
UNIT1 1 (ホットスペア)
ホットスペアが起動し、#1のリビルドが始まった
UNIT0 0-1R-2X-3-4-5-6-7-8-9-10-11-12-13-14-15
抜いた#2に新品のHDDを入れ、ホットスペアに設定(#1のリビルドは進行中)
UNIT0 0-1R-3-4-5-6-7-8-9-10-11-12-13-14-15
UNIT1 2 (ホットスペア)
#3を抜いた(#1のリビルドは進行中)
UNIT0 0-1R-3X-4-5-6-7-8-9-10-11-12-13-14-15
UNIT1 2 (ホットスペア)
ホットスペアが起動し、#2のリビルドが始まった(#1と#2のリビルドは平行して進む)
UNIT0 0-1R-2R-3X-4-5-6-7-8-9-10-11-12-13-14-15
抜いた#3に新品のHDDを入れ、ホットスペアに設定(#1と#2のリビルドは進行中
UNIT0 0-1R-2R-4-5-6-7-8-9-10-11-12-13-14-15
UNIT1 3 (ホットスペア)
今ここ(^_^;)
2007/12/27(木) 14:48:55ID:2aQq63YH0
おぉ(驚)!
やっぱり花子は「かなり賢い」。
やっぱり花子は「かなり賢い」。
343動け動けウゴウゴ2ちゃんねる
2007/12/27(木) 14:49:12ID:tYogZy+/0 毎回ホットスワップの場所変わるの?
エラーランプとか無いみたいだし交換要員が間違ったりしないのかな?
エラーランプとか無いみたいだし交換要員が間違ったりしないのかな?
344マァヴ ◆jxAYUMI09s
2007/12/27(木) 14:50:15ID:Wvwp0xw60 わかったこと
1 障害が発生し、ホットスワップが起動したら、障害HDDを新品に交換し、ホットスワップに設置できる
2 リビルド中に新たな障害が発生しても、ホットスワップがあれば機能する
ということで
「実行されているリビルドが2つ以下ならば、故障したHDDをホットスワップ化する」
ことで、連続した障害に対する耐性を向上できることが判明(^_^;)
ただし、現状(つまりリビルド2つ+ホットスワップ)では冗長性は0です。
1 障害が発生し、ホットスワップが起動したら、障害HDDを新品に交換し、ホットスワップに設置できる
2 リビルド中に新たな障害が発生しても、ホットスワップがあれば機能する
ということで
「実行されているリビルドが2つ以下ならば、故障したHDDをホットスワップ化する」
ことで、連続した障害に対する耐性を向上できることが判明(^_^;)
ただし、現状(つまりリビルド2つ+ホットスワップ)では冗長性は0です。
345マァヴ ◆jxAYUMI09s
2007/12/27(木) 14:51:34ID:Wvwp0xw60 >343
毎回変わります(^_^;)
ランプは点灯しない(というかない)ので、デッキ番号とポート番号で管理します。
デッキ番号とポート番号は一致しています。
毎回変わります(^_^;)
ランプは点灯しない(というかない)ので、デッキ番号とポート番号で管理します。
デッキ番号とポート番号は一致しています。
346動け動けウゴウゴ2ちゃんねる
2007/12/27(木) 15:00:33ID:Hw18wF0oO >>345
この後の予定は?
この後の予定は?
347マァヴ ◆jxAYUMI09s
2007/12/27(木) 15:01:37ID:Wvwp0xw60 >346
実験はこれで終了ですー(^_^;)ってことでいよいよ本題の「memories 2.0建造」かな?
実験はこれで終了ですー(^_^;)ってことでいよいよ本題の「memories 2.0建造」かな?
348マァヴ ◆jxAYUMI09s
2007/12/27(木) 15:16:32ID:Wvwp0xw60 現在まだリビルド中(^_^;)ちょいと待ってね
RAIDアレイがすべて平常に戻って、予備HDDがすべて準備完了したら終了宣言の予定
RAIDアレイがすべて平常に戻って、予備HDDがすべて準備完了したら終了宣言の予定
2007/12/27(木) 15:18:46ID:dICAS6wi0
お疲れ様です
実験は大成功だったようで、喜ばしいことです
花子のささやきも働いていて心強いですね
2.0いよいよ始動ですか
実験は大成功だったようで、喜ばしいことです
花子のささやきも働いていて心強いですね
2.0いよいよ始動ですか
351マァヴ ◆jxAYUMI09s
2007/12/27(木) 15:20:13ID:Wvwp0xw60 今回は予測通りの動きを示しました(^_^;)
予想外だったのは、リビルドが2つ平行して進む点。
よくできてます>花子
予想外だったのは、リビルドが2つ平行して進む点。
よくできてます>花子
353マァヴ ◆jxAYUMI09s
2007/12/27(木) 15:26:39ID:Wvwp0xw60 >352
RAID5では二つてこと自体発生しないわけで(^_^;)その状況では破綻してるし
RAID6の実装として、一台づつ順次リビルドではなくて、両方同時にリビルドするようになっているようです。
どっちがいいのかっていうと、一台づつのほうが、冗長性+1に速く到達する気もするんですが(^_^;)
RAID5では二つてこと自体発生しないわけで(^_^;)その状況では破綻してるし
RAID6の実装として、一台づつ順次リビルドではなくて、両方同時にリビルドするようになっているようです。
どっちがいいのかっていうと、一台づつのほうが、冗長性+1に速く到達する気もするんですが(^_^;)
2007/12/27(木) 15:30:50ID:KfGPKG8+0
1TBのデータ転送、気が遠くなるくらい時間かかりそう。
なるほど、rebuild の間は wait するんじゃないか、って思っていたということですか。>>353
その動作はなんとなくですが、configurable な気がします。
設定を変えるかどうかは別にして、マニュアルをあたっておくといいかも。
その動作はなんとなくですが、configurable な気がします。
設定を変えるかどうかは別にして、マニュアルをあたっておくといいかも。
356マァヴ ◆jxAYUMI09s
2007/12/27(木) 15:34:12ID:Wvwp0xw60 >355
あいあい(^_^;)確認します
とはいえ、現状で満足な状態なので、あえて1台づつモードは目指しません
原則、デフォルト(つまりメーカー推奨)を使いこなします。
あいあい(^_^;)確認します
とはいえ、現状で満足な状態なので、あえて1台づつモードは目指しません
原則、デフォルト(つまりメーカー推奨)を使いこなします。
2007/12/27(木) 15:38:52ID:/50apTwy0
>>353原理的に0→+1→+2よりも0→+2の方が、ざっと40%程度早いです。
0→+1と0→+2の差はだいたい6%ぐらいしかないはずなので、気にするほどではないと思われます。
0→+1と0→+2の差はだいたい6%ぐらいしかないはずなので、気にするほどではないと思われます。
359マァヴ ◆jxAYUMI09s
2007/12/27(木) 16:59:56ID:Wvwp0xw60 ささやいた(^_^;)
リビルド完了〜
リビルド完了〜
■ このスレッドは過去ログ倉庫に格納されています
ニュース
- TKO木下、ホテル強制連行&性被害指摘され動画で謝罪 「強制」否定も女性側は「いいえ!!!」 [ネギうどん★]
- 【埼玉】八潮市の交差点で道路が陥没しトラック落下、穴が直径40m以上に拡大…運転手救出へスロープ設置工事始まる★66 [Ailuropoda melanoleuca★]
- 「消えたコメ」茶わん26億杯分 在庫分散、国も把握できず ★2 [おっさん友の会★]
- 中居正広さんトラブル、文春 “訂正” の波紋 街の人「直すくらいなら書くなよ」「メディア不信に」厳しい声 [ネギうどん★]
- 鶴瓶 インスタに「きっと明日いい天気」縁起のいい写真を公開 「がんばれ!負けるな」エール続々 [ひかり★]
- スシロー、鶴瓶の今後の起用は「社内で検討中」 [ひかり★]
- 【速報】自民党「ディープシークをダウンロードしないで」 [323529167]
- 【緊急】なんでホロライブスレが立ってないの❓❓❓❓😱
- 【貧困悲報】日本人、海外に行かなくなる🥺 [616817505]
- 【悲報】少子化の原因、やっぱり『男』だった…「男のくせに低年収。低年収なのに不細工で性格が悪い男が増えたことが原因」452万 [257926174]
- 【悲報】複合カフェ「快活CLUB」個人情報漏えい、対象者が大幅拡大。過去10年間に来店実績があればアウト。なお補償はなしのジャップ仕草 [679326974]
- 医者になった不細工がギリ付き合える女子のスペック