2ちゃんねるの過去ログを一手に引き受けている
oyster902.peko.2ch.net+sumaもデビューから3年。
1.5TBのストレージはそろそろ満杯だし、フロントエンドも結構いっぱいいっぱい
そろそろ次の過去ログ倉庫を作らないとまずいなぁ・・・・
ってことでmemories 2.0建造作戦「カッパドキア」発動(^_^;)
↓で、どんな仕組みにする?(^_^;)
【カッパドキア】memories 2.0建造委員会【過去ログ倉庫】
■ このスレッドは過去ログ倉庫に格納されています
2007/09/27(木) 22:20:10ID:MxVpv2xI0
過去ログはPPMdで圧縮して保存すればいいんじゃね?
専ブラ側に対応させる必要があるけど。
専ブラ側に対応させる必要があるけど。
2007/09/28(金) 03:41:51ID:MvNTpds50
速くてデカイのが善い
2007/09/28(金) 09:43:28ID:NzopMe000
>>57
そんな手間をかけるなら、全部gzにして普通に読めるようにした方がいいじゃん・・・
そんな手間をかけるなら、全部gzにして普通に読めるようにした方がいいじゃん・・・
2007/09/28(金) 11:48:23ID:KZOOcif30
今回の作戦は、過去ログの位置づけ(ビューア等がないと読めないとか)の変更も有り得る?
61stream ◆PNstream2s
2007/09/28(金) 20:41:23ID:qj8SOHHv0 大前提としてRAIDはバックアップの完全な代替にはならない
(例:pc2事件)
memoriesは常に最新のバックアップが必要なわけではない。
memories格納をしたときのみ。それ以外は1日1回のバックアップすら必要ない。
ならばRAID1/5/10のアドバンテージの1つは必要ない。
(例:pc2事件)
memoriesは常に最新のバックアップが必要なわけではない。
memories格納をしたときのみ。それ以外は1日1回のバックアップすら必要ない。
ならばRAID1/5/10のアドバンテージの1つは必要ない。
ZFS が使えるという前提なら,ファイルシステムレベルで圧縮できるし,
RAID 組むにしてもバックアップするにしても比較的やりやすいとは思いますが,
今だと時期的には微妙か...... 7.xR がある程度こなれた頃ならいいんでしょうけど.
RAID 組むにしてもバックアップするにしても比較的やりやすいとは思いますが,
今だと時期的には微妙か...... 7.xR がある程度こなれた頃ならいいんでしょうけど.
2007/09/29(土) 23:15:38ID:Ei5MPZ+H0
>>62
思い切ってSolaris10導入
思い切ってSolaris10導入
>>62
なんで句読点半角なの?クソムカツク。死ね。
なんで句読点半角なの?クソムカツク。死ね。
2007/09/30(日) 01:29:33ID:DJNESnt+0
全角に見えるが
2007/09/30(日) 12:40:36ID:eUWZJ/rc0
「、」「。」でなくて「,」「.」を使ってるのが気にいらない、っていうんでしょう。
卒論を書き終わった時には私も体が反射的に「,」「.」で書くようになっていた
ものでした。パソコン雑誌でも「,」「.」に統一してた雑誌もあったし「ムカツク、氏ね」
とまで言うようなことじゃないと思う。
卒論を書き終わった時には私も体が反射的に「,」「.」で書くようになっていた
ものでした。パソコン雑誌でも「,」「.」に統一してた雑誌もあったし「ムカツク、氏ね」
とまで言うようなことじゃないと思う。
2007/09/30(日) 12:58:30ID:o3Eq4gPi0
解説に見せかけた自分語り乙
2007/09/30(日) 13:31:32ID:euUYozcX0
>>62-63
たしかに無償だから導入は容易だけど・・・・・
たしかに無償だから導入は容易だけど・・・・・
2007/09/30(日) 13:58:42ID:o3Eq4gPi0
無償だから容易って馬鹿だろお前
どれくらいのスペックがあればいいんでしょうね?(^_^;)>CPU&メモリ
現状で
1 全然余裕ありすぎてもったいない
2 そこそこ忙しい
3 足りてない
現状で
1 全然余裕ありすぎてもったいない
2 そこそこ忙しい
3 足りてない
2007/10/01(月) 16:07:15ID:+v5dOAKp0
たっぷり余裕を持ってHTML化しようぜ
2007/10/01(月) 19:47:37ID:xMJ3M07X0
>>70
Intel、45nm製品の11月12日投入を正式発表
http://pc.watch.impress.co.jp/docs/2007/0920/idf02.htm
>11月12日に、45nmプロセスルールで製造される最初の製品となるCore 2 Extreme QX9650を投入する。
是非これを使ってほしい。
Intel、45nm製品の11月12日投入を正式発表
http://pc.watch.impress.co.jp/docs/2007/0920/idf02.htm
>11月12日に、45nmプロセスルールで製造される最初の製品となるCore 2 Extreme QX9650を投入する。
是非これを使ってほしい。
2007/10/01(月) 20:19:06ID:ICxPQ0ud0
いや、どーせビッグサーバー使うんだろー。
あれもっと安かったらいいのにな。クソ高いからな
あれもっと安かったらいいのにな。クソ高いからな
おなかこわした、、、。本日自宅で療養中。
>>70
今のmemoriesはOpteron 244 dualでメモリ2Gですが、
特にCPUやメモリが苦しいと感じたことはないですね。
memoriesは書き込みがないので、新機能(過去ログ検索とか)入れないなら、
基本的には「丈夫でしっかりとしたディスク & I/O」(←重要)と、
「そこそこのCPUとメモリ(今と同じかそれ以上)」があれば、
概ねいけるんではないかなと。
>>70
今のmemoriesはOpteron 244 dualでメモリ2Gですが、
特にCPUやメモリが苦しいと感じたことはないですね。
memoriesは書き込みがないので、新機能(過去ログ検索とか)入れないなら、
基本的には「丈夫でしっかりとしたディスク & I/O」(←重要)と、
「そこそこのCPUとメモリ(今と同じかそれ以上)」があれば、
概ねいけるんではないかなと。
2Gは少なくない?
で、コンセプトを決めるのがきっといいんでしょうね。
このサーバは、
一にデータの信頼性(データが壊れない and/or 壊れても防御機構がある)、
二にデータの安定性(データの読み出し要求に安定して答え続ける)、
三にデータの読み出し性能(みんなで読んでもI/Oパフォーマンスが低下しない)
というかんじだと思うので、その方面で考えることになるのかなと。
>>77
それほど高価なものではないので、
いまどきなら4Gでもよいかなと。
このサーバは、
一にデータの信頼性(データが壊れない and/or 壊れても防御機構がある)、
二にデータの安定性(データの読み出し要求に安定して答え続ける)、
三にデータの読み出し性能(みんなで読んでもI/Oパフォーマンスが低下しない)
というかんじだと思うので、その方面で考えることになるのかなと。
>>77
それほど高価なものではないので、
いまどきなら4Gでもよいかなと。
そんなわけで、今のmemoriesのスペック:
CPU: Opteron 244 dual
メモリ: 2G Bytes
HDD: システムディスク SCSI 36G Bytes RAID1
(SCSIカード: Adaptec SCSI RAID 2120S)
外部インタフェースカード: Qlogic ISP 2300 PCI FC-AL Adapter
外部データディスク: SATA 250G Bytes x 8 (7台でRAID5、1台ホットスペア)
(*1)ただし今ついているディスクは通常のATA 100 x 8
I/F: Fibre Channel
OS: FreeBSD 5.3R/amd64
RAID5なので1台分減って 250G x 6 = 1.5T になって、
minfree 8% 分は開放されない(めいっぱい使うとパフォーマンスが下がる)ので、
約1.3T ということになると。
CPU: Opteron 244 dual
メモリ: 2G Bytes
HDD: システムディスク SCSI 36G Bytes RAID1
(SCSIカード: Adaptec SCSI RAID 2120S)
外部インタフェースカード: Qlogic ISP 2300 PCI FC-AL Adapter
外部データディスク: SATA 250G Bytes x 8 (7台でRAID5、1台ホットスペア)
(*1)ただし今ついているディスクは通常のATA 100 x 8
I/F: Fibre Channel
OS: FreeBSD 5.3R/amd64
RAID5なので1台分減って 250G x 6 = 1.5T になって、
minfree 8% 分は開放されない(めいっぱい使うとパフォーマンスが下がる)ので、
約1.3T ということになると。
で、当時こんなかんじでハードウェア決めたと記憶。
・インタフェースカードと64bitでI/Oしたいので64bit版OSを入れた
(FreeBSD 4.xだと1Tまでしかファイルシステムを作れないので、5.xにしたという意味もあった)
・システムディスクはRAID 1で組んだ
・信頼性を重視し、I/FはFibre Channelにした
・I/Oはものすごい高速じゃなくてもいいので、
ATA で RAID5 を組める外部HDDストレージ(Suma)にした
(SCSI HDDに比べて安価で大容量なRAIDを組める)
・インタフェースカードと64bitでI/Oしたいので64bit版OSを入れた
(FreeBSD 4.xだと1Tまでしかファイルシステムを作れないので、5.xにしたという意味もあった)
・システムディスクはRAID 1で組んだ
・信頼性を重視し、I/FはFibre Channelにした
・I/Oはものすごい高速じゃなくてもいいので、
ATA で RAID5 を組める外部HDDストレージ(Suma)にした
(SCSI HDDに比べて安価で大容量なRAIDを組める)
で、外部I/FでのRAID5 + ホットスペアという現在の構成はかなりうまく機能していて、
これまでに何度か、HDDの破損からデータを守っているです。
確かこれまでにHDDが3回ぐらい壊れたのをすべてうまく乗り切っています。
SumaストレージはHDDが壊れたのを認識すると、
1) そのHDDをRAID5から自動切り離し
2) ホットスペアから自動的にRAID5に組み入れ → RAID5自動復活
3) 1) のディスクのところに赤ランプ点灯 → PIEでディスク差し替え
→ 差し替えられたディスクは自動的にホットスペアに組み入れ
という動作をするです。結構よくできている。
ただしそのためには上記のための設定が必要です(Suma側で)。
この機能は、新memoriesでもきっと役に立つかなと。
というかこの機能はぜひ今度のにも入れたい。
これまでに何度か、HDDの破損からデータを守っているです。
確かこれまでにHDDが3回ぐらい壊れたのをすべてうまく乗り切っています。
SumaストレージはHDDが壊れたのを認識すると、
1) そのHDDをRAID5から自動切り離し
2) ホットスペアから自動的にRAID5に組み入れ → RAID5自動復活
3) 1) のディスクのところに赤ランプ点灯 → PIEでディスク差し替え
→ 差し替えられたディスクは自動的にホットスペアに組み入れ
という動作をするです。結構よくできている。
ただしそのためには上記のための設定が必要です(Suma側で)。
この機能は、新memoriesでもきっと役に立つかなと。
というかこの機能はぜひ今度のにも入れたい。
>>81
> 1) そのHDDをRAID5から自動切り離し
> 2) ホットスペアから自動的にRAID5に組み入れ → RAID5自動復活
> 3) 1) のディスクのところに赤ランプ点灯 → PIEでディスク差し替え
> → 差し替えられたディスクは自動的にホットスペアに組み入れ
こんなかんじですね。
最初の状態:
O O O O O O O H
↓
3本目のHDDが故障:
O O x O O O O H
↓
HDD自動切り離し、RAID組み入れ:
O O x O O O O O
↓
HDD交換、ホットスペアに
O O H O O O O O
↓
上に戻る
> 1) そのHDDをRAID5から自動切り離し
> 2) ホットスペアから自動的にRAID5に組み入れ → RAID5自動復活
> 3) 1) のディスクのところに赤ランプ点灯 → PIEでディスク差し替え
> → 差し替えられたディスクは自動的にホットスペアに組み入れ
こんなかんじですね。
最初の状態:
O O O O O O O H
↓
3本目のHDDが故障:
O O x O O O O H
↓
HDD自動切り離し、RAID組み入れ:
O O x O O O O O
↓
HDD交換、ホットスペアに
O O H O O O O O
↓
上に戻る
先生はりきってるなぁ
そんで、私は最近のストレージのトレンドを追いきれていないので、
最近はどんな構成が流行りなのか、どのへん見て勉強すればよいのか、
そのへんを教えていただけると、とてもうれしいかも。
最近はどんな構成が流行りなのか、どのへん見て勉強すればよいのか、
そのへんを教えていただけると、とてもうれしいかも。
2007/10/01(月) 23:16:23ID:kNtjOHEc0
HDDに関しては
最近seagateがニアラインストレージ用のをだしてるな。
値段は二倍だが。今はBarracuda ES.2ってので1TBを出してる。
ぶっちゃけここまでやらんでも民間向けので多重化したほうが良いだろうけど。。。
http://ascii24.com/news/i/tech/article/2005/09/21/658112-000.html
それ以外のsataはどれも3Gbps(300MB/S)NCQをサポートしてる。
どれでも大差ないと思うので好きなものでよいと思う。
さすがにpataは選択外だろうし。
http://www.watch.impress.co.jp/akiba/hotline/20070929/p_hdd.html
FC用のインターフェースまではわからん。
最近は金欠でエンタープライズ方面はまったく情報を収集してないので。。。
民間の情報じゃ役に立たないだろうし、
必要なのはsataをRAID5でFC接続できるディスクアレイとインターフェイスの情報だろうから
全く当てが外れたものだろうけど、一応。
MB上のものに関しては、あまり派手に動かないなら消費電力を抑えた構成を狙って、
そっち方面からの安定性を求めてみるのも良いかと思いました。
最近seagateがニアラインストレージ用のをだしてるな。
値段は二倍だが。今はBarracuda ES.2ってので1TBを出してる。
ぶっちゃけここまでやらんでも民間向けので多重化したほうが良いだろうけど。。。
http://ascii24.com/news/i/tech/article/2005/09/21/658112-000.html
それ以外のsataはどれも3Gbps(300MB/S)NCQをサポートしてる。
どれでも大差ないと思うので好きなものでよいと思う。
さすがにpataは選択外だろうし。
http://www.watch.impress.co.jp/akiba/hotline/20070929/p_hdd.html
FC用のインターフェースまではわからん。
最近は金欠でエンタープライズ方面はまったく情報を収集してないので。。。
民間の情報じゃ役に立たないだろうし、
必要なのはsataをRAID5でFC接続できるディスクアレイとインターフェイスの情報だろうから
全く当てが外れたものだろうけど、一応。
MB上のものに関しては、あまり派手に動かないなら消費電力を抑えた構成を狙って、
そっち方面からの安定性を求めてみるのも良いかと思いました。
2007/10/01(月) 23:28:39ID:ruL4sNZ30
大和民族原点回帰日出国日本∴純和風紫檀製木函禿望!
2007/10/02(火) 00:08:34ID:DlIGWiUk0
>82
その仕組みって、何が担ってるんだろう?(^_^;)
RAIDコントローラ?
ドライバ?
アプリケーション?
その仕組みって、何が担ってるんだろう?(^_^;)
RAIDコントローラ?
ドライバ?
アプリケーション?
OS側からみると単に、FibreChannel I/F経由で
大きな外部ディスクが1台だけつながっているように見えます。
そのディスクが実はRAID 5構成であるということは、
OSは知りません。
dmesg的にはこんなかんじ。
isp0 が FibreChannel のコントローラで、
da0 が Suma ストレージによって設定されたディスクアレイ。
(OSからは1つのディスクに見える)
da0 at isp0 bus 0 target 0 lun 0
da0: <IFT A16F-G1A2 341B> Fixed Direct Access SCSI-3 device
da0: 200.000MB/s transfers, Tagged Queueing Enabled
da0: 1429284MB (2927173632 512 byte sectors: 255H 63S/T 182208C)
大きな外部ディスクが1台だけつながっているように見えます。
そのディスクが実はRAID 5構成であるということは、
OSは知りません。
dmesg的にはこんなかんじ。
isp0 が FibreChannel のコントローラで、
da0 が Suma ストレージによって設定されたディスクアレイ。
(OSからは1つのディスクに見える)
da0 at isp0 bus 0 target 0 lun 0
da0: <IFT A16F-G1A2 341B> Fixed Direct Access SCSI-3 device
da0: 200.000MB/s transfers, Tagged Queueing Enabled
da0: 1429284MB (2927173632 512 byte sectors: 255H 63S/T 182208C)
2007/10/02(火) 14:44:53ID:vmVUQk/C0
稼動中のSumaってSATAサポートしていましたかね?
それができれば差し替えはイランと思うのですけれど。
できないようならハードの差し替えを検討したほうがいいのかもしれませんので、
>>51に今売られている新世代Sumaのアドレスおいておきましたので参照してください
ところでT-Bananaにはカードさせましたかね?たぶん行けるとは思うのですけれど。
それができれば差し替えはイランと思うのですけれど。
できないようならハードの差し替えを検討したほうがいいのかもしれませんので、
>>51に今売られている新世代Sumaのアドレスおいておきましたので参照してください
ところでT-Bananaにはカードさせましたかね?たぶん行けるとは思うのですけれど。
>90
ってことはRAIDコントローラってことか(^_^;)パーツ的には
その機能が実現できるRAIDコントローラってどうやって見分けるのだろう?
ってことはRAIDコントローラってことか(^_^;)パーツ的には
その機能が実現できるRAIDコントローラってどうやって見分けるのだろう?
>91
banana、Tiger,Cobraに挿せるカードなら挿せます(^_^;)
banana、Tiger,Cobraに挿せるカードなら挿せます(^_^;)
>>93
64bit いけるんでしたっけ。
64bit いけるんでしたっけ。
2007/10/02(火) 15:02:49ID:vmVUQk/C0
>>94
今売っているSATAディスクを追加でさせないかしらというとるんですけど。
当時の構築の模様を生暖かく突っ込んでいましたけれど、そのときの記憶によると、
もともとディスクを追加する想定をもって実装を半分にとどめた経緯もありますし。
今売っているSATAディスクを追加でさせないかしらというとるんですけど。
当時の構築の模様を生暖かく突っ込んでいましたけれど、そのときの記憶によると、
もともとディスクを追加する想定をもって実装を半分にとどめた経緯もありますし。
>>98
今となっては、ちと微妙かもですね。
・2004年のはじめの、SATAが「はしり」の頃の製品だった
・当時出てなかった、250Gよりでかいディスク刺しても大丈夫か
・違うHDD追加して、今入っているRAIDに影響出ないか
とか考えると、同種のHDDを単に追加する
(かつ今のものは触らずに、別のRAIDアレイを構成する)以外は
私はあんまり気が進まないです。
今うまく動いているものを触るのは、何かあったらって考えるとちょっとこわいなと。
で、memories "2.0"というぐらいで、
現役のサーバでここで一度作ってみる(構成検討から入って)というのは、
いろんな意味で役に立つんではないかなと。
今となっては、ちと微妙かもですね。
・2004年のはじめの、SATAが「はしり」の頃の製品だった
・当時出てなかった、250Gよりでかいディスク刺しても大丈夫か
・違うHDD追加して、今入っているRAIDに影響出ないか
とか考えると、同種のHDDを単に追加する
(かつ今のものは触らずに、別のRAIDアレイを構成する)以外は
私はあんまり気が進まないです。
今うまく動いているものを触るのは、何かあったらって考えるとちょっとこわいなと。
で、memories "2.0"というぐらいで、
現役のサーバでここで一度作ってみる(構成検討から入って)というのは、
いろんな意味で役に立つんではないかなと。
検索してたらみつけたので貼っておこう。
最近はRAID 6というのがあるのね(知りませんでした)。
普及が始まった「RAID 6」とは
http://www.atmarkit.co.jp/fsys/keyword/019raid6/019raid6.html
最近はRAID 6というのがあるのね(知りませんでした)。
普及が始まった「RAID 6」とは
http://www.atmarkit.co.jp/fsys/keyword/019raid6/019raid6.html
2007/10/02(火) 17:14:46ID:vmVUQk/C0
2007/10/02(火) 17:19:46ID:vmVUQk/C0
ホットスペアも ZFS で使えますね.FreeBSD 方面の実装状況はわかりませんが.
基本的に Polywell の製品を使うという方針だと思うので,
今の Suma のアップデート版を使うことになるのだろうとは思いますが,
Polywell 以外だとこんなのもあったりしますね.
http://www.sun.com/servers/x64/x4500/
500GB の SATA ドライブを 48 個搭載可能で最大 24TB.
まぁ,FreeBSD で ZFS がちゃんと使えるまでは今のに HDD をちょこちょこ足しながら
少しずつ延命しつつ,ZFS が使えるようになったら新調するってのも一案かもですね.
2〜3年程度でまた次のを投入ってことなら,ZFS はまた次の機会ってことで
割り切っていいと思いますが,>>28 あたりでは「6年」とかいう話もありますし,
う〜むって感じで......
基本的に Polywell の製品を使うという方針だと思うので,
今の Suma のアップデート版を使うことになるのだろうとは思いますが,
Polywell 以外だとこんなのもあったりしますね.
http://www.sun.com/servers/x64/x4500/
500GB の SATA ドライブを 48 個搭載可能で最大 24TB.
まぁ,FreeBSD で ZFS がちゃんと使えるまでは今のに HDD をちょこちょこ足しながら
少しずつ延命しつつ,ZFS が使えるようになったら新調するってのも一案かもですね.
2〜3年程度でまた次のを投入ってことなら,ZFS はまた次の機会ってことで
割り切っていいと思いますが,>>28 あたりでは「6年」とかいう話もありますし,
う〜むって感じで......
個人的には ZFS に限りない魅力を感じていますが、
それよりは今の方式(OSでしないで箱でする)のほうがカタいかもなぁ、とか。
ZFS は今回ブランニューの初採用(しかも 7.0R はまだリリースされていない)で、
プロダクト(商品)としては、ややあれなのかも。
それよりは今の方式(OSでしないで箱でする)のほうがカタいかもなぁ、とか。
ZFS は今回ブランニューの初採用(しかも 7.0R はまだリリースされていない)で、
プロダクト(商品)としては、ややあれなのかも。
2007/10/02(火) 19:26:50ID:vmVUQk/C0
2007/10/02(火) 22:22:24ID:lyXI61Ga0
RAID6とかいらんですよ
コストと用途で0,0+1,5から選択するのでいいと思うです
DISKが壊れたのに長期間気がつかないなら6もありかもしれませんが・・・
コストと用途で0,0+1,5から選択するのでいいと思うです
DISKが壊れたのに長期間気がつかないなら6もありかもしれませんが・・・
>>104 それはそうなんですよね.Solaris 上では正式リリースされて
ある程度の期間経っていて,あまり悪い話は聞かない,少なくとも
ZFS に欠陥があってデータ破損したみたいな致命的な問題は
起きてはいないようですが,FreeBSD 上ではまだ未知数でしょうし.
個人的心情としては,memories2 を5〜6年使うとなると,
次の機会は相当先になるんで(そもそも,その頃まで
2ch が果たして存続してるかどうかも...?),タイミング的には
心惜しい気はするんですよね.ZFS の利点の一つである
ファイルシステムレベルでの圧縮も,過去ログでこそ
生かされるもののように思いますし.今の memories が
あと1〜2年ぐらい使えればよかったのになぁ,と......
今すぐ memories2 を作らなければならない,
ということなら仕方ないんですが......
まぁ流れ的には今作らないと仕方ないということのようなので,
基本的には今の memories の仕様を大筋で踏襲しつつ,
鯖のスペックや Suma などをアップグレードするって感じですかね......
ある程度の期間経っていて,あまり悪い話は聞かない,少なくとも
ZFS に欠陥があってデータ破損したみたいな致命的な問題は
起きてはいないようですが,FreeBSD 上ではまだ未知数でしょうし.
個人的心情としては,memories2 を5〜6年使うとなると,
次の機会は相当先になるんで(そもそも,その頃まで
2ch が果たして存続してるかどうかも...?),タイミング的には
心惜しい気はするんですよね.ZFS の利点の一つである
ファイルシステムレベルでの圧縮も,過去ログでこそ
生かされるもののように思いますし.今の memories が
あと1〜2年ぐらい使えればよかったのになぁ,と......
今すぐ memories2 を作らなければならない,
ということなら仕方ないんですが......
まぁ流れ的には今作らないと仕方ないということのようなので,
基本的には今の memories の仕様を大筋で踏襲しつつ,
鯖のスペックや Suma などをアップグレードするって感じですかね......
2007/10/02(火) 23:28:31ID:WJXRiLmD0
>>107
Solaris10採用ってのはなし?
Solaris10採用ってのはなし?
>>108 私では判断しかねますが,PIE の鯖を使う限りは
OS を別のにするってのは難しいんじゃないかなぁ,と......
OS を別のにするってのは難しいんじゃないかなぁ,と......
2007/10/02(火) 23:38:32ID:39tKBnnG0
2007/10/03(水) 00:03:59ID:qciv7Kyp0
>111
熟読した(^_^;)
熟読した(^_^;)
2007/10/05(金) 00:06:55ID:ddg/cPKI0
>>61
遅レスだけど、
> memoriesは常に最新のバックアップが必要なわけではない。
> memories格納をしたときのみ。それ以外は1日1回のバックアップすら必要ない。
過去ログ削除があるから、データの更新が発生するのでは?
遅レスだけど、
> memoriesは常に最新のバックアップが必要なわけではない。
> memories格納をしたときのみ。それ以外は1日1回のバックアップすら必要ない。
過去ログ削除があるから、データの更新が発生するのでは?
2007/10/06(土) 03:47:49ID:2P7Z4HZh0
過去ログ削除って、どのぐらいの頻度で発生するのでしょうか
2007/10/06(土) 08:22:18ID:N03RyRrG0
ほとんどめったにない
新規収容時にバックアップをとれば十分補完は果たせそう
新規収容時にバックアップをとれば十分補完は果たせそう
2007/10/06(土) 10:58:05ID:qdW/YY+l0
どこまで巻き戻ったかと、いつ削除したかを照合出来ないと、
消したはずのログが人知れず復活したとかなりそうだね
システム面より運用面の人に話を聞いたほうがよさげ
消したはずのログが人知れず復活したとかなりそうだね
システム面より運用面の人に話を聞いたほうがよさげ
次期主力bananaサーバ建造委員会 その10
http://qb5.2ch.net/test/read.cgi/operate/1191687532/461
> あーーーー、そうか
> memoriesが満タンなんだった
> ということはこれが急務と、
> 【カッパドキア】memories 2.0建造委員会【過去ログ倉庫】
> http://qb5.2ch.net/test/read.cgi/operate/1190270743/
で、楽しい年末のためにはまずこれと。
ここまでの議論で
サーバ + I/Fカード + 頭いいディスク箱
というかんじなところまではなんとなく合意な気がするので、
それぞれの仕様を詰めていく時期かなと。
http://qb5.2ch.net/test/read.cgi/operate/1191687532/461
> あーーーー、そうか
> memoriesが満タンなんだった
> ということはこれが急務と、
> 【カッパドキア】memories 2.0建造委員会【過去ログ倉庫】
> http://qb5.2ch.net/test/read.cgi/operate/1190270743/
で、楽しい年末のためにはまずこれと。
ここまでの議論で
サーバ + I/Fカード + 頭いいディスク箱
というかんじなところまではなんとなく合意な気がするので、
それぞれの仕様を詰めていく時期かなと。
以下、memories 1.0 での実績も勘案した勝手な試案:
○サーバ・OS
現memoriesは後のcobraサーバベース(ただしメモリ2G)で、
OSは64bit。
2ちゃんねるのような用途なら、
T-banana + 4G mem に増強、ぐらいの強さがあればいけると思われ。
OS は 64bit がよりよい気がするけど、32bit でもできなくはないですね。
○I/Fカード
現memotriesのI/FカードはFiberChannel 2G。
信頼性やデータバスの容量を考えると、
正常進化でFiberChannel 4Gあたりかなと。
あるいは、SAS (Serial Attached SCSI)あたり。
ここではとりあえず、正常進化版で考えてみる。
(続く)
○サーバ・OS
現memoriesは後のcobraサーバベース(ただしメモリ2G)で、
OSは64bit。
2ちゃんねるのような用途なら、
T-banana + 4G mem に増強、ぐらいの強さがあればいけると思われ。
OS は 64bit がよりよい気がするけど、32bit でもできなくはないですね。
○I/Fカード
現memotriesのI/FカードはFiberChannel 2G。
信頼性やデータバスの容量を考えると、
正常進化でFiberChannel 4Gあたりかなと。
あるいは、SAS (Serial Attached SCSI)あたり。
ここではとりあえず、正常進化版で考えてみる。
(続く)
○ディスク箱
現memoriesはPolywell Sumaストレージ
(EonStor A16F-G1A2 の OEM)
http://www.infortrend.com/taiwan/main/2_product/a16f-g1a2.asp
上記は既に新製品になっていて、現在はこんなラインナップの模様。
http://www.infortrend.com/taiwan/main/2_product/sata-a.asp
いろいろあるけど、スペックをまとめると、
http://www.infortrend.com/taiwan/main/2_product/sata1-camparison.asp
こんなかんじになると。
(続き)
現memoriesはPolywell Sumaストレージ
(EonStor A16F-G1A2 の OEM)
http://www.infortrend.com/taiwan/main/2_product/a16f-g1a2.asp
上記は既に新製品になっていて、現在はこんなラインナップの模様。
http://www.infortrend.com/taiwan/main/2_product/sata-a.asp
いろいろあるけど、スペックをまとめると、
http://www.infortrend.com/taiwan/main/2_product/sata1-camparison.asp
こんなかんじになると。
(続き)
で、スペック表とにらめっこしてみると、
http://www.infortrend.com/taiwan/main/2_product/sata-a.asp
の上から三番目の、
EonStor A16F-G2430
http://www.infortrend.com/taiwan/main/2_product/a16f-g2430.asp
これですかね。
それの1つ上(2番目のやつ)だとコントローラとかも二重化されてくるけど、
ここまでは要らないような気がします。その分高いだろうし。
http://www.infortrend.com/taiwan/main/2_product/sata-a.asp
の上から三番目の、
EonStor A16F-G2430
http://www.infortrend.com/taiwan/main/2_product/a16f-g2430.asp
これですかね。
それの1つ上(2番目のやつ)だとコントローラとかも二重化されてくるけど、
ここまでは要らないような気がします。その分高いだろうし。
で、I/F カードですが、ちと調べてみると、
今のmemoriesのI/Fカードの進化版、
Qlogic の ISP 2422 は、FreeBSD 6.2R ではまだサポートされてないみたい。
うむむ。
コード読むとサポート入っているように見えるけど、
/usr/src/sys/dev/isp/isp_pci.c:
#if 0
case PCI_QLOGIC_ISP2422:
device_set_desc(dev, "Qlogic ISP 2422 PCI FC-AL Adapter");
break;
#endif
となっていて、わざとつぶしてあるです。
つまり、まだ何かいまいちなところがあるっぽいと。うむ。
だとすると、Serial Attached SCSIのほうがいいのかも。
ということで、>>118 の「あるいは、SAS (Serial Attached SCSI) あたり」
というところから考え直してみる、、、。
今のmemoriesのI/Fカードの進化版、
Qlogic の ISP 2422 は、FreeBSD 6.2R ではまだサポートされてないみたい。
うむむ。
コード読むとサポート入っているように見えるけど、
/usr/src/sys/dev/isp/isp_pci.c:
#if 0
case PCI_QLOGIC_ISP2422:
device_set_desc(dev, "Qlogic ISP 2422 PCI FC-AL Adapter");
break;
#endif
となっていて、わざとつぶしてあるです。
つまり、まだ何かいまいちなところがあるっぽいと。うむ。
だとすると、Serial Attached SCSIのほうがいいのかも。
ということで、>>118 の「あるいは、SAS (Serial Attached SCSI) あたり」
というところから考え直してみる、、、。
そんなわけで、>>118 からやりなおし:
○サーバ・OS
現memoriesは後のcobraサーバベース(ただしメモリ2G)で、
OSは64bit。
2ちゃんねるのような用途なら、
T-banana + 4G mem に増強、ぐらいの強さがあればいけると思われ。
OS は 64bit がよりよい気がするけど、32bit でもできなくはないですね。
システムディスクはRAID 1で構成。
○I/Fカード
現memotriesのI/FカードはFiberChannel 2G。
今回はSAS(Serial Attached SCSI)にしてみる。
○サーバ・OS
現memoriesは後のcobraサーバベース(ただしメモリ2G)で、
OSは64bit。
2ちゃんねるのような用途なら、
T-banana + 4G mem に増強、ぐらいの強さがあればいけると思われ。
OS は 64bit がよりよい気がするけど、32bit でもできなくはないですね。
システムディスクはRAID 1で構成。
○I/Fカード
現memotriesのI/FカードはFiberChannel 2G。
今回はSAS(Serial Attached SCSI)にしてみる。
SASだと、ストレージはこのシリーズになって、
http://www.infortrend.com/taiwan/main/2_product/sata-d.asp
お、こっちは2Uものでも高速ASIC(ASIC 400)版があるですね。
スペック比較
http://www.infortrend.com/taiwan/main/2_product/sas-to-sata-camparison.asp
によると、結局入るSATA HDDが16本か12本か8本かの違いだけ、と。
memoriesも結局8本でいったから、
8本の一番安いやつでいいんじゃないかっていう気がしますね。
性能的には同じみたいなんで。
とするとこれか。
A08S-G2130
http://www.infortrend.com/taiwan/main/2_product/axs-G2130.asp
http://www.infortrend.com/taiwan/main/2_product/sata-d.asp
お、こっちは2Uものでも高速ASIC(ASIC 400)版があるですね。
スペック比較
http://www.infortrend.com/taiwan/main/2_product/sas-to-sata-camparison.asp
によると、結局入るSATA HDDが16本か12本か8本かの違いだけ、と。
memoriesも結局8本でいったから、
8本の一番安いやつでいいんじゃないかっていう気がしますね。
性能的には同じみたいなんで。
とするとこれか。
A08S-G2130
http://www.infortrend.com/taiwan/main/2_product/axs-G2130.asp
2007/10/08(月) 07:27:20ID:Gw1wWnR50
2ちゃんのように24時間稼働しているところなら、SASディスクがよいと思う。
その点、hobby10に使用したT-bananaサーバには不安が、、、、
その点、hobby10に使用したT-bananaサーバには不安が、、、、
ということで、スペックをまとめると、
・本体
- CPU T-banana 程度、またはそれ以上のスペックであれば可
- メモリ 4GBytes
- PCI 64bitカード サポートあり
- HDD RAID1
- OS FreeBSD 6.2R 32bit版でじゅうぶん
・ディスクとのI/F
- SAS (Serial Attached SCSI)
LSI Logic の SAS は、FreeBSD 6.2R でサポートされてますね。
106x シリーズあたりで問題ないかと。
上では I/Fカード と書いたけど、
これがオンボードで内蔵されているマザボがあるような気がするです。
・外部ストレージ
- Eonstor A08S-G2130
http://www.infortrend.com/taiwan/main/2_product/axs-G2130.asp
に、1G SATA 300 なディスクを8本装着。
これでRAID5 + ホットスペアにすれば、6Tバイト。
入れる箱を一つ上のA12S-G2130にしてディスクを1T 12本にすると、10Tバイト。
・本体
- CPU T-banana 程度、またはそれ以上のスペックであれば可
- メモリ 4GBytes
- PCI 64bitカード サポートあり
- HDD RAID1
- OS FreeBSD 6.2R 32bit版でじゅうぶん
・ディスクとのI/F
- SAS (Serial Attached SCSI)
LSI Logic の SAS は、FreeBSD 6.2R でサポートされてますね。
106x シリーズあたりで問題ないかと。
上では I/Fカード と書いたけど、
これがオンボードで内蔵されているマザボがあるような気がするです。
・外部ストレージ
- Eonstor A08S-G2130
http://www.infortrend.com/taiwan/main/2_product/axs-G2130.asp
に、1G SATA 300 なディスクを8本装着。
これでRAID5 + ホットスペアにすれば、6Tバイト。
入れる箱を一つ上のA12S-G2130にしてディスクを1T 12本にすると、10Tバイト。
ということで、>>126 がとりあえずの叩き台かなと。
>>125
信頼性をどこまで求めるか、ってところですかね。
SCSI や SAS でも壊れるときには壊れるし、
ATA や SATA でも壊れないときには壊れない、みたいなかんじで、
このへんの議論はもうずっとしているかも。
信頼性をどこまで求めるか、ってところですかね。
SCSI や SAS でも壊れるときには壊れるし、
ATA や SATA でも壊れないときには壊れない、みたいなかんじで、
このへんの議論はもうずっとしているかも。
まぁ現状では HDD は消耗品と割り切るしかないんじゃないですかね.
書き換え回数制限のなくなった SSD が出てくれば理想的ですが,
どれだけ待てば出てくるか......
# 出てきたとしても,過去ログ用のような大容量のストレージとしては
# 非現実的な価格になりそうですが......
書き換え回数制限のなくなった SSD が出てくれば理想的ですが,
どれだけ待てば出てくるか......
# 出てきたとしても,過去ログ用のような大容量のストレージとしては
# 非現実的な価格になりそうですが......
SSDの成熟には、まだまだかかりそうです。
現時点でも怪しいですからねぇ。。
SSDを使うのはお勧め出来ないですね。
# 詳しくは書けないですが、嫌な噂を聞いております。
現時点でも怪しいですからねぇ。。
SSDを使うのはお勧め出来ないですね。
# 詳しくは書けないですが、嫌な噂を聞いております。
2007/10/08(月) 09:15:47ID:2YMAxPW60
その詳細を書かない思わせぶりな発言、私はいかがなものかと思いますぞ。
ゴシップ程度でも良いので教えてください(・∀・)
ゴシップ程度でも良いので教えてください(・∀・)
2007/10/08(月) 09:51:49ID:hblPO+XS0
MRAMでも実用になればでしょうかね。
フラッシュメモリは特性上書き換え制限撤廃は難しそうですし。
>>126
容量的にもRAID6か外部ストレージへのバックアップがほしい気がします。
容量がでかくなっても転送速度が今ひとつ上がっていない現状では
故障時の復元に時間がかかってしまって云々ということがより頻繁に起きるようになった気がします。
過去ログは重要な資産なんだから最低よりちょっと上ぐらいは確保するべきかと。
フラッシュメモリは特性上書き換え制限撤廃は難しそうですし。
>>126
容量的にもRAID6か外部ストレージへのバックアップがほしい気がします。
容量がでかくなっても転送速度が今ひとつ上がっていない現状では
故障時の復元に時間がかかってしまって云々ということがより頻繁に起きるようになった気がします。
過去ログは重要な資産なんだから最低よりちょっと上ぐらいは確保するべきかと。
>>132
> 容量的にもRAID6か外部ストレージへのバックアップがほしい気がします。
RAID6 もできると書いてあるので、スペック的には可能ですね。
RAID6 だとHDD一つ分使える容量が減って、5T と 9T ですか。
12台積めてRAID6して9Tあたりが、悪くないのかも。
外部ストレージへのバックアップは、、、。いまどきテープでもないだろうから、
例えば何が考えられるのかしら。
> 容量的にもRAID6か外部ストレージへのバックアップがほしい気がします。
RAID6 もできると書いてあるので、スペック的には可能ですね。
RAID6 だとHDD一つ分使える容量が減って、5T と 9T ですか。
12台積めてRAID6して9Tあたりが、悪くないのかも。
外部ストレージへのバックアップは、、、。いまどきテープでもないだろうから、
例えば何が考えられるのかしら。
2007/10/08(月) 12:09:33ID:eftcAjOm0
Ultra320 SCSI
2007/10/08(月) 13:41:40ID:u96c0RU50
>133
> いまどきテープでもないだろうから
VHSで2GBytesって訳でもないんでしょうし、ここでテープメディアへの
退避手段を確立させて売り出されるのもアリなんじゃないですか?
問題はレン鯖借りられるトコに、2ちゃんねるほど膨大なデータを抱える顧客が
どのくらいいるかとか、そういう話になるんでしょうか。
http://qb5.2ch.net/test/read.cgi/operate/1183341095/14-16
これから3ヶ月レス付いてない話が、私如きに(ry
過去ログ売らなくて良いんなら、DATのハッシュだけ2ちゃんねる側で保存して置いて後は専ブラと
P2Pを抱き合わせられれば、或る種のバックアップと取れなくもない代物は出来上がるんでしょうがw
> いまどきテープでもないだろうから
VHSで2GBytesって訳でもないんでしょうし、ここでテープメディアへの
退避手段を確立させて売り出されるのもアリなんじゃないですか?
問題はレン鯖借りられるトコに、2ちゃんねるほど膨大なデータを抱える顧客が
どのくらいいるかとか、そういう話になるんでしょうか。
http://qb5.2ch.net/test/read.cgi/operate/1183341095/14-16
これから3ヶ月レス付いてない話が、私如きに(ry
過去ログ売らなくて良いんなら、DATのハッシュだけ2ちゃんねる側で保存して置いて後は専ブラと
P2Pを抱き合わせられれば、或る種のバックアップと取れなくもない代物は出来上がるんでしょうがw
2007/10/08(月) 14:27:51ID:RJ7Dt3pj0
外部バックアップ取るほどの冗長性が必要なんだろうか・・・
それなら同じのを2台組んで1台をバックアップ用で運用したほうが楽な気が。
それなら同じのを2台組んで1台をバックアップ用で運用したほうが楽な気が。
137stream ◆PNstream2s
2007/10/08(月) 14:40:47ID:MYtg06zd0 RAIDだろうとなんだろうとバックアップはとんなきゃ駄目だよ
今はとってないようだけど
今はとってないようだけど
2007/10/08(月) 14:49:26ID:RJ7Dt3pj0
というか、外部バックアップを誰が管理するんだろう?
オンラインで管理しなきゃ出来ないんだろうし。
9Tのバックアップ・・・HDDしかないような。
オンラインで管理しなきゃ出来ないんだろうし。
9Tのバックアップ・・・HDDしかないような。
139モーマン☆鯛。
2007/10/08(月) 15:13:23ID:GOrBWp9h0 みんなのPCに有るじゃないか
2007/10/08(月) 15:40:19ID:GlixA3Pa0
2007/10/08(月) 15:44:08ID:YI3PHLR30
LTO4なら1.6TB/本だから、6本くらいで収まるか。
オートローダ使えば、いいんでない?
オートローダ使えば、いいんでない?
2007/10/08(月) 16:01:37ID:2YMAxPW60
そのどらいぶっていくらすんの?
2007/10/08(月) 16:07:40ID:GlixA3Pa0
80万くらい〜であるんじゃないかな。
2007/10/08(月) 18:50:19ID:9AALIhKR0
問題はFreeBSDで使えるテープドライブがどれだけあるか、でしょうね。
コストとの兼ね合いもありますが、最悪の場合、
バックアップソリューションを使うことも考えたほうがいいのかも。
いづれにせよ、2chクラスだと数万ドルはかかるとみたほうがいいでしょう。
コストとの兼ね合いもありますが、最悪の場合、
バックアップソリューションを使うことも考えたほうがいいのかも。
いづれにせよ、2chクラスだと数万ドルはかかるとみたほうがいいでしょう。
2007/10/08(月) 19:46:58ID:jwN2zK120
一般企業経営的に考えると大事なものとはいえ過去ログのためにそこまでの投資は、、
てのが普通の考えですよねー。対価となるログ販売でそこまで儲けられると思えんし。
てのが普通の考えですよねー。対価となるログ販売でそこまで儲けられると思えんし。
2007/10/09(火) 00:28:41ID:LJ0Gsv8U0
2007/10/09(火) 01:05:23ID:b47naFLK0
2chの過去ログなんてRAID5で吹っ飛んだら「運が悪かったね」で済ませる程度の価値だと思う。
これまでにもいくつかの鯖の過去ログが消滅してるし。
これまでにもいくつかの鯖の過去ログが消滅してるし。
148動け動けウゴウゴ2ちゃんねる
2007/10/09(火) 01:18:32ID:N3TEBhPE0 ウェブサイトの履歴はすぐ消えるので5年前の過去ログというだけでも十分貴重
このまま積んでいけば世界的にも稀有なオンラインアーカイブに成長していく
このまま積んでいけば世界的にも稀有なオンラインアーカイブに成長していく
2007/10/09(火) 10:37:47ID:RRkDKXDB0
150どくどくさぼてん
2007/10/09(火) 21:59:55ID:tZKqsy3Z0 なんか、っていうかpc2もそうですからねぇ。
2007/10/09(火) 22:06:12ID:cgXxCp0P0
う〜ん、取りあえず5年?持つシステムを作ればいいんでわ・・・
2007/10/09(火) 23:31:28ID:L3VE+bPM0
予算云々の問題もあるだろうしミラーサーバは難しいんじゃない?
もちろんできるなら一番いいだろうけどRAID6にでもして運を天に任せるのが上策じゃないかな。
#場所の都合もあるしテープ等へのバックアップは難しいんじゃないかと考えての意見です。
2chの過去ログは有用なものも沢山あると思うし、時が流れれば価値は増すと思う。
『運が悪かった』で済ませたくない気持ちはあるけど運営の都合しだいだしね。
もちろんできるなら一番いいだろうけどRAID6にでもして運を天に任せるのが上策じゃないかな。
#場所の都合もあるしテープ等へのバックアップは難しいんじゃないかと考えての意見です。
2chの過去ログは有用なものも沢山あると思うし、時が流れれば価値は増すと思う。
『運が悪かった』で済ませたくない気持ちはあるけど運営の都合しだいだしね。
2007/10/10(水) 02:44:25ID:59gvujIt0
USBメモリ4本でRAID構成をデモ、OpenSolaris
http://www.atmarkit.co.jp/news/200710/09/solaris.html
http://www.atmarkit.co.jp/news/200710/09/solaris.html
2007/10/10(水) 02:59:58ID:6+VxgAwE0
そういえばmemoriesにあるログってgzipとかされてんの?
それでその溜まり度合いならすごいな2ch
それでその溜まり度合いならすごいな2ch
155動け動けウゴウゴ2ちゃんねる
2007/10/10(水) 18:27:01ID:RiCxwtHx0 メディアに焼いて市販しねえのかな
156びふぃ
2007/10/10(水) 21:41:43ID:T6rSZCzG0 マーダー チンチン(AA略
■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 【高田馬場】22歳女性、路上で動画配信中に刺され死亡…男「配信見ながら居場所探した」「200万円以上貸していたが返してもらえず」★13 [ぐれ★]
- イーロン・マスク氏、低所得者向け低価格住宅プログラムを廃止 [お断り★]
- 【高田馬場女性刺殺】逮捕の男が被害女性に対し貸した金の返済求め2023年に民事裁判…女性に約250万円の支払いを命じる判決 ★2 [ぐれ★]
- 【山梨】4年かけて育てた“シャインマスカット”の木23本が切断 ブドウ盗まず目的は?1000万超の損害に [牛乳トースト★]
- イーロン・マスク氏、社会保障を大規模削減、失業保険、生活保護フードスタンプ、低所得・高齢者・障害者向け健康保険から105兆円 ★6 [お断り★]
- 人気ライブ配信者22歳女性が刺されて死亡 容疑者と金銭トラブル「貸したお金返してもらえなかった」告知動画見て上京 ★9 [jinjin★]
- 【石破速報】能登半島、マインクラフトで復旧へ [931948549]
- 【悲報】最上あい、死亡時のスクショが出回る [834922174]
- 女「ねえ、お金どこから借りた?」 男「アイフルとレイク」 女「もう1社借りてほしい」 [384232311]
- 【話題】声優志望者、 パンク寸前... プロを目指している人は30万人以上😳 なんでこんな人気なんだ? [986198215]
- 最上あい(佐藤愛里)さん、22歳でその短い生涯を終えるwwwwwwwwwwwwwwww
- 【悲報】ロシア、停戦拒否wwwwwwwwwwwwwwwwwwwwwwwww [308389511]