【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17
■ このスレッドは過去ログ倉庫に格納されています
peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。
＜現在の主要なテーマ＞
・oyster243(BBQ/dnscache)の突然死対策&cobra2245セットアップによる2台体制化
・oytser902(memories)のFreeBSD 5.3化
・「雪だるま作戦」による、スケーラブルなサーバ群構築
・read.cgi/bbs.cgiの細かな調整・詰め
・携帯サーバのプライベート側スイッチのグレードアップ検討
・各種作戦・プロジェクトとの連携
・FreeBSDのさらなるチューニング詰め
＜関連スレッド＞
■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1
http://qb5.2ch.net/test/read.cgi/operate/1105035540/
■ 自動地震速報＠2ch をつくろう
http://qb5.2ch.net/test/read.cgi/operate/1106583619/
■ テレビ番組欄＠2ch をつくろう 第2話
http://qb5.2ch.net/test/read.cgi/operate/1107366393/
＜関連サイト＞
レンタルサーバー maido3.com ２ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html
＜前スレ＞
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16
http://qb5.2ch.net/test/read.cgi/operate/1102087698/ ∧＿∧ ∩
( ･∀･)彡 ／⌒) カケター
と ⊂彡／@ニ)
〉,,,／ ,／
（／@二)
`ー―'" 完全復旧したら記念スレが立ちそうだな
まだ書けないけど >>551
逆に、実地でテストしましょう。
サッカー何時からだっけ。 >>547
お疲れ様でっす。
しばらく様子見かな？ 22:22 2006FIFAワールドカップサッカーアジア地区最終予選「日本×イラン」 >>554
確かキリ番だったから覚えてるが 22：22～ですね rootさんありがとうございます。嬉しいです。お疲れ様でした Σ(; ﾟДﾟ)ﾊｯ!!
黒▲渡しちゃった…
ｺﾞﾒﾝﾈ(´･ω･`)つ△ たしかに乙だけど、▲でいいと思われ
528 名前：root▲ ★[sage] 投稿日：2005/03/25(金) 18:44:49 ID:??? ?#
設定を変更し、リブート。
もしこれが原因だとすると、、、私のチョンボですね。
536 名前：root▲ ★[sage] 投稿日：2005/03/25(金) 18:52:21 ID:??? ?#
>>531
いや、▲ものですね。
/boot/loader.confが、cobraサーバ用のセッティングでした。
具体的には、
#kern.ipc.nmbclusters=65536
#kern.ipc.maxsockets=65536
#vm.pmap.shpgperproc=2048
#kern.ipc.maxpipekva=41943040
を、
# memory 2G tuning
kern.ipc.nmbclusters=32768
kern.ipc.maxsockets=32768
vm.pmap.shpgperproc=1024
kern.ipc.maxpipekva=20971520
に、直しました。
Apacheを起動すると、Apacheがこのへんをめいっぱいに使おうとして、
資源不足で、止まってしまっていた模様。 memories の中の話ですが、
たまにはテープにbackup とかやった方がいいんですかねぇ? まあ、テープ安いし。
ぶっ飛んだらもっと被害出るし。
良いんじゃない？ 取るとして
現在でどれくらい時間がかかるんだろーか? なんか、この時のことを思い出してわらた。
http://qb.2ch.net/test/read.cgi/accuse/1042084683/
76 名前：夜勤 ★ 投稿日：03/01/11 06:54 ID:???
なんか想像しちゃうとね、
来る日も、来る日も、雨の日も、風の日も、
テープにバックアップですかー。。。
もちっと なんか華々しいというかそんな日々がee。 去年5月のhe.netからの移転終盤で300GBくらいかぁ。
今なら500～600GBくらいかなぁ？（かなりてきとー）
なんとなく1テラあってもおかしくない気もするけど、 IBMのテープオートローダは80MB/秒だそうです。 >>584
最大でも1.5TBでしょ
df -hみればわかる
まあ>>598の予想が正しければ数時間で終わるでしょう
今のテープ取りは早いから。 速くて80MB/s（非圧縮）程度らしい。安そうなのは7.5MB/s
7.5MB/s＝27GB/h
30MB/s＝108GB/h
80MB/s＝288GB/h
（圧縮）160MB/s＝576GB/h うちの会社にあるやつは47MBのバックアップに2時間かかる。
20数年前のミニコンだけど。 この際なんでバックアップシステム構築なんてどうでしょうね、と振ってみる。
金と手間がかかるからやんないでしょうけど・・・
商用だとNetvaultになるのかしら。FreeBSD対応もありますが32bit。
ttp://www.bakbone.co.jp/products/netvault.html
ttp://www.trinity-ss.com/p_strage/product/soft/netvault/netvault.html バックアップが終わらねーとか良いながら穴だらけの穿孔テープ見つめてるFOX想像してﾜﾗﾀ ぼちぼち、サーバのログをチェック中。
1024だと、やはり売り切れるみたい。
やはりlive16と20だけ1280にしておくか。
バックアップデバイスの件(そういえば、これもマニラネタ)は、後で別途。 最初から1280人待たせる必要はないので、こういうふうにしてみた。
<IfModule prefork.c>
StartServers 1024
MinSpareServers 1024
MaxSpareServers 1024
ServerLimit 1280
MaxClients 1280
MaxRequestsPerChild 1000000
</IfModule> >>606
なんか、激しく重かったみたいで、あんまりかわりばえしなかった、、、かも。
というか、肌で感じられなかったし。
しばらくこの設定で動かしてみる必要かりかも。
転送量は、ex10の場合subject.txtを圧縮してもしなくても、大きくは変わらないみたいですね。 ほうほう
転送量変化無し、の時点で収穫その１かもだすのう、、 FreeBSD5.4Rリリーススケジュール更新
もっともまた遅れる可能性大でしょうけど（苦笑
Upload to ftp-master. 17 Apr 2005 今のmemoriesの運用形態なら、月一とかぐらいでテープに落とせば十分かな。
で、FibreChannelに対応したDLTか何かで、Polywellが扱っているいいやつを、
どなたかみつくろっておいていただけると。
で、問題なのは「半ばほっといてもうまくバックアップがとられている」な気がします。
つまり、それなりにチェンジャっぽいほうが、いいかもしれない。
というわけで、今日～明日は概ねオフラインの予定。 ちゅーか違うホストに接続している同容量のHDDにdailyでpdumpfs_sshするとかなら
すぐに出来るのでは。
RAID1は論理ミスには弱いけど、違うホストへのpdumpfsなら耐えられる。 >>611
それは予算は大体いくらかかりますか?
大雑把でいいですけど、 >>610
ポリウェルさんは残念ながら「バックアッププロダクト」をお持ちで無いようですorz
どうやら少なくともラックマウント系はオプションっぽい模様。
どうしてもpolywellさんというのであればお問い合わせしたほうがいいかもです。 >612
1年ぐらい前にpc鯖の誤消去事件があったときにroot★氏が話題にしていたけど。
要するにテープじゃなくて別のサーバーにデータをdailyで保存しておきますか。
という話。
サーバーはCPUの速度は全然いらないのでPentium3とかでもOk。
HDDの容量さえあればいい。 >>614
今はなしているのは memories(suma)の話しなんだが、 テープドライブ扱ってるメーカー少ないようですねぇ
とりあえず、有名所だけピックアップしておきます。
（日本語ページのみですけどアメリカでも扱っています。）
ＨＰ
ttp://h50146.www5.hp.com/products/storage/tape/index.html
ＩＢＭ
ttp://www-6.ibm.com/jp/storage/products/tape/ U160/320 モノのテープドライブを選ぶんじゃと
FC変換しるハブを別途買うひつようが出てくるんでなかべか？
ようﾜｶﾗﾝけんども、 じじいさん
２chの要求レベル相当のバックアップソリューションは
大抵堅牢性が強く求められるんで、
ちょっとしたものでもミリオン単位で飛びますよ
テープドライブをsuma直結にする（ってできるのかわかりませんけど）か、902につなぐのか・・・
後者のほうが管理上現実的な気がするのは私だけでしょうかね >>619
ちょっといいのじゃとsumaの倍なおねだんじゃからねぃ
（sumaは150まんえんぐらいだす）
ﾋﾞｸｰﾘすておる所だす たぶん設置場所の関係からラックマウント機器でないとつらいという制約もあるでしょうし、
そのうえ圧縮つきで1TB以上を確保しておく必要があります。
さらに>>610でrootさんが言っているけどオートチェンジャーつきとなると
sumaの数倍は●がとびまくりそうです・・・ >>621の条件を満たすとなるとこれくらいですかねー
金銭的に極めてつらいでしょうね。。。。
ttp://www-6.ibm.com/jp/storage/products/tape/lto/3581.html
ttp://h50146.www5.hp.com/products/storage/tape/ssl1016_sdlt/index.html >>622
どっちも200まんえんぐらいじゃのう
hpのはFC変換ハブがいるから、もっと高くつくかの？ >>624
ねだんはPolywell次第じゃないかのう
正規代理店として持ってこれるブツがあるなら値引きも期待出来るで、
でも、少なくともsuma並のねだんはするとおもうんじゃが
ただたんに鯖を組むだけなら100まんえん以下で済むとおもうでよ
↓の2Uのケースに、てきとうなRAIDカードでも組み込んでミラーさせて
（http://www.polywell.com/us/rackservers/poly2012ai.asp）
大きいS-ATAHDD（今は400GBが最大）を何発か入れればそんなもんで済むべ
でも、テープを持ち出すからには
何か鯖をたてるだけでは実現できないメリットがあるとおもうんじゃが、、
それはどんなんだべか？ NetVault を使うとハードディスク上にバーチャルテープライブラリを構築できますが、
そんな事するくらいなら普通に pfsdump でも使った方がましですな memoriesもう一個立てて、半手動で同期とっとけばいいんじゃない もう、RAID-5でも0+1でもいいから、HDDで堅牢性を求めた方が安上がりで、楽な気がする。
もしくは、>627みたいに、鯖間でミラーリングするとか。
テープドライブまで使う必要があるのかどうか・・・。 各鯖の空きHDDをひとつのHDDとして見立ててバックアップに使うシステムとか。
あ、一個でもクラッシュしたらパーか
つかえねーｗｗ >>628
すでにmemoriesはRAID5です
思いつきですがGoogle Inc.の中の人に相談したらいいかもね
あそこは超優秀な技術者の巣窟ですから テープの利点というんは、メディアを持ち運び出来る点かのう、
データを管理人の手元においたり、ブラジルで使ったりとかも
可能になってくるんでなかべか、
利用法によっては鯖代の足しになったり鯖負荷低減になったりしるかものう
あとは、巻き戻しポイントを複数用意出来るという点かのう
１ヶ月前のデータじゃとダメだという場合、２ヶ月前、３ヶ月前と
さらに前のデータを用意出来るのは状況によっては有意義かも試練
…ほかに利点はあるべか、 memoriesの場合は導入直後にフルバックアップをとって、
その後は各種プログラムなどの仕様変更や新規収容があったときに
差分をとるやり方をすれば問題ないかと。
そういった理由でオートチェンジャーは必要性は薄いと思います。
で、メディアはJimさんが地理的に離れたところに設置した耐火金庫へ放り込んでおく、と。 root★さんいますか?
bbs.cgi@ex10 を更新しても反映されないような仕様ですか? >>633
そんなはずはないですが、、、。
なんか、一時的に該当時間、何か様子が変だったみたい。
で、テープですが、入れ替えしないでとれると
手間がないかな、ってかんじで、チェンジャーつきがいいのかなと。
でも高いなら、チェンジャーはあきらめて、とる時はPIEに人がいて、
テープを差し替える、というのでも、十分な気がします。
上記を想定すると、オペレーションは、概ねこんなかんじかなと。
フルダンプ用のテープを2セット用意しておき(例えばAとBとする)、
1)最初にAにフルダンプをとる
2)次にmemoriesに収納があった時にBにフルダンプをとる
3)その次の収納の際にはAにとる、以下2)と3)を繰り返す
これにより、一世代前のテープが常に存在するので、
万一テープにとっている間にSumaがクラッシュしたり、
間違ってテープを上書きしてしまっても、被害を最小限にとどめられる。
で、増分とってもいいんですが、今の更新頻度と手間を考えると、
毎回フルダンプをとっても、十分(たぶん、収納のタイミングでとるだけでいいから)
なのではないかなと。 >>634
りょうかいですー < 前半
テープは見積もりとって見ます 携帯からスレ立てる事は出来ますか？
教えてください >>634
チェンジャーというよりもFC機のほうがねだんがたかいようじゃよ
FC機の場合、小容量のは種類もすくないようで、
FC-SCSIブリッジとかいうんも、とてもたかいようじゃ。。。 >>635
工工エエエｴｴ（´Д｀）ｴｴエエエ工工 バックアップは日本全国で分散されて保存さえれてるってのはだめなの？ｗ memoriesに収容されているのは.dat.gz, .html, .html.gzの３つで
他のもの全て(index.html, subject.txt)を含めても
.dat.gzさえあれば復元できるはず。
で、全てテキストな.datの圧縮率を1/3程度と仮定すると
最大1.5Tあるmemoriesのデータでも
全体の1/5、つまり300GのHDD一台でバックアップできるはず
と、暴論を述べてみる。
圧縮しての保持形態や復元作業の手間(時間ではなく手間)などを考えると
そのまま保存できるテープ等のデバイスの方が良いことは間違いないんだけど。 >644
出来ないこともないですけどＤＶＤの枚数と焼き時間がトンでもないことに（滝汗
ＤＶＤ－Ｒ １枚あたり約４Ｇ
１枚焼く時間 最速クラスで約６分
仮に１Ｔだとしたら２５０枚なので
６ｘ２５０＝１５００分 約２５時間（滝汗
しかもそこまで連続焼きにドライブが耐えられないと思われ ■ このスレッドは過去ログ倉庫に格納されています
