X

【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17

■ このスレッドは過去ログ倉庫に格納されています
1root▲ ★
垢版 |
05/02/03 05:34:37ID:???0
peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。

<現在の主要なテーマ>
・oyster243(BBQ/dnscache)の突然死対策&cobra2245セットアップによる2台体制化
・oytser902(memories)のFreeBSD 5.3化
・「雪だるま作戦」による、スケーラブルなサーバ群構築
・read.cgi/bbs.cgiの細かな調整・詰め
・携帯サーバのプライベート側スイッチのグレードアップ検討
・各種作戦・プロジェクトとの連携
・FreeBSDのさらなるチューニング詰め

<関連スレッド>
■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1
http://qb5.2ch.net/test/read.cgi/operate/1105035540/
■ 自動地震速報@2ch をつくろう
http://qb5.2ch.net/test/read.cgi/operate/1106583619/
■ テレビ番組欄@2ch をつくろう 第2話
http://qb5.2ch.net/test/read.cgi/operate/1107366393/

<関連サイト>
レンタルサーバー maido3.com 2ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
2ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html

<前スレ>
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16
http://qb5.2ch.net/test/read.cgi/operate/1102087698/
538root▲ ★
垢版 |
NGNG
>>537 done.
2005/03/25(金) 18:53:50ID:OvU+uUSb0
では向こうのフジ板あたりで狐さんが糞スレを(ry
2005/03/25(金) 18:53:58ID:57iVmnzF0
(・∀・)ノ三G[__]コーヒーノメ!!
2005/03/25(金) 18:54:51ID:d4ZGrRgJ0
500エラー
2005/03/25(金) 18:55:15ID:QsJkoTWd0
同じく。
2005/03/25(金) 18:55:29ID:8sNNB6C+0
500 Internal Server Error
2005/03/25(金) 18:56:15ID:O02glETu0
live20復活クル━━━━━━(゚∀゚)━━━━━━!!!!の?
2005/03/25(金) 18:56:17ID:UeT18i4+0
カケナイ
2005/03/25(金) 18:56:26ID:MjcyOPhY0
同じく500
547root▲ ★
垢版 |
NGNG
どうかな。
2005/03/25(金) 18:57:23ID:QsJkoTWd0
かけた
2005/03/25(金) 18:57:36ID:d4ZGrRgJ0
かけた
2005/03/25(金) 18:57:47ID:UeT18i4+0
  ∧_∧ ∩ 
  ( ・∀・)彡 /⌒)   カケター
  と ⊂彡/@ニ)
   〉,,,/ ,/
   (/@二)  
   `ー―'"
2005/03/25(金) 18:57:57ID:oErVJYEM0
書けたが、使っちゃっていいですか?
2005/03/25(金) 18:58:06ID:OvU+uUSb0
完全復旧したら記念スレが立ちそうだな
まだ書けないけど
2005/03/25(金) 18:58:20ID:5NBvjrze0
TBS板書けました
554root▲ ★
垢版 |
NGNG
>>551
逆に、実地でテストしましょう。
サッカー何時からだっけ。
2005/03/25(金) 18:58:30ID:GMkM0aRW0
>>547
お疲れ様でっす。
しばらく様子見かな?
2005/03/25(金) 18:58:55ID:l4rOz1hx0
liveetv OK
2005/03/25(金) 18:59:10ID:OvU+uUSb0
あ、書けたw
2005/03/25(金) 18:59:11ID:CYPLmp5L0
22:22 2006FIFAワールドカップサッカーアジア地区最終予選「日本×イラン」
2005/03/25(金) 18:59:21ID:iyDbNrh60
>>554
テレ朝の放送は22:22
2005/03/25(金) 18:59:46ID:oErVJYEM0
>>554
確かキリ番だったから覚えてるが 22:22〜ですね
2005/03/25(金) 19:00:03ID:QsJkoTWd0
その前にBS1で22:10から
2005/03/25(金) 19:00:08ID:+EtwiaUg0
【実況】 live15/16/20 鯖 Part1
http://qb5.2ch.net/test/read.cgi/operate/1111632501/

そろそろこちらへ
2005/03/25(金) 19:01:56ID:57iVmnzF0
>>554
ありがとう。ありがとう。
2005/03/25(金) 19:03:30ID:MjcyOPhY0
>>554
rootさんお疲れさまでした

つ△
2005/03/25(金) 19:06:02ID:UeT18i4+0
久々のサクサク感・・・・゚・(ノД`)・゚・。
2005/03/25(金) 19:10:35ID:6zbs3yZO0
>>554
お疲れ様ですm(_ _)m
2005/03/25(金) 19:12:45ID:PRY0qQEQ0
完全復活ですか?
2005/03/25(金) 19:18:16ID:tNRjrgY/0
>>567
むしろ「実地テスト」らしい
2005/03/25(金) 19:19:03ID:2aOxZLm/0
なんか記念真紀子です、、
2005/03/25(金) 19:22:59ID:jdsjm/hF0
乙。
2005/03/25(金) 20:21:35ID:hoTY8XDCO
rootたんモツカレ(・∀・)つ▲
2005/03/25(金) 20:25:07ID:T0Phd2k80
乙カレー。
2005/03/25(金) 20:27:56ID:xE9K77Nq0
サカーの前に復旧してくれてありがd
2005/03/25(金) 20:44:14ID:6L3CjCDy0
rootさんありがとうございます。嬉しいです。お疲れ様でした
2005/03/25(金) 20:44:37ID:hoTY8XDCO
Σ(; ゚Д゚)ハッ!!

黒▲渡しちゃった…

ゴメンネ(´・ω・`)つ△
2005/03/25(金) 20:57:43ID:fPXximFS0
たしかに乙だけど、▲でいいと思われ

528 名前:root▲ ★[sage] 投稿日:2005/03/25(金) 18:44:49 ID:??? ?#
設定を変更し、リブート。

もしこれが原因だとすると、、、私のチョンボですね。

536 名前:root▲ ★[sage] 投稿日:2005/03/25(金) 18:52:21 ID:??? ?#
>>531
いや、▲ものですね。

/boot/loader.confが、cobraサーバ用のセッティングでした。
具体的には、

#kern.ipc.nmbclusters=65536
#kern.ipc.maxsockets=65536
#vm.pmap.shpgperproc=2048
#kern.ipc.maxpipekva=41943040

を、

# memory 2G tuning
kern.ipc.nmbclusters=32768
kern.ipc.maxsockets=32768
vm.pmap.shpgperproc=1024
kern.ipc.maxpipekva=20971520

に、直しました。

Apacheを起動すると、Apacheがこのへんをめいっぱいに使おうとして、
資源不足で、止まってしまっていた模様。
2005/03/25(金) 21:05:43ID:8oseEPAU0
>>576
何をしたかったの?
578FOX ★
垢版 |
2005/03/25(金) 21:08:12ID:???0
memories の中の話ですが、
たまにはテープにbackup とかやった方がいいんですかねぇ?
2005/03/25(金) 21:13:47ID:EeHf9cvD0
燃えてしまえ燃えてしまえ!


なんちて。
2005/03/25(金) 21:13:48ID:d4ZGrRgJ0
まあ、テープ安いし。
ぶっ飛んだらもっと被害出るし。
良いんじゃない?
581FOX ★
垢版 |
2005/03/25(金) 21:14:59ID:???0
取るとして
現在でどれくらい時間がかかるんだろーか?
2005/03/25(金) 21:15:53ID:EeHf9cvD0
勘で12時間弱かと。
2005/03/25(金) 21:18:27ID:d4ZGrRgJ0
4GB/時ぐらいだったよーな
584FOX ★
垢版 |
2005/03/25(金) 21:19:37ID:???0
何テラあるんだっけか、、、
2005/03/25(金) 21:19:49ID:MTmG7evh0
テープの種類・規格によるでしょ
2005/03/25(金) 21:20:29ID:EeHf9cvD0
お、そんな遅いもんなんですか。
すまそ。
2005/03/25(金) 21:23:45ID:kFchJOu60
なんか、この時のことを思い出してわらた。

http://qb.2ch.net/test/read.cgi/accuse/1042084683/
76 名前:夜勤 ★ 投稿日:03/01/11 06:54 ID:???
なんか想像しちゃうとね、
来る日も、来る日も、雨の日も、風の日も、

テープにバックアップですかー。。。

もちっと なんか華々しいというかそんな日々がee。
2005/03/25(金) 21:24:54ID:8oseEPAU0
紙テープなの
2005/03/25(金) 21:30:42ID:cxzWm8lV0
去年5月のhe.netからの移転終盤で300GBくらいかぁ。
今なら500〜600GBくらいかなぁ?(かなりてきとー)
なんとなく1テラあってもおかしくない気もするけど、
2005/03/25(金) 21:30:44ID:R5lLIgSx0
30MB/秒とか
http://storage-system.fujitsu.com/jp/products/tape/lt130/spec/
2005/03/25(金) 21:35:15ID:EeHf9cvD0
IBMのテープオートローダは80MB/秒だそうです。
2005/03/25(金) 21:37:07ID:I1vqxWiA0
>>584
最大でも1.5TBでしょ
df -hみればわかる

まあ>>598の予想が正しければ数時間で終わるでしょう
今のテープ取りは早いから。
2005/03/25(金) 21:40:13ID:8oseEPAU0
圧縮しないの
2005/03/25(金) 21:42:25ID:fPXximFS0
速くて80MB/s(非圧縮)程度らしい。安そうなのは7.5MB/s
7.5MB/s=27GB/h
30MB/s=108GB/h
80MB/s=288GB/h
(圧縮)160MB/s=576GB/h
2005/03/25(金) 21:46:30ID:iEHJivfB0
うちの会社にあるやつは47MBのバックアップに2時間かかる。
20数年前のミニコンだけど。
2005/03/25(金) 21:47:39ID:I1vqxWiA0
この際なんでバックアップシステム構築なんてどうでしょうね、と振ってみる。
金と手間がかかるからやんないでしょうけど・・・

商用だとNetvaultになるのかしら。FreeBSD対応もありますが32bit。
ttp://www.bakbone.co.jp/products/netvault.html
ttp://www.trinity-ss.com/p_strage/product/soft/netvault/netvault.html
2005/03/25(金) 23:26:53ID:OUmNZzl00
バックアップが終わらねーとか良いながら穴だらけの穿孔テープ見つめてるFOX想像してワラタ
2005/03/25(金) 23:36:33ID:d4ZGrRgJ0
何メートル必要になるやら
2005/03/25(金) 23:36:36ID:8oseEPAU0
紙テープなら読めるものな
2005/03/26(土) 00:50:32ID:vHHRg4h70
キャップ!東京湾に怪獣が出現しました!
2005/03/26(土) 01:10:40ID:JfXhw5vo0
>>600
落ち着けゴジラだから
2005/03/26(土) 01:34:05ID:eL36YJVB0
テープよりパンチカードキボンヌ
2005/03/26(土) 02:09:36ID:Q+PlQAf/0
>>600
つ[モモトラマンカード]
604root▲ ★
垢版 |
2005/03/26(土) 02:22:58ID:???0
ぼちぼち、サーバのログをチェック中。

1024だと、やはり売り切れるみたい。
やはりlive16と20だけ1280にしておくか。

バックアップデバイスの件(そういえば、これもマニラネタ)は、後で別途。
605root▲ ★
垢版 |
2005/03/26(土) 02:28:14ID:???0
最初から1280人待たせる必要はないので、こういうふうにしてみた。

<IfModule prefork.c>
StartServers 1024
MinSpareServers 1024
MaxSpareServers 1024
ServerLimit 1280
MaxClients 1280
MaxRequestsPerChild 1000000
</IfModule>
2005/03/26(土) 02:48:12ID:+O6+ZIZA0
>>455はどうだすか?
607root▲ ★
垢版 |
2005/03/26(土) 02:58:45ID:???0
>>606
なんか、激しく重かったみたいで、あんまりかわりばえしなかった、、、かも。
というか、肌で感じられなかったし。
しばらくこの設定で動かしてみる必要かりかも。

転送量は、ex10の場合subject.txtを圧縮してもしなくても、大きくは変わらないみたいですね。
2005/03/26(土) 03:06:18ID:+O6+ZIZA0
ほうほう
転送量変化無し、の時点で収穫その1かもだすのう、、
2005/03/26(土) 04:35:44ID:TUqPMBCo0
FreeBSD5.4Rリリーススケジュール更新
もっともまた遅れる可能性大でしょうけど(苦笑

Upload to ftp-master. 17 Apr 2005
610root▲ ★
垢版 |
2005/03/26(土) 06:32:21ID:???0
今のmemoriesの運用形態なら、月一とかぐらいでテープに落とせば十分かな。
で、FibreChannelに対応したDLTか何かで、Polywellが扱っているいいやつを、
どなたかみつくろっておいていただけると。

で、問題なのは「半ばほっといてもうまくバックアップがとられている」な気がします。
つまり、それなりにチェンジャっぽいほうが、いいかもしれない。

というわけで、今日〜明日は概ねオフラインの予定。
2005/03/26(土) 11:04:31ID:DkIsp7+H0
ちゅーか違うホストに接続している同容量のHDDにdailyでpdumpfs_sshするとかなら
すぐに出来るのでは。

RAID1は論理ミスには弱いけど、違うホストへのpdumpfsなら耐えられる。
612FOX ★
垢版 |
2005/03/26(土) 13:59:23ID:???0
>>611
それは予算は大体いくらかかりますか?
大雑把でいいですけど、
2005/03/26(土) 14:09:24ID:J98YQk0h0
>>610
ポリウェルさんは残念ながら「バックアッププロダクト」をお持ちで無いようですorz
どうやら少なくともラックマウント系はオプションっぽい模様。

どうしてもpolywellさんというのであればお問い合わせしたほうがいいかもです。
2005/03/26(土) 17:06:44ID:DkIsp7+H0
>612
1年ぐらい前にpc鯖の誤消去事件があったときにroot★氏が話題にしていたけど。
要するにテープじゃなくて別のサーバーにデータをdailyで保存しておきますか。
という話。
サーバーはCPUの速度は全然いらないのでPentium3とかでもOk。
HDDの容量さえあればいい。
615FOX ★
垢版 |
2005/03/26(土) 17:10:52ID:???0
>>614
今はなしているのは memories(suma)の話しなんだが、
2005/03/26(土) 17:38:22ID:TUqPMBCo0
テープドライブ扱ってるメーカー少ないようですねぇ
とりあえず、有名所だけピックアップしておきます。
(日本語ページのみですけどアメリカでも扱っています。)


HP
ttp://h50146.www5.hp.com/products/storage/tape/index.html

IBM
ttp://www-6.ibm.com/jp/storage/products/tape/
2005/03/26(土) 17:47:23ID:+O6+ZIZA0
http://www.sony.jp/products/Professional/DataArchive/products/sait_drive/index_saite1300.html
コレは200まんえん

http://www.hitachi.co.jp/Prod/comp/OSD/tplib/prod/small/l2_20/
コレもとてもたかいのぅ

http://www.sw.nec.co.jp/products/istorage/product/backup/t40a/index.shtml
300まんえんじゃー

>>613
どんなのを扱っておるのか、問い合わせたほうがええじゃろうねぃ
Polywellを通してサポを受けられればそれが一番ええじゃろうし
2005/03/26(土) 18:02:14ID:+O6+ZIZA0
U160/320 モノのテープドライブを選ぶんじゃと
FC変換しるハブを別途買うひつようが出てくるんでなかべか?

ようワカランけんども、
2005/03/26(土) 18:29:17ID:J98YQk0h0
じじいさん

2chの要求レベル相当のバックアップソリューションは
大抵堅牢性が強く求められるんで、
ちょっとしたものでもミリオン単位で飛びますよ

テープドライブをsuma直結にする(ってできるのかわかりませんけど)か、902につなぐのか・・・
後者のほうが管理上現実的な気がするのは私だけでしょうかね
2005/03/26(土) 18:37:32ID:+O6+ZIZA0
>>619
ちょっといいのじゃとsumaの倍なおねだんじゃからねぃ
(sumaは150まんえんぐらいだす)
ビクーリすておる所だす
2005/03/26(土) 18:59:44ID:J98YQk0h0
たぶん設置場所の関係からラックマウント機器でないとつらいという制約もあるでしょうし、
そのうえ圧縮つきで1TB以上を確保しておく必要があります。
さらに>>610でrootさんが言っているけどオートチェンジャーつきとなると
sumaの数倍は●がとびまくりそうです・・・
2005/03/26(土) 19:07:17ID:J98YQk0h0
>>621の条件を満たすとなるとこれくらいですかねー
金銭的に極めてつらいでしょうね。。。。

ttp://www-6.ibm.com/jp/storage/products/tape/lto/3581.html
ttp://h50146.www5.hp.com/products/storage/tape/ssl1016_sdlt/index.html
2005/03/26(土) 19:30:23ID:+O6+ZIZA0
>>622
どっちも200まんえんぐらいじゃのう
hpのはFC変換ハブがいるから、もっと高くつくかの?
624FOX ★
垢版 |
2005/03/26(土) 19:44:33ID:???0
そんなに高いんですか、、、
うーむ
2005/03/26(土) 20:36:19ID:+O6+ZIZA0
>>624
ねだんはPolywell次第じゃないかのう
正規代理店として持ってこれるブツがあるなら値引きも期待出来るで、
でも、少なくともsuma並のねだんはするとおもうんじゃが

ただたんに鯖を組むだけなら100まんえん以下で済むとおもうでよ
↓の2Uのケースに、てきとうなRAIDカードでも組み込んでミラーさせて
http://www.polywell.com/us/rackservers/poly2012ai.asp
大きいS-ATAHDD(今は400GBが最大)を何発か入れればそんなもんで済むべ

でも、テープを持ち出すからには
何か鯖をたてるだけでは実現できないメリットがあるとおもうんじゃが、、
それはどんなんだべか?
2005/03/27(日) 02:56:52ID:f1aGpjqc0
NetVault を使うとハードディスク上にバーチャルテープライブラリを構築できますが、
そんな事するくらいなら普通に pfsdump でも使った方がましですな
2005/03/27(日) 03:42:48ID:qGX/Vuds0
memoriesもう一個立てて、半手動で同期とっとけばいいんじゃない
2005/03/27(日) 09:30:35ID:G9RKHihM0
もう、RAID-5でも0+1でもいいから、HDDで堅牢性を求めた方が安上がりで、楽な気がする。
もしくは、>627みたいに、鯖間でミラーリングするとか。
テープドライブまで使う必要があるのかどうか・・・。
2005/03/27(日) 11:49:25ID:nI+UA9p70
各鯖の空きHDDをひとつのHDDとして見立ててバックアップに使うシステムとか。

あ、一個でもクラッシュしたらパーか
つかえねーww
2005/03/27(日) 12:02:31ID:WTPE7ojU0
>>628
すでにmemoriesはRAID5です

思いつきですがGoogle Inc.の中の人に相談したらいいかもね
あそこは超優秀な技術者の巣窟ですから
2005/03/27(日) 17:29:14ID:nfigY5zo0
テープの利点というんは、メディアを持ち運び出来る点かのう、
データを管理人の手元においたり、ブラジルで使ったりとかも
可能になってくるんでなかべか、

利用法によっては鯖代の足しになったり鯖負荷低減になったりしるかものう

あとは、巻き戻しポイントを複数用意出来るという点かのう
1ヶ月前のデータじゃとダメだという場合、2ヶ月前、3ヶ月前と
さらに前のデータを用意出来るのは状況によっては有意義かも試練

…ほかに利点はあるべか、
2005/03/27(日) 18:03:09ID:WTPE7ojU0
memoriesの場合は導入直後にフルバックアップをとって、
その後は各種プログラムなどの仕様変更や新規収容があったときに
差分をとるやり方をすれば問題ないかと。

そういった理由でオートチェンジャーは必要性は薄いと思います。
で、メディアはJimさんが地理的に離れたところに設置した耐火金庫へ放り込んでおく、と。
633FOX ★
垢版 |
2005/03/27(日) 23:29:31ID:???0
root★さんいますか?

bbs.cgi@ex10 を更新しても反映されないような仕様ですか?
634root▲ ★
垢版 |
NGNG
>>633
そんなはずはないですが、、、。
なんか、一時的に該当時間、何か様子が変だったみたい。

で、テープですが、入れ替えしないでとれると
手間がないかな、ってかんじで、チェンジャーつきがいいのかなと。
でも高いなら、チェンジャーはあきらめて、とる時はPIEに人がいて、
テープを差し替える、というのでも、十分な気がします。

上記を想定すると、オペレーションは、概ねこんなかんじかなと。

フルダンプ用のテープを2セット用意しておき(例えばAとBとする)、

1)最初にAにフルダンプをとる
2)次にmemoriesに収納があった時にBにフルダンプをとる
3)その次の収納の際にはAにとる、以下2)と3)を繰り返す

これにより、一世代前のテープが常に存在するので、
万一テープにとっている間にSumaがクラッシュしたり、
間違ってテープを上書きしてしまっても、被害を最小限にとどめられる。

で、増分とってもいいんですが、今の更新頻度と手間を考えると、
毎回フルダンプをとっても、十分(たぶん、収納のタイミングでとるだけでいいから)
なのではないかなと。
635偽FOX ★
垢版 |
2005/03/28(月) 02:12:36ID:???0
>>634
りょうかいですー < 前半

テープは見積もりとって見ます
636動け動けウゴウゴ2ちゃんねる
垢版 |
2005/03/28(月) 02:46:55ID:bxHbdtRo0
>>635
偽???Σ(゚Д゚)))
637動け動けウゴウゴ2ちゃんねる
垢版 |
2005/03/28(月) 02:56:10ID:xVPp8nl2O
携帯からスレ立てる事は出来ますか?
教えてください
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。

ニューススポーツなんでも実況