【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17
レス数が900を超えています。1000を超えると表示できなくなるよ。
peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。
＜現在の主要なテーマ＞
・oyster243(BBQ/dnscache)の突然死対策&cobra2245セットアップによる2台体制化
・oytser902(memories)のFreeBSD 5.3化
・「雪だるま作戦」による、スケーラブルなサーバ群構築
・read.cgi/bbs.cgiの細かな調整・詰め
・携帯サーバのプライベート側スイッチのグレードアップ検討
・各種作戦・プロジェクトとの連携
・FreeBSDのさらなるチューニング詰め
＜関連スレッド＞
■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1
http://qb5.2ch.net/test/read.cgi/operate/1105035540/
■ 自動地震速報＠2ch をつくろう
http://qb5.2ch.net/test/read.cgi/operate/1106583619/
■ テレビ番組欄＠2ch をつくろう 第2話
http://qb5.2ch.net/test/read.cgi/operate/1107366393/
＜関連サイト＞
レンタルサーバー maido3.com ２ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html
＜前スレ＞
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16
http://qb5.2ch.net/test/read.cgi/operate/1102087698/ >>832
ftp://ftp.freebsd.org/pub/FreeBSD/CERT/advisories/FreeBSD-SA-05:04.ifconf.asc
とりあえずすごく急ぎなわけじゃなさげ。
5.4Rにするときに対応かな。 バーボンでの動的な .htaccess 変更に伴う .htaccess 破損のリスクを減らすには
こういうものもあります，とさりげなく宣伝(w
http://sunos.saita.ma/mod_authz_iplist.html <チラシの裏>
1分に1回、各掲示板サーバのdat/とsubject.txtをblackgoatからrsyncする、というのは、おもしろそう。
通信路の圧縮、増分転送ともに、満たしている気がするし。
</チラシの裏> >>840
rsyncする => rsyncでとる <チラシの裏>
5.4-RC3 になった模様。< FreeBSD。
</チラシの裏> <チラシの裏>
2.0.54模様。< Apache (Portsも同時との噂有り)。
</チラシの裏> <チラシの裏 href="http://sunos.saita.ma/leaflet.html ">
>>840 雪だるまで read.cgi をフロント側で走らせることを考えても，
Squid でのキャッシュだと dat を直接 open() できないのに対し，
そのやり方なら直接 open() できるのでやりやすそうですね．
>>844 に関連して......もし Apache 更新するなら，ついでに
http://qb5.2ch.net/test/read.cgi/operate/1105909861/188
の更新がまだならお願いします．
http://qb5.2ch.net/test/read.cgi/operate/1105035540/188
もどこかで実験したいですね．
</チラシの裏> >>844
きてるですね。ちかいうちに。
MD5 (apache2/httpd-2.0.54.tar.bz2) = 4ae8a38c6b5db9046616ce10a0d551a2
SIZE (apache2/httpd-2.0.54.tar.bz2) = 5566979
MD5 (apache2/powerlogo.gif) = 0f106073b3c7844cf22d4df126b27c62
SIZE (apache2/powerlogo.gif) = 5279
>>845
そうなんですよね。
うまくすれば、かなり応用範囲広いかもです。
Apache更新の際には、mod_cgidsoも更新と。
で、workerで動かすのは、白やぎさんあたりでやってみようかなと思っていたり。 で、
<チラシの裏>
Apacheのモジュールをstatic linkにすると、ex10とか効果あるのかしらね。
</チラシの裏> The RAID Controller has arrived.
Which server would you like it installed to?
-Sean
>>848
Thank you. I already received the mail from one of "Inside Person" of maido3.com,
and I replied it.
I'd like to install RAID card to oyster243 and reinstall FreeBSD/amd64,
I already backup all data of it and already did shutdown, so I think it is ready.
So, please order to Sean-san to start installing now. >>849
I thought that it is the parfect responce if "Inside Person" is "NAKA-NO-HITO(Inside Person)"! there is NOT the "inside-person" !!! It seems Polywell has given us the Wrong SCSI 320 RAID controller. It
is not the one we ordered. This is only a SCSI 320 Dual host adapter
and does not have RAID support. I will get the correct card from
Polywell ASAP.
-Sean
>>852
Oh, my.
I understand the situation and please say Ganbatte-kusadai to Sean-san. It is mysterious because it can be understood that it is a topic related to the
server even from English. biku!. ∧ ∧ ∧ ∧ ／￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣
Σ(ﾟДﾟ；≡；ﾟдﾟ) ＜ Wow! I think, i entered terrible area !
./ つ つ ＼＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
～（＿⌒ヽ dokidoki
bu! ω)ノ ｀Jззз
カーネル再構築確定みたいです（汗
ttp://home.jp.freebsd.org/cgi-bin/showmail/announce-jp/1289 >>857
↓
>>832-833 かな。
外からやられる可能性は、完全に0なわけじゃないけど。 BSD Hacksをよんでいたらsysutils/tentakelとnet/clusteritの紹介があった。
複数のホストを同時並行でシェルコマンドを与えられるツールだって。
portupgradeだのmake buildkernelだのを一気にやるのに楽じゃん。 >>859
おぉ。よさげですね。
機内で読むつもりで、今買ってみたです。 < BSD Hacks そういやrootﾀﾝ出張だってどっかに書いてたね。
お気をつけていってらっしゃーい。 >>861
こんどのは修行(私費)すね。
今日はちと限界。いったん仮眠するです。 >>862
あぁ、そうだ修行って書いてたね。
お休みなさい。たまにはしっかりと休んでねー。 どこかでリクエストがあったので、RAID 1で痛い目にあった例を簡単に。
以下は私が直接痛い目にあったのと、なった人がいるというのがまじってるです。
・片方HDDが壊れた時に片肺モードで動いてくれなくて、落ちちゃいけないシステムが長時間ダウン
・コントローラのファームウェアにバグがあって、障害時にHDDが両方とも同時にあぼーん
・片肺モードになったことを正しく知らせてくれなくてHDDの障害発見が遅れ、
2つ目のHDDがあぼーんして始めて障害が露見。データは当然あぼーん
・復旧オペレーション(RAID 1の再構築)がBIOSの不具合でうまくいかなくて、データがあぼーん
「RAID 1は確かにすばらしい。しかし過信するな」が、祖父からの遺言です。 痛い目にあって失ったものとRAID1にして得られたもののバランスがどの程度のものなのか >>868
もちろん、得るものは大きいですね。
「過信」するとまずい、ってことで。 知人の例。ヒューマンエラーなんだけど
・片肺あぼーん
・電話で故障ディスクを交換するよう指示
・間違えて正常な方を交換,リビルド
・アレ？ >>870
こないだのcobra2245の時、これを心配しました。
Seanさんには「確認できるまで、はずしたディスクはキープしといてね」ってICQしたり。 5.4のリリースぎりぎりでこんな変更が。なんだろ。
Edit src/sys/boot/i386/libi386/biosacpi.c
Add delta 1.9.6.1 2005.04.18.17.11.05 njl
Edit src/sys/i386/i386/genassym.c
Add delta 1.148.2.1.2.1 2005.04.18.21.36.16 peter
Edit src/sys/i386/i386/vm86bios.s
Add delta 1.30.10.1 2005.04.18.21.36.17 peter
Edit src/sys/i386/include/pcb.h
Add delta 1.52.6.1 2005.04.18.21.36.17 peter %uname -a
FreeBSD oyster901.maido3.com 5.4-RC3 FreeBSD 5.4-RC3 #0: Wed Apr 20 08:48:34 PDT 2005 service@oyster901.maido3.com:/usr/obj/usr/src/sys/AMD64_COBRA_54 amd64
∩
( ﾟ∀ﾟ)彡
⊂彡 >873
うほ
どさくさに紛れて５．４入れてたんですか（滝汗
懸案のperlも最新版なのかなぁ。。。 >>874
そりゃだって、/home 以外全部㌧だんだから、
何のしがらみもないわけで。 まだ30分ほどしか見ていないけど、
直感的には、そうとうパフォーマンスよくなっている気がします。< 5.4
チューニング手法も、変わってくるかも。 show-stopper bug 1個が修正待ち
また1週間伸びます。5.4R RE: About RAID controller card.
They said it will take 2 more days to get it in.
-Sean
Giga Switch 一台と
TinyTiger 六台が発注されました。 Jimさんから、SumaストレージのSlot 8のHDDがFAIL状態になったため、
HDDを差し替えたという連絡を受けました。
さきほどSumaストレージのイベントログをチェックし、
・RAID 5のうち1台が死亡
・ホットスペアのドライブ(そのときはSlot 4)をRAIDメンバーに自動的に組み入れ、
RAID 5を自動的に再構築
・SeanさんがHDDを差し替え
・差し替えたHDDに対して自動的にメディアスキャンがかかり、メディアスキャン成功後
新たなホットスペアに自動設定
というイベントが起きていたことを確認しました(下記添付)。
つまり、Sumaストレージがかしこくすべてを実行し、
memoriesのデータも無事だったということになります。ほっ。
Mon Apr 18 21:23:59 2005
Slot8 Target ALERT: Unexpected Select Timeout
Mon Apr 18 21:24:00 2005
LG:0 Logical Drive ALERT: Slot8 Drive Failure
Mon Apr 18 21:24:00 2005
ALERT: Slot8 Media Scan Failed
Mon Apr 18 21:24:01 2005
LG:0 Logical Drive NOTICE: Starting Rebuild
Tue Apr 19 04:15:46 2005
Rebuild of Logical Drive 0 Completed
Tue Apr 19 16:41:19 2005
Slot8 Drive NOTICE: Scan Drive Successful 現在Sumaストレージは、
250GB HDD7台でRAID5を構成
250GB HDD1台をHot spareドライブに設定
にしています。
この状況で1台RAID5のHDDが飛ぶと、自動的にSumaがそれを認識して、
Hot spareドライブをRAID 5に自動的に組み入れ、RAID 5をrebuildします。
つまり、RAID 5の冗長性は失われません。
この状態で壊れたHDDを差し替えると、メディアスキャンが自動的に起こり、
それが無事通ると、今度はそのHDDがHot spareになるようにしてあります。
ということで現在、Hot spareのドライブがSlot 4からSlot 8に変わっただけで、
前と同じ冗長性が保たれていることになります。 >>882 を見てこれを思い出しましたが
http://qb5.2ch.net/test/read.cgi/operate/1105035540/160
>160 ：FOX ★ ：05/03/09 03:45:11 ID:???0
> :
> 書き込みは 専用のDSO(written in C)
POST されたフォームデータを DSO プログラムで扱う方法としては，
まずは ap_{setup,should,get}_client_block() でリクエストボディを読み込んで
自力でパースするという方法があって，882 のもそういう形でやっているようです．
しかし，フォームデータを扱うのに便利なライブラリ/モジュールが Apache Project で
作られていまして，それを使うとかなりスマートにフォームデータを扱えます．
雪だるまをやる際にはこれを使うといいと思います．
libapreq (Apache HTTP Request Library) http://httpd.apache.org/apreq/ [FreeBSD-Announce] FreeBSD Security Advisory FreeBSD-SA-05:05.cvs
http://lists.freebsd.org/pipermail/freebsd-announce/2005-April/000991.html
CVSサーバが動いてる時に起こるのかな。 >>886
さすがに過去ログサーバはいろんな意味で超重要なので、
それなりのものを入れてあって、チェックもきちんとやってはいますが、
例によって過信するといまいちなので、どきどきしています。
テープのみつもりってどうなったのかしら。
# 私も少し、製品を調べてみるか。
>>887
いつもどもです。そういうのあるですか。
見てみると、FreeBSD の ports もあるみたいですね。
>>888
cvsup.peko.2ch.net を更新せねば。 >>889
…と書いたけど、cvsupdは影響ないのかな。
とりあえず、更新はしてみた。
# ちょっとおでかけ。 >> 885
でも HDD が二台同時にお亡くなりになったら、ダメでしょ。
二台同時に落ちる確率は、一台だけよりも低いから許容範囲? >>891
その場合はもちろんだめすね。
だから、どうしようかなってのが、まさに考えどころなわけで。 >>892
hot spareを２つにしてみる
これも３つ同時に逝くとだめになりますけど、
３台同時に逝く確率は２台同時に逝く確率よりは低いでしょう
といってみる >>892
それでもrebuild中の負荷で二台目が逝ってしまうと駄目だな。
memoriesは通常時はアクセス少なそうだし、不具合が表面化しにくそう。
rebildによる連続アクセスが始まったとたんに、二台目あぼーんの可能
性が考えられる。
そんなん考えてったら3枚、4枚と増えていく罠。
でも同じ時と場所で作られたHDDを入れないようにすれば(リスクヘッジのアレね)
2枚まででええような気がしなくもなく。 >> 894
1 Hot Swap で再構築中に落ちるのが恐い。
落ちてから、再構築が終るまでは RAID5 保険が効かないのだから。
2 台以上の Hot Swap はどうやってデータを分散させるんだろ?
Hot Swap は全ておんなじデータ? 再構築中に落ちるリスクは、あるですね。
というか、1台あぼーん検出 => ホットスペア組み入れ・再構築
の最中にもう1台がだめぽになった場合、Sumaストレージはどういう振る舞いをするんだろう。
やはり、全あぼーんか。
で、
> 2 台以上の Hot Swap はどうやってデータを分散させるんだろ?
> Hot Swap は全ておんなじデータ?
の意味が、よくわからなかったりします。
Hot spare = Hot standby なので、普段はそのドライブは待機してるですね。 hot spare自体はほとんど入れたままの状態でないはないでしょうかね。
やはりテープドライブを早くかって適宜バックアップを取ってテープは耐火金庫行きがいいでしょうね
memoriesはもう追記されることのないdatが容量のほとんどですから >> 897
どうも、RAID5 では待機ドライブは一つのみ、みたいです。
2 つ待機させるのは RAID6 らしい。
HD が飛んでも自分で復活できるのは待機ドライブがパリティを
保持しているから。ある意味、待機ドライブというのは、人間の
都合上の名前で、全部のドライブは立場上は対等です。
2 つの稼働中ドライブが飛んだり、稼働中一つと待機ドライブ
が飛んでも大丈夫なのか、またどうやって復活させるかと
いうことです。
RAID 5
ttp://www5.ocn.ne.jp/~essu/raid5.html
RAID 0 -> 6
ttp://www2s.biglobe.ne.jp/~system/faq/raidFAQ1.htm
RAID6 はここの図の方がよさげ。RAID5 のもわかりやすい。
ttp://home.interlink.or.jp/~odagi/yellow_ibm1.htm >> 899
> 2 つの稼働中ドライブが飛んだり、稼働中一つと待機ドライブ
>が飛んでも大丈夫なのか、またどうやって復活させるかと
>いうことです。
なんか自分で読んでいてもイマイチ通じていない気がする。
RAID の全ての 2 つのドライブの組合せにおいて、
完全なデータの復旧を保証するデータとパリティの配置は存在するのか。
ぶっちゃけた話、この二台組だったら壊れても大丈夫だけど、
この二台組が同時に壊れたら全アボーンだよっていう組合せがあるのかなと。 >> 885
>> 897
>> 889
Hot Swap の意味を間違えていました。
Hot Swap とは RAID5 の中には組み込まれておらず、
待機しているドライブのことだったのですね。
RAID組の中のドライブの一つかと思ってまつた。
スマソ。
RAID5 に組まれているのが止まったら、Hot Swap を使って、RAID を
再構築し、壊れたやつを入れ換えると、次の障害まで待ち続けると。 >>901
はい、そういうことです。＞最後の2行
とりあえずRAID 5なら、これが現実的な解なのかなと。 というわけで、現時点で判明している今回の主な作業予定。
調査によるとSumaの新ファームも出ておらず、
CobraサーバのBIOS更新も今回は必要なさげなので、前回(9月)ほどは忙しくない見込み。
忙しさは、2) と 6) に依存するのかなと。
1) ex10のOS更新・調整等(必要に応じて)
2) いくつかのサーバのOS更新(期日までにFreeBSD 5.4Rが出ていれば)
3) リモートからSumaのファームウェアを更新可能な状態にしてくる(ケーブルの再接続など)
4) cobra2247のSCSIケーブル追加(同じchannelに2台ディスクがついているため: Jimさんにケーブル頼んでおかないと)
5) PIE内の新スペース、通称「XO」の視察(ひ（りゃ が予約した携帯用ラックスペースを含む)
6) >>880 のサーバやスイッチ類が届いていれば、作業のお手伝い
7) 電車男の本をJimさんに渡す あとは、
8)リモートコンソール環境の整備(できるかどうか要確認)
ぐらいか。
あと、現地に行った時にやっておくべきことがあれば、ご指摘くださいです。 XO=eXtraOrdinary??
> 7) 電車男の本をJimさんに渡す
英訳本でてるんですか？(す 日本語だよ? って言ったら、
それでもいいから持ってきてくれ、ってゆってたのです。 >>906
You can subscribe all article of the Densha-Otoko on the internet.
(電車男の全文がネット上で読めるよ)
ともいいました？ RAID61(6+1)なんてのは無いのだろうかとふと思ってみたり。 >>910
片方はソフトでもう片方はハードで、とかならできる鴨 >>913
maido3.com 未登録すね。
peko.2ch.net のDNSサーバのうちひとつは、セットアップをさぼっていたり(そのうちやります)。 >>903 追加
8) banana403 (= c-au/c-au1)システム再インストール&セットアップ
持って行くもの
・5.4R(または-RC?)を焼いたCD-R
で、このままだと 8) の間 c-au 系が全部止まってしまうので、
とりあえずDNSラウンドロビン系に設定を変えておこうかと。 bbq がいまいちだった原因について
niku.2ch.net の DNS サーバの情報がとれないための問題でした。
(niku.2ch.net の DNS サーバそのものは動いていました)
niku.2ch.net の DNS サーバは、nikuns1.peko.2ch.net. と定義されていました。
つまり、peko.2ch.net サブドメインで動いていないといけません。
3日ごとにこの NS のキャッシュがなくなった時点で、この情報がなくなり、再取得が起こります。
すると peko.2ch.net サブドメインにとりにいくのですが、その際に a.ns.peko.2ch.net と
c.ns.peko.2ch.net にとりにいきます。
その時に1台 (c.ns.peko)が動いていない状態であったため、うまくとれない状態に陥りました。
原因は、oyster901 が先日あぼーんした時に DNS サーバの構築をさぼっていたためでした。
つまり、>>913 と原因は同じでした。
で、緊急に oyster901 で peko.2ch.net のDNS サーバを動かし、問題解決をはかりました。
oyster901 で peko.2ch.net ドメインの DNS サーバが動いているのはもはや「歴史的事情」なので、
別のサーバに移設することにします。
今日ごごいちにでもセットアップ作業をして、このためのDNSサーバの変更依頼を出します。
あわせて、>>915 の最終段落の作業も依頼へと。 peko.2ch.net の DNS サーバのひとつは、banana201 = www で動かそう。
セットアップ後、申請へと。 セットアップできました。
以下のDNS設定変更をお願いします。
1) peko.2ch.net サブドメインのDNSサーバホストの一部変更
2) uma.2ch.net サブドメインの廃止 & uma.2ch.net の管理を上位ドメインに戻す
3) c-au 系のラウンドロビンDNS化
(現在)
&peko.2ch.net:206.223.151.226:a
&peko.2ch.net:206.223.147.48:c
&uma.2ch.net:206.223.151.226:b
&uma.2ch.net:206.223.147.48:c
+c-au.2ch.net:206.223.150.96
(変更後)
&peko.2ch.net:206.223.147.48:c
&peko.2ch.net:206.223.151.10:d
+uma.2ch.net:61.211.230.17
+c-au.2ch.net:206.223.150.95
+c-au.2ch.net:206.223.150.140
+c-au.2ch.net:206.223.150.250 oyster243 の RAID 1 カードが到着し、OS のインストールにとりかかったと
one of inside person から連絡がありました。 >>922
nslookupで確認してみますたー
umaとc-auはOK
pekoはIP返さない（そもそも仕様？） >>923
どもです。
>>923
> pekoはIP返さない（そもそも仕様？）
そういう仕様です。 http://qb5.2ch.net/test/read.cgi/operate/1112024113/88
88 名前：動け動けウゴウゴ２ちゃんねる[sage] 投稿日：2005/04/24(日) 23:40:03 ID:9UxsRJ3e0
【板】banana全鯖
【機能】L.A.が10を超えたら1未満になるまで自動的にbbs.cgiの起動を停止
【理由】どうせbbs.cgi止めるまで収まらんし。だったら自動化しちゃえ
【需要】表立っては出てこないけど洗剤的には。
【補足】自動人大杉みたいな感じで。tiger,cobraは自力で立ち直れるからいらない。
を、httpdレベルでやれるといいかも。
具体的にはLA見て、特定のcgiの実行をさせないとかいうかんじか。
(bbs.cgiでやる(昔の「お茶飲め」は結局あまり効果がないことが証明されているので) >>926 例えば，こんな感じで DSO プログラムでチェックしてから実際の bbs.cgi に渡すとか．
#define REAL_BBS_CGI "/test/realbbs.cgi"
int dso_main(request_rec *r, int argc, char **argv)
{
double loadavg;
const char *loadavglimit;
getloadavg(&loadavg, 1);
loadavglimit = apr_table_get(r->subprocess_env, "BbsCgiLoadAvgLimit");
if (loadavglimit && loadavg >= atof(loadavglimit)) {
/* 人大杉 */
apr_table_setn(r->err_headers_out, "X-Load-Avg",
apr_psprintf(r->pool, "%.2f (Limit = %s)", loadavg, loadavglimit));
return HTTP_SERVICE_UNAVAILABLE;
}
ap_internal_redirect(REAL_BBS_CGI, r);
return OK;
}
あと，mod_authz_iplist 入れるなら(>>912)，もし
`in6_addr_t' undeclared のようなコンパイルエラーが出たら
-Din6_addr_t=struct\\\ in6_addr
を apxs の呼び出し時に追加しておいて下さい． #RLimitCPU 120
↓
RLimitCPU 30
@ ex10 。
とりあえず重くなった時に起こる、speedy_backendの暴走に仮対応。
(暴走しだしたら前よりも早く死ぬ) 本日の作業予定:
1)banana403 OS再インストール
2)cobra2247 SCSIケーブルインストール
3)oyster243がうまくつながらない問題 oyster901 = ex10
・5.4-RC3の最新に更新
・MIXED_MODEを再度有効にした(5.4-RC3ではデフォルトでは無効)
・メモリディスクの容量を64Mに増やした(40Mではちょっと足りないっぽい) 現在の進捗:
1) ex10のOS更新・調整等(必要に応じて) → 完了
2) いくつかのサーバのOS更新(期日までにFreeBSD 5.4Rが出ていれば) → 5.4Rがまだ出てないのでやらない予定
3) リモートからSumaのファームウェアを更新可能な状態にしてくる → 完了
4) cobra2247のSCSIケーブル追加 → 完了
5) PIE内の新スペース、通称「XO」の視察(ひ（りゃ が予約した携帯用ラックスペースを含む) → 完了
6) >>880 のサーバやスイッチ類が届いていれば、作業のお手伝い → 動作チェック等まだにつきやらない予定
7) 電車男の本をJimさんに渡す → 完了
8)リモートコンソール環境の整備(できるかどうか要確認) → XOの整備のあとになるとのこと
9) banana403 (= c-au/c-au1)システム再インストール&セットアップ → 作業中 前回やったcobraサーバのBIOSバージョンアップ → 今回は必要なし
同じく、Sumaストレージのファームウェアバージョンアップ → 最新ファームにつき必要なし >>931
> 9) banana403 (= c-au/c-au1)システム再インストール&セットアップ → 概ね終了。動作観察中
10) oyster243 の状況チェック → 明日の予定
今日の作業は、ここまで。
しばらくしたら、迎えが来る予定。 レス数が900を超えています。1000を超えると表示できなくなるよ。
