【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16

**root▲ ★** · 04/12/04 00:28:18

peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。

＜現在の主要なテーマ＞
・read.cgiのmod_cgidso化によるパフォーマンスアップ
・bbs.cgiのSpeedyCGI化によるパフォーマンスアップ
・FreeBSD 5.3Rへのサーバ更新作業&さらなるチューニング

＜関連板・スレッド＞
また挑戦。＠2ch掲示板
http://dso.2ch.net/myanmar/
また挑戦２。＠2ch掲示板
http://dso.2ch.net/yangon/
bbs.cgi再開発プロジェクト４
http://qb5.2ch.net/test/read.cgi/operate/1101984763/
read.cgi再開発スレ
http://qb5.2ch.net/test/read.cgi/operate/1087199303/

＜関連サイト＞
レンタルサーバー maido3.com ２ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねる/PINKちゃんねる稼動中のサーバ一覧: http://mumumu.mu/serverlist.html

＜前スレ＞
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part15
http://qb5.2ch.net/test/read.cgi/operate/1093068260/

**root▲ ★** · 04/12/06 19:03:00

Perl版のほうも、スキップ版にしないと(FOXさんがした模様)、だめなのか。
うーむ、研究が必要ということで。

**root▲ ★** · 04/12/06 19:04:46

混乱するので、私はoyster243が復活するまでは、
bbs.cgi 方面はいじらないことにします。

現在、ex7 live8 live16 live17 以外は従来のPerl版で動いています。

**root▲ ★** · 04/12/06 19:11:51

ということで、システムインストール作業待ちの状態。

>>129 ですが、BBQとdnscacheをそういう配置にするのは、
メモリ容量の違い、と考えていいのかしら。

で、以降途中は(場合によっては移行後も)、
oyster243でもdnscacheを動かし続けるというかんじか。

**FOX ★** · 04/12/06 19:16:31

BBQ じゃなくて
DNS を引くときにブロックされていると思われ

それらのサーバには 243 しか書かれていないはず、

今 live15 だけ変更してみました

**root▲ ★** · 04/12/06 19:18:04

>>147
そうですね。

でもその部分は、alarm()が効くと思っていたんですが。
それともdnscacheが落ちていると、そこも効かなくなるということなのかしら。

**root▲ ★** · 04/12/06 19:19:28

具体的には、gethostbyname() のところですね。
gethostbyname() から所定の時間内に戻ってこない場合、
次にいってほしいなと。

リモートホストを逆引きしてログにとるところ(gethostbyaddr()のところ)は、
alarm()していないはずなので、そこはブロックしても仕方ないわけですけど。

**FOX ★** · 04/12/06 19:20:01

たんにリモホ引くときは Alarm で引っ掛けていないです

**FOX ★** · 04/12/06 19:20:46

そこの仕様変更は危険と思われ。。。

どんどん　BBQ に焼かれます。

**root▲ ★** · 04/12/06 19:22:16

>>150
うん。そこはブロックされるはずです。

でもそこが大丈夫なはずのtigerサーバ/cobraサーバ(= DNSキャッシュ自分もち)のところも、
BBQのチェック部分でひっかかったのが、なぜなのかなと。

**FOX ★** · 04/12/06 19:22:36

live15,ex8

nameserver 実験で確かめるために変更しました。

1) 345
2) 243
3) maido3 のどれか所定のやつ
4) maido3 のどれか所定のやつ

**動け動けウゴウゴ２ちゃんねる** · 04/12/06 19:22:46

これは面白い祭り会場ですね

生暖かい目で見守っています。
がんがってくださいね！

-=・=-　　　-=・=-

**root▲ ★** · 04/12/06 19:23:14

>>151
BBQは、外からDNSひいても影響ないです。
(外からひくことで登録しているのは、BBX/Rock54)。

**FOX ★** · 04/12/06 19:24:11

Tiger/Cobra のbbs.cgi(SpeedyCGI) のやつは
今のところ何をやっても Alarm をBackEndが受け取ってくれません
たぶん　FrontEnd は受け取っていると思われ
これはこれからの研究に委ねられます。

**root▲ ★** · 04/12/06 19:24:24

>>153
245すね。
今 query きているのを確認しました。

**root▲ ★** · 04/12/06 19:25:16

>>156
了解です。

**FOX ★** · 04/12/06 19:25:22

>>155
リモホ引けないやつはどんどん焼くという仕組みが
Boo80 にあるですよ、

だから BBQにどんどん投入しちゃう

**FOX ★** · 04/12/06 19:26:33

今　ブロックが起ってかけないサーバは BBQ 云々じゃなく
単に普通のリモホ引きが出来ないために起っています。

**root▲ ★** · 04/12/06 19:29:01

>>159
おー、そういうことだったんですか。
逆引きちゃんと設定してないと、どきどきするわけだ。
了解です。

>>160
そうですね。

**root▲ ★** · 04/12/06 19:34:17

oyster243、HDD交換終了。
受け取りました。
セットアップにとりかかります。

**FOX ★** · 04/12/06 19:50:37

当面の方針は

1) 243 (or245)
2) 245 (or243) 半々くらいに、
3) maido3 設置ラックによる所定のやつ
4) maido3 設置ラックによる所定のやつ

ということにして

243 , 245 のDNS ２台体制にする、(BBM はお引越し)
243 で RAID1 を試してうまく行ったら 245 もRAID1化

でいいかな?

**root▲ ★** · 04/12/06 19:54:27

>>163
1)～4)は /etc/resolv.conf の設定順ですね。

で、dnscache/BBQとも、2台体制にするというかんじですか。
それともdnscacheだけ2台体制?

**FOX ★** · 04/12/06 19:59:35

BBQ は別に一台

dnscache/BBQ (二台 143,145)
BBQ 別に一台(ひろゆきが買ってくれるのを期待!!)

ということで
現状では BBQ 専用はないので BBQは 243に同居
BBM は 245 に同居

かな?

**root▲ ★** · 04/12/06 20:06:36

ということは、

oyster243 dnscacheその1 BBQ
cobra2245 dnscacheその2 BBM

でまずは動かしておいて、

別サーバ1 BBQその2

をめざすということかしら。

**FOX ★** · 04/12/06 20:07:44

そうそう
どうでしょ?

**未承諾広告※** ◆TWARamEjuA · 04/12/06 20:10:27

>>84
%php -v
[Mon Dec 6 02:46:39 2004] [apc-error] apc_shm_create: shmget(0, 31457280,914) failed: Cannot allocate memory

って出ますー（汗）

<q cite="http://moonshine.s32.xrea.com/#news">
04/08/15
ひとりごと。
coreを吐いたり、たまにコンパイルをミスるMMCacheに代わってAPC2の導入を検討中。
まずPHPをconfigureのオプションに --enable-sysvshm を付けてコンパイル。
普通にインストールすると [apc-error] apc_shm_create: shmget(0, 31457280,914) failed: Invalid argument のようなエラーが出て使えない。
FreeBSDではSHMMAXPGSとSHMSEGの値を適当に増やしてカーネルを再構築すれば大丈夫だった。
しかしMacOS Xではカーネルの再構築というわけにもいかない。（Darwinのソースからとかはナシで）
</q>

だそうですー（汗）

**root▲ ★** · 04/12/06 20:12:03

BBQ死亡時が、どきどきしますが、
BBQその2が来るまでは、bbs.cgiごにょごにょとか、
対症療法でなんとかすると。

であれば、当面これでいける気がします。

次の段階で、oyster243とcobra2245のセカンド側のインタフェース使って、
1つのIPアドレス共有をはかりたいですね。

**root▲ ★** · 04/12/06 20:13:10

>>168
おー、なるほど。

携帯サーバ並みにあれをふやさないと、いかんのか @ banana238。
時間とれたところでやっておくです。

**root▲ ★** · 04/12/06 20:14:16

portsをmake updateし、
make -j8 buildworld buildkernelしています。< oyster243

その間に、banana238をみてきます。

**root▲ ★** · 04/12/06 20:21:24

>>168
banana238に、

# keitai server tuning
kern.ipc.nmbclusters=32768
kern.ipc.maxsockets=32768
vm.pmap.shpgperproc=1024

を足して、rebootしました。
どうでしょう。

**root▲ ★** · 04/12/06 20:58:39

5.3Rへのバージョンアップ完了。
これから、本格的にセットアップ入ります。

**未承諾広告※** ◆TWARamEjuA · 04/12/06 21:11:52

>>172
%php -v
[Mon Dec 6 04:04:02 2004] [apc-error] apc_shm_create: shmget(0, 31457280,914) failed: Cannot allocate memory

変わらないようですー（汗）

<q cite="http://moonshine.s32.xrea.com/#news">
04/08/28
APCの件は解決。/private/etc/rcでSystem V共有メモリの量を大きくすれば良かった。
8/15に書いた方法はBSDサブシステムが立ち上がってから実行されるため、変更できなかったと考察した。
</q>
と言う記述もありましたー

kernel のオプションについては疎くて適切なアドバイスが出来なくてごめんなさいですm(_ _)m

あと、
%ps auxUch2rck54
USER PID %CPU %MEM VSZ RSS TT STAT STARTED TIME COMMAND
ch2rck54 1001 0.0 0.0 0 0 ?? Z 3:30AM 0:00.00 <defunct>
と云うのも出ていますので、こちらも調査してみるです。。。
（こちらはRock54自動起動で何かが起こっているみたいですので。／Rock54システム自体は正常に稼働しているようです）

**root▲ ★** · 04/12/06 21:14:13

>>174
了解です。
oyster243復旧後にでも。

**未承諾広告※** ◆TWARamEjuA · 04/12/06 21:14:20

あと、こゆのも出てるみたいですー＠svc関連
USER PID %CPU %MEM VSZ RSS TT STAT STARTED TIME COMMAND
root 494 0.0 0.1 1180 488 con- I 3:20AM 0:00.00 [readproctitle]

**root▲ ★** · 04/12/06 21:27:19

>>176
それはたぶん、正常動作と思うです。

**root氏乙です** · 04/12/06 21:28:56

なんか話がゴッチャになってよく分かりません
まとめると

・SpeedyCGIの件
・HDD故障原因の件
・oyster243復旧の件
・DNS鯖ミラーの件
・BBQ改良の件
・転んでも泣かない鯖の件

以上でよろしいでしょうか？
すでにdoneのものはSpeedyCGIぐらいかな？

**root▲ ★** · 04/12/06 21:38:09

>>178
どもです。
+
read.cgiをcgidso化する件
banana238のPHPの件

**未承諾広告※** ◆TWARamEjuA · 04/12/06 22:17:12

>>174
> （こちらはRock54自動起動で何かが起こっているみたいですので。／Rock54システム自体は正常に稼働しているようです）
join '<>', @status;
この行でwarningが出たみたい、、、なんじゃほら（汗）
あと、%ENVと%SIGをlocalしてみました。
でもってcronさんが３人も居るのは何でだろう？＠メールも送ってくれないし(MAILTOの設定済み)

>>177
そういえばコメントが出ていませんですよね。m(_ _)m

>>178-179
ややこしい時に引っかき回してごめんなさいですm(_ _)m重ね重ね

**FOX氏も乙です** · 04/12/06 22:26:26

>>179
了解です。この頃、運用板が騒がしいですな。

**root▲ ★** · 04/12/06 22:59:35

oyster243のセットアップ、概ねできたはず。

BBQの動作確認中。

最後に、最終的なリブートテストをします。

◆X7F1FulWvk · 04/12/06 23:03:16

激しくお疲れ様です。

**root▲ ★** · 04/12/06 23:10:30

リブートテストとおりました。

BBQのログ&データをメモリディスクに入れたので、
リブートするとリセットされます。

最悪10分すると再生成されて、元に戻るはず。
このチェックができれば、作業終了。

**root▲ ★** · 04/12/06 23:12:41

BBQデータが再生成されることを確認しました。

これで、BBQが正しくひけることを確認できたら、
bbs.cgiを元に戻してきます。

**root▲ ★** · 04/12/06 23:14:06

BBQは正しく動くようになりました。

%nslookup 51.19.10.128.niku.2ch.net
Server: localhost
Address: 127.0.0.1

Non-authoritative answer:
Name: 51.19.10.128.niku.2ch.net
Address: 127.0.0.2

後処理にいってきます。

**root▲ ★** · 04/12/06 23:16:34

メモしておこう。

・cobra2245のdnscacheのログも/md化する
・後でbanana238のPHP周りをみてみる

**未承諾広告※** ◆TWARamEjuA · 04/12/06 23:34:10

おつですたーm(_ _)m

**root▲ ★** · 04/12/06 23:35:30

各サーバの様子を確認中。

今落ちているサーバは、

ex7
that3
travel2

他には？

**root▲ ★** · 04/12/06 23:36:21

that3にログインしようと、トライ中。

**( *´ⅴ｀)ﾉﾝ** ◆.HNONOTaN. · 04/12/06 23:38:23

book3もダメぽい。

**root▲ ★** · 04/12/06 23:39:10

>>189 なサーバは、超重いすね。
原因を調査中。

**root▲ ★** · 04/12/06 23:39:25

>>191
同じ症状の模様。

**動け動けウゴウゴ２ちゃんねる** · 04/12/06 23:45:31

ircも落ちてる

**root▲ ★** · 04/12/06 23:47:03

news18 news19 game9 game10 hobby7 正常を確認。

>>194
ircは、私、触れません。

**名無し募集中。。。** · 04/12/06 23:48:39

フォッ糞死ねカス

**動け動けウゴウゴ２ちゃんねる** · 04/12/06 23:49:03

bubble2もですね

**root▲ ★** · 04/12/06 23:49:44

banana で反応がとても遅いもの

that3 travel2 book3 bubble2 (ひょっとして同じマシンに同居しているのもあるかも)

tigerでおかしいもの

ex7

でいいのかな。

**root▲ ★** · 04/12/06 23:51:09

that3 book3 bubble2 travel2

これらは同居ですね。

22:00 ごろに落ちたのか。
http://ch2.ath.cx/load/that3.html

今回の作業と関係あるんだろうか。

**動け動けウゴウゴ２ちゃんねる** · 04/12/06 23:52:34

>>199　そうだす　banana229だす

**root▲ ★** · 04/12/06 23:54:57

live8のbbs.cgiを、BBQを引くものにしました。
様子を観察中。

問題なければ、live16 live17にも配布予定。

**root▲ ★** · 04/12/06 23:56:49

live8のDNS logをチェック中。
問題ない模様。

これから、live16 live17 に同じものを配布します。

**root▲ ★** · 04/12/07 00:00:54

live16 live17 に配布しました。
dsoは、どうだったかな。確認します。

これで banana229 (>>200) と tiger503 以外は、復活したと思う。

**root▲ ★** · 04/12/07 00:11:22

cobra2245 の DNS キャッシュサーバをメモリディスク化する作業を実施中。

**root▲ ★** · 04/12/07 00:23:00

>>204 は完了。

**動け動けウゴウゴ２ちゃんねる** · 04/12/07 00:24:19

とりあえず乙。
そしてがんばれ。

**root▲ ★** · 04/12/07 00:26:01

dso のbbs.cgiは、BBQ参照版になっていました。>>203

**動け動けウゴウゴ２ちゃんねる** · 04/12/07 00:27:13

鯖落ち回復はしばらくかかりそうですか？

**root▲ ★** · 04/12/07 00:29:12

ex7 (= tiger503) と that3 travel2 book3 bubble2 (= banana229)は、
これから10分ほど待って自力復活しない場合、リブート要請出します。

復活したら、bbs.cgi 配布と。

これから banana238 の PHP 問題にとりかかります。

**動け動けウゴウゴ２ちゃんねる** · 04/12/07 00:34:16

把握した。

**動け動けウゴウゴ２ちゃんねる** · 04/12/07 00:43:44

>>209
どうなりましたか？

**動け動けウゴウゴ２ちゃんねる** · 04/12/07 00:47:35

要請か

**root▲ ★** · 04/12/07 00:52:19

# shared memory tunings
kern.ipc.shmall=16384
kern.ipc.shmmax=67108864

を /etc/sysctl.conf に入れ、sysctl コマンドで変更した。

これでどうかな。< banana238

**root▲ ★** · 04/12/07 00:53:27

>>211
とても遅くて、入れないですね。
sshもタイムアウトします。

これから、リブート要請します。
リブートされるかは、かみのみそしる。

**root▲ ★** · 04/12/07 00:57:11

要請出しました。

これで、pending な作業は、ないはず。

**動け動けウゴウゴ２ちゃんねる** · 04/12/07 00:58:37

　 ∧＿∧ 　
　（　・∀・）　おとなしくして
　（　∪ ∪ 　待ってろ。
　と＿_）__）
　

**未承諾広告※** ◆TWARamEjuA · 04/12/07 01:00:06

>>213
-bash-2.05b$ php -v
PHP 4.3.9 (cli) (built: Dec 5 2004 19:51:51)
Copyright (c) 1997-2004 The PHP Group
Zend Engine v1.3.0, Copyright (c) 1998-2004 Zend Technologies

ｷﾀ━━━(ﾟ∀ﾟ)━━━ｯ!!

※chfn したのは内緒♪@csh→bash

**root▲ ★** · 04/12/07 01:00:28

ex7 リブートかかりはじめました。

**root▲ ★** · 04/12/07 01:00:55

>>217
お、よかった。

携帯サーバを5.3Rにするときは、これ入れなきゃ。

**動け動けウゴウゴ２ちゃんねる** · 04/12/07 01:03:00

来ました

**root▲ ★** · 04/12/07 01:03:53

ex7 上がりました。
bbs.cgi を live17 と同じものにしました。

復帰依頼かけてきます。

**ﾍ⌒ヽﾌ** · 04/12/07 01:04:15

>>221
乙！！

**名無し募集中。。。** · 04/12/07 01:05:01

御苦労様

**動け動けウゴウゴ２ちゃんねる** · 04/12/07 01:05:17

お疲れ様です。

**動け動けウゴウゴ２ちゃんねる** · 04/12/07 01:06:07

お疲れ様でした

**root▲ ★** · 04/12/07 01:06:47

banana229 もリブート入りました。
bbs.cgi を投入しなおしました。

これで、全部元に戻ったはず。

**動け動けウゴウゴ２ちゃんねる** · 04/12/07 01:11:38

ｵﾂｶﾚﾁｬｰﾝ

**動け動けウゴウゴ２ちゃんねる** · 04/12/07 01:11:48

スレッドtatesugiが参照されないで
ex7で乱立してた件も解決ですか？

**root▲ ★** · 04/12/07 01:14:26

>>228
そのへんは、別だとおもう。

**動け動けウゴウゴ２ちゃんねる** · 04/12/07 01:15:56

banana229はひとまず復帰依頼は必要なさそうです

**root▲ ★** · 04/12/07 01:18:40

>>230
ども。了解です。

伊右衛門の500mlペットを飲み中。

**動け動けウゴウゴ２ちゃんねる** · 04/12/07 01:18:42

乙カレー
ホントに、いや、まじで

**動け動けウゴウゴ２ちゃんねる** · 04/12/07 01:25:20

>>231
ジンギスカン鯖をリブートした後恒例の、
復帰依頼出して復帰してもらうの待つのと、
復帰スクリプトもらって自分で復帰するのとどっちが楽ですか？

**動け動けウゴウゴ２ちゃんねる** · 04/12/07 01:26:00

今度焼肉おごります

**root▲ ★** · 04/12/07 01:32:04

>>233
どっちが楽かといえば、
自分で復帰できる方が、楽といえば楽ですね。

ログインして様子見ながら、復帰の判断をできるんで。

**動け動けウゴウゴ２ちゃんねる** · 04/12/07 01:36:10

るーちゃん乙。
ようやく山板に書込できました。

**動け動けウゴウゴ２ちゃんねる** · 04/12/07 01:36:31

おつかっれちん！

**動け動けウゴウゴ２ちゃんねる** · 04/12/07 01:38:13

でかした桃色吐息さん
年末年始鯖落ちゼロなら▲外すのを許可しよう
それを目標にｶﾞﾝｶﾞﾚ!!Mumumu-san

**名無し募集中。。。** · 04/12/07 01:40:00

>>235
狼をex7単独で使わせてよ

**動け動けウゴウゴ２ちゃんねる** · 04/12/07 01:41:07

>>235
ならFOXに復帰スクリプトもらってきてください、他の復帰屋さんにとってもいろいろ有益だと思う(LAの目安とか…)

**root▲ ★** · 04/12/07 01:41:46

RAIDカードを手配いただいたので、機を見てBBQサーバへの導入を試みることになります。
その際には、再度止まります。
やる時間・手順を見ないと。

それも含めてシステム系では、

・BBQサーバ/dnscache(oyster243)のRAID 1化
・残りのroot権限ありサーバを5.3Rにする作業を継続
・banana238のsuidperl問題

あたりか。
あとあるかな。
このスレを頭から読み直して、リストアップしとこう。

**root▲ ★** · 04/12/07 02:21:23

当面のシステム系残作業おさらい

>>187 >>189 >>198 は解決。

残りは、
・5.3R化(>>86 = >>241)
・dnscache/BBQ周りの再配置 / RAID1 化も含む(>>241)
・上記完成後、bananaサーバの/etc/resolv.conf再設定
・BBMの引越し(rootありbananaの1台確保が必要と思われ)
・BBQその2が来たら、セットアップ
・banana238 の suidperl問題<>>241)

中長期的には、
・Anycastとかして、/etc/resolv.confのIPアドレスを持つDNSサーバを複数にする

ということで、
oyster243はdnscache+BBQ持っているので、余裕を見て1.5Gのメモリディスク、
cobra2245はdnscacheだけなので(BBMは少ない)、128Mのメモリディスク

にしました。
これでdnscacheのDNSログ領域と、rbldns(BBQ)のDNSデータ領域は、
すべてメモリディスク上に載りました。

大幅にディスクI/Oが減り、負荷も下がったことが観測されていますので、
HDDにかなり優しい仕様になったはず。

BBQのDB生成のところの効率化とかは、
受験生さんが時間とれるようになったら、ぼちぼちとりかかるかんじかなと。

**root▲ ★** · 04/12/07 03:05:29

>>242
> ・banana238 の suidperl問題<>>241)

これを直した。
http://rock54.2ch.net/bbx/klist2html.cgi?sort=time

今日は、ここまで。

**root▲ ★** · 04/12/07 23:10:55

さて、SpeedyCGIで常駐を達成した環境では、bbs.cgiについてはKeepAliveした方がいいのか、
あるいは今のようにbbs.cgiだけはKeepAliveしないで、セッションを切ったほうがいいのか。