【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16

**root▲ ★** · 04/12/04 00:28:18

peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。

＜現在の主要なテーマ＞
・read.cgiのmod_cgidso化によるパフォーマンスアップ
・bbs.cgiのSpeedyCGI化によるパフォーマンスアップ
・FreeBSD 5.3Rへのサーバ更新作業&さらなるチューニング

＜関連板・スレッド＞
また挑戦。＠2ch掲示板
http://dso.2ch.net/myanmar/
また挑戦２。＠2ch掲示板
http://dso.2ch.net/yangon/
bbs.cgi再開発プロジェクト４
http://qb5.2ch.net/test/read.cgi/operate/1101984763/
read.cgi再開発スレ
http://qb5.2ch.net/test/read.cgi/operate/1087199303/

＜関連サイト＞
レンタルサーバー maido3.com ２ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねる/PINKちゃんねる稼動中のサーバ一覧: http://mumumu.mu/serverlist.html

＜前スレ＞
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part15
http://qb5.2ch.net/test/read.cgi/operate/1093068260/

**FOX ★** · 04/12/20 14:39:10

忘れ去られたサーバが無いことを祈って・・・ﾅﾑﾅﾑ

**FOX ★** · 04/12/20 15:06:10

SpeedyCGI化、dso化

本日の予定(12/20)
banana274(qb5,qb6,academy3,sicience3) + えー(>>463)

ぶちぶち、リブートかかる予定。

**FOX ★** · 04/12/20 15:06:51

明日(12/21) は　びー(>>463)

む P061198142168.ppp.prin.ne.jp · 04/12/20 15:14:24

おつです。
各DNSサーバのIPアドレスの各BB*への登録が必要です。それは今夜にでも。

**▲ 某ソレ511** · 04/12/20 15:49:35

なんとなく、
banana241(news15,news16,news17)
banana272(aa5,off3)
の2鯖が見当たらない気がします。

**FOX ★** · 04/12/20 16:05:17

>>462 >>463
resolv.conf の更新(>>458)完了

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/12/20 16:59:54

>>465-466
謹んで直させていただきます
------------------------

今日明日と以下のサーバでSpeedyCGI化およびdso化を実施します

今日banana274(qb5,qb6,academy3,sicience3) + えー(>>462、banana200/600番台残り)

明日びー(>>463) (banana300番台残り)

**root▲ ★** · 04/12/20 18:39:31

BBS/BBX/BBY/BBMに >>457-458 を登録。

**FOX ★** · 04/12/21 14:03:02

Bセットに追加

> 12/21
> Bセット
> banana370(hobby5)
> banana366(school4)
> banana365(human5)
> banana386(live14)
> banana382(society3)
> banana372(news13)
> banana371(pc6)
> banana390(tmp4)
> banana389(food6)
> banana388(comic6)
> banana387(comic5)

+
banana241(news15,news16,news17)
banana272(aa5,off3)
banana214(pie)
banana218(idol)
banana718(sakura01)
banana720(sakura02)

**root▲ ★** · 04/12/21 15:02:33

banana238でのソケットバッファ溢れ対策のため、以下の策を実施してみた。

kern.ipc.maxsockbuf=2097152
net.inet.tcp.sendspace: 32768 (デフォルト)
net.inet.tcp.recvspace: 65536 (デフォルト)
net.inet.udp.maxdgram: 9216 (デフォルト)
net.inet.udp.recvspace: 42080 (デフォルト)
↓
kern.ipc.maxsockbuf=8388608
net.inet.tcp.sendspace=131072
net.inet.tcp.recvspace=131072
net.inet.udp.maxdgram=131072
net.inet.udp.recvspace=131072

**root▲ ★** · 04/12/21 15:12:13

>>473
oyster243(dnscache/BBQ)も、同じ対策をした。

**root▲ ★** · 04/12/21 16:38:30

FreeBSDのftpサーバのミラーをbanana273で動かし始めた。

全部ミラーする必要はないしそんなディスク資源もないので、
pub/FreeBSD以下のディレクトリだけを1日に1回rsync -avzで入手。

ISO-IMAGES-amd64
ISO-IMAGES-i386
ports/amd64/packages-5.3-release/
ports/i386/packages-5.3-release/
releases/amd64/ISO-IMAGES/5.3/
releases/i386/ISO-IMAGES/5.3/
releases/amd64/5.3-RELEASE/
releases/i386/5.3-RELEASE/

これで、ports/packagesのインストールや更新も
２ちゃんねる内でできるようになった。例:

%setenv PACKAGEROOT ftp://ftp.peko.2ch.net
%pkg_add -r pound
Fetching ftp://ftp.peko.2ch.net/pub/FreeBSD/ports/i386/packages-5.3-release/Latest/pound.tbz... Done.

**FOX ★** · 04/12/21 17:10:43

SpeedyCGI&dso 工事

> banana398 にはインストールしていません。

インストールしてくださいー

> banana224(ex5)　←　dnscash
> banana231(hobby6)　← root付きでroot★さんへ
> banana273(life5)　← root付きでroot★さんへ
> banana399(ex8)　←　dnscash
これらは別用途に転出したので必要ないです。

**FOX ★** · 04/12/21 17:13:38

追加工事(工事リスト漏れ)

banana398(live15)

**FOX ★** · 04/12/21 17:15:26

>>477
完了。

**FOX ★** · 04/12/21 17:21:25

避難訓練のリンクはずしまーす

**root▲ ★** · 04/12/21 17:44:05

>>476
> banana231(hobby6)　← root付きでroot★さんへ

banana231 は ex9 になったはず。
(私はroot権限なし)

私が最近預かったbananaは、273(システムおもり用)と307(旧今BBM/m)ですね。

**root▲ ★** · 04/12/21 17:46:12

>>480
> (旧今BBM/m)

旧life6、今BBM/mが正解ですね(エディットミス)。
http://mumumu.mu/serverlist.html

>>479
了解です。

**動け動けウゴウゴ２ちゃんねる** · 04/12/22 00:03:07

>475
一台で代表してpackagesサーバーを作ってみるのはどうでしょうか。
knobを指定してビルドしたい場合にカスタマイズできるのがメリット。

**root▲ ★** · 04/12/22 00:26:23

>>482
おもしろそうですね。ぼちぼちやってみるか。
Googleに聞くと、こんなのがあったので貼っておこう。

packages & distfilesサーバーの構築
http://www.otsune.com/bsd/tips/package_server.htm

**root▲ ★** · 04/12/23 20:11:08

携帯→2ch運用情報スレッド14
http://qb5.2ch.net/test/read.cgi/operate/1103457589/151-161

ということで、ロードバランサをpoundからbalanceに変更してみた。
フォアグラウンドで動かして、daemontools配下に。

runはこんなかんじで。
/var/runの下にファイルが残る場合があって
その場合はうまく起動しないみたいなんで、単にrm（ぉぃ。

#!/bin/sh
exec 2>&1
rm -f /var/run/balance/balance.80.206.223.151.216
exec env - PATH="/usr/sbin:/usr/bin:/bin:/usr/local/bin" \
balance -b 206.223.151.216 -B 206.223.151.216 -f 80 \
c-docomo2.2ch.net:80 c-docomo3.2ch.net:80 c-docomo4.2ch.net:80

**FOX ★** · 04/12/24 01:02:05

ex7,ex9 どちらも swap はじまっちゃってるなぁ

read.cgi との兼ね合いもあるけど、 -M64 はやめて -M32 にすることにしよう。
各サーバから板移転いっこ

**動け動けウゴウゴ２ちゃんねる** · 04/12/24 01:08:11

rootさんのイブ予定はどうなんでしょ？

**動け動けウゴウゴ２ちゃんねる** · 04/12/24 01:23:33

妻子持ちに何を聞くんだ。ぱーちぃだろ、ぱーちぃ

じゃんけんじゃないぞ

**動け動けウゴウゴ２ちゃんねる** · 04/12/24 04:09:34

net/balanceかぁ。
あと
net/morebalance
なんてのもあるのね。

**root▲ ★** · 04/12/24 11:12:42

>>488
http://morebalance.coolprojects.org/

面白そうですね。バランサーだけじゃなくて一式ですか。
どうも今のbalanceは毎回forkしてるみたいなんで、こっちも試してみるかな。

**root▲ ★** · 04/12/24 21:04:27

今のex7とか見ていると、-M32だとちょっと少ないみたいですね。
投稿数の割に重いような気がするです。

-M48ぐらいがよさげだけど今はがまんして、まずは今日のあれを観察しよう。

**動け動けウゴウゴ２ちゃんねる** · 04/12/24 22:33:17

ex7、投稿だけ重いですね

**root▲ ★** · 04/12/24 22:51:03

それでもバッファ溢れが観測されているbanana238に対して、

sysctl net.inet.udp.recvspace=524288

を実行してみた。(それまでの4倍)

**root▲ ★** · 04/12/24 23:07:02

…んでも、dropするなぁ。< banana238

CPU・ディスクとも遊んでるから、チューニングでなんとかなると思うんだけど。

**FOX ★** · 04/12/24 23:15:22

live16 みているけど・・・
read.cgi の産児制限が必要なように見える、

**FOX ★** · 04/12/24 23:16:08

というか、
live16 ってdsoじゃなかったっけ

**root▲ ★** · 04/12/24 23:18:26

>>495
一時期dsoにしたんですが、ピロリさんに言われて戻したです。
例の広告の問題かと。

**root▲ ★** · 04/12/24 23:19:37

status reportを見ているとread.cgiというより、
スロットを埋めているのは、単純にdat直読みのひとたちかと。

LA少ないのに、つながらないし。

**FOX ★** · 04/12/24 23:19:43

書き始めたんで
いろいろ実験してfoundationをしっかりしたものにしてから
その上に構築していくという具合に、

(read.cgi)

**FOX ★** · 04/12/24 23:20:37

でも　
ここも書き込みに若干時間かかるなぁ

BBS か?

**root▲ ★** · 04/12/24 23:22:08

>>499
そですね。BBSと思われ。

**FOX ★** · 04/12/24 23:25:49

ここからの注目は
どれくらいの時間で各サーバが自力回復するか・・・だすなぁ

>>500
BBS は 1) 仕組みを変えるに心が傾いています
2) 単に協力サーバ投入より
詳しいことは来年でしょうな、

**root▲ ★** · 04/12/24 23:29:03

>>501
接続リクエストが減れば、自然に回復するですね。
live16とか、CPUは遊んでいるから。

さて、何時ごろ。

**root▲ ★** · 04/12/24 23:37:11

banana238 を再度調整。

>>492 のさらに倍。
sysctl net.inet.udp.recvspace=1048576

**root▲ ★** · 04/12/24 23:41:45

live16は復活かな。
他もまぁ、概ね大丈夫でしょう。

リブート要請しなくても済んだのは、なかなか。

あとはhttpdのスロット数の調整と、
BBSが詰まらないように悪あがきするぐらいかなと。

**FOX ★** · 04/12/25 00:03:22

自力で復元しないbananaサーバは強制的に・・・

**root▲ ★** · 04/12/25 00:06:20

>>505
リブートすか、、、。
music4はこんなかんじだった。たぶん他のbananaも同じすね。

FreeBSDはこの値↓をデフォルトよりもふやさないと、cgiで忙しいサーバはつらいかと。

680 名前：root▲ ★[sage] 投稿日：04/12/25 00:02:33 ID:???
music4はプロセス間通信用バッファ溢れですね(ex9集中時と同じ)。

kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).

カーネル変数のチューニングが必要かと。

**root▲ ★** · 04/12/25 00:07:56

love3も同じですね。
たぶん、他のbananaも同じかと。

**root▲ ★** · 04/12/25 00:16:51

で、>>506 を引き起こすきっかけは、>>499-500 だったということかと。

**FOX ★** · 04/12/25 00:26:08

りぶーとはしないっす

read.cgi とめて
たまっているbbs.cgi 全部 kill して
ほとぼり冷めるのを待つと、

**FOX ★** · 04/12/25 00:34:08

>>507

きっかけが　>>499-500　で(love3は昼間の爆撃か?)
つらにそれを引き金にメモリのスワップが始まるようです。

「BBS を何とかすれば良い」という方向が当たりと思われ、

**FOX ★** · 04/12/25 00:41:36

あと taht3/travel2/bubble2/book3 は　それぞれ -M32 だから
-M128 になっている予感

**root▲ ★** · 04/12/25 01:27:13

>>509
なるほどです。

>>507
ですね。

>>511
うーむ、そういうふうに動くんだっけか。
ソースとドキュメントをちょっとあたってみるです。

**root▲ ★** · 04/12/25 01:55:34

さて、落ち着いたのでtiger/cobraのスロット数を896から1024にした。
live8はものすごい勢いで来てるけど、それなりにこなせているように見えますね。

**root▲ ★** · 04/12/25 01:56:43

で、sysctlで思い切りバッファを増やしてからは、
BBS(banana238)のバッファ溢れは観測されていない模様。

**FOX ★** · 04/12/25 01:58:14

そういえば、、、
シグナル取る実験してなかった。

**root▲ ★** · 04/12/25 01:59:15

>>515
alerm() はだめで poll() でいけるらしいんですが、
どう組むのかなと。

続きはbbs.cgiスレですかね。

**FOX ★** · 04/12/25 02:07:32

んですね、いどー

**root▲ ★** · 04/12/25 18:49:07

tiger512のバージョンアップ完了。
これで、tigerサーバは全部5.3Rに更新済み。

あと5.2.1Rなのは、

c-au系
c/c-others系
www/www2
memories
dnscache2/BBQ2

携帯系、www/www2はたんたんと。
dnscache2/BBQ2は、RAIDカードインストール待ち。
memoriesはちょっと微妙なので、またいつかPIEに行った時にでもぼちぼちと。

**root▲ ★** · 04/12/25 20:26:20

適度に重い感じなので、live8をちょっといじった。
メモリ4Gなので、httpdを1280に設定。
(20:05ぐらいに1024個使い果たしを観測)

**root▲ ★** · 04/12/27 02:56:34

memoriesへの土地造成に伴い、以下のDNS設定変更をお願いします。

(現在)
+ex6.2ch.net:206.223.151.135
+game7.2ch.net:206.223.151.135
+pc6.2ch.net:206.223.150.15

(変更後)
+ex6.2ch.net:206.223.151.230
+game7.2ch.net:206.223.151.230
+pc6.2ch.net:206.223.151.230

**root▲ ★** · 04/12/27 03:39:08

ex6, game7, pc6 memoriesへの格納完了しました。
bbs.cgiとsubbbs.cgiの削除・read.cgiとofflaw.cgiのamd64版への変更も終わっています。

ということで >>520 はいつでもOKです。

**FOX ★** · 04/12/27 03:40:01

りょうかいですー

**FOX ★** · 04/12/27 03:50:30

現在の空きサーバメモ

banana227 (game7)
banana371 (pc6)

**FOX ★** · 04/12/27 06:10:55

root ★さんへ

tiger506 (game9/dso) に etc4 を併設してくださいー

**root▲ ★** · 04/12/27 11:49:44

>>524
作成しました。以下をDNSに追加お願いします。

(新規追加)
+etc4.2ch.net:206.223.152.30

**FOX ★** · 04/12/27 14:00:35

>>520
完了。

**FOX ★** · 04/12/27 14:09:29

>525
完

**FOX ★** · 04/12/27 14:11:29

bubble3.2ch.net (banana371) 作成するです

**FOX ★** · 04/12/27 16:35:53

http://etc4.2ch.net/test/check.cgi

etc4 で PerlのCGI 動かないようです
403 になるぞ、なんでだ?

**/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/12/27 17:07:27

>>529
perlのpathがあっていないまたはCGIが許可されていないに一票

**/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/12/27 17:11:40

>>530
あ、orパーミッションが不適切ってのもありえまつな
初歩的ですけど

**root▲ ★** · 04/12/27 17:17:03

>>529
確認しますー。

**root▲ ★** · 04/12/27 17:23:00

public_htmlの下のディレクトリが全部700になってるように見えますが、、、。

**root▲ ★** · 04/12/27 17:24:56

ためしにtestだけ755にしてみた。
動いている模様、、、。

http://etc4.2ch.net/test/bbs.cgi

**FOX ★** · 04/12/27 17:24:59

なんでだろ。。。

tar -czpf で固めて
ftp で持ってきて
tar xzvf で解凍したのに。。。

もあ一回やってみるです。

**FOX ★** · 04/12/27 17:29:08

ちよっと　お願いです

news18p.tar を解凍してみてもらえます? > root さん

**root▲ ★** · 04/12/27 17:31:50

etc4のユーザでログインして、__TEST__ ディレクトリの下に解凍しました。
特に問題ないように見えます、、、。

# なぞだ。umaskコマンドの出力は？

**FOX ★** · 04/12/27 17:35:15

>>537
あれん?
それで全部です?

**FOX ★** · 04/12/27 17:36:22

public_html/test とかのフォルダが見当たらない　< __TEST__

**FOX ★** · 04/12/27 17:36:44

あっ　あった

**FOX ★** · 04/12/27 17:38:19

うーん　なぞだ

私が解凍しようとすると Putty 落ちることがあるのよね、
今回は成功しました。

**FOX ★** · 04/12/27 17:38:36

ちなみに　こんな経験はじめてです

**root▲ ★** · 04/12/27 17:41:41

Puttyで、接続保持を有効にするとよいです。

設定変更のメニューから、接続を選んで、
KeepAliveの秒数を0から60とかにすれば、切れなくなります。

どうも、ルータによってはそのセッションに何も流れてないと、
接続を切ってくるものがある模様。

# うちの実家で、これにはまりました。
# ルータ(NECだった)でつなぎっぱなしにしてても、セッションだけ切ってしまうようです。

**root▲ ★** · 04/12/27 17:41:53

>>542
うーむ、、、。

**FOX ★** · 04/12/27 17:45:10

>>543
その話しじゃなくて
tar xzvf news18p.tar とかやると
途中で落ちたのだ

**root▲ ★** · 04/12/27 17:46:04

>>545
うーむ、、、。
Puttyがですか。

変なキャラクターがエコーバックされたんだろうか。

**FOX ★** · 04/12/27 17:50:21

>>546
一回こっきりなら「気のせい」で済ますのですが、、、
8回位やって成功したのは一回という
そして時にはpermissionとかが解凍時に再現されていないし

**FOX ★** · 04/12/27 17:51:15

運が悪かったということにしますが、
何かの前兆でない事を祈って。

**root▲ ★** · 04/12/27 18:07:05

ｶﾞｸｶﾞｸﾌﾞﾙﾌﾞﾙ、、、。

syslogには、それっぽいのはなかったです。

fsck -n /home は特に異常なしか。
他もひととおりfsck -nかけておこう。

**root▲ ★** · 04/12/27 18:17:20

>>537 の __TEST__ を rm -rf しました。

**動け動けウゴウゴ２ちゃんねる** · 04/12/28 01:23:21

あけましておめでとうございますーヾ('-')ﾉ

**動け動けウゴウゴ２ちゃんねる** · 04/12/28 05:04:32

>rm -rf /

ｶﾞｸｶﾞｸ((((;ﾟДﾟ))))ﾌﾞﾙﾌﾞﾙ

**root▲ ★** · 04/12/28 05:35:36

携帯→2ch運用情報スレッド14
http://qb5.2ch.net/test/read.cgi/operate/1103457589/355-361

net.inet.udp.recvspace=1048576 と書くと、
再起動時にNo buffer space availableエラーになるらしい。

**FOX ★** · 04/12/28 14:49:33

うむ
おかしいぞ

**root▲ ★** · 04/12/28 14:51:21

http://mumumu.mu/mrtg/mrtg-rrd.cgi/read/

read.cgi起動数/dat直読み数、bbs.cgi起動数のグラフをリニューアルした。
read/datを1枚のグラフに収めてbbs.cgiを別グラフにし、
counts/5minをcounts/secに変更(5分平均の値)。

**FOX ★** · 04/12/28 14:52:01

現在 game9 -> game10 のftp 転送やっているんだけど、
まったくスピードでません (32.5KB/s)

tiger506(game9)
tiger504(game10)

どちらか or 両方ネットワークの設定がうまく行っていないと思う。
本来 100Mb/s のはず

**root▲ ★** · 04/12/28 14:52:27

>>554
ん。どうしたのかしら。

**root▲ ★** · 04/12/28 14:52:40

>>556
確認します。

**root▲ ★** · 04/12/28 14:58:30

oyster901をftpしてみた。

game9 <= oyster901 への転送異常なし
game10 <= oyster901 への転送異常あり

game10が変な気がします。
調査継続中。

**FOX ★** · 04/12/28 15:01:27

100M full-duplex になっていないということかな? < tiger504

**root▲ ★** · 04/12/28 15:03:24

banana273 => game9 正常
banana273 => game10 おかしい

明らかにgame10おかしいですね。ログインしてても、がくがくする。

これから社内会議を1時間ぐらいしなきゃならないんで、
対応ちょっと遅れます、、、すんません。

**root▲ ★** · 04/12/28 15:04:27

>>560
なってるように見えるんですが、、、。スイッチ側かも。

%uname -a
FreeBSD tiger504.maido3.com 5.3-RELEASE FreeBSD 5.3-RELEASE #3: Thu Nov 4 21:51:36 PST 2004 root@tiger503.maido3.com:/usr/obj/var/src/sys/I386_TIGER_53 i386
%ifconfig em0
em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> mtu 1500
options=1b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING>
inet 206.223.150.115 netmask 0xffffff00 broadcast 206.223.150.255
inet6 fe80::230:48ff:fe2b:2954%em0 prefixlen 64 scopeid 0x1
ether 00:30:48:2b:29:54
media: Ethernet 100baseTX <full-duplex>
status: active

**動け動けウゴウゴ２ちゃんねる** · 04/12/28 15:09:51

BG4と同じ原因では？
パケ落ちしていませんか？

**動け動けウゴウゴ２ちゃんねる** · 04/12/28 15:15:35

game10
famicom/dat/* が一気になくなりました
banana273 側のﾛｹｰｼｮﾝでもなくなったのかな？