【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16
■ このスレッドは過去ログ倉庫に格納されています
peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。
＜現在の主要なテーマ＞
・read.cgiのmod_cgidso化によるパフォーマンスアップ
・bbs.cgiのSpeedyCGI化によるパフォーマンスアップ
・FreeBSD 5.3Rへのサーバ更新作業&さらなるチューニング
＜関連板・スレッド＞
また挑戦。＠2ch掲示板
http://dso.2ch.net/myanmar/
また挑戦２。＠2ch掲示板
http://dso.2ch.net/yangon/
bbs.cgi再開発プロジェクト４
http://qb5.2ch.net/test/read.cgi/operate/1101984763/
read.cgi再開発スレ
http://qb5.2ch.net/test/read.cgi/operate/1087199303/
＜関連サイト＞
レンタルサーバー maido3.com ２ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html
＜前スレ＞
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part15
http://qb5.2ch.net/test/read.cgi/operate/1093068260/ http://stats.2ch.net/_service/netstat-20041216.txt
うーん。
2004/12/16 22:15:00
udp:
7675642 datagrams received
0 with incomplete header
0 with bad data length field
0 with bad checksum
23 with no checksum
5497 dropped due to no socket
40 broadcast/multicast datagrams dropped due to no socket
0 dropped due to full socket buffers
0 not for hashed pcb
7670105 delivered
7670300 datagrams output
------------------------------------------------
2004/12/16 22:25:00
udp:
7704987 datagrams received
0 with incomplete header
0 with bad data length field
0 with bad checksum
23 with no checksum
5497 dropped due to no socket
40 broadcast/multicast datagrams dropped due to no socket
=>1460 dropped due to full socket buffers
0 not for hashed pcb
7697990 delivered
7698186 datagrams output あう、TABだったから詰まった。
22:15〜22:25の間、微妙に何かあったのか。 >>432
完了。
Seanくんに、RAID 1カードインストール&設定依頼のメールを出しておこう。 こっち向けの話ですので置いてきます。
PHP 4.3.10 & 5.0.3 released!
変更点
ttp://www.php.net/ChangeLog-4.php#4.3.10
ttp://www.php.net/ChangeLog-5.php#5.0.3 >>434
どうも。バグフィックス中心ですか。
>>433
I will take Coabra2245 offline today and to install the new RAID Card as
RAID 1type.
-Sean
とのこと。 >436
Theoシロウとかと同じ系統の顔だな。
外人のセキュリティ厨は典型的ハッカー面は少ない気がする。 というわけで、とりあえず携帯系とbanana238は更新しとくか。
携帯系はバージョンアップもしないとなぁ。 先日いただいたbanana273を、2ch用CVSup mirrorに仕立てるべく調整中。 一応、動いた。
cvsup.peko.2ch.net
これで、cvsup4.freebsd.orgをこのサーバ以外から参照しなくても済むと。
今は動作テスト中なので外からもCVSupで参照できるけど、無茶しないでね。 年内のシステム作業予定:
・cobra2245 RAID1セットアップ、システム設定
・blackgoat4 OS更新、これでtigerサーバは全部5.3R系に
・携帯系フロントエンドサーバ OS更新
・read.cgi / dso ぼちぼち
・リブート申請(live16: 12/24、他は随時)
root権限ありサーバは基本的に5.3Rに更新の方向。
DNSの冗長化は、来年早々あたりかなぁ。 >>441-442 な banana273 、CVSup中に突然応答が、、、。
ということで、リブート依頼中。
2ch内の3つのホストから同時にCVSupしたのが、ちょっとあれだったのかも。 もちろん*default compressはコメントアウトしてますよね？ >>445
ふむ、そういう問題すか。
cvsupdに-Z 0オプションをつけてみた。はけがよくなりましたね。
3箇所から同時にCVSupしてみたけど、問題なかった。
…ってことは実況系サーバはmod_deflateの圧縮をやめたほうが、いいのかも。 圧縮しないことによるネットワークの負荷と、圧縮してネットワークの負荷が減る分、増えるmod_deflateによる圧縮の負荷
一度天秤にかけてみるのがよろしいかと あとは玄人向けな技なんであまりオススメできないけど、cvsupに-sオプションつけるというのもある。
週に一回とか、SA出たときは-sなしでcvsupしたほうがいいけど。
毎日のcvsupは-sつきでも特に問題ない。 >>448
なるほどです。
man にも書いてあったです。
-s Suppresses the check of each client file's status against
what is recorded in the list file. Instead, the list file is
assumed to be accurate. This option greatly reduces the
amount of disk activity and results in faster updates with
less load on the client host. However it should only be used
if client's files are never modified locally in any way.
Mirror sites may find this option beneficial to reduce the
disk load on their systems. For safety, even mirror sites
should run cvsup occasionally (perhaps once a day) without
the -s option. もれは daily.local では -s なしでまわして、weekly.local は -s つきでまわしてる。
結構うまくいくよ >>450
ぎゃくだ orz
daily.local では -s つきで、weekly.local は -s なし BBQが落ちてるらしいな
延滞で書き込みはできるけど
どっかに鯖落ちチェックみたいなの入れて
落ちてるときはその処理飛ばす処理してほしい dnscache と言うストライジーの追試ですね。 >>452
http://life7.2ch.net/
遅延でもカキコできませんです。
IEからだと、402
ﾏｶｰ用は、未知のエラー2
MacOS9.2.2
eaoska*******.adsl.ppp.infoweb.ne.jp 2ch専用DNSキャッシュサーバの構築 完了致しました。
各サーバの情報は以下の通りです。
・DNSキャッシュサーバ１
ドメイン名：2chdns7.maido3.com
IPアドレス：206.223.151.122
サーバ名：banana224.maido3.com
サーバIP：206.223.151.120
・DNSキャッシュサーバ２
ドメイン名：2chdns8.maido3.com
IPアドレス：206.223.152.22
サーバ名：banana399.maido3.com
サーバIP：206.223.152.20 えー設定
1) 2chdns7.maido3.com 206.223.151.122
2) chdns8.maido3.com 206.223.152.22
3) 206.223.151.206 (dnscache2.peko.2ch.net)
4) 206.223.151.222 (dnscache.peko.2ch.net)
びー設定
1) 2chdns8.maido3.com 206.223.152.22
2) 2chdns7.maido3.com 206.223.151.122
3) 206.223.151.206 (dnscache2.peko.2ch.net)
4) 206.223.151.222 (dnscache.peko.2ch.net)
A(えー)
banana226(live19)
banana225(love3)
banana210(pc5)
banana229(that3)
banana228(money3)
banana227(game7)
banana240(music4)
banana233(sports7)
banana232(tv6)
banana601(etc3)
banana512(tv7)
banana613(live18)
B(びー)
banana370(hobby5)
banana307(life6)
banana366(school4)
banana365(human5)
banana386(live14)
banana382(society3)
banana372(news13)
banana371(pc6)
banana390(tmp4)
banana389(food6)
banana388(comic6)
banana387(comic5)
qb5 , live15 , ex9 はすでに別の設定です。 訂正
A(えー)
banana226(live19)
banana225(love3)
banana210(pc5)
banana229(that3)
banana228(money3)
banana227(game7)
banana240(music4)
banana233(sports7)
banana232(tv6)
banana601(etc3)
banana612(tv7)
banana613(live18)
訂正
B(びー)
banana370(hobby5)
banana366(school4)
banana365(human5)
banana386(live14)
banana382(society3)
banana372(news13)
banana371(pc6)
banana390(tmp4)
banana389(food6)
banana388(comic6)
banana387(comic5)
忘れ去られたサーバが無いことを祈って・・・ﾅﾑﾅﾑ SpeedyCGI化、dso化
本日の予定(12/20)
banana274(qb5,qb6,academy3,sicience3) + えー(>>463)
ぶちぶち、リブートかかる予定。 おつです。
各DNSサーバのIPアドレスの各BB*への登録が必要です。それは今夜にでも。 なんとなく、
banana241(news15,news16,news17)
banana272(aa5,off3)
の2鯖が見当たらない気がします。 >>462 >>463
resolv.conf の更新(>>458)完了 >>465-466
謹んで直させていただきます
------------------------
今日明日と以下のサーバでSpeedyCGI化およびdso化を実施します
今日banana274(qb5,qb6,academy3,sicience3) + えー(>>462、banana200/600番台残り)
明日びー(>>463) (banana300番台残り) BBS/BBX/BBY/BBMに >>457-458 を登録。 Bセットに追加
> 12/21
> Bセット
> banana370(hobby5)
> banana366(school4)
> banana365(human5)
> banana386(live14)
> banana382(society3)
> banana372(news13)
> banana371(pc6)
> banana390(tmp4)
> banana389(food6)
> banana388(comic6)
> banana387(comic5)
+
banana241(news15,news16,news17)
banana272(aa5,off3)
banana214(pie)
banana218(idol)
banana718(sakura01)
banana720(sakura02) banana238でのソケットバッファ溢れ対策のため、以下の策を実施してみた。
kern.ipc.maxsockbuf=2097152
net.inet.tcp.sendspace: 32768 (デフォルト)
net.inet.tcp.recvspace: 65536 (デフォルト)
net.inet.udp.maxdgram: 9216 (デフォルト)
net.inet.udp.recvspace: 42080 (デフォルト)
↓
kern.ipc.maxsockbuf=8388608
net.inet.tcp.sendspace=131072
net.inet.tcp.recvspace=131072
net.inet.udp.maxdgram=131072
net.inet.udp.recvspace=131072 >>473
oyster243(dnscache/BBQ)も、同じ対策をした。 FreeBSDのftpサーバのミラーをbanana273で動かし始めた。
全部ミラーする必要はないしそんなディスク資源もないので、
pub/FreeBSD以下のディレクトリだけを1日に1回rsync -avzで入手。
ISO-IMAGES-amd64
ISO-IMAGES-i386
ports/amd64/packages-5.3-release/
ports/i386/packages-5.3-release/
releases/amd64/ISO-IMAGES/5.3/
releases/i386/ISO-IMAGES/5.3/
releases/amd64/5.3-RELEASE/
releases/i386/5.3-RELEASE/
これで、ports/packagesのインストールや更新も
２ちゃんねる内でできるようになった。例:
%setenv PACKAGEROOT ftp://ftp.peko.2ch.net
%pkg_add -r pound
Fetching ftp://ftp.peko.2ch.net/pub/FreeBSD/ports/i386/packages-5.3-release/Latest/pound.tbz... Done. SpeedyCGI&dso 工事
> banana398 にはインストールしていません。
インストールしてくださいー
> banana224(ex5) ← dnscash
> banana231(hobby6) ← root付きでroot★さんへ
> banana273(life5) ← root付きでroot★さんへ
> banana399(ex8) ← dnscash
これらは別用途に転出したので必要ないです。
追加工事(工事リスト漏れ)
banana398(live15) >>476
> banana231(hobby6) ← root付きでroot★さんへ
banana231 は ex9 になったはず。
(私はroot権限なし)
私が最近預かったbananaは、273(システムおもり用)と307(旧今BBM/m)ですね。 >>480
> (旧今BBM/m)
旧life6、今BBM/mが正解ですね(エディットミス)。
http://mumumu.mu/serverlist.html
>>479
了解です。 >475
一台で代表してpackagesサーバーを作ってみるのはどうでしょうか。
knobを指定してビルドしたい場合にカスタマイズできるのがメリット。
>>482
おもしろそうですね。ぼちぼちやってみるか。
Googleに聞くと、こんなのがあったので貼っておこう。
packages & distfilesサーバーの構築
http://www.otsune.com/bsd/tips/package_server.htm 携帯→2ch運用情報スレッド14
http://qb5.2ch.net/test/read.cgi/operate/1103457589/151-161
ということで、ロードバランサをpoundからbalanceに変更してみた。
フォアグラウンドで動かして、daemontools配下に。
runはこんなかんじで。
/var/runの下にファイルが残る場合があって
その場合はうまく起動しないみたいなんで、単にrm（ぉぃ。
#!/bin/sh
exec 2>&1
rm -f /var/run/balance/balance.80.206.223.151.216
exec env - PATH="/usr/sbin:/usr/bin:/bin:/usr/local/bin" \
balance -b 206.223.151.216 -B 206.223.151.216 -f 80 \
c-docomo2.2ch.net:80 c-docomo3.2ch.net:80 c-docomo4.2ch.net:80 ex7,ex9 どちらも swap はじまっちゃってるなぁ
read.cgi との兼ね合いもあるけど、 -M64 はやめて -M32 にすることにしよう。
各サーバから板移転いっこ 妻子持ちに何を聞くんだ。ぱーちぃだろ、ぱーちぃ
じゃんけんじゃないぞ net/balanceかぁ。
あと
net/morebalance
なんてのもあるのね。
>>488
http://morebalance.coolprojects.org/
面白そうですね。バランサーだけじゃなくて一式ですか。
どうも今のbalanceは毎回forkしてるみたいなんで、こっちも試してみるかな。 今のex7とか見ていると、-M32だとちょっと少ないみたいですね。
投稿数の割に重いような気がするです。
-M48ぐらいがよさげだけど今はがまんして、まずは今日のあれを観察しよう。 それでもバッファ溢れが観測されているbanana238に対して、
sysctl net.inet.udp.recvspace=524288
を実行してみた。(それまでの4倍) …んでも、dropするなぁ。< banana238
CPU・ディスクとも遊んでるから、チューニングでなんとかなると思うんだけど。 live16 みているけど・・・
read.cgi の産児制限が必要なように見える、 というか、
live16 ってdsoじゃなかったっけ >>495
一時期dsoにしたんですが、ピロリさんに言われて戻したです。
例の広告の問題かと。 status reportを見ているとread.cgiというより、
スロットを埋めているのは、単純にdat直読みのひとたちかと。
LA少ないのに、つながらないし。 書き始めたんで
いろいろ実験してfoundationをしっかりしたものにしてから
その上に構築していくという具合に、
(read.cgi) でも
ここも書き込みに若干時間かかるなぁ
BBS か? ここからの注目は
どれくらいの時間で各サーバが自力回復するか・・・だすなぁ
>>500
BBS は 1) 仕組みを変えるに心が傾いています
2) 単に協力サーバ投入より
詳しいことは来年でしょうな、 >>501
接続リクエストが減れば、自然に回復するですね。
live16とか、CPUは遊んでいるから。
さて、何時ごろ。 banana238 を再度調整。
>>492 のさらに倍。
sysctl net.inet.udp.recvspace=1048576 live16は復活かな。
他もまぁ、概ね大丈夫でしょう。
リブート要請しなくても済んだのは、なかなか。
あとはhttpdのスロット数の調整と、
BBSが詰まらないように悪あがきするぐらいかなと。 自力で復元しないbananaサーバは強制的に・・・ >>505
リブートすか、、、。
music4はこんなかんじだった。たぶん他のbananaも同じすね。
FreeBSDはこの値↓をデフォルトよりもふやさないと、cgiで忙しいサーバはつらいかと。
680 名前：root▲ ★[sage] 投稿日：04/12/25 00:02:33 ID:???
music4はプロセス間通信用バッファ溢れですね(ex9集中時と同じ)。
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
カーネル変数のチューニングが必要かと。 love3も同じですね。
たぶん、他のbananaも同じかと。 で、>>506 を引き起こすきっかけは、>>499-500 だったということかと。 りぶーとはしないっす
read.cgi とめて
たまっているbbs.cgi 全部 kill して
ほとぼり冷めるのを待つと、 >>507
きっかけが >>499-500 で(love3は昼間の爆撃か?)
つらにそれを引き金にメモリのスワップが始まるようです。
「BBS を何とかすれば良い」という方向が当たりと思われ、 あと taht3/travel2/bubble2/book3 は それぞれ -M32 だから
-M128 になっている予感 >>509
なるほどです。
>>507
ですね。
>>511
うーむ、そういうふうに動くんだっけか。
ソースとドキュメントをちょっとあたってみるです。 さて、落ち着いたのでtiger/cobraのスロット数を896から1024にした。
live8はものすごい勢いで来てるけど、それなりにこなせているように見えますね。 で、sysctlで思い切りバッファを増やしてからは、
BBS(banana238)のバッファ溢れは観測されていない模様。 >>515
alerm() はだめで poll() でいけるらしいんですが、
どう組むのかなと。
続きはbbs.cgiスレですかね。 tiger512のバージョンアップ完了。
これで、tigerサーバは全部5.3Rに更新済み。
あと5.2.1Rなのは、
c-au系
c/c-others系
www/www2
memories
dnscache2/BBQ2
携帯系、www/www2はたんたんと。
dnscache2/BBQ2は、RAIDカードインストール待ち。
memoriesはちょっと微妙なので、またいつかPIEに行った時にでもぼちぼちと。 適度に重い感じなので、live8をちょっといじった。
メモリ4Gなので、httpdを1280に設定。
(20:05ぐらいに1024個使い果たしを観測) memoriesへの土地造成に伴い、以下のDNS設定変更をお願いします。
(現在)
+ex6.2ch.net:206.223.151.135
+game7.2ch.net:206.223.151.135
+pc6.2ch.net:206.223.150.15
(変更後)
+ex6.2ch.net:206.223.151.230
+game7.2ch.net:206.223.151.230
+pc6.2ch.net:206.223.151.230 ex6, game7, pc6 memoriesへの格納完了しました。
bbs.cgiとsubbbs.cgiの削除・read.cgiとofflaw.cgiのamd64版への変更も終わっています。
ということで >>520 はいつでもOKです。 現在の空きサーバメモ
banana227 (game7)
banana371 (pc6)
root ★さんへ
tiger506 (game9/dso) に etc4 を併設してくださいー >>524
作成しました。以下をDNSに追加お願いします。
(新規追加)
+etc4.2ch.net:206.223.152.30 ■ このスレッドは過去ログ倉庫に格納されています
