【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16
■ このスレッドは過去ログ倉庫に格納されています
peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。
＜現在の主要なテーマ＞
・read.cgiのmod_cgidso化によるパフォーマンスアップ
・bbs.cgiのSpeedyCGI化によるパフォーマンスアップ
・FreeBSD 5.3Rへのサーバ更新作業&さらなるチューニング
＜関連板・スレッド＞
また挑戦。＠2ch掲示板
http://dso.2ch.net/myanmar/
また挑戦２。＠2ch掲示板
http://dso.2ch.net/yangon/
bbs.cgi再開発プロジェクト４
http://qb5.2ch.net/test/read.cgi/operate/1101984763/
read.cgi再開発スレ
http://qb5.2ch.net/test/read.cgi/operate/1087199303/
＜関連サイト＞
レンタルサーバー maido3.com ２ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html
＜前スレ＞
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part15
http://qb5.2ch.net/test/read.cgi/operate/1093068260/ >>401
雑談スレかと思った。熱狂的ファンですか。 >>404
ファン？root教(?)信者じゃないですかね
>>402は雑談スレでやってくれと。 game10も他のtigerと理由、同じだなぁ。
落ちた時間も朝6時前後か。
/homeの定時バックアップ処理(ディスクにバースト的な負荷がかかる)が関係しているような気がします。
直感的には、5.3Rのカーネルの虫で、たまに踏んでいると。
しらべてみます。
Good dump found on device /dev/da0s1b
Architecture: i386
Architecture version: 1
Dump length: 2146959360B (2047 MB)
Blocksize: 512
Dumptime: Wed Dec 15 13:02:34 2004
Hostname: tiger504.maido3.com
Versionstring: FreeBSD 5.3-RELEASE #3: Thu Nov 4 21:51:36 PST 2004
root@tiger503.maido3.com:/usr/obj/var/src/sys/I386_TIGER_53
Panicstring: lockmgr: thread 0xc512bc80, not exclusive lock holder 0xc35e6af0 unlocking
Bounds: 0 >>406
kgdb /boot/kernel/kernel vmcore.0 の出力。
#0 0xc0507ca2 in doadump ()
#1 0xc050829b in boot ()
#2 0xc05085c1 in panic ()
#3 0xc04fcd29 in lockmgr ()
#4 0xc0553b83 in vop_stdunlock ()
#5 0xc0553a33 in vop_defaultop ()
#6 0xc061dc67 in ufs_vnoperate ()
#7 0xc0616947 in ufs_inactive ()
#8 0xc061dc67 in ufs_vnoperate ()
#9 0xc055c2f0 in vrele ()
#10 0xc061a3cb in ufs_close ()
#11 0xc061dc67 in ufs_vnoperate ()
#12 0xc05666b0 in vn_close ()
#13 0xc05675a2 in vn_closefile ()
#14 0xc04ea014 in fdrop_locked ()
#15 0xc04e8e61 in fdrop ()
#16 0xc04e8e17 in closef ()
#17 0xc04e861f in fdfree ()
#18 0xc04f01c8 in exit1 ()
#19 0xc04efcf4 in sys_exit ()
#20 0xc066b9ff in syscall ()
#21 0xc06593af in Xint0x80_syscall ()
#22 0xffff002f in ?? ()
#23 0xffff002f in ?? ()
#24 0xbfbf002f in ?? ()
#25 0x0000096e in ?? ()
#26 0x0804b924 in ?? ()
#27 0xbfbfe4b8 in ?? ()
#28 0xf737bd74 in ?? ()
#29 0x281425ec in ?? ()
#30 0x281424b0 in ?? ()
#31 0x281424b0 in ?? ()
#32 0x00000001 in ?? ()
(続く) #33 0x0000000c in ?? ()
#34 0x00000002 in ?? ()
#35 0x280c9373 in ?? ()
#36 0x0000001f in ?? ()
#37 0x00000292 in ?? ()
#38 0xbfbfe49c in ?? ()
#39 0x0000002f in ?? ()
#40 0x00000000 in ?? ()
#41 0x00000000 in ?? ()
#42 0x00000000 in ?? ()
#43 0x00000000 in ?? ()
#44 0x383e5000 in ?? ()
#45 0xc512e710 in ?? ()
#46 0xc512bc80 in ?? ()
#47 0xf737b718 in ?? ()
#48 0xf737b700 in ?? ()
#49 0xc346b960 in ?? ()
#50 0xc05188a3 in sched_switch ()
Previous frame inner to this frame (corrupt stack?)
(ここまで) でもこれ、シャットダウン時だからなぁ。2年前の日付だし。
とりあえず今のとこはここまで。 しまった！root氏の時計は2倍速だ！
オレが止めているうちにroot氏の中のマザーボードを修理しろ！
早く！早く！root氏に構わず修理しろ！
>>412
うわわ。まだ2004年だし。ｼｮﾎﾞｰﾝ
# まだex9が参照しているDNSサーバのa.ns.bbm.2ch.netのアドレスが微妙に変わらないみたい。< BBM
# 旧サーバで指定しているDNSサーバのIPアドレスも新アドレスに変えてみた。 >>414
FreeBSDのライブラリ側の虫さんかもとか、思っていたりします。
あるいは、dnscache側か。
DNSサーバの名前を変えずにIPアドレスだけ変えた場合に、
ごくまれに変なことが起こるようです。
さきほど >>413 をやったので遅かれ早かれ変わるとは思います。
でも、ex9が参照しているDNSキャッシュサーバのdnscacheをリスタートいただけると
かなりうれしいです。
交渉中。。。
ところで
2005年仕様のDNSの参照先&順番はどうするんでしたっけ? >>416
個人的には前にもありましたが「今回設定を変えたら当面、変えなくてもいいようにしたい」
と思っています。
ということで、
・2個のDNSキャッシュサーバ(今のoyster243 + cobra2245を想定)で1つのサービス用のIPアドレスを共有する
・このIPアドレスは、今のものとは別につける
・それを/etc/resolv.confから参照する
という形にチャレンジしたい、と考えています。 >>418
ネットワーク的な設定やIPアドレス割り当て等を一緒にすすめる必要があるので、
PIEの中の人たちと共同作業する必要があると思います。
それができれば、IPアドレスは登場させられるんではないかと。 いずれにせよcobra2245へのRAIDカードの導入の際には、
Seanくんといろいろ調整することになりますので、
その時にいくつか必要な情報について、わたしのほうから確認してみますです。 りょうかいでーす
現時点では
1) peko243
2) peko245
3) maido3 (1)
4) maido3 (2)
で良いかな? はい、現時点ではそれでOKです。
で、live15だったかしら、
一時的にpeko245(= cobra2245)を向かせているやつがあったと思うので、
向きを変えておいていただけると助かります。
(cobra2245はディスクレイアウトが変わるため、いったん完全に初期化されます) >>415
リスタートしたです。
ちなみに
1) peko243
2) peko245
は具体的にIPは何番になるですか? >>423
1) 206.223.151.222 (dnscache.peko.2ch.net)
2) 206.223.151.206 (dnscache2.peko.2ch.net)
です。 banana231 のresolv.conf
1) 206.223.151.222 (dnscache.peko.2ch.net)
2) 206.223.151.206 (dnscache2.peko.2ch.net)
3) maido3(1)
4) maido3(2)
に設定しました。 banana398 (live15) も同様におながいしますー。>>426
あと、banana214 (pie.bbspink.com)が参照しているdnscacheのリスタートも
あわせてお願いします。
これで、cobra2245の作業障壁は、なくなるはず。 http://stats.2ch.net/_service/netstat-20041216.txt
うーん。
2004/12/16 22:15:00
udp:
7675642 datagrams received
0 with incomplete header
0 with bad data length field
0 with bad checksum
23 with no checksum
5497 dropped due to no socket
40 broadcast/multicast datagrams dropped due to no socket
0 dropped due to full socket buffers
0 not for hashed pcb
7670105 delivered
7670300 datagrams output
------------------------------------------------
2004/12/16 22:25:00
udp:
7704987 datagrams received
0 with incomplete header
0 with bad data length field
0 with bad checksum
23 with no checksum
5497 dropped due to no socket
40 broadcast/multicast datagrams dropped due to no socket
=>1460 dropped due to full socket buffers
0 not for hashed pcb
7697990 delivered
7698186 datagrams output あう、TABだったから詰まった。
22:15〜22:25の間、微妙に何かあったのか。 >>432
完了。
Seanくんに、RAID 1カードインストール&設定依頼のメールを出しておこう。 こっち向けの話ですので置いてきます。
PHP 4.3.10 & 5.0.3 released!
変更点
ttp://www.php.net/ChangeLog-4.php#4.3.10
ttp://www.php.net/ChangeLog-5.php#5.0.3 >>434
どうも。バグフィックス中心ですか。
>>433
I will take Coabra2245 offline today and to install the new RAID Card as
RAID 1type.
-Sean
とのこと。 >436
Theoシロウとかと同じ系統の顔だな。
外人のセキュリティ厨は典型的ハッカー面は少ない気がする。 というわけで、とりあえず携帯系とbanana238は更新しとくか。
携帯系はバージョンアップもしないとなぁ。 先日いただいたbanana273を、2ch用CVSup mirrorに仕立てるべく調整中。 一応、動いた。
cvsup.peko.2ch.net
これで、cvsup4.freebsd.orgをこのサーバ以外から参照しなくても済むと。
今は動作テスト中なので外からもCVSupで参照できるけど、無茶しないでね。 年内のシステム作業予定:
・cobra2245 RAID1セットアップ、システム設定
・blackgoat4 OS更新、これでtigerサーバは全部5.3R系に
・携帯系フロントエンドサーバ OS更新
・read.cgi / dso ぼちぼち
・リブート申請(live16: 12/24、他は随時)
root権限ありサーバは基本的に5.3Rに更新の方向。
DNSの冗長化は、来年早々あたりかなぁ。 >>441-442 な banana273 、CVSup中に突然応答が、、、。
ということで、リブート依頼中。
2ch内の3つのホストから同時にCVSupしたのが、ちょっとあれだったのかも。 もちろん*default compressはコメントアウトしてますよね？ >>445
ふむ、そういう問題すか。
cvsupdに-Z 0オプションをつけてみた。はけがよくなりましたね。
3箇所から同時にCVSupしてみたけど、問題なかった。
…ってことは実況系サーバはmod_deflateの圧縮をやめたほうが、いいのかも。 圧縮しないことによるネットワークの負荷と、圧縮してネットワークの負荷が減る分、増えるmod_deflateによる圧縮の負荷
一度天秤にかけてみるのがよろしいかと あとは玄人向けな技なんであまりオススメできないけど、cvsupに-sオプションつけるというのもある。
週に一回とか、SA出たときは-sなしでcvsupしたほうがいいけど。
毎日のcvsupは-sつきでも特に問題ない。 >>448
なるほどです。
man にも書いてあったです。
-s Suppresses the check of each client file's status against
what is recorded in the list file. Instead, the list file is
assumed to be accurate. This option greatly reduces the
amount of disk activity and results in faster updates with
less load on the client host. However it should only be used
if client's files are never modified locally in any way.
Mirror sites may find this option beneficial to reduce the
disk load on their systems. For safety, even mirror sites
should run cvsup occasionally (perhaps once a day) without
the -s option. もれは daily.local では -s なしでまわして、weekly.local は -s つきでまわしてる。
結構うまくいくよ >>450
ぎゃくだ orz
daily.local では -s つきで、weekly.local は -s なし BBQが落ちてるらしいな
延滞で書き込みはできるけど
どっかに鯖落ちチェックみたいなの入れて
落ちてるときはその処理飛ばす処理してほしい dnscache と言うストライジーの追試ですね。 >>452
http://life7.2ch.net/
遅延でもカキコできませんです。
IEからだと、402
ﾏｶｰ用は、未知のエラー2
MacOS9.2.2
eaoska*******.adsl.ppp.infoweb.ne.jp 2ch専用DNSキャッシュサーバの構築 完了致しました。
各サーバの情報は以下の通りです。
・DNSキャッシュサーバ１
ドメイン名：2chdns7.maido3.com
IPアドレス：206.223.151.122
サーバ名：banana224.maido3.com
サーバIP：206.223.151.120
・DNSキャッシュサーバ２
ドメイン名：2chdns8.maido3.com
IPアドレス：206.223.152.22
サーバ名：banana399.maido3.com
サーバIP：206.223.152.20 えー設定
1) 2chdns7.maido3.com 206.223.151.122
2) chdns8.maido3.com 206.223.152.22
3) 206.223.151.206 (dnscache2.peko.2ch.net)
4) 206.223.151.222 (dnscache.peko.2ch.net)
びー設定
1) 2chdns8.maido3.com 206.223.152.22
2) 2chdns7.maido3.com 206.223.151.122
3) 206.223.151.206 (dnscache2.peko.2ch.net)
4) 206.223.151.222 (dnscache.peko.2ch.net)
A(えー)
banana226(live19)
banana225(love3)
banana210(pc5)
banana229(that3)
banana228(money3)
banana227(game7)
banana240(music4)
banana233(sports7)
banana232(tv6)
banana601(etc3)
banana512(tv7)
banana613(live18)
B(びー)
banana370(hobby5)
banana307(life6)
banana366(school4)
banana365(human5)
banana386(live14)
banana382(society3)
banana372(news13)
banana371(pc6)
banana390(tmp4)
banana389(food6)
banana388(comic6)
banana387(comic5)
qb5 , live15 , ex9 はすでに別の設定です。 訂正
A(えー)
banana226(live19)
banana225(love3)
banana210(pc5)
banana229(that3)
banana228(money3)
banana227(game7)
banana240(music4)
banana233(sports7)
banana232(tv6)
banana601(etc3)
banana612(tv7)
banana613(live18)
訂正
B(びー)
banana370(hobby5)
banana366(school4)
banana365(human5)
banana386(live14)
banana382(society3)
banana372(news13)
banana371(pc6)
banana390(tmp4)
banana389(food6)
banana388(comic6)
banana387(comic5)
忘れ去られたサーバが無いことを祈って・・・ﾅﾑﾅﾑ SpeedyCGI化、dso化
本日の予定(12/20)
banana274(qb5,qb6,academy3,sicience3) + えー(>>463)
ぶちぶち、リブートかかる予定。 おつです。
各DNSサーバのIPアドレスの各BB*への登録が必要です。それは今夜にでも。 なんとなく、
banana241(news15,news16,news17)
banana272(aa5,off3)
の2鯖が見当たらない気がします。 >>462 >>463
resolv.conf の更新(>>458)完了 >>465-466
謹んで直させていただきます
------------------------
今日明日と以下のサーバでSpeedyCGI化およびdso化を実施します
今日banana274(qb5,qb6,academy3,sicience3) + えー(>>462、banana200/600番台残り)
明日びー(>>463) (banana300番台残り) BBS/BBX/BBY/BBMに >>457-458 を登録。 Bセットに追加
> 12/21
> Bセット
> banana370(hobby5)
> banana366(school4)
> banana365(human5)
> banana386(live14)
> banana382(society3)
> banana372(news13)
> banana371(pc6)
> banana390(tmp4)
> banana389(food6)
> banana388(comic6)
> banana387(comic5)
+
banana241(news15,news16,news17)
banana272(aa5,off3)
banana214(pie)
banana218(idol)
banana718(sakura01)
banana720(sakura02) banana238でのソケットバッファ溢れ対策のため、以下の策を実施してみた。
kern.ipc.maxsockbuf=2097152
net.inet.tcp.sendspace: 32768 (デフォルト)
net.inet.tcp.recvspace: 65536 (デフォルト)
net.inet.udp.maxdgram: 9216 (デフォルト)
net.inet.udp.recvspace: 42080 (デフォルト)
↓
kern.ipc.maxsockbuf=8388608
net.inet.tcp.sendspace=131072
net.inet.tcp.recvspace=131072
net.inet.udp.maxdgram=131072
net.inet.udp.recvspace=131072 >>473
oyster243(dnscache/BBQ)も、同じ対策をした。 FreeBSDのftpサーバのミラーをbanana273で動かし始めた。
全部ミラーする必要はないしそんなディスク資源もないので、
pub/FreeBSD以下のディレクトリだけを1日に1回rsync -avzで入手。
ISO-IMAGES-amd64
ISO-IMAGES-i386
ports/amd64/packages-5.3-release/
ports/i386/packages-5.3-release/
releases/amd64/ISO-IMAGES/5.3/
releases/i386/ISO-IMAGES/5.3/
releases/amd64/5.3-RELEASE/
releases/i386/5.3-RELEASE/
これで、ports/packagesのインストールや更新も
２ちゃんねる内でできるようになった。例:
%setenv PACKAGEROOT ftp://ftp.peko.2ch.net
%pkg_add -r pound
Fetching ftp://ftp.peko.2ch.net/pub/FreeBSD/ports/i386/packages-5.3-release/Latest/pound.tbz... Done. SpeedyCGI&dso 工事
> banana398 にはインストールしていません。
インストールしてくださいー
> banana224(ex5) ← dnscash
> banana231(hobby6) ← root付きでroot★さんへ
> banana273(life5) ← root付きでroot★さんへ
> banana399(ex8) ← dnscash
これらは別用途に転出したので必要ないです。
追加工事(工事リスト漏れ)
banana398(live15) >>476
> banana231(hobby6) ← root付きでroot★さんへ
banana231 は ex9 になったはず。
(私はroot権限なし)
私が最近預かったbananaは、273(システムおもり用)と307(旧今BBM/m)ですね。 >>480
> (旧今BBM/m)
旧life6、今BBM/mが正解ですね(エディットミス)。
http://mumumu.mu/serverlist.html
>>479
了解です。 >475
一台で代表してpackagesサーバーを作ってみるのはどうでしょうか。
knobを指定してビルドしたい場合にカスタマイズできるのがメリット。
>>482
おもしろそうですね。ぼちぼちやってみるか。
Googleに聞くと、こんなのがあったので貼っておこう。
packages & distfilesサーバーの構築
http://www.otsune.com/bsd/tips/package_server.htm 携帯→2ch運用情報スレッド14
http://qb5.2ch.net/test/read.cgi/operate/1103457589/151-161
ということで、ロードバランサをpoundからbalanceに変更してみた。
フォアグラウンドで動かして、daemontools配下に。
runはこんなかんじで。
/var/runの下にファイルが残る場合があって
その場合はうまく起動しないみたいなんで、単にrm（ぉぃ。
#!/bin/sh
exec 2>&1
rm -f /var/run/balance/balance.80.206.223.151.216
exec env - PATH="/usr/sbin:/usr/bin:/bin:/usr/local/bin" \
balance -b 206.223.151.216 -B 206.223.151.216 -f 80 \
c-docomo2.2ch.net:80 c-docomo3.2ch.net:80 c-docomo4.2ch.net:80 ex7,ex9 どちらも swap はじまっちゃってるなぁ
read.cgi との兼ね合いもあるけど、 -M64 はやめて -M32 にすることにしよう。
各サーバから板移転いっこ 妻子持ちに何を聞くんだ。ぱーちぃだろ、ぱーちぃ
じゃんけんじゃないぞ net/balanceかぁ。
あと
net/morebalance
なんてのもあるのね。
>>488
http://morebalance.coolprojects.org/
面白そうですね。バランサーだけじゃなくて一式ですか。
どうも今のbalanceは毎回forkしてるみたいなんで、こっちも試してみるかな。 今のex7とか見ていると、-M32だとちょっと少ないみたいですね。
投稿数の割に重いような気がするです。
-M48ぐらいがよさげだけど今はがまんして、まずは今日のあれを観察しよう。 それでもバッファ溢れが観測されているbanana238に対して、
sysctl net.inet.udp.recvspace=524288
を実行してみた。(それまでの4倍) …んでも、dropするなぁ。< banana238
CPU・ディスクとも遊んでるから、チューニングでなんとかなると思うんだけど。 live16 みているけど・・・
read.cgi の産児制限が必要なように見える、 というか、
live16 ってdsoじゃなかったっけ >>495
一時期dsoにしたんですが、ピロリさんに言われて戻したです。
例の広告の問題かと。 status reportを見ているとread.cgiというより、
スロットを埋めているのは、単純にdat直読みのひとたちかと。
LA少ないのに、つながらないし。 書き始めたんで
いろいろ実験してfoundationをしっかりしたものにしてから
その上に構築していくという具合に、
(read.cgi) でも
ここも書き込みに若干時間かかるなぁ
BBS か? ここからの注目は
どれくらいの時間で各サーバが自力回復するか・・・だすなぁ
>>500
BBS は 1) 仕組みを変えるに心が傾いています
2) 単に協力サーバ投入より
詳しいことは来年でしょうな、 ■ このスレッドは過去ログ倉庫に格納されています
