【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part15

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/08/21 15:04

peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。
現在の主要なテーマはpeko/cobraおよびtigerサーバが
特定条件下における突然死の原因究明です。
９月にrootさんが現地へ渡米して作業するそうです。

＜関連サイト＞
レンタルサーバー maido3.com ２ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねる/PINKちゃんねる稼動中のサーバ一覧: http://mumumu.mu/serverlist.html

＜運営板PINKちゃんねる関係＞
【Project ama】PINKちゃんねる特化型ｻｰﾊﾞ構築作戦 Part2
http://qb5.2ch.net/test/read.cgi/operate/1082721809/l50
【PINKちゃんねる】新サーバ獲得会議☆3
http://qb5.2ch.net/test/read.cgi/operate/1080295660/l50

＜携帯電話特化型サーバ構築作戦関係＞
【Love Affair】携帯からのアクセスに対する考察・次の一手 Part2
http://qb5.2ch.net/test/read.cgi/operate/1088657713/l50

＜前スレ＞
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part14
http://qb5.2ch.net/test/read.cgi/operate/1087666806/l50

**FOX ★** · 04/12/02 02:29:03

初めての経験ですからねぇ

「たまたまだった」という結論にでもしますかねぇ
二度目があったら・・・そんときに再度考える?

**▲ 某ソレ511** · 04/12/02 02:31:55

BBSが動いていない現象自体はしょっちゅうありますけどね、、
確かにこんな長い時間動かなかったのはめずらしいけど

**root▲ ★** · 04/12/02 02:33:04

今日のところは、そうしておきたいかも。>>850

DNSサーバ側を緊急強化したので、これで様子を見たいかなと。
今月は、機会が連日連夜あるに違いないわけで。

# うへー、明日朝早いんだよなぁ。

**FOX ★** · 04/12/02 02:33:18

げっ
そういえばそうか?

たまたまじゃないのか?

DNS 自体は返事していて、単に数え漏れが発生しているということではない?
>>851

**FOX ★** · 04/12/02 02:34:00

http://mumumu.mu/mrtg/mrtg-rrd.cgi/bbqbbx/bbm.html

BBM ってどうして毎日ざっくりりこんになっているんだろぅ

**root▲ ★** · 04/12/02 02:34:04

>>851
しょっちゅうあるのは、いまいち、、、かも。

DNS側がブロックしないように、ちゃんとなってるかちょっと見てみます。

**▲ 某ソレ511** · 04/12/02 02:35:15

>>853
んまぁ、、確かに他の止まってる時とは明らかに動作が違ってたですからねぇ。
いつもは数え漏れなのかもしれませんねぇ。
そうかも。いや、そうだべ。うん、きっとそうだ！

**root▲ ★** · 04/12/02 02:36:38

うーん。
http://mumumu.mu/mrtglog/2004/11/01/bbqbbx/bbs.html
http://mumumu.mu/mrtglog/2004/10/22/bbqbbx/bbs.html

確かにこのグラフの凹みは、とっても気になる。

強化したので、明日以降の様子をチェックしたいなと。

**FOX ★** · 04/12/02 02:37:49

しかーし

限界を拝めるとは幸せなことで、

**root▲ ★** · 04/12/02 02:39:02

個人的には、ネットワークのチューニング問題な気がとってもするです、、、。

**FOX ★** · 04/12/02 02:39:45

PIE の?

**root▲ ★** · 04/12/02 02:41:57

>>860
ではなく、banana238のです。

# netstat -s -p udp
udp:
361330042 datagrams received
0 with incomplete header
0 with bad data length field
8 with bad checksum
327 with no checksum
152972 dropped due to no socket
125983 broadcast/multicast datagrams dropped due to no socket
9072993 dropped due to full socket buffers
0 not for hashed pcb
351978086 delivered
352298516 datagrams output

今BBS止めてたんで、この値そのまま信用できないところがありますけど。

**root▲ ★** · 04/12/02 02:43:52

今netstat -z でカウンタをリセットしたんで、
この後様子を見てみます。

ドロップパケットとかが出てるようだと、
ネットワーク系を何かチューニングしないと、いかんかなと。

udp:
212 datagrams received
0 with incomplete header
0 with bad data length field
0 with bad checksum
0 with no checksum
0 dropped due to no socket
0 broadcast/multicast datagrams dropped due to no socket
0 dropped due to full socket buffers
0 not for hashed pcb
212 delivered
212 datagrams output

**root▲ ★** · 04/12/02 02:45:14

DNSはUDPなんで、具体的には、

# netstat -s -p udp
udp:
1996 datagrams received
0 with incomplete header
0 with bad data length field
0 with bad checksum
0 with no checksum
0 dropped due to no socket
0 broadcast/multicast datagrams dropped due to no socket
0 dropped due to full socket buffers
0 not for hashed pcb
1996 delivered
1996 datagrams output

の、droppedなんちゃらのところがカウントアップされるようだと、
いまいちですね

**FOX ★** · 04/12/02 02:46:37

各個のサーバを強化し
台数も増やすと、、、

土台が小さく感じ始めるということかしら、
当然なんですけどもね、

**FOX ★** · 04/12/02 02:48:11

>>863
それを　_serviceに吐き出しておくとか、
皆で観察 !

**root▲ ★** · 04/12/02 02:53:31

>>864
それは、多分にあるかなと。

今、２ちゃんねるで動いているDNS系の仕組みはこんなかんじです。
おおむね、上から負荷が大きい順。

・dnscache

量産型bananaからのDNS問い合わせを処理
cobra (oyster243)

・BBQ

BBQチェック、投稿毎に呼び出し、巨大DB参照
cobra (oyster243)

・BBS

野鳥の会、投稿毎に呼び出し、DB参照なし
banana (banana238)

・BBM

携帯版BBQ、携帯からの投稿で呼び出し、DB参照
cobra (cobra2245)

・BBX

Rock54、広告っぽい投稿毎に呼び出し、DB参照
banana (banana238)

・BBY

ヘッドライン&スレ立てチェック、スレ立て毎に呼び出し
banana (banana238)

**root▲ ★** · 04/12/02 02:53:53

>>865
やってみるです。

**FOX ★** · 04/12/02 03:02:56

もっと書き込めるようにスレ保持数さげて(ex7)
現象が顕著に現れるようにしてみよう。

**root▲ ★** · 04/12/02 03:07:09

http://stats.2ch.net/_service/netstat-20041202.txt

10分ごとのはず。
BBQにもしかけてくるです。

**動け動けウゴウゴ２ちゃんねる** · 04/12/02 03:10:11

楽すみ～

**root▲ ★** · 04/12/02 03:12:42

BBQにもしかけた。
http://bbq.2ch.net/_service/netstat-20041202.txt

>>868 おっ。

**動け動けウゴウゴ２ちゃんねる** · 04/12/02 03:18:40

>>871
droppedてｶｳﾝﾄされてますな

**root▲ ★** · 04/12/02 03:21:12

ふむ。

これよめと。
http://publibn.boulder.ibm.com/doc_link/Ja_JP/a_doc_lib/aixbman/prftungd/2365c92.htm

**root▲ ★** · 04/12/02 03:22:41

Dropped Due to No Socket
受け取った UDP データグラムのうち、宛先ソケット・ポートが開かれなかった数。
結果として、「ICMP Destination Unreachable - Port Unreachable」という
メッセージが送信されます。ただし、受け取った UDP データグラムがブロード
キャスト・データグラムである場合は、ICMP エラーが生成されません。
この値が大きい場合は、アプリケーションがソケットをどのように処理しているかを調べてください。

port unreach か。
いまいちな予感。

**動け動けウゴウゴ２ちゃんねる** · 04/12/02 03:24:04

>>868
いくつまで減らしたの？

**root▲ ★** · 04/12/02 03:29:43

処理が追いついてないのか、、、。
BBQはでっかいDBをrbldnsでmmap()してるからなぁ。

mmap() の頻度をもっとまばらにしてみるです。

**動け動けウゴウゴ２ちゃんねる** · 04/12/02 03:32:04

ちょっと狼のスレ数減らさないでよ
大体ハロプロって50人くらいメンバーいるから
それぞれのカップリングスレだけでも50×50で2500は必要なんだし
各メンバーのファンスレ数種類にアンチスレ数種類もひつようだし
最低3000は必要だよ

**root▲ ★** · 04/12/02 03:33:57

BBQのdjbdnsは強化型になっていなかった(portsが古かった)ことが判明。
再度手術するです。

**動け動けウゴウゴ２ちゃんねる** · 04/12/02 03:36:31

人が多い所はスレ保持数2000くらいでまわせるような感じにして欲しい

**root▲ ★** · 04/12/02 03:37:39

>>878 をやりました。
これからbbqのnetstatのカウンタをリセットします。

で、すみませんがスレッド保持数の話は、別のところでおながいします、、、。

**動け動けウゴウゴ２ちゃんねる** · 04/12/02 03:37:53

狼をどうぞ沢山増やしてあげてください
VIPは300くらいでいいです
落ちても誰ひとりとして気にしません

**動け動けウゴウゴ２ちゃんねる** · 04/12/02 03:39:47

>>877

**動け動けウゴウゴ２ちゃんねる** · 04/12/02 03:40:42

狼なんてｲﾗﾈｰﾖ

**動け動けウゴウゴ２ちゃんねる** · 04/12/02 03:41:22

VIPER一同より

我々はFOX ★がどんなに理不尽な仕様にしようとも受け入れて生きていきます

**WaterLineVVVF ★** · 04/12/02 03:41:32

ex7のスレ保持数について
http://qb5.2ch.net/test/read.cgi/operate/1101926438/

スレ保持数については↑のスレでお願いしたほうが効果がありますよ

**動け動けウゴウゴ２ちゃんねる** · 04/12/02 03:42:23

★☆★【狼ラウンジVIP野球競馬】ex7(tiger503)運用情報☆★☆
http://qb5.2ch.net/test/read.cgi/operate/1101909143/l50

**▲ 某ソレ511** · 04/12/02 03:44:24

>>880
とりあえず、これで、しばらく様子見ですかね。

**root▲ ★** · 04/12/02 03:48:35

>>887
そっすね、、、。

BBQ側のカウンタが微妙にいやんな感じなのが、ちと気になるです。
でもさすがに今日はもう寝ないといかんので。

**root▲ ★** · 04/12/02 03:53:17

tigerサーバ/cobraサーバのspeedycgiを、バッファ拡張版にした。
( #!/usr/local/bin/speedy -- -r1 -t60 -b1048576 )

今日は、ここまでかなと。

**root▲ ★** · 04/12/02 04:10:04

流れそうだから、もっかいおれさまメモ。(>>767)

意識なくなってきたんで、おやすみなさい。

**▲ 某ソレ511** · 04/12/02 04:12:25

2004/12/02 04:05:00
udp:
155591 datagrams received
　-略-
1 with no checksum
204 dropped due to no socket
　-略-
155387 delivered
156167 datagrams output

まぁ、今のところのstatsがdelivered以外0なのに比べると
確かに微妙にいやんかも、、
おやすみなさい。

**root▲ ★** · 04/12/02 10:56:26

>>891
http://bbq.2ch.net/_service/netstat-20041202.txt

増えてますね。
DNSキャッシュサーバをチューニングしてみるか。

**root▲ ★** · 04/12/02 10:59:40

FreeBSD 5.3R-p2
ftp://ftp.freebsd.org/pub/FreeBSD/CERT/advisories/FreeBSD-SA-04:17.procfs.asc

workaroundは、procfsを使わないことか。

**root▲ ★** · 04/12/02 15:32:40

思い出したときに書いておこう。

今の902だと、/homeにAMD64なバイナリ(read.cgi/offlaw.cgi)が入っているから、
次のを作るときも、AMD64アーキテクチャじゃないと大変めんどいですね。
/homeを共有することになるわけだから。

Cobraクラスにするかもっと安いのにするか(組みようにより、安いamd64も組めます)は、
別途考えることになるのかなと。

**root▲ ★** · 04/12/02 17:22:12

下記がもしほんとだとしたら、、、。
DNSサーバ系も絶対5.3Rにしよう、そうしよう。

blackgoat4: FreeBSD 5.2.1R

PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU CPU COMMAND
684 squid 96 0 347M 341M select 0 212.3H 19.48% 19.48% squid <= CPUを20%食ってる
623 root 96 0 42420K 5416K select 0 4:59 0.00% 0.00% httpd
561 root 96 0 1608K 928K select 2 2:04 0.00% 0.00% ntpd
658 root 8 0 1232K 484K nanslp 0 1:50 0.00% 0.00% svscan
297 root 8 0 3108K 2508K nanslp 1 1:42 0.00% 0.00% ipmon
586 root 96 0 3512K 2012K select 1 1:08 0.00% 0.00% sendma
686 root 96 0 2224K 1440K select 0 0:30 0.00% 0.00% proftp
603 root 8 0 1340K 824K nanslp 3 0:19 0.00% 0.00% cron
427 root 96 0 1312K 704K select 3 0:10 0.00% 0.00% syslog

blackgoat3: FreeBSD 5.3R

PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU CPU COMMAND
626 squid 20 0 282M 278M kserel 1 10:18 0.20% 0.20% squid <= CPUを0.2%しか食っていない
582 root 96 0 42012K 7776K select 0 0:01 0.00% 0.00% httpd
1449 service 96 0 2616K 1912K CPU1 0 0:01 0.00% 0.00% top
1007 service 96 0 6092K 2996K select 3 0:00 0.00% 0.00% sshd
598 root 96 0 5048K 4244K select 2 0:00 0.00% 0.00% snmpd
653 dnscache 96 0 32820K 32220K select 1 0:00 0.00% 0.00% dnscac
525 root 96 0 2880K 1776K select 2 0:00 0.00% 0.00% ntpd
306 root 8 0 1804K 1392K nanslp 3 0:00 0.00% 0.00% ipmon
628 root 8 0 1236K 664K nanslp 3 0:00 0.00% 0.00% svscan

**動け動けウゴウゴ２ちゃんねる** · 04/12/02 18:22:21

ネットワーク周りのGIANTLOCKが解消されたからでは？

**FOX ★** · 04/12/03 01:13:43

#!/usr/local/bin/speedy -- -b1048576
バージョンのbbs.cgiをex7に投入しましたー

bbs.cgi再開発プロジェクト４
http://qb5.2ch.net/test/read.cgi/operate/1101984763/74-75

昨日のピーク時 350投稿/min くらいで、沈没　→　DNSの強化でなおったばす
今日のピーク時 350投稿/min しらいで平和
さて明日は? SpeedyCGI フルスペック版bbs.cgi がどう動くのか

1) 軽くなって 400投稿/min でもへっちゃら
2) やっぱ意味無しで 350投稿/min で沈没
3) かえるの歌でも歌ってみる

**動け動けウゴウゴ２ちゃんねる** · 04/12/03 01:55:35

かーえーるーのーうーたーがー♪

**ヾ(ﾟﾊﾟ)ﾉ** ◆f0.zuburi6 · 04/12/03 01:56:40

かーえーるーのーうーたーがっ♪

**動け動けウゴウゴ２ちゃんねる** · 04/12/03 02:09:53

遅れて･･･
　　　　　　　　　　　聞こえて･･･
　　　　　　　　　　　　　　　　　　　　　　　　　来るよ･･･

**名無し募集中。。。** · 04/12/03 02:39:27

書き込めない
早く対処しろ

**名無し募集中。。。** · 04/12/03 02:51:37

お前だけだカス

**名無し募集中。。。** · 04/12/03 02:56:57

>>902
お前は黙ってろ

**FOX ★** · 04/12/03 04:44:45

質問だす

#!/usr/local/bin/speedy -- -b1048576
で bbs.cgiが起動され speedy_back プロセスが走り出すと思うのですが
このときの speedy_back の pid を 74745 とすると

プロセス 74745 が殺される(or自滅する)タイミングって何時ですか?

**root▲ ★** · 04/12/03 12:24:50

昨日は本業で疲れ果て、そのまま寝てしまいました。

さて、今週はシステム系サーバの工事。
↓
システム系サーバ工事に伴う書き込み不安定・一部サービスダウンのお知らせ[12/3]
http://qb5.2ch.net/test/read.cgi/operate/1102042361/

>>897
おおっ。bbs.cgiスレが激しく進んでいると思ったら、いよいよすか。

>>904
-rと-tのデフォルト値に依存してるですね。
http://perldoc.jp/docs/modules/CGI-SpeedyCGI-2.21/SpeedyCGI.pod

によると、
・bbs.cgiが500回実行される(-r500)
・1時間、何のリクエストも来ない(-t3600)

と、バックエンドプロセスが切り替わるようです(両方とも変更可能)

**動け動けウゴウゴ２ちゃんねる** · 04/12/03 12:45:05

MaxRuns( -r オプション、デフォルトが500 ）判定で再execされても
古いバックエンドが kill されないように見えるということですか？

**動け動けウゴウゴ２ちゃんねる** · 04/12/03 12:46:37

うわっ、調べてる間に詳しいレスついてた、ハズい・・・・

**root▲ ★** · 04/12/03 13:35:21

ex7の1プロセスあたりのCPU時間を30秒から120秒に増やしました。
(speedy_backendが500回分ずつ処理するので、1プロセス的に消費時間が増えるため)

**FOX ★** · 04/12/03 14:06:41

ふんふん

つまり Speedy は時限装置が組み込まれていると、
そしてサーバは殺しに行かないようにしたと、

こういう感じ?

**root▲ ★** · 04/12/03 14:15:25

>>909
そういうことになります。120秒が短いなら、またのばそうかなと。
bbs.cgiには暴走癖がありますが、それは120秒制限で遅かれ早かれ死ぬはず。

でex7ですが、今のところ平和なかんじですね。
300投稿/minを超えるあたりからが、見ものか。

**FOX ★** · 04/12/03 14:52:17

でも冷静に考えてごらんよ。

このまま進むと確かにそう遠くない将来(Febころ?)
tigerで 500投稿/min をこなすようになるですねぇ
なったらどうなるかというと・・・・・

道路を作れば渋滞が解消するという幻想を
抱いている方々と同じ境遇というか、、

車減らさなきゃ渋滞解消しないのに、
道を快適にすればそれ以上に車に乗る人が増えるのに、

**root▲ ★** · 04/12/03 14:58:38

>>911
しょうがないすね。
それはもう、「宿命」とか「業」とかのレベルかなと。

DNSサーバ構築で巻き込まれはじめ、
uma作戦以降どっぷりと漬かってからというもの、
サーバの資源不足が解消するなんて、はじめから思ってないっす。

とりあえず、きゅうり踊りだけはちょっとだけうまくなったのかもしれないけど。

**動け動けウゴウゴ２ちゃんねる** · 04/12/03 17:28:50

いや必ずどっちかが限界に達する
それか質的にかわるか

**▲ 某ソレ511** · 04/12/03 17:53:57

http://mumumu.mu/mrtg/mrtg-rrd.cgi/bbqbbx/bbs.html
http://stats.2ch.net/_service/netstat-20041203.txt

このメンテ中にもbbs不調だったっすね、（カウントもけっこう多くの板でされてなかったみたい）
でも、netstatのほうは見てもあまり不調ではないっぽいが、、

**root▲ ★** · 04/12/03 18:20:38

>>914
dnscache止めてた = bananaサーバからの書き込みができなかったはずなので、
本当に書き込み数が減っていたはず。

**root▲ ★** · 04/12/03 20:21:25

oyster243を観察中。

ネットワークはじめ、全体的にとても軽くなった気がしますね。
やっぱ、ネットワーク周りのgiant lock解消が効いてるのかなと。

**名無し募集中。。。** · 04/12/03 20:32:39

ｅｘ７書き込めないんだけど何とかしてよ

**動け動けウゴウゴ２ちゃんねる** · 04/12/03 20:34:13

>>917
>>897-900

**名無し募集中。。。** · 04/12/03 20:38:52

わけわかめ

**動け動けウゴウゴ２ちゃんねる** · 04/12/03 20:50:04

撃沈させたら勝ちらしい…

**名無し募集中。。。** · 04/12/03 20:56:26

ちゃんと説明してくれんと意味がわからん

**某ソレ511** · 04/12/03 21:23:47

>>915
そうでしたかぁー。
いや、kawase-m見る限り狼も数字動いてなかったもんで、、

**root▲ ★** · 04/12/03 21:28:25

>>922
狼= ex7は別の要因と思います。(bbs.cgiが違う)
BBQのalerm()な処理が入ってないんだと思う。

**▲ 某ソレ511** · 04/12/03 21:36:53

そうでしたか。微妙にそんな気はしたけど、、
おつかれさまですー。。

**FOX ★** · 04/12/03 22:39:25

>>923
あっ
もしかして、使ってなさそうな処理をばっさり削ったのが原因かも。。。

alerm() は入っているけど、　シグナルなんとかってのはばっさり削ったのだ
はっはっは

きっとそのせいだ、、

**動け動けウゴウゴ２ちゃんねる** · 04/12/03 22:58:58

お狐様のたたりじゃー

**FOX ★** · 04/12/03 23:13:10

<br> 関係もコピペの問題なんだろうなぁ。。。

もしのソースからもう一度慎重に持ってくれば直る予感。

**動け動けウゴウゴ２ちゃんねる** · 04/12/03 23:16:11

やはり、感でいじってるのか…

**動け動けウゴウゴ２ちゃんねる** · 04/12/03 23:17:46

狐さんの言うことを信じるとアレだよ

**root▲ ★** · 04/12/03 23:19:33

FOXさーん、
bbs.cgi をいじって、return 0;を入れませんでしたか?

**root▲ ★** · 04/12/03 23:22:51

qb6のだけ、いじったです。
で、これを配布すればいいのかな。

**FOX ★** · 04/12/03 23:23:01

return 0; も 1 も沢山入れたからわからないなぁ、

いつごろのことですか?

**FOX ★** · 04/12/03 23:24:45

あっ　入れた気がする　!!

うへへぇー

間違ってくばっちった、

**root▲ ★** · 04/12/03 23:25:18

>>932
6時間ぐらい前だと思います。

で、Proxyチェックのところをパスするにようなっていたことが判明したので、
そこを元に戻したものを配布しておきました。

これで、BBQは再度有効になったはず。

**外野ｧｧﾝ** · 04/12/03 23:25:51

↓またFOXか

**root▲ ★** · 04/12/03 23:26:34

てなわけで、たぶんBBQの問題は解決したはずです。

**root▲ ★** · 04/12/03 23:28:20

なるほど、「避難訓練実施中」バージョンの時ですね。>>933

了解です。
で、今後はもうBBQは止めないので、これで問題ないでしょう。

**動け動けウゴウゴ２ちゃんねる** · 04/12/03 23:28:28

>>936
試したら、BBQ戻ってますね。
乙ですー

**root▲ ★** · 04/12/03 23:31:50

BBQのquery数、戻りましたね。

でも相変わらずoyster243は軽いので、
5.3Rへのバージョンアップの効果は大きいみたい。

**FOX ★** · 04/12/03 23:36:26

∩( ・ω・)∩ばんじゃーい

**名無し募集中。。。** · 04/12/03 23:39:05

おい！！いつになったら書き込めるようになるんだ
早く直せ糞野郎

**動け動けウゴウゴ２ちゃんねる** · 04/12/03 23:39:29

書き込めうよ

**名無し募集中。。。** · 04/12/03 23:43:16

>>942
書き込めてたらこんなとこ来ねぇよ

**FOX ★** · 04/12/03 23:44:32

かつをが小学校を卒業したら、

**動け動けウゴウゴ２ちゃんねる** · 04/12/03 23:44:44

>>943
とりあえず書き込めない板とスレを出さないと解決にならないと思われ

**動け動けウゴウゴ２ちゃんねる** · 04/12/03 23:46:45

>>943
惜しい。もう少しでIDがEX7。

**名無し募集中。。。** · 04/12/03 23:47:45

普通にサクサクと書き込めるぞ
自分の環境を晒せよ

**▲ヾ（ﾟﾊﾟ）ﾉ** ◆f0.zuburi6 · 04/12/03 23:48:01

>>944 永遠に無いと。。

**動け動けウゴウゴ２ちゃんねる** · 04/12/03 23:48:27

川沿い2階建てアパート、築12年くらい

**名無し募集中。。。** · 04/12/03 23:48:44

>>944
死ね