bbs.cgi再開発プロジェクト5

**動け動けウゴウゴ２ちゃんねる** · 04/12/20 07:38:07

peko鯖の稼動によりﾎﾞﾄﾙﾈｯｸの一つである事がより明らかになった
bbs.cgi作り直しプロジェクトです。

【開発環境の工事現場】
また挑戦。＠2ch掲示板　　http://dso.2ch.net/myanmar/
また挑戦２。＠2ch掲示板　http://dso.2ch.net/yangon/

関連スレなどは >>2-5 くらい

[―{}@{}@{}-] **FOX ★** · 04/12/25 19:00:56

うっ　またここでテストしちまった。

[―{}@{}@{}-] **FOX ★** · 04/12/25 19:06:39

BBQ / BBM / BBX は同様の処理にしてみた　@myamer

[―{}@{}@{}-] **FOX ★** · 04/12/25 19:08:16

BBM や BBX のテストをして欲しいなぁ

**root▲ ★** · 04/12/25 19:09:57

BBXも1個しかAないので、同じ仕様でいいはずです。

で、みゃんまーでやればいいのかしら。

まず、
・正しく効くか
・配布してみてから→落としてみて、ブロックしないか

でいいのかな。

[―{}@{}@{}-] **FOX ★** · 04/12/25 19:11:43

んです
んです

[―{}@{}@{}-] **FOX ★** · 04/12/25 19:18:05

連日、頭使っていたら疲れたぞー
ちと　休憩

**root▲ ★** · 04/12/25 19:23:31

BBXはちゃんと動いてるですね。< みゃんまー
BBMは、どうすべ。

[―{}@{}@{}-] **FOX ★** · 04/12/25 21:13:19

今日の深夜
全サーバにこのbbs.cgiを配布してみよう、
そして BBQ/BBM/BBX 止めてテスト

今後は、さらにタイムアウトを縮めることへの挑戦か?
現在は

$res->tcp_timeout(1);
$res->udp_timeout(1);
$res->retry(1);

で、たぶん一秒は待つ予感。
どうやったら縮められるの?

**未承諾広告※** ◆TWARamEjuA · 04/12/26 00:22:38

回り回ってselect(2)を呼んでいるみたいなので小数が使えないのかな？＠timoutの値
モジュールを追っていくと、、、
Net::DNS
↓
IO::Socket
↓
IO::Select
↓
select(2)

ですので・・・

**FOX ★** · 04/12/26 00:40:58

BBM/BBQ/BBX/BBY/BBS ともに一回タイムアウトしたら
そのプロセスが常駐している間(最大10分)は、DNSクエリ処理をスキップするようにした。

**FOX ★** · 04/12/26 00:41:15

>>217
どうなんですかねぇ

**FOX ★** · 04/12/26 01:23:58

BBS/BBY って何が帰ってくるのかしら?

無条件に 127.0.0.2 ?

**root▲ ★** · 04/12/26 01:47:00

>>220
「ないよ」のはず。つまり、なにも。

**FOX ★** · 04/12/26 01:50:57

うっ
なるほど

my $query = $res->query($host);
if($query)

でタイムアウトと区別するにはどうしたらいいのかしら?

**FOX ★** · 04/12/26 02:03:05

BBS は　my $query = $res->query($host);
したとき

1) タイムアウト時
2) 正常終了時

ともに $query　が無いようです。
んで区別がつかないのだ。

**root▲ ★** · 04/12/26 03:08:32

>>223
answerを見ればいいはず。
しらべるのでちょっとまってください。

**FOX ★** · 04/12/26 03:10:06

$query　がないから
$query->answer;　が見れない予感

**root▲ ★** · 04/12/26 03:12:06

なるほど。
なら、エラーコードみりゃいいはず。

**FOX ★** · 04/12/26 03:15:56

おっ
$res->errorstring　に qyery timed out または MXDOMAIN だかが入っている

**FOX ★** · 04/12/26 03:17:02

NXDOMAIN だった

**root▲ ★** · 04/12/26 03:20:02

res_queryはだめだけど、res_sendつかえばOKですね。

#! /usr/bin/perl

use Net::DNS;

my $res = Net::DNS::Resolver->new;

my $ans = $res->send('2ch.net');
print "rcode = ", $ans->header->rcode, "\n";

my $ans = $res->send('notexist.2ch.net');
print "rcode = ", $ans->header->rcode, "\n";

**root▲ ★** · 04/12/26 03:20:58

>>228
あ、それでもOKです。
NXDOMAINが成功(で不存在)、query time outなのはタイムアウト。

**FOX ★** · 04/12/26 03:21:56

改修

sub foxDNSquery
{
my ($host) = @_;
$host .= "bbs.timeout.peko.2ch.net.";
use Net::DNS;
my $res = Net::DNS::Resolver->new;
$res->tcp_timeout(1);
$res->udp_timeout(1);
$res->retry(1);
my $query = $res->query($host);

if($res->errorstring eq 'query timed out') {return 0;}

return 1;
}

**FOX ★** · 04/12/26 03:22:32

呼び出し側

if($FOX->{BBS}){$FOX->{BBS} = &foxDNSquery($BHOST);}

**FOX ★** · 04/12/26 03:23:49

んじゃ　ex7でちとテスト

**root▲ ★** · 04/12/26 03:24:25

>>231-232
つまり、タイムアウトしたら0で、
普通に動いているときは1と。

**FOX ★** · 04/12/26 03:24:48

そでーす

**FOX ★** · 04/12/26 03:25:08

$FOX->{BBS}　の初期値は 1 で

**FOX ★** · 04/12/26 03:32:46

http://stats.2ch.net/tubame.cgi

よさげなので全部にいれよう

**root▲ ★** · 04/12/26 03:37:22

BBQへの問い合わせが激減しているような、、、。
原因はBBSと同じ?

http://mumumu.mu/mrtg/mrtg-rrd.cgi/bbqbbx/

**root▲ ★** · 04/12/26 03:38:28

例の「不存在」と「タイムアウト」問題っすね。
不存在はBBQ的には「登録なし」ってやつなんで。

**FOX ★** · 04/12/26 03:38:47

ぬおっ

BBQ は何返すんですか?

**root▲ ★** · 04/12/26 03:38:58

たぶん、BBMも同じかと。

**root▲ ★** · 04/12/26 03:40:07

127.0.0.2 登録あり(焼かれてる)
NXDOMAIN 登録なし(焼かれてない)
タイムアウト

の3つですね。BBM/BBXも同じ。

**FOX ★** · 04/12/26 03:41:46

改修

sub foxDNSquery2
{
my ($host) = @_;
#$host .= "bbs.timeout.peko.2ch.net.";
use Net::DNS;
my $res = Net::DNS::Resolver->new;
$res->tcp_timeout(1);
$res->udp_timeout(1);
$res->retry(1);
my $query = $res->query($host);

if($query)
{
my @ans = $query->answer;
foreach(@ans)
{
return $_->address;
}
}
if($res->errorstring eq 'query timed out') {return "127.0.0.0";}

return "127.0.0.1";
}

**FOX ★** · 04/12/26 03:42:47

if($SPAM eq "127.0.0.0"){$FOX->{BBQ} = 0;}

こんなコード呼び出し側に入っています

**root▲ ★** · 04/12/26 03:47:15

>>243
これは、

アドレスがあればそのアドレスを返す
アドレスがなくてタイムアウトなら127.0.0.0を返す
そうでなかったら127.0.0.1を返す

という動き？

**FOX ★** · 04/12/26 03:48:32

そーですー

呼び出し側では
127.0.0.2
127.0.0.0
だけしか見ていません

**root▲ ★** · 04/12/26 03:51:25

>>246
127.0.0.2 => BB{Q,X,M} 登録済み
127.0.0.0 => 各DNSに異常発生

というかんじですか。

で、BB{Q,X,M}はそれぞれ別のDNSサーバなので、bbs.cgi側では、
例えばBBQの異常を検知したら、BBQ＊だけ＊10分停止、
というのがよさげです。

**FOX ★** · 04/12/26 03:52:46

そのようになっています。

$FOX->{BBM} = 1;
$FOX->{BBQ} = 1;
$FOX->{BBX} = 1;
$FOX->{BBY} = 1;
$FOX->{BBS} = 1;

**root▲ ★** · 04/12/26 03:55:10

了解です。

最悪はdnscacheがあぼーんすることですが、
そのときは、、、gethostbyaddr() が詰まっちゃうのか。

**FOX ★** · 04/12/26 03:55:53

>>249
そこはもっと練ってからの実装かと、

**root▲ ★** · 04/12/26 03:56:41

>>250
そっすね。

でもこれで、そうとうよくなった予感がするですよ。

**FOX ★** · 04/12/26 03:56:53

というか、そこは実装しないで
dnscacheをことん強化が本筋かと、

**FOX ★** · 04/12/26 03:58:54

　　　　　 ∩
　　(　ﾟ∀ﾟ)彡　じっけん!じっけん!
　　　 ⊂彡

**root▲ ★** · 04/12/26 03:59:12

>>252
そですね。例の計画(RAID1で強化+Anycast装備)いきます。
そういえばRAID1カードのインストール、どうなってるのかしら。

**root▲ ★** · 04/12/26 03:59:53

>>253

BBxを止める実験ができるようになった、ということでOK?

**FOX ★** · 04/12/26 04:01:26

dnscache が　timeout だったら書けないという仕様にするです　bbs.cgi
qb5&★ だけ書ける様にして

**FOX ★** · 04/12/26 04:01:48

>>255
ok ok

自信まんまん

**root▲ ★** · 04/12/26 04:05:18

BBQを止める実験、やってみますか。
で、うまくいくなら、続いてBBSを止める実験。

BBYはスレ立てしないといけないので、みゃんまーで。

BBMは携帯で書かないとだめだから、FOXさんに携帯で書いてもらおう。
(私H"とPALDIOしか持ってないです)

BBXは例によって、禁止フレーズをみゃんまーで。

では、順番にいきます。

**root▲ ★** · 04/12/26 04:07:26

BBQ止めました。

**root▲ ★** · 04/12/26 04:07:48

お、いいかんじ。

**root▲ ★** · 04/12/26 04:08:51

BBQ動かして、BBS止めました。

**root▲ ★** · 04/12/26 04:09:47

いいかんじ。
これからBBS動かして、BBY止めます。

**root▲ ★** · 04/12/26 04:11:21

BBY止めました。みゃんまーに行ってきます。

**FOX ★** · 04/12/26 04:11:39

http://ex7.2ch.net/morningcoffee/

各板のindex.html をみると状態がわかるようにした

**root▲ ★** · 04/12/26 04:13:47

できました。

BBYを止めてもスレ立てできるのかテスト
http://dso.2ch.net/test/read.cgi/myanmar/1104001957/

これからBBY動かして、BBXとめます。

**root▲ ★** · 04/12/26 04:19:23

BBX止めました。
禁止フレーズは、、、。

**root▲ ★** · 04/12/26 04:28:40

いいNGワード、何かありますかね。

**root▲ ★** · 04/12/26 04:30:21

>>264 みると、BBXが止まっています、って出るから、正常かな。

**root▲ ★** · 04/12/26 04:30:52

でもまだBBM止めてないのに、BBMが止まってるってたまに出るなぁ。

**root▲ ★** · 04/12/26 04:33:59

BBX確認できました。元に戻します。

**FOX ★** · 04/12/26 04:34:52

ほんとに timeout 検出しているとか、、、

**root▲ ★** · 04/12/26 04:35:45

うへー。例のバッファフルがいっぱい。
BBSと同じ対策打ってきます。< BBM

%netstat -s -p udp
udp:
15773031 datagrams received
0 with incomplete header
0 with bad data length field
0 with bad checksum
1 with no checksum
50 dropped due to no socket
2 broadcast/multicast datagrams dropped due to no socket
126085 dropped due to full socket buffers
0 not for hashed pcb
15646894 delivered
15647283 datagrams output

**root▲ ★** · 04/12/26 04:38:43

対策打ちました(対策後は今日のラッシュ時もBBSのバッファフルなし)。

あとはBBMか。これからとめます。とめたらおしらせします。

**root▲ ★** · 04/12/26 04:39:41

BBMとめました。
携帯からどなたかカキコしていただけると。

**FOX ★** · 04/12/26 04:44:10

よさげ

**root▲ ★** · 04/12/26 04:45:58

dnscacheのログみた。BBMにはqueryはそれなりに出てるみたい。
ブロックしてないかの確認ができれば、OKですが、、、。

**root▲ ★** · 04/12/26 04:46:16

>>275
OKです。

では、もとにもどします。

**root▲ ★** · 04/12/26 04:48:46

morningcoffeeの板トップ見てると、たまに止まってないのに「止まっています」って出ることがあるですね。
1秒だと、短すぎ?
それともたまにリトライしてる?

でもブロックはしたくないから、もろはの刃なのかな。

**root▲ ★** · 04/12/26 04:49:11

で、BBM元に戻しました。
全部元に戻ったはず。

**FOX ★** · 04/12/26 04:50:06

>>276
新規に立ち上がったbbs.cgiは一回は聞きにいくですから

>>278
どうでしょうねぇ

**FOX ★** · 04/12/26 04:51:55

>>279
時間での切腹機能入れていないから
何時までもだらだら残るのかも(特に暇なサーバは)

**root▲ ★** · 04/12/26 04:54:20

ex7のspeedy_backendをいったん全部killした。
そしたら、BBMが止まっています、は消えたです。

**root▲ ★** · 04/12/26 04:55:33

これで、BB?系のDNS側の実験は終了しました。
また一歩、進歩したですね。すばらしいっす。

**FOX ★** · 04/12/26 04:56:03

#!/usr/local/bin/speedy -- -M32 -b1048576

に -t600 っていれたら　10分?
#!/usr/local/bin/speedy -- -M32 -b1048576 -t600

**root▲ ★** · 04/12/26 04:57:37

>>284
10分＊全く何も受け取らない＊と、自爆しますね。
一番あれなのは、ぽろ、ぽろ、って来る場合かと。

**FOX ★** · 04/12/26 05:00:06

また今度実験してミルです　< -t option の効果&弊害

**root▲ ★** · 04/12/26 05:00:07

デフォルトでは500回リクエストを受け取ると、自爆します。
(-r500)

-tは3600がデフォルトですね。

つまり、
・500回人を乗せた
・1時間誰も乗らなかった

場合に、自爆すると。

**root▲ ★** · 04/12/26 05:09:37

もう知っているかもですが、Perl内から自爆命令を出すこともできます。

・shutdown_now
perlインタープリタを即座にシャットダウンします。この関数は戻ってきません。

$sp->shutdown_now

・shutdown_next_time
perlインタープリタを、このリクエストが終了したらすぐにシャットダウンします。

$sp->shutdown_next_time

**FOX ★** · 04/12/26 06:03:14

10分で組み込んであります

**動け動けウゴウゴ２ちゃんねる** · 04/12/26 18:30:34

ふと思ったんですが、
今はsubback.htmlを毎回bbs.cgiで作成してるんですよね？

subback.htmlへのリクエストは、subject.txtの更新頻度よりずっと少ないと思うので
もしかしたら、subback.cgiを作成してmod_rewriteを使うとか
あるいはmod_subbackを作成して組み込むとかの方が
鯖に優しいのではないでしょうか。
呼ばれる度にsubject.txtとSETTING.TXT(こちらは後者ならキャッシュも可能)を
読み込む必要がありますが、bbs.cgiでのディスク書き込みを少しは減らせるので。

後者の方法もそんなに難しくないと思いますが、前者なら非常に簡単だと思いますし。

**FOX ★** · 04/12/27 00:17:23

特に問題なく動いているようで、、

◆tuboBGQODY · 04/12/27 00:43:54

うーむ。

伝説の機能の!preはPC系だけでいいから実装してほしいなあ。

**root▲ ★** · 04/12/27 00:54:25

今日のlive8/live16ともえらい軽かった(伸びが良かった)です。
今までは2ブレーメンぐらいでかなりつらそうだったけど、
今は3ブレーメンぐらいでもかなり平気みたい。

**動け動けウゴウゴ２ちゃんねる** · 04/12/27 01:38:05

>>292
転送量対策でread.cgiが余分なスペースを全部削ってしまうからなぁ……。

**FOX ★** · 04/12/27 01:47:47

>>294
そうなの?

**動け動けウゴウゴ２ちゃんねる** · 04/12/27 02:11:32

>>295
http://piza2.2ch.net/test/read.cgi/tech/998736516/924

ここらへんでそんなコードが入ってましたよ。

**FOX ★** · 04/12/27 02:15:48

dat に書くときに?

**動け動けウゴウゴ２ちゃんねる** · 04/12/27 02:19:36

>>297
いえ、read.cgiがdatを読み出すときに。
datには書きこんだとおりのままスペースが保存されてます。

**FOX ★** · 04/12/27 02:30:52

なるほど、、、

今回 read.cgi 書き直すから、その処理はなくなる予定だったりするです

**動け動けウゴウゴ２ちゃんねる** · 04/12/27 04:20:05

書き直すついでに書きこみ欄をrows=20 cols=80ぐらいに
広げてくれないかなー、、とつぶやいてみる。
たまにIE使ったりすると狭くて、、

**動け動けウゴウゴ２ちゃんねる** · 04/12/27 08:58:22

read.cgi再開発スレ
http://qb5.2ch.net/test/read.cgi/operate/1087199303/

**root▲ ★** · 04/12/28 01:19:26

BB? については、連続して3回失敗した時とかにはじめて、
「止まっている」とみなすようにしたほうが、いいのかもしんないですね。

**▲ 某ソレ511** · 04/12/28 01:35:01

スレッドランキングさんのところと比較してると、
BBSが平均的に5～10%くらいカウントミスってる感じですね、、

初期化時に $FOX->{BBS} = 3; くらいにして、
異常を検知した時は --$$FOX->{BBS} くらいにする、とかって考えたけど、
（これだと連続ではない3回検知で、になるかな、）

**未承諾酩酊※** ◆TWARamEjuA · 04/12/28 01:51:13

1bit左にシフトして+1するとか。＠== 7 で3回目検知、スルーできたら1bit目をクリアするとか

**FOX ★** · 04/12/28 14:04:35

根本的なとこを解決しなくてどうするのかと、

**root▲ ★** · 04/12/28 17:47:40

>>305
ふむ。

根本的なところ = 失敗をなくす方向

だとすると、どうするのがいいのか。

やはり、しくみの変更なのか。
でもDNSでやるしくみ+ノンブロッキングでquery、ってのは、
コスト低いし、筋がいい気がするんですけどね。

**動け動けウゴウゴ２ちゃんねる** · 04/12/28 18:50:33

無反応の場合はネガティヴキャッシュで解決しないの？

**root▲ ★** · 04/12/28 19:23:23

>>307
それがですね、、、BBSの場合、毎回queryするものが違うんですよ。
つまり、キャッシュは効かない、というか、効かせていないのです。
キャッシュが効いちゃったら、正しいカウントができないんで。

というか、そうか、、、。Net::DNSって、聞きに行くDNSサーバを指定できたような。
だったら、工数のかかる再帰検索かけなくても、ダイレクトにBBSのサーバ指定できるかも。

ちょっと、考えてみます。
DNSキャッシュサーバ側のコストを、下げられるかもしんない。

**FOX ★** · 04/12/28 21:14:37

質問　質問

1) BBS の現在の問題点は、コール数が多いために数えられないことがある。
2) そもそもコール数が少なくても数え落しが発生するしくみである。

どっちなんでしょか?