X

bbs.cgi再開発プロジェクト5

■ このスレッドは過去ログ倉庫に格納されています
04/12/20 07:38:07ID:KYFJjC4V
peko鯖の稼動によりボトルネックの一つである事がより明らかになった
bbs.cgi作り直しプロジェクトです。

【開発環境の工事現場】
また挑戦。@2ch掲示板  http://dso.2ch.net/myanmar/
また挑戦2。@2ch掲示板 http://dso.2ch.net/yangon/

関連スレなどは >>2-5 くらい
190root▲ ★
垢版 |
04/12/25 06:11:51ID:???
戻しました。また、ひとつ進歩したですね。
191FOX ★
垢版 |
04/12/25 06:12:08ID:???
ですね、
192root▲ ★
垢版 |
04/12/25 06:12:44ID:???
>>189
二度と、はつらいかな。
しばらくの間、ってのがよさげ。

で、Net::DNS::Packetのやり方をちょっと書いておくです。
193FOX ★
垢版 |
04/12/25 06:12:58ID:???
#we don't need any answer.
だったっすね、
194FOX ★
垢版 |
04/12/25 06:13:23ID:???
>>192
寿命10分だし
195FOX ★
垢版 |
04/12/25 06:25:37ID:???
>>177
The program must なんたらが気になるっす
196root▲ ★
垢版 |
04/12/25 06:27:26ID:???
#! /usr/bin/perl

use Net::DNS;

my $res = Net::DNS::Resolver->new;
my $ans = $res->query('2ch.net');
@answer = $ans->answer;

print "address = ", $answer[0]->address, "\n";

BBQやBBMは、このパターンでOKかと。
というか、Perlぜんぜんわかんないんで、超みようみまね。
197root▲ ★
垢版 |
04/12/25 06:30:08ID:???
で、undefだったらBBQやBBMにはひっかかってなくて、
127.0.0.1だったらひっかかってる、って判定すればいいはず。
198root▲ ★
垢版 |
04/12/25 06:33:00ID:???
127.0.0.2 だった。
199FOX ★
垢版 |
04/12/25 06:33:20ID:???
はいはーい
明日以降挑戦してみるです、

それにしてもPerlの達人が居ればねぇ
200root▲ ★
垢版 |
04/12/25 06:39:53ID:???
たしかに、、、。

で、DNSのことは少しは知っているので、ちょっとやってみた。
なるほど、数はこうやってとればいいのね。
(c.2ch.netはアドレス2つ)

#! /usr/bin/perl

use Net::DNS;

my $res = Net::DNS::Resolver->new;
my $ans = $res->query('c.2ch.net');
@answer = $ans->answer;

print "count = ", $ans->header->ancount, "\n";

print "address = ", $answer[0]->address, "\n";
print "address = ", $answer[1]->address, "\n";
201root▲ ★
垢版 |
04/12/25 06:42:59ID:???
ということで、

undefになった場合 または undefじゃなくても、ans->header->ancountが0の場合

は、BBQ/BBMにひっかかってないとみなし、

ans->header->ancountが1以上で、配列の中身が127.0.0.2なら
BBQ/BBMにひっかかっているとみなせばいいのか。

ここまでわかれば、あとはFOXさんならすぐできるんじゃないかなと思います。

んでは、あとは明日にでも。
04/12/25 09:14:43ID:zOyY3ofo
すごく乗り遅れ?(泪)

では風呂入りますm(_ _)m
04/12/25 18:51:22ID:???
現在こんな感じ

use Net::DNS;
my $res = Net::DNS::Resolver->new;
$res->tcp_timeout(1);
$res->udp_timeout(1);
$res->retry(1);
my $query = $res->query($host);

my $adr = "ANS =";
if($query)
{
my @ans = $query->answer;
foreach(@ans)
{
$adr .= $_->address;
}
}
else
{
return "127.0.0.0";
}
04/12/25 18:54:06ID:???
my $query = $res->query($host);
の答えは Net::DNS::Packet でその中のanserが配列になっている模様。

my @ans = $query->answer;
foreach(@ans)
{
  $adr .= $_->address;
}

これは一個しかないという決めうちでコード書いたらまずい?
複数個あるならどれを見ればいいの?
205root▲ ★
垢版 |
04/12/25 18:54:57ID:???
よさげな気がするです。

で、127.0.0.2なら焼かれてて、127.0.0.0なら焼かれてないってかんじですか。
206root▲ ★
垢版 |
04/12/25 18:55:59ID:???
>>204
BBQ/BBMでは、Aレコード(IPアドレス)は1個しかないので、きめうちでOKです。
(DBをそういうふうに作っています)
04/12/25 18:58:37ID:???
了解でーす

整形してから実験してみよう。。。
04/12/25 19:00:34ID:???
くくく
04/12/25 19:00:56ID:???
うっ またここでテストしちまった。
04/12/25 19:06:39ID:???
BBQ / BBM / BBX は同様の処理にしてみた @myamer
04/12/25 19:08:16ID:???
BBM や BBX のテストをして欲しいなぁ
212root▲ ★
垢版 |
04/12/25 19:09:57ID:???
BBXも1個しかAないので、同じ仕様でいいはずです。

で、みゃんまーでやればいいのかしら。

まず、
・正しく効くか
・配布してみてから→落としてみて、ブロックしないか

でいいのかな。
04/12/25 19:11:43ID:???
んです
んです
04/12/25 19:18:05ID:???
連日、頭使っていたら疲れたぞー
ちと 休憩
215root▲ ★
垢版 |
04/12/25 19:23:31ID:???
BBXはちゃんと動いてるですね。< みゃんまー
BBMは、どうすべ。
04/12/25 21:13:19ID:???
今日の深夜
全サーバにこのbbs.cgiを配布してみよう、
そして BBQ/BBM/BBX 止めてテスト

今後は、さらにタイムアウトを縮めることへの挑戦か?
現在は

$res->tcp_timeout(1);
$res->udp_timeout(1);
$res->retry(1);

で、たぶん一秒は待つ予感。
どうやったら縮められるの?
04/12/26 00:22:38ID:cz8VUXP+
回り回ってselect(2)を呼んでいるみたいなので小数が使えないのかな?@timoutの値
モジュールを追っていくと、、、
Net::DNS

IO::Socket

IO::Select

select(2)

ですので・・・
218FOX ★
垢版 |
04/12/26 00:40:58ID:???
BBM/BBQ/BBX/BBY/BBS ともに一回タイムアウトしたら
そのプロセスが常駐している間(最大10分)は、DNSクエリ処理をスキップするようにした。
219FOX ★
垢版 |
04/12/26 00:41:15ID:???
>>217
どうなんですかねぇ
220FOX ★
垢版 |
04/12/26 01:23:58ID:???
BBS/BBY って何が帰ってくるのかしら?

無条件に 127.0.0.2 ?
221root▲ ★
垢版 |
04/12/26 01:47:00ID:???
>>220
「ないよ」のはず。つまり、なにも。
222FOX ★
垢版 |
04/12/26 01:50:57ID:???
うっ
なるほど

my $query = $res->query($host);
if($query)

でタイムアウトと区別するにはどうしたらいいのかしら?
223FOX ★
垢版 |
04/12/26 02:03:05ID:???
BBS は my $query = $res->query($host);
したとき

1) タイムアウト時
2) 正常終了時

ともに $query が無いようです。
んで区別がつかないのだ。
224root▲ ★
垢版 |
04/12/26 03:08:32ID:???
>>223
answerを見ればいいはず。
しらべるのでちょっとまってください。
225FOX ★
垢版 |
04/12/26 03:10:06ID:???
$query がないから
$query->answer; が見れない予感
226root▲ ★
垢版 |
04/12/26 03:12:06ID:???
なるほど。
なら、エラーコードみりゃいいはず。
227FOX ★
垢版 |
04/12/26 03:15:56ID:???
おっ
$res->errorstring に qyery timed out または MXDOMAIN だかが入っている
228FOX ★
垢版 |
04/12/26 03:17:02ID:???
NXDOMAIN だった
229root▲ ★
垢版 |
04/12/26 03:20:02ID:???
res_queryはだめだけど、res_sendつかえばOKですね。

#! /usr/bin/perl

use Net::DNS;

my $res = Net::DNS::Resolver->new;

my $ans = $res->send('2ch.net');
print "rcode = ", $ans->header->rcode, "\n";

my $ans = $res->send('notexist.2ch.net');
print "rcode = ", $ans->header->rcode, "\n";
230root▲ ★
垢版 |
04/12/26 03:20:58ID:???
>>228
あ、それでもOKです。
NXDOMAINが成功(で不存在)、query time outなのはタイムアウト。
231FOX ★
垢版 |
04/12/26 03:21:56ID:???
改修

sub foxDNSquery
{
my ($host) = @_;
$host .= "bbs.timeout.peko.2ch.net.";
use Net::DNS;
my $res = Net::DNS::Resolver->new;
$res->tcp_timeout(1);
$res->udp_timeout(1);
$res->retry(1);
my $query = $res->query($host);

if($res->errorstring eq 'query timed out') {return 0;}

return 1;
}
232FOX ★
垢版 |
04/12/26 03:22:32ID:???
呼び出し側

if($FOX->{BBS}){$FOX->{BBS} = &foxDNSquery($BHOST);}
233FOX ★
垢版 |
04/12/26 03:23:49ID:???
んじゃ ex7でちとテスト
234root▲ ★
垢版 |
04/12/26 03:24:25ID:???
>>231-232
つまり、タイムアウトしたら0で、
普通に動いているときは1と。
235FOX ★
垢版 |
04/12/26 03:24:48ID:???
そでーす
236FOX ★
垢版 |
04/12/26 03:25:08ID:???
$FOX->{BBS} の初期値は 1 で
237FOX ★
垢版 |
04/12/26 03:32:46ID:???
http://stats.2ch.net/tubame.cgi

よさげなので全部にいれよう
238root▲ ★
垢版 |
04/12/26 03:37:22ID:???
BBQへの問い合わせが激減しているような、、、。
原因はBBSと同じ?

http://mumumu.mu/mrtg/mrtg-rrd.cgi/bbqbbx/
239root▲ ★
垢版 |
04/12/26 03:38:28ID:???
例の「不存在」と「タイムアウト」問題っすね。
不存在はBBQ的には「登録なし」ってやつなんで。
240FOX ★
垢版 |
04/12/26 03:38:47ID:???
ぬおっ

BBQ は何返すんですか?
241root▲ ★
垢版 |
04/12/26 03:38:58ID:???
たぶん、BBMも同じかと。
242root▲ ★
垢版 |
04/12/26 03:40:07ID:???
127.0.0.2 登録あり(焼かれてる)
NXDOMAIN 登録なし(焼かれてない)
タイムアウト

の3つですね。BBM/BBXも同じ。
243FOX ★
垢版 |
04/12/26 03:41:46ID:???
改修


sub foxDNSquery2
{
my ($host) = @_;
#$host .= "bbs.timeout.peko.2ch.net.";
use Net::DNS;
my $res = Net::DNS::Resolver->new;
$res->tcp_timeout(1);
$res->udp_timeout(1);
$res->retry(1);
my $query = $res->query($host);

if($query)
{
my @ans = $query->answer;
foreach(@ans)
{
return $_->address;
}
}
if($res->errorstring eq 'query timed out') {return "127.0.0.0";}

return "127.0.0.1";
}
244FOX ★
垢版 |
04/12/26 03:42:47ID:???
if($SPAM eq "127.0.0.0"){$FOX->{BBQ} = 0;}

こんなコード呼び出し側に入っています
245root▲ ★
垢版 |
04/12/26 03:47:15ID:???
>>243
これは、

アドレスがあればそのアドレスを返す
アドレスがなくてタイムアウトなら127.0.0.0を返す
そうでなかったら127.0.0.1を返す

という動き?
246FOX ★
垢版 |
04/12/26 03:48:32ID:???
そーですー

呼び出し側では
127.0.0.2
127.0.0.0
だけしか見ていません
247root▲ ★
垢版 |
04/12/26 03:51:25ID:???
>>246
127.0.0.2 => BB{Q,X,M} 登録済み
127.0.0.0 => 各DNSに異常発生

というかんじですか。

で、BB{Q,X,M}はそれぞれ別のDNSサーバなので、bbs.cgi側では、
例えばBBQの異常を検知したら、BBQ*だけ*10分停止、
というのがよさげです。
248FOX ★
垢版 |
04/12/26 03:52:46ID:???
そのようになっています。

$FOX->{BBM} = 1;
$FOX->{BBQ} = 1;
$FOX->{BBX} = 1;
$FOX->{BBY} = 1;
$FOX->{BBS} = 1;
249root▲ ★
垢版 |
04/12/26 03:55:10ID:???
了解です。

最悪はdnscacheがあぼーんすることですが、
そのときは、、、gethostbyaddr() が詰まっちゃうのか。
250FOX ★
垢版 |
04/12/26 03:55:53ID:???
>>249
そこはもっと練ってからの実装かと、
251root▲ ★
垢版 |
04/12/26 03:56:41ID:???
>>250
そっすね。

でもこれで、そうとうよくなった予感がするですよ。
252FOX ★
垢版 |
04/12/26 03:56:53ID:???
というか、そこは実装しないで
dnscacheをことん強化が本筋かと、
253FOX ★
垢版 |
04/12/26 03:58:54ID:???
       ∩
  ( ゚∀゚)彡 じっけん!じっけん!
    ⊂彡
254root▲ ★
垢版 |
04/12/26 03:59:12ID:???
>>252
そですね。例の計画(RAID1で強化+Anycast装備)いきます。
そういえばRAID1カードのインストール、どうなってるのかしら。
255root▲ ★
垢版 |
04/12/26 03:59:53ID:???
>>253

BBxを止める実験ができるようになった、ということでOK?
256FOX ★
垢版 |
04/12/26 04:01:26ID:???
dnscache が timeout だったら書けないという仕様にするです bbs.cgi
qb5&★ だけ書ける様にして
257FOX ★
垢版 |
04/12/26 04:01:48ID:???
>>255
ok ok

自信まんまん
258root▲ ★
垢版 |
04/12/26 04:05:18ID:???
BBQを止める実験、やってみますか。
で、うまくいくなら、続いてBBSを止める実験。

BBYはスレ立てしないといけないので、みゃんまーで。

BBMは携帯で書かないとだめだから、FOXさんに携帯で書いてもらおう。
(私H"とPALDIOしか持ってないです)

BBXは例によって、禁止フレーズをみゃんまーで。

では、順番にいきます。
259root▲ ★
垢版 |
04/12/26 04:07:26ID:???
BBQ止めました。
260root▲ ★
垢版 |
04/12/26 04:07:48ID:???
お、いいかんじ。
261root▲ ★
垢版 |
04/12/26 04:08:51ID:???
BBQ動かして、BBS止めました。
262root▲ ★
垢版 |
04/12/26 04:09:47ID:???
いいかんじ。
これからBBS動かして、BBY止めます。
263root▲ ★
垢版 |
04/12/26 04:11:21ID:???
BBY止めました。みゃんまーに行ってきます。
264FOX ★
垢版 |
04/12/26 04:11:39ID:???
http://ex7.2ch.net/morningcoffee/

各板のindex.html をみると状態がわかるようにした
265root▲ ★
垢版 |
04/12/26 04:13:47ID:???
できました。

BBYを止めてもスレ立てできるのかテスト
http://dso.2ch.net/test/read.cgi/myanmar/1104001957/

これからBBY動かして、BBXとめます。
266root▲ ★
垢版 |
04/12/26 04:19:23ID:???
BBX止めました。
禁止フレーズは、、、。
267root▲ ★
垢版 |
04/12/26 04:28:40ID:???
いいNGワード、何かありますかね。
268root▲ ★
垢版 |
04/12/26 04:30:21ID:???
>>264 みると、BBXが止まっています、って出るから、正常かな。
269root▲ ★
垢版 |
04/12/26 04:30:52ID:???
でもまだBBM止めてないのに、BBMが止まってるってたまに出るなぁ。
270root▲ ★
垢版 |
04/12/26 04:33:59ID:???
BBX確認できました。元に戻します。
271FOX ★
垢版 |
04/12/26 04:34:52ID:???
ほんとに timeout 検出しているとか、、、
272root▲ ★
垢版 |
04/12/26 04:35:45ID:???
うへー。例のバッファフルがいっぱい。
BBSと同じ対策打ってきます。< BBM

%netstat -s -p udp
udp:
15773031 datagrams received
0 with incomplete header
0 with bad data length field
0 with bad checksum
1 with no checksum
50 dropped due to no socket
2 broadcast/multicast datagrams dropped due to no socket
126085 dropped due to full socket buffers
0 not for hashed pcb
15646894 delivered
15647283 datagrams output
273root▲ ★
垢版 |
04/12/26 04:38:43ID:???
対策打ちました(対策後は今日のラッシュ時もBBSのバッファフルなし)。

あとはBBMか。これからとめます。とめたらおしらせします。
274root▲ ★
垢版 |
04/12/26 04:39:41ID:???
BBMとめました。
携帯からどなたかカキコしていただけると。
275FOX ★
垢版 |
04/12/26 04:44:10ID:???
よさげ
276root▲ ★
垢版 |
04/12/26 04:45:58ID:???
dnscacheのログみた。BBMにはqueryはそれなりに出てるみたい。
ブロックしてないかの確認ができれば、OKですが、、、。
277root▲ ★
垢版 |
04/12/26 04:46:16ID:???
>>275
OKです。

では、もとにもどします。
278root▲ ★
垢版 |
04/12/26 04:48:46ID:???
morningcoffeeの板トップ見てると、たまに止まってないのに「止まっています」って出ることがあるですね。
1秒だと、短すぎ?
それともたまにリトライしてる?

でもブロックはしたくないから、もろはの刃なのかな。
279root▲ ★
垢版 |
04/12/26 04:49:11ID:???
で、BBM元に戻しました。
全部元に戻ったはず。
280FOX ★
垢版 |
04/12/26 04:50:06ID:???
>>276
新規に立ち上がったbbs.cgiは一回は聞きにいくですから

>>278
どうでしょうねぇ
281FOX ★
垢版 |
04/12/26 04:51:55ID:???
>>279
時間での切腹機能入れていないから
何時までもだらだら残るのかも(特に暇なサーバは)
282root▲ ★
垢版 |
04/12/26 04:54:20ID:???
ex7のspeedy_backendをいったん全部killした。
そしたら、BBMが止まっています、は消えたです。
283root▲ ★
垢版 |
04/12/26 04:55:33ID:???
これで、BB?系のDNS側の実験は終了しました。
また一歩、進歩したですね。すばらしいっす。
284FOX ★
垢版 |
04/12/26 04:56:03ID:???
#!/usr/local/bin/speedy -- -M32 -b1048576

に -t600 っていれたら 10分?
#!/usr/local/bin/speedy -- -M32 -b1048576 -t600
285root▲ ★
垢版 |
04/12/26 04:57:37ID:???
>>284
10分*全く何も受け取らない*と、自爆しますね。
一番あれなのは、ぽろ、ぽろ、って来る場合かと。
286FOX ★
垢版 |
04/12/26 05:00:06ID:???
また今度実験してミルです < -t option の効果&弊害
287root▲ ★
垢版 |
04/12/26 05:00:07ID:???
デフォルトでは500回リクエストを受け取ると、自爆します。
(-r500)

-tは3600がデフォルトですね。

つまり、
・500回人を乗せた
・1時間誰も乗らなかった

場合に、自爆すると。
288root▲ ★
垢版 |
04/12/26 05:09:37ID:???
もう知っているかもですが、Perl内から自爆命令を出すこともできます。

・shutdown_now
perlインタープリタを即座にシャットダウンします。この関数は戻ってきません。

$sp->shutdown_now

・shutdown_next_time
perlインタープリタを、このリクエストが終了したらすぐにシャットダウンします。

$sp->shutdown_next_time
289FOX ★
垢版 |
04/12/26 06:03:14ID:???
10分で組み込んであります
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。

ニューススポーツなんでも実況