bbs.cgi再開発プロジェクト5

**動け動けウゴウゴ２ちゃんねる** · 04/12/20 07:38:07

peko鯖の稼動によりﾎﾞﾄﾙﾈｯｸの一つである事がより明らかになった
bbs.cgi作り直しプロジェクトです。

【開発環境の工事現場】
また挑戦。＠2ch掲示板　　http://dso.2ch.net/myanmar/
また挑戦２。＠2ch掲示板　http://dso.2ch.net/yangon/

関連スレなどは >>2-5 くらい

**root▲ ★** · 04/12/26 04:46:16

>>275
OKです。

では、もとにもどします。

**root▲ ★** · 04/12/26 04:48:46

morningcoffeeの板トップ見てると、たまに止まってないのに「止まっています」って出ることがあるですね。
1秒だと、短すぎ?
それともたまにリトライしてる?

でもブロックはしたくないから、もろはの刃なのかな。

**root▲ ★** · 04/12/26 04:49:11

で、BBM元に戻しました。
全部元に戻ったはず。

**FOX ★** · 04/12/26 04:50:06

>>276
新規に立ち上がったbbs.cgiは一回は聞きにいくですから

>>278
どうでしょうねぇ

**FOX ★** · 04/12/26 04:51:55

>>279
時間での切腹機能入れていないから
何時までもだらだら残るのかも(特に暇なサーバは)

**root▲ ★** · 04/12/26 04:54:20

ex7のspeedy_backendをいったん全部killした。
そしたら、BBMが止まっています、は消えたです。

**root▲ ★** · 04/12/26 04:55:33

これで、BB?系のDNS側の実験は終了しました。
また一歩、進歩したですね。すばらしいっす。

**FOX ★** · 04/12/26 04:56:03

#!/usr/local/bin/speedy -- -M32 -b1048576

に -t600 っていれたら　10分?
#!/usr/local/bin/speedy -- -M32 -b1048576 -t600

**root▲ ★** · 04/12/26 04:57:37

>>284
10分＊全く何も受け取らない＊と、自爆しますね。
一番あれなのは、ぽろ、ぽろ、って来る場合かと。

**FOX ★** · 04/12/26 05:00:06

また今度実験してミルです　< -t option の効果&弊害

**root▲ ★** · 04/12/26 05:00:07

デフォルトでは500回リクエストを受け取ると、自爆します。
(-r500)

-tは3600がデフォルトですね。

つまり、
・500回人を乗せた
・1時間誰も乗らなかった

場合に、自爆すると。

**root▲ ★** · 04/12/26 05:09:37

もう知っているかもですが、Perl内から自爆命令を出すこともできます。

・shutdown_now
perlインタープリタを即座にシャットダウンします。この関数は戻ってきません。

$sp->shutdown_now

・shutdown_next_time
perlインタープリタを、このリクエストが終了したらすぐにシャットダウンします。

$sp->shutdown_next_time

**FOX ★** · 04/12/26 06:03:14

10分で組み込んであります

**動け動けウゴウゴ２ちゃんねる** · 04/12/26 18:30:34

ふと思ったんですが、
今はsubback.htmlを毎回bbs.cgiで作成してるんですよね？

subback.htmlへのリクエストは、subject.txtの更新頻度よりずっと少ないと思うので
もしかしたら、subback.cgiを作成してmod_rewriteを使うとか
あるいはmod_subbackを作成して組み込むとかの方が
鯖に優しいのではないでしょうか。
呼ばれる度にsubject.txtとSETTING.TXT(こちらは後者ならキャッシュも可能)を
読み込む必要がありますが、bbs.cgiでのディスク書き込みを少しは減らせるので。

後者の方法もそんなに難しくないと思いますが、前者なら非常に簡単だと思いますし。

**FOX ★** · 04/12/27 00:17:23

特に問題なく動いているようで、、

◆tuboBGQODY · 04/12/27 00:43:54

うーむ。

伝説の機能の!preはPC系だけでいいから実装してほしいなあ。

**root▲ ★** · 04/12/27 00:54:25

今日のlive8/live16ともえらい軽かった(伸びが良かった)です。
今までは2ブレーメンぐらいでかなりつらそうだったけど、
今は3ブレーメンぐらいでもかなり平気みたい。

**動け動けウゴウゴ２ちゃんねる** · 04/12/27 01:38:05

>>292
転送量対策でread.cgiが余分なスペースを全部削ってしまうからなぁ……。

**FOX ★** · 04/12/27 01:47:47

>>294
そうなの?

**動け動けウゴウゴ２ちゃんねる** · 04/12/27 02:11:32

>>295
http://piza2.2ch.net/test/read.cgi/tech/998736516/924

ここらへんでそんなコードが入ってましたよ。

**FOX ★** · 04/12/27 02:15:48

dat に書くときに?

**動け動けウゴウゴ２ちゃんねる** · 04/12/27 02:19:36

>>297
いえ、read.cgiがdatを読み出すときに。
datには書きこんだとおりのままスペースが保存されてます。

**FOX ★** · 04/12/27 02:30:52

なるほど、、、

今回 read.cgi 書き直すから、その処理はなくなる予定だったりするです

**動け動けウゴウゴ２ちゃんねる** · 04/12/27 04:20:05

書き直すついでに書きこみ欄をrows=20 cols=80ぐらいに
広げてくれないかなー、、とつぶやいてみる。
たまにIE使ったりすると狭くて、、

**動け動けウゴウゴ２ちゃんねる** · 04/12/27 08:58:22

read.cgi再開発スレ
http://qb5.2ch.net/test/read.cgi/operate/1087199303/

**root▲ ★** · 04/12/28 01:19:26

BB? については、連続して3回失敗した時とかにはじめて、
「止まっている」とみなすようにしたほうが、いいのかもしんないですね。

**▲ 某ソレ511** · 04/12/28 01:35:01

スレッドランキングさんのところと比較してると、
BBSが平均的に5～10%くらいカウントミスってる感じですね、、

初期化時に $FOX->{BBS} = 3; くらいにして、
異常を検知した時は --$$FOX->{BBS} くらいにする、とかって考えたけど、
（これだと連続ではない3回検知で、になるかな、）

**未承諾酩酊※** ◆TWARamEjuA · 04/12/28 01:51:13

1bit左にシフトして+1するとか。＠== 7 で3回目検知、スルーできたら1bit目をクリアするとか

**FOX ★** · 04/12/28 14:04:35

根本的なとこを解決しなくてどうするのかと、

**root▲ ★** · 04/12/28 17:47:40

>>305
ふむ。

根本的なところ = 失敗をなくす方向

だとすると、どうするのがいいのか。

やはり、しくみの変更なのか。
でもDNSでやるしくみ+ノンブロッキングでquery、ってのは、
コスト低いし、筋がいい気がするんですけどね。

**動け動けウゴウゴ２ちゃんねる** · 04/12/28 18:50:33

無反応の場合はネガティヴキャッシュで解決しないの？

**root▲ ★** · 04/12/28 19:23:23

>>307
それがですね、、、BBSの場合、毎回queryするものが違うんですよ。
つまり、キャッシュは効かない、というか、効かせていないのです。
キャッシュが効いちゃったら、正しいカウントができないんで。

というか、そうか、、、。Net::DNSって、聞きに行くDNSサーバを指定できたような。
だったら、工数のかかる再帰検索かけなくても、ダイレクトにBBSのサーバ指定できるかも。

ちょっと、考えてみます。
DNSキャッシュサーバ側のコストを、下げられるかもしんない。

**FOX ★** · 04/12/28 21:14:37

質問　質問

1) BBS の現在の問題点は、コール数が多いために数えられないことがある。
2) そもそもコール数が少なくても数え落しが発生するしくみである。

どっちなんでしょか?

**root▲ ★** · 04/12/29 01:55:52

>>309
まさにそれを究明しようってのが、>>308 で浮かんだ試みです。

DNSはご存知のように再帰検索(DNSキャッシュサーバがツリーをたどる)をします。
これは場合により、コストがかかる場合があります。

もちろん、DNSはキャッシュがうまく効くので、かなりの場合はキャッシュサーバに
データが蓄えられ、全部のツリーを再帰検索はしなくてもすむ場合がほとんどです。

でも、BBSやBBYの場合は必ず「ないよ」という応答になるので、
キャッシュサーバ側で、それなりに処理の時間がかかるわけです。
つまり、コストが割と高い。

でもBBSとかの場合は「きめうち」で決まったホストに伝わりさえすればいいので、
いわゆる通常の再帰検索は、しなくていいはずなのです。

具体的には、a.ns.bbs.2ch.net にダイレクトにDNSクエリを出せさえすればよい。
再帰検索要求も、必要ないわけです。

で、Net::DNSでは、これができるはずだと。

少し手がすいたら「こういうふうに組んでいただけますか」というのを
ここに書きますので、それを組み込んで実験をしてみたいなと。

**FOX ★** · 04/12/29 12:36:59

なーるほど、

ねたー、ねまくったー

**動け動けウゴウゴ２ちゃんねる** · 04/12/29 14:04:31

ふーん

FOXも寝ることあるんだ

**FOX ★** · 04/12/29 15:25:39

http://www.net-dns.org/docs/Net/DNS/Resolver.html

nameservers
@nameservers = $res->nameservers;
$res->nameservers('192.168.1.1', '192.168.2.2', '192.168.3.3');

Gets or sets the nameservers to be queried.

これを指定すればいいのか?

**FOX ★** · 04/12/29 15:28:31

recurse
print 'recursion flag: ', $res->recurse, "\n";
$res->recurse(0);

Get or set the recursion flag. If this is true, nameservers will be requested to perform a recursive query. The default is true.

これも関係ある?

**root▲ ★** · 04/12/29 15:58:37

>>313-314
まさにそれっすね。

再帰止めて(>>314)、BB?の用途に応じてそのサーバに直接query出すと。

**root▲ ★** · 04/12/29 16:03:54

こんなかんじでいいみたい。

#! /usr/bin/perl

use Net::DNS;

my $res = Net::DNS::Resolver->new;

# specify bbs.2ch.net server
$res->nameservers('206.223.147.35');

# turn off recurse query
$res->recurse(0);

my $ans = $res->send('a.b.c.bbs.2ch.net');

**root▲ ★** · 04/12/29 16:10:41

これで、DNSキャッシュサーバを経由せずに、
直接データを持っているDNSコンテンツサーバにDNS問い合わせをするようになります。

BBSとBBYは戻りの結果を利用しないし、
ローカル側でデータのキャッシュが効く必要がまったくない(というか邪魔)ので、
この形にするのがよいですね。

その分レスポンスがよくなるし、DNSキャッシュサーバの負荷も減少します。

BBQ/BBX/BBMは通常通りにキャッシュが効いたほうがいいので、
これまで通りのパターンの方がよさげです。

**root▲ ★** · 04/12/29 16:15:08

ホスト名書いても許されるみたい。

BBS
$res->nameservers('a.ns.bbs.2ch.net');

BBY
$res->nameservers('a.ns.bby.2ch.net');

で、いけそう。

**root▲ ★** · 04/12/29 16:16:57

IPアドレスで指定するなら、これかな。

BBS
206.223.147.35

BBY
206.223.147.36

**root▲ ★** · 04/12/29 19:39:31

しばしば暴走しているのは、どうもsubbbs.cgiの模様。

**動け動けウゴウゴ２ちゃんねる** · 04/12/29 21:28:51

subbbs.cgiってもう使われてないですよね？

**FOX ★** · 04/12/29 22:25:08

subbbs.cgi って良く知らないんです。
詳しい人いないかな?

**動け動けウゴウゴ２ちゃんねる** · 04/12/29 22:36:09

昔は投稿確認に使われていた。
今は全てbbs.cgiでやっている。

ってんじゃなかったか。

**動け動けウゴウゴ２ちゃんねる** · 04/12/29 22:42:55

subbbs.cgiを書き替えて見るとか

「subbbs.cgiは使用できなくなりました。」

とか

**FOX ★** · 04/12/29 22:45:20

いいんだろか?

暴走するって、たとえばどうなる出素か? >>320

**FOX ★** · 04/12/29 22:45:55

BBY/BBS 用のらっぱ

sub foxDNSquery
{
my ($host,$nameserver) = @_;
#$host .= "bbs.timeout.peko.2ch.net.";
use Net::DNS;
my $res = Net::DNS::Resolver->new;
$res->tcp_timeout(1);
$res->udp_timeout(1);
$res->retry(1);
$res->recurse(0);# turn off recurse query
$res->nameservers($nameserver);

my $query = $res->query($host);

if($res->errorstring eq 'query timed out') {return 0;}

return 1;
}

**FOX ★** · 04/12/29 22:47:18

>>326 版をex7に入れてみた。

**FOX ★** · 04/12/29 22:52:48

特に問題ないようなので
全サーバに配布。

**FOX ★** · 04/12/29 22:57:45

http://stats.2ch.net/suzume.cgi を見る限りカウントはされているようだ　< BBS
果たして数え落しがなくなるか、果てしなく0に近づくか、、、

**動け動けウゴウゴ２ちゃんねる** · 04/12/29 23:02:06

いや、
SUBBBS_CGI_ON=1 だと、スレ立て時に確認画面（bbs.cgi）が出て、
ボタン押すともう一回確認画面（subbbs.cgi）が出て、
ボタン押すともう一回確認画面（bbs.cgi）が出て、
ボタン押すとスレ立てできる。

**FOX ★** · 04/12/29 23:03:12

>>330
そうなる必要性ってもうないですよね?

**動け動けウゴウゴ２ちゃんねる** · 04/12/29 23:06:25

確認はするとしても一回で良いだろうし、bbs.cgiで足りてるね。

**FOX ★** · 04/12/29 23:11:51

subbbs.cgi へ飛ばないようにしてみた

**動け動けウゴウゴ２ちゃんねる** · 04/12/29 23:15:02

お、SUBBBS_CGI_ONを完全無視な感じ？

**FOX ★** · 04/12/29 23:17:00

そんな感じ、、

どうなることやら

◆Reffi/bQ.c · 04/12/29 23:18:15

>335
うほ、いきなり実験ですか（汗
トラブルあった場合人なだれ込んでくるからすぐにわかるでしょうけどｗ

**動け動けウゴウゴ２ちゃんねる** · 04/12/29 23:22:48

おつかれおつかれ。
だいじょぶっしょ。

**FOX ★** · 04/12/29 23:26:31

>>326-327
なんだが　BBS でカウントできていないサーバがあるようなんだが、、
http://ch2.ath.cx/load/ex9.html

**ひろゆき＠どうやら管理人 ★** · 04/12/29 23:27:27

SpeedyCGIって、ソケットを使ったりしても大丈夫なんすかね？

**FOX ★** · 04/12/29 23:29:00

>>339
たぶん問題ないかと、

**動け動けウゴウゴ２ちゃんねる** · 04/12/29 23:29:37

昨日、スレ立てしようとして何も入力していないのに
いきなり確認画面に行ったのはテスト？の影響ですか？

**FOX ★** · 04/12/29 23:31:06

>>338 はBBS/BBY側の設定かしらん?
お前の要求なんぞ受け付けておらんとか、

**動け動けウゴウゴ２ちゃんねる** · 04/12/29 23:34:50

2ｃｈの動作報告はここで。パート16
http://qb5.2ch.net/test/read.cgi/operate/1103455176/114
これと同じで、

BBS_TITLE_LINK
が
http://www.2ch.net/info.html
だったら
http://info.2ch.net/guide/
に変えてくれないかな。
info.htmlは廃棄されてるので。
板作成時のテンプレも変えてくれるとうれしい。

**動け動けウゴウゴ２ちゃんねる** · 04/12/29 23:35:24

＞341
ただのCookie確認だべ。
関係無し。

**FOX ★** · 04/12/29 23:38:30

>>343
やってみた

**動け動けウゴウゴ２ちゃんねる** · 04/12/29 23:42:28

＞345
わーい、ありがとー。

**FOX ★** · 04/12/29 23:43:28

ちなみに =~ /info\.html/ で引っ掛けています

**ひろゆき＠どうやら管理人 ★** · 04/12/29 23:45:37

>>340
（￣ー￣）ﾆﾔﾘｯ

**FOX ★** · 04/12/29 23:54:08

うわっ

◆tuboBGQODY · 04/12/29 23:58:00

あーあ（ｗ

**root▲ ★** · 04/12/29 23:58:31

うーむ、、、。

>>338 >>342
今ちょっと取り込み中なので、あとでみてみます。

**FOX ★** · 04/12/30 00:02:56

>>348
ちなみに何するですか?
どっかから何か読み込んでくる?

入れたら見てみるけど、
そして負荷高かったら直せばいいのか、ﾌﾞﾂﾌﾞﾂﾌﾞﾂﾌﾞﾂ

**root▲ ★** · 04/12/30 00:04:00

>>348
何しようとしてるんだろう。広告関係かしら、、、。
重い処理が入っちゃうようなら、おじさんが直すんだろうなぁ、やっぱ。ｳｳﾑ

**FOX ★** · 04/12/30 00:04:09

>>333 も >>343 も特に問題はないようだ、

**未承諾酩酊※** ◆TWARamEjuA · 04/12/30 00:12:07

Socketを使うとまたタイムアウト問題が出てくるかもしれませんね（￣ー￣）ﾆﾔﾘｯ

**FOX ★** · 04/12/30 00:17:28

>>335
Socket を使うときはどんなクラス(←Perlでもこの言い方でいいの?)を使うんですか?
Net::Socket とかなんとか便利なものがあるんですか?
Net::Http とか? (←勝手に想像しています)

**ひろゆき＠どうやら管理人 ★** · 04/12/30 00:22:23

beに登録してるユーザーの場合は、beのDBに見に行くようにしてみようかと。

**ひろゆき＠どうやら管理人 ★** · 04/12/30 00:23:03

>>356
use socket;
だけで、あとはこそこそと。

**FOX ★** · 04/12/30 00:27:23

投稿毎にやるですか、、、

**root▲ ★** · 04/12/30 00:27:37

>>325
単純な暴走が起こります。
そのプロセス(perl subbbs.cgi)が、プロセスを100%使ってしまう。
で、120秒分CPUを使うと、むなしく終了していく。

スレ立ての時に直接subbbs.cgiをコールする２ちゃんねるビューワもあるような
気がちょっとしたけど、どうでしたっけ。

>>326
そのコードでたぶん問題ないと思います。
私も、>>329 の変化に注目したい。

>>357
beのDBが落ちていた場合に、どうなるのかしら。
待っちゃう？

**root▲ ★** · 04/12/30 00:29:41

全投稿に対してやるとすると、相当気合入れないと大変すよ。サーバ側。
FreeBSD素の設定(各種カーネルチューンしてない状態)では、
ほとんどむりぽなような。

確か今160万投稿とか170万投稿とかあるので、
そのつもりでサーバ側をまじめに強化しないと、かなりきびしいです。

**FOX ★** · 04/12/30 00:29:47

>>360
subbbs.cgi をバックアップして
今は使われていませんとしてみよう。

**root▲ ★** · 04/12/30 00:35:14

そうか、BBSとBBYのDBに、２ちゃんねるのサーバ全部を登録するようにしなきゃ。
やってきます。

**FOX ★** · 04/12/30 00:41:51

うっ　上書きしつまった、
subbbs.cgi は何処か遠くへ・・・

でもどっかのサーバに残っているだろう、きっと。

**動け動けウゴウゴ２ちゃんねる** · 04/12/30 00:48:48

Have a nice surf !!

Top

**root▲ ★** · 04/12/30 00:48:55

２ちゃんねるの全bananaサーバからの登録を受け付けるようにした。
カウントアップ復活を確認。

http://stats.2ch.net/suzume.cgi

**root▲ ★** · 04/12/30 00:49:28

>>364

**未承諾酩酊※** ◆TWARamEjuA · 04/12/30 00:49:38

>>364
>>364
>>364
>>364
>>364

◆Reffi/bQ.c · 04/12/30 00:51:11

あわわわ
とりあえず、ミャンマー当たりで連投スレ建てしまくって不具合無いか調べた
ほうがいい鴨

**未承諾酩酊※** ◆TWARamEjuA · 04/12/30 00:52:09

>>356
ごくごく簡単にURLから何かを拾ってきたいのならばLWP::UserAgentなんてモジュールがあるですよ。
http://search.cpan.org/~gaas/libwww-perl-5.803/lib/LWP/UserAgent.pm

**FOX ★** · 04/12/30 01:16:05

bubble2サーバから回収してきた < subbbs.cgi
subbbs-save.cgi で qb6に入れた。

**FOX ★** · 04/12/30 01:17:55

>>370
あっ　それ知ってる、
boo80 はそれでやったような、

**FOX ★** · 04/12/30 01:24:37

$ua = LWP::UserAgent->new()　でUA作って
HTTP::Headers->new()
HTTP::Request->new() なんてのを作って
UA にheadrer と Request くべて
$res = $ua->request() すねーるんですよね?

$ua->timeout(15) とか設定して

タイムアウト時は$response->code() あたりを見ればいいのかしら?

**FOX ★** · 04/12/30 01:30:04

しかし本筋は
●の時にやったように期限付きのセッションID方式と思われ < be のDB look up

**root▲ ★** · 04/12/30 01:33:21

DBが何でできているかわかりませんが、
前にDBIがどうのとかどっかで言っていたような気がするので、
MySQLか何かのサーバと、プロセス間通信しようとしているのかも。

**ひろゆき＠どうやら管理人 ★** · 04/12/30 02:23:43

>>359
beにログインしてるユーザーの場合だけです。