bbs.cgi再開発プロジェクト4
■ このスレッドは過去ログ倉庫に格納されています
peko鯖の稼動によりボトルネックの一つである事がより明らかになった
bbs.cgi作り直しプロジェクトです。
開発環境の工事現場
また挑戦。@2ch掲示板http://dso.2ch.net/myanmar/
関連は>>2- 特に問題は出ていないようなので、
Tiger全部に入れてみよう bbs.cgi(Speedy版) Tiger/Cobra は全部 bbs.cgi(Speedy版) になりました
live 8/16/17
news 18/19
game 9/10
hobby 7
ex 7 tatesugiは効いてるけどなんか変なのが出てきた。@live16
━━━━━━━━━━━━━━━━
新このホストでは、しばらくスレッドが立てられません。
またの機会にどうぞ。。。
名無しさん@お腹いっぱい。 (0 , 1)
ホスト****
てすと
名前: 名無しさん@お腹いっぱい。
E-mail:
内容:
てすとです
こちらでリロードしてください。 GO!
分からないことがあったら2ちゃんねるガイドへ。。。
アクセス規制・プロキシー制限等規制は、2ちゃんねるビューア を使うと回避できることがあります。
途中経過
はじまりはじまりー
SETTING.TXT よみこみむ? livesaturn
SETTING.TXT よみこみーlivesaturn
SETTING.TXT よみこみーlivesaturn完了!!
各種PATH生成 PATH=../livesaturn/
----------------------------------------
PATH =[../livesaturn/]
DATPATH =[../livesaturn/dat/]
TEMPPATH =[../livesaturn/html/]
IMODEPATH =[../livesaturn/i/]
INDEXFILE =[../livesaturn/index.html]
SUBFILE =[../livesaturn/subback.html]
----------------------------------------
PID=46987
time=1102460019
BBS.CGI - 2005 (SpeedyCGI = yes)(+Samba)
>>793
それ、ex7では数日前から出てた
Sambaにかかったときとか >>791
問題でまくりですが。。
ex7の板が1000スレを超える乱立で、既存スレが一掃されてます。。
そのままばら撒いたら、危険極まりないかと。 >>796
そんな乱立するような馬鹿はVIPや大学生活や野球や狼などの一部の板にしかいません >>797
それらの住人が他板へ侵攻しないとでもお思いで? つまりex7はtatesugiが効いていようが効いてまいがどちらか分からないぐらい糞スレばっかり立ってるって事だ。 tatesugiきいてない
↓
VIPER狂喜乱舞してスレ立て祭り
↓
ex7のほかの板にも立て始める
↓
FOX ★が気付くけど何もしない
↓
その板の住人がtatesugi効いてないことに気付く
↓
その板の住人がスレ立て爆撃を始める
↓
tatesugi直る
↓
糞スレだらけの惨状(VIP以外) >>806みたいな人を見ると、
日本人は世界的に見ても、読解力が劣っているという事実を実感する。 >>684bあたりの続きなんですが
また壁にぶつかった。。。
if(open(AAA,"aaa.txt"))
{
my @ppp = <AAA>;
close(AAA);
$FOX->{XXX} = @ppp;
}
なんてことをやりたいのに、、、
$FOX->{XXX}を、あとで見てみると要素数(行数)が入っている
配列を代入するにはどうしたらいいの? こんな感じでうまくいたーよ
if(open(AAA,"aaa.txt"))
{
my @ppp = <AAA>;
close(AAA);
$FOX->{XXX} = \@ppp;
}
で、あとで
@{$FOX->{XXX}}
って感じで読み出す感じで。 >>748
ホットゾヌは1も2も飼い主が非公式板で悲鳴を上げております。 BBQ/BBX/BBY/BBS/BBM系をちょっとしたことで軽くできそう。
qb6で試してうまくいったみたいなので、飯の後にでもここに。 全サーバに配布した。bananaのは変わったはず。>>817
○変更の内容
my $query_addr = "$4.$3.$2.$1.niku.2ch.net.";
のように、BBx系を使用する場合最後に"."をつけるようにした。
これで、DNS queryの時のドメイン名補完がなくなり、DNS検索のコスト(かかる時間)が下がります。
通常の場合、特にBBSのような「その名前はない」という応答の場合、
1) gethostbyname("a.b.c.d.bbs.2ch.net"); を実行、
2) a.b.c.d.bbs.2ch.net に対してDNS問い合わせ => 該当なし
3) a.b.c.d.bbs.2ch.net.maido3.com に対してDNS問い合わせ => 該当なし
4) 呼び出し元に「該当なし」を返す
のような検索をしています。
この変更で 3) がなくなるので、
特にBBSの場合、呼び出しコストが半分になるはず。 >>818
これが使えるのは、
・BBQ (niku.2ch.net)
・BBS (bbs.2ch.net)
・BBY (bby.2ch.net)
・BBM (bbm.2ch.net)
・BBX (bbx.2ch.net)
の各問い合わせになります。
ということで、SpeedyCGI版bbs.cgiの更新作業を、
よろしくおねがいいたしますです。>FOXさん >>820
おまけとして、maido3.com の DNSコンテンツサーバも軽くなるですね。
もうわかっておられると思いますが。 >>822
予期した動作をしているか、DNSログ確認してみます。 大丈夫の模様です。
(使用前、2回問い合わせ)
@4000000041bd256e17e11344 query 376306 7f000001:e90e:a283 1 1102914915.5078.ないしょ.0.52.1102912571.livenhk.live16.2ch.net.bbs.bbs.2ch.net.
@4000000041bd256e17e1da7c cached ns bbs.2ch.net. a.ns.bbs.2ch.net.
@4000000041bd256e17e224b4 cached 1 a.ns.bbs.2ch.net.
@4000000041bd256e17e276bc tx 0 1 1102914915.5078.ないしょ.0.52.1102912571.livenhk.live16.2ch.net.bbs.bbs.2ch.net. bbs.2ch.net. cedf9323
@4000000041bd256e181fd1c4 nxdomain cedf9323 2560 1102914915.5078.ないしょ.0.52.1102912571.livenhk.live16.2ch.net.bbs.bbs.2ch.net.
@4000000041bd256e18215864 sent 376306 103
@4000000041bd256e1824139c query 376307 7f000001:306f:a284 1 1102914915.5078.ないしょ.0.52.1102912571.livenhk.live16.2ch.net.bbs.bbs.2ch.net.maido3.com.
@4000000041bd256e1824e68c cached ns maido3.com. ns1.maido3.com.
@4000000041bd256e18251d3c cached ns maido3.com. ns2.maido3.com.
@4000000041bd256e182528f4 cached 1 ns1.maido3.com.
@4000000041bd256e182530c4 cached 1 ns2.maido3.com.
@4000000041bd256e1825638c tx 0 1 1102914915.5078.218.ないしょ.1102912571.livenhk.live16.2ch.net.bbs.bbs.2ch.net.maido3.com. maido3.com. cedf94fe cedf93fe
@4000000041bd256e183e5644 nxdomain cedf94fe 2560 1102914915.5078.ないしょ.0.52.1102912571.livenhk.live16.2ch.net.bbs.bbs.2ch.net.maido3.com.
@4000000041bd256e183f9a7c sent 376307 114
(使用後、1回のみ)
@4000000041bd257225883914 query 376313 7f000001:fc9b:a71c 1 1102914920.6534.ないしょ.0.10.1102912571.livenhk.live16.2ch.net.bbs.bbs.2ch.net.
@4000000041bd25722588c5b4 cached ns bbs.2ch.net. a.ns.bbs.2ch.net.
@4000000041bd25722588f87c cached 1 a.ns.bbs.2ch.net.
@4000000041bd25722589275c tx 0 1 1102914920.6534.ないしょ.0.10.1102912571.livenhk.live16.2ch.net.bbs.bbs.2ch.net. bbs.2ch.net. cedf9323
@4000000041bd257225e97f6c nxdomain cedf9323 2560 1102914920.6534.ないしょ.0.10.1102912571.livenhk.live16.2ch.net.bbs.bbs.2ch.net.
@4000000041bd257225ead344 sent 376313 100 >>814
やってみたけど、 $FOX(SpeedyCGI においてグローバル) では
うまく行かなかったです。
どうしてかなぁ これでどうかしらん。
if (open(AAA, "aaa.txt")) {
@{$FOX->{XXX}} = <AAA>;
close(AAA);
}
でもグローバルなら安直に
@FOX_XXX = <AAA>
でいいような気がする。 >>830
たしかに、、、
ただ、将来の変更への耐性が落ちるか、
それはその時にその担当者に頑張ってもらおう。 file i/o を減らすのだ 第八弾(ID生成ルーチン)
1) 毎回 HDD にアクセスしているのを何とかしたい、
2) 毎月同じIDになるのを何とかする?
3) あとなんかあったっけ?
今 コード出します。
{
#IDを生成する
use Digest::MD5;
my $md5 = Digest::MD5->new;
use Digest::MD5 qw(md5_hex);
#my $idnum = md5_hex($ENV{'REMOTE_ADDR'});
my $idnum = md5_hex($GB->{IDNOTANE});
$idnum = substr($idnum,-4);
$md5->add($idnum);
$md5->add($GB->{FORM}->{"bbs"});
#$md5->add(substr($GB->{DATE},6,2));
my $md5datefile = "$GB->{PATH}/md5.cgi";
if(-e $md5datefile){
open(MD5FILE,"<$md5datefile");
my $md5line = <MD5FILE>;
close(MD5FILE);
my ($md5date,$md5number) = split /<>/,$md5line;
if($md5date eq $GB->{MD5DATE}){
$md5->add($md5number);
}else{
open(MD5FILE,">$md5datefile");
my $data = "";
sysopen(RANDOM, "/dev/random", O_READ) || die "cannot open /dev/random $!\n";
sysread(RANDOM, $data, 16);
close(RANDOM);
print MD5FILE "$GB->{MD5DATE}<>$data";
close(MD5FILE);
$md5->add($data);
}
}else{
open(MD5FILE,">$md5datefile");
my $data = "";
sysopen(RANDOM, "/dev/random", O_READ) || die "cannot open /dev/random $!\n";
sysread(RANDOM, $data, 16);
close(RANDOM);
print MD5FILE "$GB->{MD5DATE}<>$data";
close(MD5FILE);
$md5->add($data);
}
chmod(0777,"$md5datefile");
my $idcrypt = $md5->b64digest;
$idcrypt = substr($idcrypt,0,8);
こんな感じ?
use Digest::MD5;
use Digest::MD5 qw(md5_hex);
my $md5datefile = "$GB->{PATH}/md5.cgi";
if (!defined $FOX->{MD5NUMBER}) {
# まだ読み込まれていない
open(MD5FILE, "<$md5datefile");
my $md5line = <MD5FILE>;
close(MD5FILE);
($FOX->{MD5DATE}, $FOX->{MD5NUMBER}) = split(/<>/, $md5line, 2);
}
if ($FOX->{MD5DATE} ne $GB->{MD5DATE}) {
# 日付が変わったので作り直し
my $data = '';
sysopen(RANDOM, '/dev/random', O_READ) || die "cannot open /dev/random $!\n";
sysread(RANDOM, $data, 16);
close(RANDOM);
open(MD5FILE, ">$md5datefile");
print MD5FILE "$GB->{MD5DATE}<>$data";
close(MD5FILE);
chmod(0777, $md5datefile);
$FOX->{MD5DATE} = $GB->{MD5DATE};
$FOX->{MD5NUMBER} = $data;
}
#my $idnum = md5_hex($ENV{'REMOTE_ADDR'});
my $idnum = md5_hex($GB->{IDNOTANE});
my $md5 = Digest::MD5->new;
$md5->add(substr($idnum,-4));
$md5->add($GB->{FORM}->{"bbs"});
#$md5->add(substr($GB->{DATE},6,2));
$md5->add($FOX->{MD5NUMBER});
my $idcrypt = substr($md5->b64digest, 0, 8); mod_md5fileなんてつくったらどうだろうかと言ってみるテスト やぱ、プロセス最初の起動で
2つのデータを読み込む、あたりが一番楽だと思う。
と思ったら、>>834で十分だいじょぶっぽいか。 ああ、なつかしのID生成ルーチン(^_^;)
ID生成ルーチンのセオリーとしては
「ルーチンを公開しても、リモホやIPが推測できない」
です。 マァヴ ★(^_^;)
キタキタキタキタ━━━(゚∀゚≡(゚∀゚≡゚∀゚)≡゚∀゚)━━━━!!!!!!!!!! >>834 みたくして、
日付の変わる 24時のあたり大丈夫ですかねぇ
a) bbs.cgi は何十本も常駐している。
b) 寿命は現在10分である
というあたり、
1)どこぞのexで実験する
2)じっけん じっけん
3)おやつは300円までですよ >>840
投稿のたびに日付チェックするので大丈夫、なはず……。 うぅむ、、、/dev/randomからの採取は、crondで毎日00:00に採取して、ファイルにして保存。
bbs.cgiで、1回取得しておけばSpeedyに引っかかって、ごっつぅえぇ感じになるかと♪ dso に入れてみたぞ
てすと てすとー
あんま自信ないので一日放置してみる < dso $FOX 初期化時
$FOX->{$GB->{FORM}->{'bbs'}}->{MD5NUMBER} = &foxInitMD5id($GB->{FORM}->{'bbs'},$GB->{MD5DATE});
$FOX->{MD5DATE} = $GB->{MD5DATE};
bbs.cgi が呼ばれるたびに、
$FOX->{$GBX->{FORM}->{'bbs'}}->{MD5NUMBER} = &foxCheckMD5id(
$GBX->{FORM}->{'bbs'},
$GBX->{MD5DATE},
$FOX->{$GBX->{FORM}->{'bbs'}}->{MD5NUMBER},
$FOX->{MD5DATE});
ID 生成時
my $idcrypt = &foxGetMD5id(
$GB->{FORM}->{'bbs'},#bbs
$GB->{MD5DATE},#日付
$FOX->{$GB->{FORM}->{'bbs'}}->{MD5NUMBER},#
$GB->{IDNOTANE}#
);
sub foxCheckMD5id
{
my ($bbs,$md5date,$num,$dateFox) = @_;
if($dateFox eq $md5date)
{
return $num;
}
return &foxCreateMD5id($bbs,$md5date);
} sub foxGetMD5id
{
my ($bbs,$md5date,$num,$tane) = @_;
my $id = "FOX";
use Digest::MD5;
use Digest::MD5 qw(md5_hex);
my $idnum = md5_hex($tane);
my $md5 = Digest::MD5->new;
$md5->add(substr($idnum,-4));
$md5->add($bbs);
$md5->add($num);
$id = substr($md5->b64digest, 0, 8);
return $id;
} sub foxInitMD5id
{
my ($bbs,$md5date) = @_;
my $md5datefile = "../$bbs/md5.cgi";
if(open(MD5FILE, "<$md5datefile"))
{
my $md5line = <MD5FILE>;
close(MD5FILE);
my ($a, $b) = split(/<>/, $md5line, 2);
return $b;
}
return &foxCreateMD5id($bbs,$md5date);
} sub foxCreateMD5id
{
my ($bbs,$md5date) = @_;
my $md5datefile = "../$bbs/md5.cgi";
my $data = "ABCD";
sysopen(RANDOM, '/dev/random', O_READ) || die "cannot open /dev/random $!\n";
sysread(RANDOM, $data, 16);
close(RANDOM);
open(MD5FILE, ">$md5datefile");
print MD5FILE "$md5date<>$data";
close(MD5FILE);
chmod(0777, $md5datefile);
return$data;
} 日付が変わったときに$FOX->{MD5DATE}を更新してないような気がする。 >>848のbbs.cgi が呼ばれるたびにの部分を変更
$FOX->{$GBX->{FORM}->{'bbs'}}->{MD5NUMBER} = &foxCheckMD5id(
$GBX->{FORM}->{'bbs'},
$GBX->{MD5DATE},
$FOX->{$GBX->{FORM}->{'bbs'}}->{MD5NUMBER},
$FOX->{MD5DATE});
$FOX->{MD5DATE} = $GBX->{MD5DATE};
ん?
そうでもないか?
なんか今日は調子悪いなぁ
こんな日は飲んだくれるに限るか、
>>855 になってます
おかしいとこ指摘よろしく〜 >>858
つ[ヘパリーゼ]
いってらっしゃ〜い。 日付が変わったら無条件でmd5.cgiを作り直すのは
マズいような気がしてきた。 sub foxCheckMD5id
{
my ($bbs,$md5date,$num,$dateFox) = @_;
if($dateFox eq $md5date)
{
return $num;
}
my $md5datefile = "../$bbs/md5.cgi";
if(open(MD5FILE, "<$md5datefile"))
{
my $md5line = <MD5FILE>;
close(MD5FILE);
my ($a, $b) = split(/<>/, $md5line, 2);
if ($a eq $md5date) {
return $b;
}
}
return &foxCreateMD5id($bbs,$md5date);
} 日付が変わってもIDが変わらないんですが仕様でしょうか ex9の格闘技板ですが、日付変わってもID変わってません。 さて
どこに隙があるんだ?
ex7は旧来のままなんで「気のせい」ということで
よろしく >>866
どうせまたおまいがやったんだろ。
正直に言っちゃえよ、楽になるぞ。 1)0時付近で変わっても気にしない
2)自作自演昨日として宣伝
3)Bananaはmaido3まで 旧式のID機能でも
23:59:59以前 -> 0:00:00ジャスト -> 0:00:01以降
で変化したことなら目撃したことあるよ >>871
それは/dev/urandom から取ってきたのを保存するファイルにロックをかけてないからでしょ? 「IDは日付が変わるぐらいに変わります」でいいと思うけどな。 ・FreeBSD 5.xなら/dev/urandomよりも/dev/randomのほうが良いかも
・種ファイルをhogehoge_date "+%Y%M%d"という感じであらかじめ23:55ぐらいに自動生成してもいいのかも
日付が変わる時のロックがいらない。
・ロックファイルを作るときに、openした直後にunlinkするというTipsがある。
プロセスが異常終了したらOSによりunlinkされるし、動作中はunlinkされないので便利。
ttp://ns1.php.gr.jp/pipermail/php-users/2004-November/024120.html
>874
あー間違えた。
date -v+1d "+%Y%M%d"のフォーマットで。という意味ね。
Perlで書き直す必要はあるけど。 自動生成するんなら、シェルスクリプトにしてcronすればいい >>887
更新してからのタイムラグがあるという事ではなくて
実際に全然反映されていないですか?
もしタイムラグ(最大10分の設定)だったら
我慢できませんかねぇ?
全く反映されていない場合はなおすですー
でも今みると反映されているような、 >850
my $idnum = md5_hex($tane);
$md5->add(substr($idnum,-4));
substrの-4って何だろう
IDの種類を制限するためのものだろうか >>884
65536種類に限定しているので、ごく希に違うホストなのに同じIDが出てアタフターな事が起こっているようなのです。 >885
もしIDが(1日,1板で)65536種類に限定されているとするならば、
2つの別々のホストから同じIDが出る確率は(1日あたり)次の通りとなる
住人数 確率
2: 0.0015%
50: 1.8523%
100: 7.2784%
150: 15.6881%
200: 26.2109%
250: 37.8447%
300: 49.6112%
400: 70.4809%
500: 85.1681%
1000: 99.9529%
…………到底 'ごくまれ' とはいえないな
単に '気づかないことが多い' だけだったのか ■ このスレッドは過去ログ倉庫に格納されています