bbs.cgi再開発プロジェクト4
レス数が900を超えています。1000を超えると表示できなくなるよ。
peko鯖の稼動によりボトルネックの一つである事がより明らかになった
bbs.cgi作り直しプロジェクトです。
開発環境の工事現場
また挑戦。@2ch掲示板http://dso.2ch.net/myanmar/
関連は>>2- 全サーバに配布した。bananaのは変わったはず。>>817
○変更の内容
my $query_addr = "$4.$3.$2.$1.niku.2ch.net.";
のように、BBx系を使用する場合最後に"."をつけるようにした。
これで、DNS queryの時のドメイン名補完がなくなり、DNS検索のコスト(かかる時間)が下がります。
通常の場合、特にBBSのような「その名前はない」という応答の場合、
1) gethostbyname("a.b.c.d.bbs.2ch.net"); を実行、
2) a.b.c.d.bbs.2ch.net に対してDNS問い合わせ => 該当なし
3) a.b.c.d.bbs.2ch.net.maido3.com に対してDNS問い合わせ => 該当なし
4) 呼び出し元に「該当なし」を返す
のような検索をしています。
この変更で 3) がなくなるので、
特にBBSの場合、呼び出しコストが半分になるはず。 >>818
これが使えるのは、
・BBQ (niku.2ch.net)
・BBS (bbs.2ch.net)
・BBY (bby.2ch.net)
・BBM (bbm.2ch.net)
・BBX (bbx.2ch.net)
の各問い合わせになります。
ということで、SpeedyCGI版bbs.cgiの更新作業を、
よろしくおねがいいたしますです。>FOXさん >>820
おまけとして、maido3.com の DNSコンテンツサーバも軽くなるですね。
もうわかっておられると思いますが。 >>822
予期した動作をしているか、DNSログ確認してみます。 大丈夫の模様です。
(使用前、2回問い合わせ)
@4000000041bd256e17e11344 query 376306 7f000001:e90e:a283 1 1102914915.5078.ないしょ.0.52.1102912571.livenhk.live16.2ch.net.bbs.bbs.2ch.net.
@4000000041bd256e17e1da7c cached ns bbs.2ch.net. a.ns.bbs.2ch.net.
@4000000041bd256e17e224b4 cached 1 a.ns.bbs.2ch.net.
@4000000041bd256e17e276bc tx 0 1 1102914915.5078.ないしょ.0.52.1102912571.livenhk.live16.2ch.net.bbs.bbs.2ch.net. bbs.2ch.net. cedf9323
@4000000041bd256e181fd1c4 nxdomain cedf9323 2560 1102914915.5078.ないしょ.0.52.1102912571.livenhk.live16.2ch.net.bbs.bbs.2ch.net.
@4000000041bd256e18215864 sent 376306 103
@4000000041bd256e1824139c query 376307 7f000001:306f:a284 1 1102914915.5078.ないしょ.0.52.1102912571.livenhk.live16.2ch.net.bbs.bbs.2ch.net.maido3.com.
@4000000041bd256e1824e68c cached ns maido3.com. ns1.maido3.com.
@4000000041bd256e18251d3c cached ns maido3.com. ns2.maido3.com.
@4000000041bd256e182528f4 cached 1 ns1.maido3.com.
@4000000041bd256e182530c4 cached 1 ns2.maido3.com.
@4000000041bd256e1825638c tx 0 1 1102914915.5078.218.ないしょ.1102912571.livenhk.live16.2ch.net.bbs.bbs.2ch.net.maido3.com. maido3.com. cedf94fe cedf93fe
@4000000041bd256e183e5644 nxdomain cedf94fe 2560 1102914915.5078.ないしょ.0.52.1102912571.livenhk.live16.2ch.net.bbs.bbs.2ch.net.maido3.com.
@4000000041bd256e183f9a7c sent 376307 114
(使用後、1回のみ)
@4000000041bd257225883914 query 376313 7f000001:fc9b:a71c 1 1102914920.6534.ないしょ.0.10.1102912571.livenhk.live16.2ch.net.bbs.bbs.2ch.net.
@4000000041bd25722588c5b4 cached ns bbs.2ch.net. a.ns.bbs.2ch.net.
@4000000041bd25722588f87c cached 1 a.ns.bbs.2ch.net.
@4000000041bd25722589275c tx 0 1 1102914920.6534.ないしょ.0.10.1102912571.livenhk.live16.2ch.net.bbs.bbs.2ch.net. bbs.2ch.net. cedf9323
@4000000041bd257225e97f6c nxdomain cedf9323 2560 1102914920.6534.ないしょ.0.10.1102912571.livenhk.live16.2ch.net.bbs.bbs.2ch.net.
@4000000041bd257225ead344 sent 376313 100 >>814
やってみたけど、 $FOX(SpeedyCGI においてグローバル) では
うまく行かなかったです。
どうしてかなぁ これでどうかしらん。
if (open(AAA, "aaa.txt")) {
@{$FOX->{XXX}} = <AAA>;
close(AAA);
}
でもグローバルなら安直に
@FOX_XXX = <AAA>
でいいような気がする。 >>830
たしかに、、、
ただ、将来の変更への耐性が落ちるか、
それはその時にその担当者に頑張ってもらおう。 file i/o を減らすのだ 第八弾(ID生成ルーチン)
1) 毎回 HDD にアクセスしているのを何とかしたい、
2) 毎月同じIDになるのを何とかする?
3) あとなんかあったっけ?
今 コード出します。
{
#IDを生成する
use Digest::MD5;
my $md5 = Digest::MD5->new;
use Digest::MD5 qw(md5_hex);
#my $idnum = md5_hex($ENV{'REMOTE_ADDR'});
my $idnum = md5_hex($GB->{IDNOTANE});
$idnum = substr($idnum,-4);
$md5->add($idnum);
$md5->add($GB->{FORM}->{"bbs"});
#$md5->add(substr($GB->{DATE},6,2));
my $md5datefile = "$GB->{PATH}/md5.cgi";
if(-e $md5datefile){
open(MD5FILE,"<$md5datefile");
my $md5line = <MD5FILE>;
close(MD5FILE);
my ($md5date,$md5number) = split /<>/,$md5line;
if($md5date eq $GB->{MD5DATE}){
$md5->add($md5number);
}else{
open(MD5FILE,">$md5datefile");
my $data = "";
sysopen(RANDOM, "/dev/random", O_READ) || die "cannot open /dev/random $!\n";
sysread(RANDOM, $data, 16);
close(RANDOM);
print MD5FILE "$GB->{MD5DATE}<>$data";
close(MD5FILE);
$md5->add($data);
}
}else{
open(MD5FILE,">$md5datefile");
my $data = "";
sysopen(RANDOM, "/dev/random", O_READ) || die "cannot open /dev/random $!\n";
sysread(RANDOM, $data, 16);
close(RANDOM);
print MD5FILE "$GB->{MD5DATE}<>$data";
close(MD5FILE);
$md5->add($data);
}
chmod(0777,"$md5datefile");
my $idcrypt = $md5->b64digest;
$idcrypt = substr($idcrypt,0,8);
こんな感じ?
use Digest::MD5;
use Digest::MD5 qw(md5_hex);
my $md5datefile = "$GB->{PATH}/md5.cgi";
if (!defined $FOX->{MD5NUMBER}) {
# まだ読み込まれていない
open(MD5FILE, "<$md5datefile");
my $md5line = <MD5FILE>;
close(MD5FILE);
($FOX->{MD5DATE}, $FOX->{MD5NUMBER}) = split(/<>/, $md5line, 2);
}
if ($FOX->{MD5DATE} ne $GB->{MD5DATE}) {
# 日付が変わったので作り直し
my $data = '';
sysopen(RANDOM, '/dev/random', O_READ) || die "cannot open /dev/random $!\n";
sysread(RANDOM, $data, 16);
close(RANDOM);
open(MD5FILE, ">$md5datefile");
print MD5FILE "$GB->{MD5DATE}<>$data";
close(MD5FILE);
chmod(0777, $md5datefile);
$FOX->{MD5DATE} = $GB->{MD5DATE};
$FOX->{MD5NUMBER} = $data;
}
#my $idnum = md5_hex($ENV{'REMOTE_ADDR'});
my $idnum = md5_hex($GB->{IDNOTANE});
my $md5 = Digest::MD5->new;
$md5->add(substr($idnum,-4));
$md5->add($GB->{FORM}->{"bbs"});
#$md5->add(substr($GB->{DATE},6,2));
$md5->add($FOX->{MD5NUMBER});
my $idcrypt = substr($md5->b64digest, 0, 8); mod_md5fileなんてつくったらどうだろうかと言ってみるテスト やぱ、プロセス最初の起動で
2つのデータを読み込む、あたりが一番楽だと思う。
と思ったら、>>834で十分だいじょぶっぽいか。 ああ、なつかしのID生成ルーチン(^_^;)
ID生成ルーチンのセオリーとしては
「ルーチンを公開しても、リモホやIPが推測できない」
です。 マァヴ ★(^_^;)
キタキタキタキタ━━━(゚∀゚≡(゚∀゚≡゚∀゚)≡゚∀゚)━━━━!!!!!!!!!! >>834 みたくして、
日付の変わる 24時のあたり大丈夫ですかねぇ
a) bbs.cgi は何十本も常駐している。
b) 寿命は現在10分である
というあたり、
1)どこぞのexで実験する
2)じっけん じっけん
3)おやつは300円までですよ >>840
投稿のたびに日付チェックするので大丈夫、なはず……。 うぅむ、、、/dev/randomからの採取は、crondで毎日00:00に採取して、ファイルにして保存。
bbs.cgiで、1回取得しておけばSpeedyに引っかかって、ごっつぅえぇ感じになるかと♪ dso に入れてみたぞ
てすと てすとー
あんま自信ないので一日放置してみる < dso $FOX 初期化時
$FOX->{$GB->{FORM}->{'bbs'}}->{MD5NUMBER} = &foxInitMD5id($GB->{FORM}->{'bbs'},$GB->{MD5DATE});
$FOX->{MD5DATE} = $GB->{MD5DATE};
bbs.cgi が呼ばれるたびに、
$FOX->{$GBX->{FORM}->{'bbs'}}->{MD5NUMBER} = &foxCheckMD5id(
$GBX->{FORM}->{'bbs'},
$GBX->{MD5DATE},
$FOX->{$GBX->{FORM}->{'bbs'}}->{MD5NUMBER},
$FOX->{MD5DATE});
ID 生成時
my $idcrypt = &foxGetMD5id(
$GB->{FORM}->{'bbs'},#bbs
$GB->{MD5DATE},#日付
$FOX->{$GB->{FORM}->{'bbs'}}->{MD5NUMBER},#
$GB->{IDNOTANE}#
);
sub foxCheckMD5id
{
my ($bbs,$md5date,$num,$dateFox) = @_;
if($dateFox eq $md5date)
{
return $num;
}
return &foxCreateMD5id($bbs,$md5date);
} sub foxGetMD5id
{
my ($bbs,$md5date,$num,$tane) = @_;
my $id = "FOX";
use Digest::MD5;
use Digest::MD5 qw(md5_hex);
my $idnum = md5_hex($tane);
my $md5 = Digest::MD5->new;
$md5->add(substr($idnum,-4));
$md5->add($bbs);
$md5->add($num);
$id = substr($md5->b64digest, 0, 8);
return $id;
} sub foxInitMD5id
{
my ($bbs,$md5date) = @_;
my $md5datefile = "../$bbs/md5.cgi";
if(open(MD5FILE, "<$md5datefile"))
{
my $md5line = <MD5FILE>;
close(MD5FILE);
my ($a, $b) = split(/<>/, $md5line, 2);
return $b;
}
return &foxCreateMD5id($bbs,$md5date);
} sub foxCreateMD5id
{
my ($bbs,$md5date) = @_;
my $md5datefile = "../$bbs/md5.cgi";
my $data = "ABCD";
sysopen(RANDOM, '/dev/random', O_READ) || die "cannot open /dev/random $!\n";
sysread(RANDOM, $data, 16);
close(RANDOM);
open(MD5FILE, ">$md5datefile");
print MD5FILE "$md5date<>$data";
close(MD5FILE);
chmod(0777, $md5datefile);
return$data;
} 日付が変わったときに$FOX->{MD5DATE}を更新してないような気がする。 >>848のbbs.cgi が呼ばれるたびにの部分を変更
$FOX->{$GBX->{FORM}->{'bbs'}}->{MD5NUMBER} = &foxCheckMD5id(
$GBX->{FORM}->{'bbs'},
$GBX->{MD5DATE},
$FOX->{$GBX->{FORM}->{'bbs'}}->{MD5NUMBER},
$FOX->{MD5DATE});
$FOX->{MD5DATE} = $GBX->{MD5DATE};
ん?
そうでもないか?
なんか今日は調子悪いなぁ
こんな日は飲んだくれるに限るか、
>>855 になってます
おかしいとこ指摘よろしく〜 >>858
つ[ヘパリーゼ]
いってらっしゃ〜い。 日付が変わったら無条件でmd5.cgiを作り直すのは
マズいような気がしてきた。 sub foxCheckMD5id
{
my ($bbs,$md5date,$num,$dateFox) = @_;
if($dateFox eq $md5date)
{
return $num;
}
my $md5datefile = "../$bbs/md5.cgi";
if(open(MD5FILE, "<$md5datefile"))
{
my $md5line = <MD5FILE>;
close(MD5FILE);
my ($a, $b) = split(/<>/, $md5line, 2);
if ($a eq $md5date) {
return $b;
}
}
return &foxCreateMD5id($bbs,$md5date);
} 日付が変わってもIDが変わらないんですが仕様でしょうか ex9の格闘技板ですが、日付変わってもID変わってません。 さて
どこに隙があるんだ?
ex7は旧来のままなんで「気のせい」ということで
よろしく >>866
どうせまたおまいがやったんだろ。
正直に言っちゃえよ、楽になるぞ。 1)0時付近で変わっても気にしない
2)自作自演昨日として宣伝
3)Bananaはmaido3まで 旧式のID機能でも
23:59:59以前 -> 0:00:00ジャスト -> 0:00:01以降
で変化したことなら目撃したことあるよ >>871
それは/dev/urandom から取ってきたのを保存するファイルにロックをかけてないからでしょ? 「IDは日付が変わるぐらいに変わります」でいいと思うけどな。 ・FreeBSD 5.xなら/dev/urandomよりも/dev/randomのほうが良いかも
・種ファイルをhogehoge_date "+%Y%M%d"という感じであらかじめ23:55ぐらいに自動生成してもいいのかも
日付が変わる時のロックがいらない。
・ロックファイルを作るときに、openした直後にunlinkするというTipsがある。
プロセスが異常終了したらOSによりunlinkされるし、動作中はunlinkされないので便利。
ttp://ns1.php.gr.jp/pipermail/php-users/2004-November/024120.html
>874
あー間違えた。
date -v+1d "+%Y%M%d"のフォーマットで。という意味ね。
Perlで書き直す必要はあるけど。 自動生成するんなら、シェルスクリプトにしてcronすればいい >>887
更新してからのタイムラグがあるという事ではなくて
実際に全然反映されていないですか?
もしタイムラグ(最大10分の設定)だったら
我慢できませんかねぇ?
全く反映されていない場合はなおすですー
でも今みると反映されているような、 >850
my $idnum = md5_hex($tane);
$md5->add(substr($idnum,-4));
substrの-4って何だろう
IDの種類を制限するためのものだろうか >>884
65536種類に限定しているので、ごく希に違うホストなのに同じIDが出てアタフターな事が起こっているようなのです。 >885
もしIDが(1日,1板で)65536種類に限定されているとするならば、
2つの別々のホストから同じIDが出る確率は(1日あたり)次の通りとなる
住人数 確率
2: 0.0015%
50: 1.8523%
100: 7.2784%
150: 15.6881%
200: 26.2109%
250: 37.8447%
300: 49.6112%
400: 70.4809%
500: 85.1681%
1000: 99.9529%
…………到底 'ごくまれ' とはいえないな
単に '気づかないことが多い' だけだったのか ID 生成部変更するなら今がチャンス !!
この機械を逃がすと・・・ 二度と変更されないかもだ perl分からないよう。
この際IDの桁数を増やすとかどうでしょ。 s/a/あ/g;
ごめんなさい冗談ですすいませんで IDをIPの上位から生成するのはどうだろう。
繋ぎ換えでは変え難くなるし、ご近所さんが判って楽しい。 >>ヤクザ
いや、同じになったら意味ないでしょ。凄いことになっちゃうぞ。
IDは12桁ぐらいがいいかなぁ。長すぎてもあれだし。
あとついでだから日付だけじゃなくて年月も入れようぜ。 ちなみに
毎月同じ日にちの日は同じIDになるという噂があるど、
本当なの?
そして、なぜそうなるの? そういやなぜだろう……。
日替わり乱数が入ってるはずなのに。 固定IPだと毎月同日同板は同じIDになることあります。なんどか体験しました。 自分で書いたコードでさえ・・・なのに
いわんや・・・おや >>895
規制議論でYahooの人のIDが一ヶ月前と一緒だった記憶がある。 乱数の初期化が怪しいと思われ。
ちゃんとseed渡してるの?
(渡してないと毎回同じ乱数しか出ないかも)
と思ったら/dev/randomか・・・ 固定IPで同じ板に毎日かいてて、IDにUDだしたことある人は、毎月1台UD用PC追加・・・?
うそーんw sub Make_ID($$$){
# 引数は・・・
# 板名
# time 値
# IPアドレス
# 返り血はID文字列
use Digest::MD5;
my ($BBS_name, $time, $IP_Address) = @_;
my $ID_2ch = Digest::MD5->new();
$ID_2ch->add(qx|uname -v|); # 鯖固有の文字列とか。
$ID_2ch->add($BBS_name); # 板のディレクトリ名ね。
$ID_2ch->add(int($time/86400)); # 純粋に日を基準単位に。
$ID_2ch->add($IP_Address); # 丸ごと豆乳。
return substr($ID_2ch->b64digest,-9,8); # ちょんぎるして戻るり。
}
・/dev/random にアクセスしないのでHDDにも優しいかな?
・uname -v の値を知っている人は、★の中の人「だけ」だと思うし。
・IDが被る確率は、遙かに少なくなっていると思うし。
・なんてったってアイドルだし(はぁと) >>904
それだとわからないのはuname -vだけ
(自分のIPやら日付やらpathやらはわかる)
だからIPからuname を総当りで求めて
検証が終わったらば他の人のIPも求まるだろう。
32ビット整数ぐらい割といける。
そのためのrandomですよ。 $time/86400 て必ず余らない時が00:00:00なの? >>906
> だからIPからuname を総当りで求めて
総当たりって!?うちの林檎機でもこれだけの文字列が出てくるけれども、、、
Macintosh:~ root# uname -v
Darwin Kernel Version 7.6.0: Sun Oct 10 12:05:27 PDT 2004; root:xnu/xnu-517.9.4.obj~1/RELEASE_PPC
あんぽんたんにでもわかりやすい解説キボンヌですm(_ _)m >>907
UTC だから、+ 9 * 3600 かもですm(_ _)m uname -v だと公開してしまうと
ある程度書式がありますよね。
FreeBSDなら
FreeBSD 5.1-RELEASE-p8 #0: Sat Sep 27 11:17:53 GMT 2003
見たいな感じで
頭から言うと
FreeBSDは変わらないし、
バージョンだって10.20とかないし、
RELEASEでないとしてもSTABLEとかあるていどきまってるし、
年月日では
月はAprとかDecとかしか入らないとか
曜日はSunとかMonだとか
などと考えると組み合わせの数は現実的になりますよ。
そうするとOS頻繁に変えるとかいうんでなければ解析は可能でしょう。
んでunameが割れると今度はそっちにあててIP解析もできるんじゃないかなぁと。
っと長い割には判りにくいかもです。すいません。
>>909
そこは足したり引いたりすればいいのか。
>>908
rootの中の人がうっかりuname -aの結果を書いたら祭り始まりの合図。 まぁなんというか
静的な鍵の秘匿は難しいということで。 >911
unam -a は、かなりの頻度で後悔されてます。
http://www6.big.or.jp/~beyond/bbsnews/proxy/operate/1093068260/
の215とか uname -aなんてホストごとの有効な違いが40bitぐらいしかないんじゃないの?
1024bitぐらい豪快にランダムのシードを用意しないとダメ。
パソコン数台で解析できる。 そもそも現在のやり方が決まった経緯は知っておいてくださいー レス数が900を超えています。1000を超えると表示できなくなるよ。