【野鳥の会】 BBS.2ch.net 全発言統計の巻 part1
■ このスレッドは過去ログ倉庫に格納されています
2ちゃんねるの全発言の統計を取ろうに挑戦
bbs.cgi に一個DNS問い合わせの処理を追加
発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net をlook up
この方法でやるとかなり低コストで出来る予感。
まずは現在空いている oyster138(旧game5)ではじめてみよう計画
もうすぐ生誕の儀式します。
儀式はあっちのスレで。儀式後はこちらで。 ついでにIPアドレスも入れてユニークホスト数とか出したら面白くない? もしIPアドレスも入れると、どのホストがどの板のどのスレで発言しているかを
追跡できる。 stats.2ch.net の中でいろいろ作ればいいのかな? さて、DNS側の基本作業は終わりました。
これからアカウント情報をFOXさんにメールします。
統計情報処理プログラムを作るときは、BBX/Rock54と同じようなフィルタリングが必要ですね。
つまり、PIEやHEのDNSキャッシュサーバか、あるいはuma/pekoサーバからの
DNSリクエストだけ受けるようにしないと、ノイズが乗ってしまうんで。
このへんはシステム側でできると思います。
つまり、FOXさんの処理プログラムにデータが行く時は、既にフィルタリングは済んでいると
想定してもらっていい、という仕様でいこううかと。
# どういうシステムデザインでいこうかいろいろ試行錯誤と脳内計画をしていたのが、
# 生誕の儀式が遅れた原因でした。スマソ。 >>10
ですね。statsはoyster138上に作成しています。 まずは 呼ぶほうから作りますか、
もえ引いてもいいですか? >>16
対応はやっ。
Wikiが必要かなぁ、って書いてから寝ようと思っていた矢先に、、、。
ありがとうございます。 こんなコードを書いていきなり tv5 に入れてみる
{
my $BYTES = length($FORM{'MESSAGE'});
my $BHOST = "$BYTES.$FORM{'key'}.$FORM{'bbs'}.$ENV{'SERVER_NAME'}.bbs.bbs.2ch.net";
my $YACHO = gethostbyname($BHOST);
} こんなのがどんどん来はじめた。
@400000004095649e3b09e634 d8dad9b3:ffa9:b4d8 + 0001 70.1083531769.morningcoffee.tv5.2ch.net.bbs.bbs.2ch.net qb4 に入れて特にエラーも出さないようなので、
全サーバに配ってみる
ただしaaa.bbb.ccc.ddd.bbs.2ch.net の部分は
どんどん変わる予定 CGI名が一番上位に来るというのは、いいセンスですね。
将来read.cgiとかで何かしても、サブドメインを分ければ、サーバ側を分けられるので。 >>20
配り終わったらpekoサーバでperlccしますので、お伝えください。 他のサーバからもどんどん来始めた。
@40000000409565b01efa986c d8dad9b3:6b39:f011 + 0001 73.1083146689.entrance.ex2.2ch.net.bbs.bbs.2ch.net
@40000000409565b02c41a894 267289e9:b519:8f38 + 0001 134.1083529195.livecx.live10.2ch.net.bbs.bbs.2ch.net
@40000000409565b02d762154 4113977a:4f0a:afc0 + 0001 90.1080893802.mj.gamble2.2ch.net.bbs.bbs.2ch.net
@40000000409565b100e80c4c d8dad9b3:b487:c7ea + 0001 68.1083508251.news.ex4.2ch.net.bbs.bbs.2ch.net
@40000000409565b1193a55fc d8dad9b3:2e95:9788 + 0001 117.1083531849.motenai.love2.2ch.net.bbs.bbs.2ch.net
@40000000409565b12103e1a4 d8dad9b3:2c87:5494 + 0001 26.1078758110.intro.etc.2ch.net.bbs.bbs.2ch.net
@40000000409565b12a11c874 d8dad9b3:e962:b596 + 0001 163.1083523761.base.sports5.2ch.net.bbs.bbs.2ch.net
my $BYTES = length($FORM{'MESSAGE'});
現在この部分は、投稿時のバイト数ではなく
bbs.cgi が >>1 なんかを置き換えたあとの実際に
dat に書き込まれるバイト数でーす >>25
bbs.2ch.net look up 個数の微分値、積分値は
MRTG or RTG 等を用いて root★さんの方でやりますか?
私は、サーバ別とか板別とか中身をみての処理をやろうと思いますが、 >>1
何に使うシステムなんだかさっぱり分からん。 >>28
時間ごと日にちごとの、板別スレッド別発言数ランキングとか。
http://www6.big.or.jp/~beyond/bbsnews/bbs-post-1h.html
read.cgiにも組み込むと、どのスレがどれだけ呼ばれているか統計が取れる。
で、IPアドレスも呼び出しに含めると、>>9に加えて、どのホストが
どの板のどのスレをROMしたり書いてるか、完全追跡できる。 >>28
第一目標は
http://www6.big.or.jp/~beyond/bbsnews/bbs-post-1.html
これを超低コストでより正確によりリアルタイムに実現。 perlccしました。
>>27
そうですね。そんなかんじがいいかなと。
サーバ別とか板別の投稿数の推移とか、これならコストかけずに簡単にとれますね。
read.cgiに応用すれば、そっちも取れるのかも。 今のところDNS側には異常なし。
本日はそろそろ、おやすみなさい。
いろいろいじるのは、明日以降ということで。 >>29
とりあえずは数字取って発表するだけの面白企画、と認識しとけば良いのかな?
>で、IPアドレスも呼び出しに含めると、>>9に加えて、どのホストが
>どの板のどのスレをROMしたり書いてるか、完全追跡できる。
そりゃ既知外のする事ですわ >>29
荒らしの追跡ができて便利になるのかなー?
すると野菜舞台の人が楽になったりするのかも? 女体の神秘の追求に役立つなら応援してやらん事も無い ほう、なかなか面白い仕掛けですな。
で、>>19を例にしてwikiを若干書き換えてみました。 前から期待してた機能だ
↑ |
ス . | ,ヘ
レ . | / |
数 | / |
|__,,,,,,,,,,r-''~ \
. ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄
レス頻度→
これが板ごとに見られれば板全体の稼動スレの占有度とか
個々のスレの板におけるレスの早さの程度とかがわかる
はじめて行く板でもレスが特定のスレに集中しているのかどうかも見当がつく これと●でスレ立てられなくなたのと何か関係が・・・? stats.2ch.net 内に原型のプログラム書いたので
都度呼んでくださいー > root★さん
詳しくは、メールしましたー
BBYと同じと仮定して作ってあります(単にコピーしただけですけど) 質問でーす
ひばり君をコンパイルして更新しても
変わった様子がないんですが、
コンパイル後に何かしなきゃならないんでしょうか?
>>46
あ、メールしたとおり今回のは「パイプ」として起動されてますので、
コンパイルしたら、1回今いるやつをkillしないとだめです。
killを簡単に実行するshell sciptを作って置いておきます。 該当ディレクトリに .sh で終わるファイルを入れて置きました。
./なんちゃら.sh
というかんじで実行すればだいじょうぶなはず。 予想としては一日30万カキコくらいかなぁ?
現行スレの数は500板*400スレ=20万スレくらいあるよね。多分。
それに平均500レスあるとしたら・・・ 1億レス?
一生かかっても見れねぇな・・・
あぁ、この瞬間にも俺が一生見ることが無いであろう書き込みが行われている・・・! >>51
http://www6.big.or.jp/~beyond/bbsnews/bbs-post-24h.html
ここを見るに、1日110〜130万ほどカキコがあるようです。 >>49
うまく行っているようです。
どもでした。 >>51
実際常時動いてるスレはもっと少ないかもかも それは「常時動いてる」というのがどのラインなのかによると思うなぁ、、
10分に1レス?1時間に1レス?1日に1レス?とか水掛け論かこれは、、 >>57
脳内定義↓
最近24時間でレスがあれば動いている。
例えば過疎板なんかでは動いてるスレが50以下なんてこともあったり… め、めだか!
>>41
各板のスレ稼働率なんかも分かっちゃうのかねぇ。 どうでもいいけどアングラな感じムンムン・・・・。。。 とりあえず今日0時からの統計かな。
明日のいまごろとかどうなってるんだろう。
すずめの板名にBBS MENUのものと鯖名まであれば、
見比べやすくて面白いと思うけど。面倒だろうか。 突貫工事で酒飲みながら作ったから
今日の昨日きここまで
ご要望はこのスレに書いておいてね
本格的に飲む !! >>70
単に有効時間内に書き込みがないだけじゃない? あれ? sec2chd@qb2に書き込んだのに反映されない……。
反映されるのにどれくらいかかるの? 今はほとんどリアルタイムと思うが
パイプがどうのこうの言っていたので
その辺の遅延に関しては root★さんの解説が必要と思われ、 ■ このスレッドは過去ログ倉庫に格納されています