【野鳥の会】 BBS.2ch.net 全発言統計の巻 part1

**FOX ★** · 04/05/03 04:30

２ちゃんねるの全発言の統計を取ろうに挑戦

bbs.cgi に一個DNS問い合わせの処理を追加
発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net をlook up
この方法でやるとかなり低コストで出来る予感。

まずは現在空いている oyster138(旧game5)ではじめてみよう計画

**FOX ★** · 04/05/03 06:21

my $BYTES = length($FORM{'MESSAGE'});

現在この部分は、投稿時のバイト数ではなく
bbs.cgi が　>>1 なんかを置き換えたあとの実際に
dat に書き込まれるバイト数でーす

**FOX ★** · 04/05/03 06:24

>>25

bbs.2ch.net look up 個数の微分値、積分値は
MRTG or RTG 等を用いて　root★さんの方でやりますか?

私は、サーバ別とか板別とか中身をみての処理をやろうと思いますが、

04/05/03 06:33

>>1
何に使うシステムなんだかさっぱり分からん。

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 06:35

>>28
時間ごと日にちごとの、板別スレッド別発言数ランキングとか。
http://www6.big.or.jp/~beyond/bbsnews/bbs-post-1h.html

read.cgiにも組み込むと、どのスレがどれだけ呼ばれているか統計が取れる。
で、IPアドレスも呼び出しに含めると、>>9に加えて、どのホストが
どの板のどのスレをROMしたり書いてるか、完全追跡できる。

**FOX ★** · 04/05/03 06:37

>>28

第一目標は
http://www6.big.or.jp/~beyond/bbsnews/bbs-post-1.html
これを超低コストでより正確によりリアルタイムに実現。

**root ★** · 04/05/03 06:41

perlccしました。

>>27
そうですね。そんなかんじがいいかなと。
サーバ別とか板別の投稿数の推移とか、これならコストかけずに簡単にとれますね。

read.cgiに応用すれば、そっちも取れるのかも。

**root ★** · 04/05/03 06:45

今のところDNS側には異常なし。

本日はそろそろ、おやすみなさい。
いろいろいじるのは、明日以降ということで。

04/05/03 06:55

>>29
とりあえずは数字取って発表するだけの面白企画、と認識しとけば良いのかな？

＞で、IPアドレスも呼び出しに含めると、>>9に加えて、どのホストが
＞どの板のどのスレをROMしたり書いてるか、完全追跡できる。
そりゃ既知外のする事ですわ

**ヾ●ﾉ゛** ◆NATTOSpTC2 · 04/05/03 06:58

>>29
荒らしの追跡ができて便利になるのかなー？
すると野菜舞台の人が楽になったりするのかも？

◆BARONWRR1M · 04/05/03 07:13

生命の神秘の追求には役立つのかしら？

04/05/03 08:00

女体の神秘の追求に役立つなら応援してやらん事も無い

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/03 10:34

ほう、なかなか面白い仕掛けですな。
で、>>19を例にしてwikiを若干書き換えてみました。

t041080.ipgw.phs.yoyogi.mopera.ne.jp ◆arc/U573Xw · 04/05/03 11:52

>>35

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 12:15

わくわく

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 13:26

●でスレ立て無制限じゃなくなったの？
http://oyster.2ch.net/test/read.cgi/maru/1083536631/

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 14:16

前から期待してた機能だ

↑　|
ス . |　　　　　　　　　 ,ﾍ
レ . |　　　　　　　　　　/　|
数　|　　　　　　　　／　　|
　　 |＿＿,,,,,,,,,,ｒ-''~　　　　＼
　　 .￣￣￣￣￣￣￣￣￣
　　　　レス頻度→

これが板ごとに見られれば板全体の稼動スレの占有度とか
個々のスレの板におけるレスの早さの程度とかがわかる

はじめて行く板でもレスが特定のスレに集中しているのかどうかも見当がつく

[―{}@{}@{}-] ● · 04/05/03 14:55

これと●でスレ立てられなくなたのと何か関係が・・・？

**FOX ★** · 04/05/03 18:06

stats.2ch.net 内に原型のプログラム書いたので
都度呼んでくださいー　> root★さん

詳しくは、メールしましたー
BBYと同じと仮定して作ってあります(単にコピーしただけですけど)

**サザン ★** · 04/05/03 18:49

むぅ

どうやって読むのかと思った、、

**root ★** · 04/05/03 19:15

>>43
ほい、ぼちぼちやります。

**FOX ★** · 04/05/04 01:41

質問でーす

ひばり君をコンパイルして更新しても
変わった様子がないんですが、

コンパイル後に何かしなきゃならないんでしょうか?

**root ★** · 04/05/04 01:50

>>46
あ、メールしたとおり今回のは「パイプ」として起動されてますので、
コンパイルしたら、1回今いるやつをkillしないとだめです。

killを簡単に実行するshell sciptを作って置いておきます。

**FOX ★** · 04/05/04 01:52

むちむちなもんで

よろしくお願いいたします

**root ★** · 04/05/04 01:58

該当ディレクトリに .sh で終わるファイルを入れて置きました。

./なんちゃら.sh

というかんじで実行すればだいじょうぶなはず。

**FOX ★** · 04/05/04 01:59

どもですー
やってみますー

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 01:59

予想としては一日30万カキコくらいかなぁ？

現行スレの数は500板*400スレ＝20万スレくらいあるよね。多分。
それに平均500レスあるとしたら・・・　1億レス？
一生かかっても見れねぇな・・・

あぁ、この瞬間にも俺が一生見ることが無いであろう書き込みが行われている・・・！

**▲ 某ソレ511＠けっこう酔ってるみたい** · 04/05/04 02:02

>>51
http://www6.big.or.jp/~beyond/bbsnews/bbs-post-24h.html
ここを見るに、１日110～130万ほどカキコがあるようです。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 02:08

>>52
('A`)多すぎ

**FOX ★** · 04/05/04 02:09

>>49
うまく行っているようです。
どもでした。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 02:18

スレッドランキングまだなおらんのか

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 02:48

>>51
実際常時動いてるスレはもっと少ないかもかも

**▲ 某ソレ511＠ちょっと酔ってるみたい** · 04/05/04 02:53

それは「常時動いてる」というのがどのラインなのかによると思うなぁ、、
10分に1レス？1時間に1レス？1日に1レス？とか水掛け論かこれは、、

**ヾ●ﾉ゛** ◆NATTOSpTC2 · 04/05/04 02:58

>>57
脳内定義↓
最近２４時間でレスがあれば動いている。
例えば過疎板なんかでは動いてるスレが50以下なんてこともあったり…

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:08

どこまで進んだの～？

**FOX ★** · 04/05/04 03:23

すずめ Ver 0.01
http://stats.2ch.net/suzume.cgi

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:27

め、めだか！

>>41
各板のスレ稼働率なんかも分かっちゃうのかねぇ。

**FOX ★** · 04/05/04 03:29

からす Ver 0.01
http://stats.2ch.net/karasu.cgi

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:31

うほっ！

……狼は桁が違いますな。

**ホームズ©** ◆SHERLOCK7U · 04/05/04 03:31

すごー。新しいおもちゃだ、、

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:34

上に行く程文字が大きくなってるんだな。

04/05/04 03:40

どうでもいいけどアングラな感じムンムン・・・・。。。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:40

次はスレッド別ランキングで「トンビ」かな？

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:42

とりあえず今日0時からの統計かな。
明日のいまごろとかどうなってるんだろう。
すずめの板名にBBS MENUのものと鯖名まであれば、
見比べやすくて面白いと思うけど。面倒だろうか。

**ヾ●ﾉ゛** ◆NATTOSpTC2 · 04/05/04 03:43

次は｢めじろ」の予感

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:43

なんか抜けてる板ない？隠し以外で

04/05/04 03:44

bbyみたいにテキストデータもほしい、、、

**FOX ★** · 04/05/04 03:46

突貫工事で酒飲みながら作ったから
今日の昨日きここまで

ご要望はこのスレに書いておいてね

本格的に飲む　!!

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:46

>>70
単に有効時間内に書き込みがないだけじゃない？

**FOX ★** · 04/05/04 03:47

>>70 >>73
書いてくるといいかも

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:51

>>73-74
honobonoがない

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:52

あれ？　sec2chd@qb2に書き込んだのに反映されない……。

反映されるのにどれくらいかかるの？

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:54

×sec2chd
○saku2chd

**FOX ★** · 04/05/04 03:54

今はほとんどリアルタイムと思うが
パイプがどうのこうの言っていたので
その辺の遅延に関しては root★さんの解説が必要と思われ、

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:56

2ch運用情報 operate@qb3
すずめの表示をこんな感じにｷﾎﾞﾝﾇ。
検索しやすくなると思うので。

>>72
あんた、遊びなはれ。酒も飲みなはれ。
ていうか乙カレー。

※ ◆baila6uPTo · 04/05/04 03:57

log/main/current へのシンボリックを、httpd で参照できるところに置いておくとか、
毎分自動更新 HTML 吐き出しの方が良さそうな？

もうねるぽ。

**FOX ★** · 04/05/04 04:00

>>71 >>80

まずは全部隠蔽して作ってみた。
ぼつぼつかと

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 04:10

・時間別で分けると住民の生活の流れが分かって面白いかも。
特定板は日曜休みの人がアクセスする割合が多い…とか出来るとマーケティングにも使えるかも知れない。

・テレビ覧とシンクロ参照機能とか付けるとテレビ局から視聴率データとして●ノが出来るかも知れない。
歌番組でなっち登場シーンでカキコが倍増現象とか関連付けられたとしたら…

・板の中のスレッド別回覧、発言ランキング
特定の話題の（板）の特に何に興味が集まっているか、一目で参照出来るとマーケ（ｒｙ

・祭り抽出

機能の進化が進めば、株のアナリストみたいな奴が出てきて、情報に意味を持たせ物語を作る奴が出てくる予感。

と、実装する技術知らないので適当に言うだけ言ってみるテスト。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 04:16

うーん、qb2は対象外なのかな？

**ぼるじょあ** ◆yBEncckFOU · 04/05/04 04:24

おっ　
いいねぇー

**FOX ★** · 04/05/04 04:29

>>83
どうなんだろう。。。

qb2 の bbs.cgi 上書きしてもいいならすぐ出来るんだけど、、、
ちょっと危険な匂いが　ぷんぷん

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 04:31

>>85
たしかに……。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 04:32

72 名前：FOX ★[] 投稿日：04/05/04(火) 03:46 ID:???
突貫工事で酒飲みながら作ったから
今日の昨日きここまで

ご要望はこのスレに書いておいてね

本格的に飲む　!!
　　　↑
ここらへんが危険

**FOX ★** · 04/05/04 04:32

>>75
確かに、、、

honobono ってサーバどこだろ?

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 04:34

>>88
ここです

**FOX ★** · 04/05/04 04:35

>>89
human4 でしたっけ?

もしかして　human4 って、、、
bbs.cgi 更新されていないのか?

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 04:36

>>90
はい、human4ですね

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 04:37

http://www.domo2.net/system/ver.html
20040414みたいです

**FOX ★** · 04/05/04 04:38

あららっ

更新するようにした

**FOX ★** · 04/05/04 04:40

qb2 は　こっそり手動で入れてこよう

04/05/04 04:44

すこしだけスクリプトいじってみたいと思うのはやはり・・・中毒？

というのはどうでもいいのでおいといて、、、もう５万すか、、、

**ぼるじょあ** ◆yBEncckFOU · 04/05/04 04:45

ｽｹﾞｰｽｹﾞｰ

**root ★** · 04/05/04 04:45

おぉ、進んでいる、、、。

>>78
バッファを1行ごとにフラッシュしてあげれば、ほぼ完全にリアルタイムになるのかしら。

**FOX ★** · 04/05/04 04:46

>>95
至福゜のひとときってやつです。

**FOX ★** · 04/05/04 04:46

>>97
鴨です

04/05/04 04:49

>>98
>至福゜のひとときってやつです。
　　　 ↑
一瞬これが気になった。まさか本当にかな入力（ｒｙ

板名表示のほうがいいなー。＞suzume

**root ★** · 04/05/04 04:58

>>99
呼び出し側でバッファフラッシュのコードを入れてみた。
これでほぼリアルタイムになったはず。

# 今日はもうねます。

**ぼるじょあ** ◆yBEncckFOU · 04/05/04 05:00

ホントだー

**FOX ★** · 04/05/04 05:06

>>101
おっ

うまく行っているようです

**root ★** · 04/05/04 05:06

>>80
log/main/currentの出力を、ほぼそのままFOXさんのプログラムにくべています。
某bbsgather.plみたいなかんじ。

# 呼び出し部分を作る際に、あのコードを参考にさせていただきました。どもです。

**FOX ★** · 04/05/04 05:11

>>104
質問です

各サーバからのlook up時、時刻データは載せていませんが
(つまり　ひばり君が受け取った時刻を基準に全部動作している)

日付境界での挙動は・・・

1) かにりずれるので look up 時日付もデータとして載せたほうが良い
2) たいして気にする必要は無い

どんなもんでしょ?

**root ★** · 04/05/04 05:15

>>105
2)でいいと思います。たぶん、1秒もずれてないでしょう。

**root ★** · 04/05/04 05:16

1秒も、というのは「ぜんぜん」いう意味ではなくて、
遅延は多く見ても1秒未満だ、という意味です。

**FOX ★** · 04/05/04 05:17

ほほーい
んじゃ　2) で

**root ★** · 04/05/04 05:18

もちろん日付を乗せても無害だとは思います。

で、このプログラムは日付境界と関係なく動き続けるようになっていて、
ログローテートとかの影響を受けることはありませんです。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 05:18

すみません関係ない質問ですが削除依頼はどこにだせばいいですか？

**root ★** · 04/05/04 05:19

もうねなきゃ。

しかし、暴論を承知で言うと、
２ちゃんねるの全体の1割がmorningcoffeeでできているのか、、、。

◆BFzK/mtqM2 · 04/05/04 05:22

>>111
たしかに。。。。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 05:23

>>110
削除整理
http://qb2.2ch.net/saku/

**FOX ★** · 04/05/04 05:54

まずは一定間隔おきにデータ取りの感じでやってみますか

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 05:58

http://stats.2ch.net/

なんか切なくなって、夜中に泣き叫びそうになるので、
「実験中」とか書いてやって下さい・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 05:59

いやそれどころじゃないし(；´∀｀)･･

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 06:02

んじゃ「実験中毒」で。

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/04 07:47

>>60,62の情報を反映しました。
http://info.2ch.net/wiki/pukiwiki.php?%C1%B4%C8%AF%B8%C0%C5%FD%B7%D7%BC%E8%C6%C0%BA%EE%C0%EF

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/04 07:51

連投スマソです。

>>111
もしそうならば、●による書き込み規制を
morningcoffeeにいれるだけで以下の可能性が予想できますなｗ

・書き込みたいがゆえに●が馬鹿売れ
・該当板の書き込みが減少
・該当板が廃れる
・その他の事象が発生

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 08:05

>119
　・その他の事象が発生
に
(´･ω･´)ﾉ〓　100ｵﾚｵ

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 11:18

わーい、新しいおもちゃだー

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 11:20

http://dra.zive.net/gao/

何でか差が大きい。(gao:6000超え雀:2000超え)
うちのバグかな。。。

**▲ 某ソレ511＠ちょっと酔ってるみたい** · 04/05/04 11:25

>>60から集計し始めたからじゃないかな？
つまり0時～3時まではすずめではカウントされてないとか

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 11:31

お、なるほど。
本日稼動開始だったのか（ｗ

さすが、▲持ちですねー。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 11:50

IPアドレスをデータに含めると、板別人口ランキングが分かる。
IPアドレスは繋ぎ変え等で変わるが、統計的に見れば人口とほぼ比例するはず。

板の常駐率みたいなのも分かるかも。
常駐率＝発言数/IPアドレス数　のように求める。