【野鳥の会】 BBS.2ch.net 全発言統計の巻 part1

**FOX ★** · 04/05/03 04:30

２ちゃんねるの全発言の統計を取ろうに挑戦

bbs.cgi に一個DNS問い合わせの処理を追加
発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net をlook up
この方法でやるとかなり低コストで出来る予感。

まずは現在空いている oyster138(旧game5)ではじめてみよう計画

**root ★** · 04/05/03 04:32

もうすぐ生誕の儀式します。
儀式はあっちのスレで。儀式後はこちらで。

**FOX ★** · 04/05/03 04:33

ほほーい

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 04:43

ついでにIPアドレスも入れてユニークホスト数とか出したら面白くない？

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 04:50

おおー、わくわく

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 04:55

ｷﾀ━━━━(ﾟ∀ﾟ)━━━━!!!!!

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 05:11

（　‘д‘）＜ウギャー

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 05:38

ほほう。つなぎ変え荒らし自動検出器ですか。

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 05:52

もしIPアドレスも入れると、どのホストがどの板のどのスレで発言しているかを
追跡できる。

**FOX ★** · 04/05/03 05:57

stats.2ch.net の中でいろいろ作ればいいのかな?

**root ★** · 04/05/03 06:00

さて、DNS側の基本作業は終わりました。
これからアカウント情報をFOXさんにメールします。

統計情報処理プログラムを作るときは、BBX/Rock54と同じようなフィルタリングが必要ですね。
つまり、PIEやHEのDNSキャッシュサーバか、あるいはuma/pekoサーバからの
DNSリクエストだけ受けるようにしないと、ノイズが乗ってしまうんで。

このへんはシステム側でできると思います。
つまり、FOXさんの処理プログラムにデータが行く時は、既にフィルタリングは済んでいると
想定してもらっていい、という仕様でいこううかと。

# どういうシステムデザインでいこうかいろいろ試行錯誤と脳内計画をしていたのが、
# 生誕の儀式が遅れた原因でした。スマソ。

**root ★** · 04/05/03 06:01

>>10
ですね。statsはoyster138上に作成しています。

**FOX ★** · 04/05/03 06:03

まずは　呼ぶほうから作りますか、

もえ引いてもいいですか?

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 06:04

おもしろいことやるね
ｲｲﾖｲｲﾖｰ

**root ★** · 04/05/03 06:06

>>13
はい、準備OKです。

◆/yjFd7fSrw · 04/05/03 06:06

http://info.2ch.net/wiki/pukiwiki.php?%C1%B4%C8%AF%B8%C0%C5%FD%B7%D7%BC%E8%C6%C0%BA%EE%C0%EF
とりあえず、突貫工事のWikiページを…
しばらくの間は凍結しませんので、書き換えられる方は書き換えてみてください。

**root ★** · 04/05/03 06:09

>>16
対応はやっ。
Wikiが必要かなぁ、って書いてから寝ようと思っていた矢先に、、、。

ありがとうございます。

**FOX ★** · 04/05/03 06:10

こんなコードを書いていきなり tv5 に入れてみる

{
my $BYTES = length($FORM{'MESSAGE'});
my $BHOST = "$BYTES.$FORM{'key'}.$FORM{'bbs'}.$ENV{'SERVER_NAME'}.bbs.bbs.2ch.net";
my $YACHO = gethostbyname($BHOST);
}

**root ★** · 04/05/03 06:14

こんなのがどんどん来はじめた。
@400000004095649e3b09e634 d8dad9b3:ffa9:b4d8 + 0001 70.1083531769.morningcoffee.tv5.2ch.net.bbs.bbs.2ch.net

**FOX ★** · 04/05/03 06:15

qb4 に入れて特にエラーも出さないようなので、

全サーバに配ってみる

ただしaaa.bbb.ccc.ddd.bbs.2ch.net の部分は
どんどん変わる予定

**root ★** · 04/05/03 06:16

CGI名が一番上位に来るというのは、いいセンスですね。
将来read.cgiとかで何かしても、サブドメインを分ければ、サーバ側を分けられるので。

**root ★** · 04/05/03 06:16

>>20
配り終わったらpekoサーバでperlccしますので、お伝えください。

**FOX ★** · 04/05/03 06:18

>>22
配りましたー

**root ★** · 04/05/03 06:18

他のサーバからもどんどん来始めた。

@40000000409565b01efa986c d8dad9b3:6b39:f011 + 0001 73.1083146689.entrance.ex2.2ch.net.bbs.bbs.2ch.net
@40000000409565b02c41a894 267289e9:b519:8f38 + 0001 134.1083529195.livecx.live10.2ch.net.bbs.bbs.2ch.net
@40000000409565b02d762154 4113977a:4f0a:afc0 + 0001 90.1080893802.mj.gamble2.2ch.net.bbs.bbs.2ch.net
@40000000409565b100e80c4c d8dad9b3:b487:c7ea + 0001 68.1083508251.news.ex4.2ch.net.bbs.bbs.2ch.net
@40000000409565b1193a55fc d8dad9b3:2e95:9788 + 0001 117.1083531849.motenai.love2.2ch.net.bbs.bbs.2ch.net
@40000000409565b12103e1a4 d8dad9b3:2c87:5494 + 0001 26.1078758110.intro.etc.2ch.net.bbs.bbs.2ch.net
@40000000409565b12a11c874 d8dad9b3:e962:b596 + 0001 163.1083523761.base.sports5.2ch.net.bbs.bbs.2ch.net

**root ★** · 04/05/03 06:19

>>23
perlccしてきます。

**FOX ★** · 04/05/03 06:21

my $BYTES = length($FORM{'MESSAGE'});

現在この部分は、投稿時のバイト数ではなく
bbs.cgi が　>>1 なんかを置き換えたあとの実際に
dat に書き込まれるバイト数でーす

**FOX ★** · 04/05/03 06:24

>>25

bbs.2ch.net look up 個数の微分値、積分値は
MRTG or RTG 等を用いて　root★さんの方でやりますか?

私は、サーバ別とか板別とか中身をみての処理をやろうと思いますが、

04/05/03 06:33

>>1
何に使うシステムなんだかさっぱり分からん。

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 06:35

>>28
時間ごと日にちごとの、板別スレッド別発言数ランキングとか。
http://www6.big.or.jp/~beyond/bbsnews/bbs-post-1h.html

read.cgiにも組み込むと、どのスレがどれだけ呼ばれているか統計が取れる。
で、IPアドレスも呼び出しに含めると、>>9に加えて、どのホストが
どの板のどのスレをROMしたり書いてるか、完全追跡できる。

**FOX ★** · 04/05/03 06:37

>>28

第一目標は
http://www6.big.or.jp/~beyond/bbsnews/bbs-post-1.html
これを超低コストでより正確によりリアルタイムに実現。

**root ★** · 04/05/03 06:41

perlccしました。

>>27
そうですね。そんなかんじがいいかなと。
サーバ別とか板別の投稿数の推移とか、これならコストかけずに簡単にとれますね。

read.cgiに応用すれば、そっちも取れるのかも。

**root ★** · 04/05/03 06:45

今のところDNS側には異常なし。

本日はそろそろ、おやすみなさい。
いろいろいじるのは、明日以降ということで。

04/05/03 06:55

>>29
とりあえずは数字取って発表するだけの面白企画、と認識しとけば良いのかな？

＞で、IPアドレスも呼び出しに含めると、>>9に加えて、どのホストが
＞どの板のどのスレをROMしたり書いてるか、完全追跡できる。
そりゃ既知外のする事ですわ

**ヾ●ﾉ゛** ◆NATTOSpTC2 · 04/05/03 06:58

>>29
荒らしの追跡ができて便利になるのかなー？
すると野菜舞台の人が楽になったりするのかも？

◆BARONWRR1M · 04/05/03 07:13

生命の神秘の追求には役立つのかしら？

04/05/03 08:00

女体の神秘の追求に役立つなら応援してやらん事も無い

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/03 10:34

ほう、なかなか面白い仕掛けですな。
で、>>19を例にしてwikiを若干書き換えてみました。

t041080.ipgw.phs.yoyogi.mopera.ne.jp ◆arc/U573Xw · 04/05/03 11:52

>>35

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 12:15

わくわく

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 13:26

●でスレ立て無制限じゃなくなったの？
http://oyster.2ch.net/test/read.cgi/maru/1083536631/

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 14:16

前から期待してた機能だ

↑　|
ス . |　　　　　　　　　 ,ﾍ
レ . |　　　　　　　　　　/　|
数　|　　　　　　　　／　　|
　　 |＿＿,,,,,,,,,,ｒ-''~　　　　＼
　　 .￣￣￣￣￣￣￣￣￣
　　　　レス頻度→

これが板ごとに見られれば板全体の稼動スレの占有度とか
個々のスレの板におけるレスの早さの程度とかがわかる

はじめて行く板でもレスが特定のスレに集中しているのかどうかも見当がつく

[―{}@{}@{}-] ● · 04/05/03 14:55

これと●でスレ立てられなくなたのと何か関係が・・・？

**FOX ★** · 04/05/03 18:06

stats.2ch.net 内に原型のプログラム書いたので
都度呼んでくださいー　> root★さん

詳しくは、メールしましたー
BBYと同じと仮定して作ってあります(単にコピーしただけですけど)

**サザン ★** · 04/05/03 18:49

むぅ

どうやって読むのかと思った、、

**root ★** · 04/05/03 19:15

>>43
ほい、ぼちぼちやります。

**FOX ★** · 04/05/04 01:41

質問でーす

ひばり君をコンパイルして更新しても
変わった様子がないんですが、

コンパイル後に何かしなきゃならないんでしょうか?

**root ★** · 04/05/04 01:50

>>46
あ、メールしたとおり今回のは「パイプ」として起動されてますので、
コンパイルしたら、1回今いるやつをkillしないとだめです。

killを簡単に実行するshell sciptを作って置いておきます。

**FOX ★** · 04/05/04 01:52

むちむちなもんで

よろしくお願いいたします

**root ★** · 04/05/04 01:58

該当ディレクトリに .sh で終わるファイルを入れて置きました。

./なんちゃら.sh

というかんじで実行すればだいじょうぶなはず。

**FOX ★** · 04/05/04 01:59

どもですー
やってみますー

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 01:59

予想としては一日30万カキコくらいかなぁ？

現行スレの数は500板*400スレ＝20万スレくらいあるよね。多分。
それに平均500レスあるとしたら・・・　1億レス？
一生かかっても見れねぇな・・・

あぁ、この瞬間にも俺が一生見ることが無いであろう書き込みが行われている・・・！

**▲ 某ソレ511＠けっこう酔ってるみたい** · 04/05/04 02:02

>>51
http://www6.big.or.jp/~beyond/bbsnews/bbs-post-24h.html
ここを見るに、１日110～130万ほどカキコがあるようです。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 02:08

>>52
('A`)多すぎ

**FOX ★** · 04/05/04 02:09

>>49
うまく行っているようです。
どもでした。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 02:18

スレッドランキングまだなおらんのか

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 02:48

>>51
実際常時動いてるスレはもっと少ないかもかも

**▲ 某ソレ511＠ちょっと酔ってるみたい** · 04/05/04 02:53

それは「常時動いてる」というのがどのラインなのかによると思うなぁ、、
10分に1レス？1時間に1レス？1日に1レス？とか水掛け論かこれは、、

**ヾ●ﾉ゛** ◆NATTOSpTC2 · 04/05/04 02:58

>>57
脳内定義↓
最近２４時間でレスがあれば動いている。
例えば過疎板なんかでは動いてるスレが50以下なんてこともあったり…

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:08

どこまで進んだの～？

**FOX ★** · 04/05/04 03:23

すずめ Ver 0.01
http://stats.2ch.net/suzume.cgi

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:27

め、めだか！

>>41
各板のスレ稼働率なんかも分かっちゃうのかねぇ。

**FOX ★** · 04/05/04 03:29

からす Ver 0.01
http://stats.2ch.net/karasu.cgi

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:31

うほっ！

……狼は桁が違いますな。

**ホームズ©** ◆SHERLOCK7U · 04/05/04 03:31

すごー。新しいおもちゃだ、、

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:34

上に行く程文字が大きくなってるんだな。

04/05/04 03:40

どうでもいいけどアングラな感じムンムン・・・・。。。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:40

次はスレッド別ランキングで「トンビ」かな？

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:42

とりあえず今日0時からの統計かな。
明日のいまごろとかどうなってるんだろう。
すずめの板名にBBS MENUのものと鯖名まであれば、
見比べやすくて面白いと思うけど。面倒だろうか。

**ヾ●ﾉ゛** ◆NATTOSpTC2 · 04/05/04 03:43

次は｢めじろ」の予感

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:43

なんか抜けてる板ない？隠し以外で

04/05/04 03:44

bbyみたいにテキストデータもほしい、、、

**FOX ★** · 04/05/04 03:46

突貫工事で酒飲みながら作ったから
今日の昨日きここまで

ご要望はこのスレに書いておいてね

本格的に飲む　!!

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:46

>>70
単に有効時間内に書き込みがないだけじゃない？

**FOX ★** · 04/05/04 03:47

>>70 >>73
書いてくるといいかも

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:51

>>73-74
honobonoがない

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:52

あれ？　sec2chd@qb2に書き込んだのに反映されない……。

反映されるのにどれくらいかかるの？

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:54

×sec2chd
○saku2chd

**FOX ★** · 04/05/04 03:54

今はほとんどリアルタイムと思うが
パイプがどうのこうの言っていたので
その辺の遅延に関しては root★さんの解説が必要と思われ、

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:56

2ch運用情報 operate@qb3
すずめの表示をこんな感じにｷﾎﾞﾝﾇ。
検索しやすくなると思うので。

>>72
あんた、遊びなはれ。酒も飲みなはれ。
ていうか乙カレー。

※ ◆baila6uPTo · 04/05/04 03:57

log/main/current へのシンボリックを、httpd で参照できるところに置いておくとか、
毎分自動更新 HTML 吐き出しの方が良さそうな？

もうねるぽ。

**FOX ★** · 04/05/04 04:00

>>71 >>80

まずは全部隠蔽して作ってみた。
ぼつぼつかと

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 04:10

・時間別で分けると住民の生活の流れが分かって面白いかも。
特定板は日曜休みの人がアクセスする割合が多い…とか出来るとマーケティングにも使えるかも知れない。

・テレビ覧とシンクロ参照機能とか付けるとテレビ局から視聴率データとして●ノが出来るかも知れない。
歌番組でなっち登場シーンでカキコが倍増現象とか関連付けられたとしたら…

・板の中のスレッド別回覧、発言ランキング
特定の話題の（板）の特に何に興味が集まっているか、一目で参照出来るとマーケ（ｒｙ

・祭り抽出

機能の進化が進めば、株のアナリストみたいな奴が出てきて、情報に意味を持たせ物語を作る奴が出てくる予感。

と、実装する技術知らないので適当に言うだけ言ってみるテスト。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 04:16

うーん、qb2は対象外なのかな？

**ぼるじょあ** ◆yBEncckFOU · 04/05/04 04:24

おっ　
いいねぇー

**FOX ★** · 04/05/04 04:29

>>83
どうなんだろう。。。

qb2 の bbs.cgi 上書きしてもいいならすぐ出来るんだけど、、、
ちょっと危険な匂いが　ぷんぷん

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 04:31

>>85
たしかに……。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 04:32

72 名前：FOX ★[] 投稿日：04/05/04(火) 03:46 ID:???
突貫工事で酒飲みながら作ったから
今日の昨日きここまで

ご要望はこのスレに書いておいてね

本格的に飲む　!!
　　　↑
ここらへんが危険

**FOX ★** · 04/05/04 04:32

>>75
確かに、、、

honobono ってサーバどこだろ?

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 04:34

>>88
ここです

**FOX ★** · 04/05/04 04:35

>>89
human4 でしたっけ?

もしかして　human4 って、、、
bbs.cgi 更新されていないのか?

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 04:36

>>90
はい、human4ですね

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 04:37

http://www.domo2.net/system/ver.html
20040414みたいです

**FOX ★** · 04/05/04 04:38

あららっ

更新するようにした

**FOX ★** · 04/05/04 04:40

qb2 は　こっそり手動で入れてこよう

04/05/04 04:44

すこしだけスクリプトいじってみたいと思うのはやはり・・・中毒？

というのはどうでもいいのでおいといて、、、もう５万すか、、、

**ぼるじょあ** ◆yBEncckFOU · 04/05/04 04:45

ｽｹﾞｰｽｹﾞｰ

**root ★** · 04/05/04 04:45

おぉ、進んでいる、、、。

>>78
バッファを1行ごとにフラッシュしてあげれば、ほぼ完全にリアルタイムになるのかしら。

**FOX ★** · 04/05/04 04:46

>>95
至福゜のひとときってやつです。

**FOX ★** · 04/05/04 04:46

>>97
鴨です

04/05/04 04:49

>>98
>至福゜のひとときってやつです。
　　　 ↑
一瞬これが気になった。まさか本当にかな入力（ｒｙ

板名表示のほうがいいなー。＞suzume