【野鳥の会】 BBS.2ch.net 全発言統計の巻 part1

**FOX ★** · 04/05/03 04:30

２ちゃんねるの全発言の統計を取ろうに挑戦

bbs.cgi に一個DNS問い合わせの処理を追加
発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net をlook up
この方法でやるとかなり低コストで出来る予感。

まずは現在空いている oyster138(旧game5)ではじめてみよう計画

**root ★** · 04/05/04 04:58

>>99
呼び出し側でバッファフラッシュのコードを入れてみた。
これでほぼリアルタイムになったはず。

# 今日はもうねます。

**ぼるじょあ** ◆yBEncckFOU · 04/05/04 05:00

ホントだー

**FOX ★** · 04/05/04 05:06

>>101
おっ

うまく行っているようです

**root ★** · 04/05/04 05:06

>>80
log/main/currentの出力を、ほぼそのままFOXさんのプログラムにくべています。
某bbsgather.plみたいなかんじ。

# 呼び出し部分を作る際に、あのコードを参考にさせていただきました。どもです。

**FOX ★** · 04/05/04 05:11

>>104
質問です

各サーバからのlook up時、時刻データは載せていませんが
(つまり　ひばり君が受け取った時刻を基準に全部動作している)

日付境界での挙動は・・・

1) かにりずれるので look up 時日付もデータとして載せたほうが良い
2) たいして気にする必要は無い

どんなもんでしょ?

**root ★** · 04/05/04 05:15

>>105
2)でいいと思います。たぶん、1秒もずれてないでしょう。

**root ★** · 04/05/04 05:16

1秒も、というのは「ぜんぜん」いう意味ではなくて、
遅延は多く見ても1秒未満だ、という意味です。

**FOX ★** · 04/05/04 05:17

ほほーい
んじゃ　2) で

**root ★** · 04/05/04 05:18

もちろん日付を乗せても無害だとは思います。

で、このプログラムは日付境界と関係なく動き続けるようになっていて、
ログローテートとかの影響を受けることはありませんです。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 05:18

すみません関係ない質問ですが削除依頼はどこにだせばいいですか？

**root ★** · 04/05/04 05:19

もうねなきゃ。

しかし、暴論を承知で言うと、
２ちゃんねるの全体の1割がmorningcoffeeでできているのか、、、。

◆BFzK/mtqM2 · 04/05/04 05:22

>>111
たしかに。。。。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 05:23

>>110
削除整理
http://qb2.2ch.net/saku/

**FOX ★** · 04/05/04 05:54

まずは一定間隔おきにデータ取りの感じでやってみますか

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 05:58

http://stats.2ch.net/

なんか切なくなって、夜中に泣き叫びそうになるので、
「実験中」とか書いてやって下さい・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 05:59

いやそれどころじゃないし(；´∀｀)･･

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 06:02

んじゃ「実験中毒」で。

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/04 07:47

>>60,62の情報を反映しました。
http://info.2ch.net/wiki/pukiwiki.php?%C1%B4%C8%AF%B8%C0%C5%FD%B7%D7%BC%E8%C6%C0%BA%EE%C0%EF

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/04 07:51

連投スマソです。

>>111
もしそうならば、●による書き込み規制を
morningcoffeeにいれるだけで以下の可能性が予想できますなｗ

・書き込みたいがゆえに●が馬鹿売れ
・該当板の書き込みが減少
・該当板が廃れる
・その他の事象が発生

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 08:05

>119
　・その他の事象が発生
に
(´･ω･´)ﾉ〓　100ｵﾚｵ

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 11:18

わーい、新しいおもちゃだー

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 11:20

http://dra.zive.net/gao/

何でか差が大きい。(gao:6000超え雀:2000超え)
うちのバグかな。。。

**▲ 某ソレ511＠ちょっと酔ってるみたい** · 04/05/04 11:25

>>60から集計し始めたからじゃないかな？
つまり0時～3時まではすずめではカウントされてないとか

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 11:31

お、なるほど。
本日稼動開始だったのか（ｗ

さすが、▲持ちですねー。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 11:50

IPアドレスをデータに含めると、板別人口ランキングが分かる。
IPアドレスは繋ぎ変え等で変わるが、統計的に見れば人口とほぼ比例するはず。

板の常駐率みたいなのも分かるかも。
常駐率＝発言数/IPアドレス数　のように求める。

**▲ 某ソレ511** · 04/05/04 13:00

あとすずめに出てこないのはsports2上の5板と
2ch規制情報[sec2ch]なので漏れはなさそうですね。

>>125
いちおうsamba24でクリアされた時間ごとのIPアドレスの数っていうデータはあるけどねぇ、
カウントされるのがどういう基準なのかよく分からないからなぁ
http://etc.2ch.net/_service/IPnum-2004-5-4.txt

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 13:30

引きこもりランキングだなあ

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 14:25

板が23あるgame6より板が1つのtv5が多いっつうのも

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 14:47

morningcoffee＞game6全部＞＞（越えられない壁）＞＞その他

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 14:51

実況板の書き込み数がたいしたことないなと思ったが、
あそこはゴールデンタイムにならないと上がってこないか

つーか、モー板には時間は関係ないのねｗ

_ · 04/05/04 15:34

要望:

ちゃっかりカウンター(http://count.2ch.net/?operate)のように、
昨日のデータを保存するようにして下さい

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 17:14

> 58 www.hobby4 1
> 59 www.that2 1

これってなんですか？

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 17:35

http://www.hobby4.2ch.net/
とかで書き込んでる人が居るんじゃないですけー

**▲ 某ソレ511** · 04/05/04 18:08

なんかlive系の板だけ、書き込み数が3分の1くらいになってる気がする。。
（スレッドランキングの「過去6時間の投稿数」より少ないのはどうかと
http://www6.big.or.jp/~beyond/bbsnews/bbs-post-6h.html）
あと、フジテレビ板を見てきたら朝の10時から本スレを少なくとも10本は使ってるっぽいのに
すずめで見れるレス数が5000程度だったりするしなぁ、

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 18:11

>132
http://鯖名.2ch.net/板名/ と http://www.鯖名.2ch.net/板名/ は同一だったような。

**FOX ★** · 04/05/04 18:12

処理の入り口部分で www. を取らなきゃね

**root ★** · 04/05/04 18:29

>>134
ネガティブキャッシュが動いてしまっているのかも。

一応ネガティブキャッシュが効かないようにはしてあるつもりだけど(SOA TTL=0)
うまくいってないのかな。

キャッシュが効いてしまうと、全く同じ問い合わせだとDNSに聞きに来てくれないんで。

避けるためには、何かランダムな文字列を一つ付与するようにしてもらえるとうれしいかも。
つまり、

> 発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net をlook up

を、

毎回変わるランダム文字列.発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net

とかにするということです。

**root ★** · 04/05/04 18:33

今自宅で試しました。ううむ、どうも>>137みたいだなぁ。

つまり、全く同じバイト数で全く同じスレッドに発言すると、とられないことになる。

ランダム文字列じゃなくて、>>105みたいに時間でとってもいいかも。
ただし秒単位ではたぶんだめで、もっと細かいやつ。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 18:33

投稿者のIP.発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/04 18:34

>>137

unixtime.bytes.theadkey.boardname.servername.cginame.BBS.2ch.net

でどうでしょう。

**root ★** · 04/05/04 18:35

>>140
というわけで、秒より細かいのを入れないと。
Perlだとどうやってとるんでしたっけ。

※ ◆baila6uPTo · 04/05/04 18:35

「発言番号」ってのはうまくいくのかな？

※ ◆baila6uPTo · 04/05/04 18:36

>>141
use Time:HiRes;
標準では入っていないかもです（泪）

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/04 18:37

>>140
あうすれ違いですた、スマソ。

たしかに秒単位じゃあliveあたりはきついですね。
unixtime@$RAND.～などとしてみますか？

$RAND=4文字程度のランダム文字

**▲ 某ソレ511** · 04/05/04 18:38

なるほど、、どーりで他の板も微妙に少ない気がしたんだよなぁ、
って、この処理っておそらくcgiの一番最後でやってるんですよね？
だったら>>142でもいい気がする

※ ◆baila6uPTo · 04/05/04 18:39

あ、$$（プロセスIDを格納しているスカラー変数）だと被りにくいかもですね(^-^)

**root ★** · 04/05/04 18:40

これでいいのかな。

$uniqid = time . "." . $$;

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 18:40

>>146
ＧＡの予感。

unixtime$$.bytes.theadkey.boardname.servername.cginame.BBS.2ch.net

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/04 18:42

また名前入れ忘れた上に、GAじゃなくてGIだったし　orz

逝ってきます。

※ ◆baila6uPTo · 04/05/04 18:42

>>147
個人的には、
$uniqid = sprintf qq|%d.%d|, time, $$;
(^-^;)

**root ★** · 04/05/04 18:43

>>150
なるほどです。
私はPerl初心者なんで。

**root ★** · 04/05/04 18:45

で、live系がなぜ特に少なくなったかというと、みんなで同じバイト数の発言を同じスレでしてるからか。

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/04 18:47

逝ってきました。

>>152

ｷﾀ━━━!!

とかのオンパレードですからねえ。

※ ◆baila6uPTo · 04/05/04 18:47

>>150
でもって無精だから、、、
gethostbyname sprintf qq|%d.%d.%d.%d.%s.%s.%s.bbs.2ch.net|,
　time, # epoctime
　$$, # PID
　length $FORM{message}, # 長さ
　$FORM{key}, # datナンバ
　$FORM{bbs}, # bbs名
　$ENV{HTTP_HOST}, # 鯖名
　$ENV{SCRIPT_URI}; # cgi名
(^ｰ^;;;)

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 18:48

すれ違いしまそ

319 名前：動け動けウゴウゴ２ちゃんねる [sage] 投稿日： 04/05/04 18:46 ID:vM82bvmg
oyster244落ちました。

2ch鯖監視所
http://users72.psychedance.com/

なので、よろしくお願いします

**ぼるじょあ** ◆yBEncckFOU · 04/05/04 18:57

>>152
（*・３・）　エェー　そういう仕組みなのか・・・・

**FOX ★** · 04/05/04 19:11

>>141

C で書いてたりして、
Perl よくわかんないし

04/05/04 19:31

PHPはよくわかるけど、
Perl よくわからないってところは同じだな。

**FOX ★** · 04/05/04 19:34

なにぼけたこと言ってるんだ　>>157

bba.cgi は　Perl でしょ

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 19:37

>>157
>>159
FOX ★の中の人が入れ替わった━━━━ヽ(ﾟ∀ﾟ )ﾉ━━━━!!!!

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 19:38

bba.cgi

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 19:42

む、新型か。

**FOX ★** · 04/05/04 19:42

time.$$.bytes. -----

にした。

peko サーバコンパイルお願いしますー

◆BFzK/mtqM2 · 04/05/04 19:56

>>157
>>159
誰も突っ込まなかったんで、自分で突っ込みを入れたのかな？

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 19:58

★の自作自演が見られるスレはここですか？

**FOX ★** · 04/05/04 20:04

この時間ってのも作ってみるか、

今はまだ試行錯誤の段階ですので

あら捜し、アイデア出しって事で

04/05/04 20:06

投稿バイト数の合計まだー？

**外野ｧｧﾝ** · 04/05/04 20:13

基本の部分が完成されてしまえばアウトプットの形はいろんな人がそれぞれ作ってくれるのではないかと

**FOX ★** · 04/05/04 20:14

http://stats.2ch.net/tonbi.cgi

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 20:16

おおっ、時間単位の発言数だ
まぁ、トップは今お祭り騒ぎだからなぁっと言っても野球すら超えてるとはｗ

◆BFzK/mtqM2 · 04/05/04 20:22

>>166
この時間とは、どの時間？

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 20:22

>>169
とんびを見ると、
プロ野球板baseで実況しているのが、
わかるねぇ・・・

**▲ 某ソレ511** · 04/05/04 20:24

ところで、バイト数や鯖名がたまに紛れ込んでますが、
これはすぐになおるかな、

>>172
いやあの、デーゲームだった試合も3試合ほどありますよ、、
とは言っても確かに実況してそうなスレはありますがね、

**FOX ★** · 04/05/04 20:24

データを蓄積していく上で必要なのは

毎日　0:01 に呼ばれる処理　(一日の集計 & お掃除)
毎時　N:01 に呼ばれる処理
N分毎に呼ばれる処理

この三つかしら、(これらはPerlで書くか、)

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 20:25

どのくらいの時間の集計なんだろ？＞とんび
baseは実況かな？

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 20:26

>>173
何度か見てみると実況してるのがよく分かる。

**FOX ★** · 04/05/04 20:26

>>173
データ形式を変更したので・・・

お掃除しました

4649 575 801
のデータもしっかり消えてしまった。

**root ★** · 04/05/04 20:29

>>163
done.

**▲ 某ソレ511** · 04/05/04 20:36

>>176
いや、してるって分かるけどね、審判スレとか劇場スレとか。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 20:39

>169
とんびのこの時間って、過去何分ですか？

それとは別に、要望としては過去１０分の投稿数＋投稿ＩＰ数キボン。

**root ★** · 04/05/04 20:43

というわけでフォーマットが変わったので、
Wikiのほうを更新いただけると。

@40000000409781ca359406bc 26729091:3c1e:db37 + 0001 1083670976.63248.21.1083670501.livebase.live12.2ch.net.bbs.bbs.2ch.net
@40000000409781ca382279cc d8dad9b3:e038:b61a + 0001 1083670975.754.62.1081403915.siki.hobby3.2ch.net.bbs.bbs.2ch.net
@40000000409781ca38a8824c 26729091:77ae:3372 + 0001 1083670976.63238.76.1083670763.livebase.live12.2ch.net.bbs.bbs.2ch.net
@40000000409781ca3aeab9bc 267289eb:50df:8729 + 0001 1083670976.56043.129.1083670787.liveanb.live8.2ch.net.bbs.bbs.2ch.net
@40000000409781cb002bcce4 267289e9:468b:e816 + 0001 1083670976.45872.38.1083668481.livecx.live10.2ch.net.bbs.bbs.2ch.net
@40000000409781cb01b0e25c d8dad9b3:2020:f4fe + 0001 1083670976.20567.16.1083196120.football.sports4.2ch.net.bbs.bbs.2ch.net

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:01

あ、クリアされましたね。

**▲ 某ソレ511** · 04/05/04 21:02

クリアされたけどうまく切り替わってないみたいね、

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:02

この時間の発言数 95,709 (2004/05/04 20:59:40 現在)
この時間の発言数 0 (2004/05/04 21:00:08 現在)
この時間の発言数 0 (2004/05/04 21:02:08 現在)

クリアされて２分、発言０。ありえない～

**FOX ★** · 04/05/04 21:04

毎回時間取得しなきゃだめなのかー

つまり毎回呼ばれるんじゃなく
ずーと常駐していると、

なおしてきますー

**root ★** · 04/05/04 21:06

>>185
bbyと違って毎回呼び出すようにするとコストがとても高くなるので
(何せ全サーバのbbs.cgi起動数分)、
パイプ型でずっと常駐するように設定してますです。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:06

激減

**FOX ★** · 04/05/04 21:07

>>186
了解ですー

毎回時刻とるように改造したつもり

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:08

クリアされてからすぐの時間だと、
伸びっぷりがよーくわかってほそろしいですねぇ。

**FOX ★** · 04/05/04 21:13

なんか落ちているような。。。

◆QANoNotan. · 04/05/04 21:14

嫌われてるのかと思った

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:14

そんな気が・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:14

落ちてるみたいです。

**root ★** · 04/05/04 21:15

>>190
しょっちゅうネットワーク詰まるです。昨日も詰まりました。
例のHE問題と思われ。

**FOX ★** · 04/05/04 21:16

なんだ便秘か、

**root ★** · 04/05/04 21:16

上がったかな。マシンは落ちてないすね。

%uptime
5:15AM up 15:44, 2 users, load averages: 0.05, 0.06, 0.06

**FOX ★** · 04/05/04 21:20

この数値の跳ね上がりは
誰かがどこかの段階で自動的にリトライかけるからですかねぇ

書き込む人もリトライするし・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:24

１０分くらいリロードしないと、総発言数が万単位で増えているのが、怖いよなぁ。
ＧＷのゴールデンタイムだから？
ついでに、baseの増え方みていると、とも子入れられないか、よけいな心配してみたり。

**▲ 某ソレ511** · 04/05/04 21:29

この時間は秒速25レスくらい(1分で1500レス相当)ついてるね。

※ ◆baila6uPTo · 04/05/04 21:30

そして常に最下位な板は自然消滅するｶﾞｸﾌﾞﾙ