【野鳥の会】 BBS.2ch.net 全発言統計の巻 part1

**FOX ★** · 04/05/03 04:30

２ちゃんねるの全発言の統計を取ろうに挑戦

bbs.cgi に一個DNS問い合わせの処理を追加
発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net をlook up
この方法でやるとかなり低コストで出来る予感。

まずは現在空いている oyster138(旧game5)ではじめてみよう計画

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/04 07:47

>>60,62の情報を反映しました。
http://info.2ch.net/wiki/pukiwiki.php?%C1%B4%C8%AF%B8%C0%C5%FD%B7%D7%BC%E8%C6%C0%BA%EE%C0%EF

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/04 07:51

連投スマソです。

>>111
もしそうならば、●による書き込み規制を
morningcoffeeにいれるだけで以下の可能性が予想できますなｗ

・書き込みたいがゆえに●が馬鹿売れ
・該当板の書き込みが減少
・該当板が廃れる
・その他の事象が発生

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 08:05

>119
　・その他の事象が発生
に
(´･ω･´)ﾉ〓　100ｵﾚｵ

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 11:18

わーい、新しいおもちゃだー

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 11:20

http://dra.zive.net/gao/

何でか差が大きい。(gao:6000超え雀:2000超え)
うちのバグかな。。。

**▲ 某ソレ511＠ちょっと酔ってるみたい** · 04/05/04 11:25

>>60から集計し始めたからじゃないかな？
つまり0時～3時まではすずめではカウントされてないとか

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 11:31

お、なるほど。
本日稼動開始だったのか（ｗ

さすが、▲持ちですねー。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 11:50

IPアドレスをデータに含めると、板別人口ランキングが分かる。
IPアドレスは繋ぎ変え等で変わるが、統計的に見れば人口とほぼ比例するはず。

板の常駐率みたいなのも分かるかも。
常駐率＝発言数/IPアドレス数　のように求める。

**▲ 某ソレ511** · 04/05/04 13:00

あとすずめに出てこないのはsports2上の5板と
2ch規制情報[sec2ch]なので漏れはなさそうですね。

>>125
いちおうsamba24でクリアされた時間ごとのIPアドレスの数っていうデータはあるけどねぇ、
カウントされるのがどういう基準なのかよく分からないからなぁ
http://etc.2ch.net/_service/IPnum-2004-5-4.txt

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 13:30

引きこもりランキングだなあ

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 14:25

板が23あるgame6より板が1つのtv5が多いっつうのも

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 14:47

morningcoffee＞game6全部＞＞（越えられない壁）＞＞その他

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 14:51

実況板の書き込み数がたいしたことないなと思ったが、
あそこはゴールデンタイムにならないと上がってこないか

つーか、モー板には時間は関係ないのねｗ

_ · 04/05/04 15:34

要望:

ちゃっかりカウンター(http://count.2ch.net/?operate)のように、
昨日のデータを保存するようにして下さい

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 17:14

> 58 www.hobby4 1
> 59 www.that2 1

これってなんですか？

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 17:35

http://www.hobby4.2ch.net/
とかで書き込んでる人が居るんじゃないですけー

**▲ 某ソレ511** · 04/05/04 18:08

なんかlive系の板だけ、書き込み数が3分の1くらいになってる気がする。。
（スレッドランキングの「過去6時間の投稿数」より少ないのはどうかと
http://www6.big.or.jp/~beyond/bbsnews/bbs-post-6h.html）
あと、フジテレビ板を見てきたら朝の10時から本スレを少なくとも10本は使ってるっぽいのに
すずめで見れるレス数が5000程度だったりするしなぁ、

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 18:11

>132
http://鯖名.2ch.net/板名/ と http://www.鯖名.2ch.net/板名/ は同一だったような。

**FOX ★** · 04/05/04 18:12

処理の入り口部分で www. を取らなきゃね

**root ★** · 04/05/04 18:29

>>134
ネガティブキャッシュが動いてしまっているのかも。

一応ネガティブキャッシュが効かないようにはしてあるつもりだけど(SOA TTL=0)
うまくいってないのかな。

キャッシュが効いてしまうと、全く同じ問い合わせだとDNSに聞きに来てくれないんで。

避けるためには、何かランダムな文字列を一つ付与するようにしてもらえるとうれしいかも。
つまり、

> 発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net をlook up

を、

毎回変わるランダム文字列.発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net

とかにするということです。

**root ★** · 04/05/04 18:33

今自宅で試しました。ううむ、どうも>>137みたいだなぁ。

つまり、全く同じバイト数で全く同じスレッドに発言すると、とられないことになる。

ランダム文字列じゃなくて、>>105みたいに時間でとってもいいかも。
ただし秒単位ではたぶんだめで、もっと細かいやつ。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 18:33

投稿者のIP.発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/04 18:34

>>137

unixtime.bytes.theadkey.boardname.servername.cginame.BBS.2ch.net

でどうでしょう。

**root ★** · 04/05/04 18:35

>>140
というわけで、秒より細かいのを入れないと。
Perlだとどうやってとるんでしたっけ。

※ ◆baila6uPTo · 04/05/04 18:35

「発言番号」ってのはうまくいくのかな？

※ ◆baila6uPTo · 04/05/04 18:36

>>141
use Time:HiRes;
標準では入っていないかもです（泪）

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/04 18:37

>>140
あうすれ違いですた、スマソ。

たしかに秒単位じゃあliveあたりはきついですね。
unixtime@$RAND.～などとしてみますか？

$RAND=4文字程度のランダム文字

**▲ 某ソレ511** · 04/05/04 18:38

なるほど、、どーりで他の板も微妙に少ない気がしたんだよなぁ、
って、この処理っておそらくcgiの一番最後でやってるんですよね？
だったら>>142でもいい気がする

※ ◆baila6uPTo · 04/05/04 18:39

あ、$$（プロセスIDを格納しているスカラー変数）だと被りにくいかもですね(^-^)

**root ★** · 04/05/04 18:40

これでいいのかな。

$uniqid = time . "." . $$;

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 18:40

>>146
ＧＡの予感。

unixtime$$.bytes.theadkey.boardname.servername.cginame.BBS.2ch.net

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/04 18:42

また名前入れ忘れた上に、GAじゃなくてGIだったし　orz

逝ってきます。

※ ◆baila6uPTo · 04/05/04 18:42

>>147
個人的には、
$uniqid = sprintf qq|%d.%d|, time, $$;
(^-^;)

**root ★** · 04/05/04 18:43

>>150
なるほどです。
私はPerl初心者なんで。

**root ★** · 04/05/04 18:45

で、live系がなぜ特に少なくなったかというと、みんなで同じバイト数の発言を同じスレでしてるからか。

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/04 18:47

逝ってきました。

>>152

ｷﾀ━━━!!

とかのオンパレードですからねえ。

※ ◆baila6uPTo · 04/05/04 18:47

>>150
でもって無精だから、、、
gethostbyname sprintf qq|%d.%d.%d.%d.%s.%s.%s.bbs.2ch.net|,
　time, # epoctime
　$$, # PID
　length $FORM{message}, # 長さ
　$FORM{key}, # datナンバ
　$FORM{bbs}, # bbs名
　$ENV{HTTP_HOST}, # 鯖名
　$ENV{SCRIPT_URI}; # cgi名
(^ｰ^;;;)

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 18:48

すれ違いしまそ

319 名前：動け動けウゴウゴ２ちゃんねる [sage] 投稿日： 04/05/04 18:46 ID:vM82bvmg
oyster244落ちました。

2ch鯖監視所
http://users72.psychedance.com/

なので、よろしくお願いします

**ぼるじょあ** ◆yBEncckFOU · 04/05/04 18:57

>>152
（*・３・）　エェー　そういう仕組みなのか・・・・

**FOX ★** · 04/05/04 19:11

>>141

C で書いてたりして、
Perl よくわかんないし

04/05/04 19:31

PHPはよくわかるけど、
Perl よくわからないってところは同じだな。

**FOX ★** · 04/05/04 19:34

なにぼけたこと言ってるんだ　>>157

bba.cgi は　Perl でしょ

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 19:37

>>157
>>159
FOX ★の中の人が入れ替わった━━━━ヽ(ﾟ∀ﾟ )ﾉ━━━━!!!!

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 19:38

bba.cgi

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 19:42

む、新型か。

**FOX ★** · 04/05/04 19:42

time.$$.bytes. -----

にした。

peko サーバコンパイルお願いしますー

◆BFzK/mtqM2 · 04/05/04 19:56

>>157
>>159
誰も突っ込まなかったんで、自分で突っ込みを入れたのかな？

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 19:58

★の自作自演が見られるスレはここですか？

**FOX ★** · 04/05/04 20:04

この時間ってのも作ってみるか、

今はまだ試行錯誤の段階ですので

あら捜し、アイデア出しって事で

04/05/04 20:06

投稿バイト数の合計まだー？

**外野ｧｧﾝ** · 04/05/04 20:13

基本の部分が完成されてしまえばアウトプットの形はいろんな人がそれぞれ作ってくれるのではないかと

**FOX ★** · 04/05/04 20:14

http://stats.2ch.net/tonbi.cgi

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 20:16

おおっ、時間単位の発言数だ
まぁ、トップは今お祭り騒ぎだからなぁっと言っても野球すら超えてるとはｗ

◆BFzK/mtqM2 · 04/05/04 20:22

>>166
この時間とは、どの時間？

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 20:22

>>169
とんびを見ると、
プロ野球板baseで実況しているのが、
わかるねぇ・・・

**▲ 某ソレ511** · 04/05/04 20:24

ところで、バイト数や鯖名がたまに紛れ込んでますが、
これはすぐになおるかな、

>>172
いやあの、デーゲームだった試合も3試合ほどありますよ、、
とは言っても確かに実況してそうなスレはありますがね、

**FOX ★** · 04/05/04 20:24

データを蓄積していく上で必要なのは

毎日　0:01 に呼ばれる処理　(一日の集計 & お掃除)
毎時　N:01 に呼ばれる処理
N分毎に呼ばれる処理

この三つかしら、(これらはPerlで書くか、)

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 20:25

どのくらいの時間の集計なんだろ？＞とんび
baseは実況かな？

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 20:26

>>173
何度か見てみると実況してるのがよく分かる。

**FOX ★** · 04/05/04 20:26

>>173
データ形式を変更したので・・・

お掃除しました

4649 575 801
のデータもしっかり消えてしまった。

**root ★** · 04/05/04 20:29

>>163
done.

**▲ 某ソレ511** · 04/05/04 20:36

>>176
いや、してるって分かるけどね、審判スレとか劇場スレとか。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 20:39

>169
とんびのこの時間って、過去何分ですか？

それとは別に、要望としては過去１０分の投稿数＋投稿ＩＰ数キボン。

**root ★** · 04/05/04 20:43

というわけでフォーマットが変わったので、
Wikiのほうを更新いただけると。

@40000000409781ca359406bc 26729091:3c1e:db37 + 0001 1083670976.63248.21.1083670501.livebase.live12.2ch.net.bbs.bbs.2ch.net
@40000000409781ca382279cc d8dad9b3:e038:b61a + 0001 1083670975.754.62.1081403915.siki.hobby3.2ch.net.bbs.bbs.2ch.net
@40000000409781ca38a8824c 26729091:77ae:3372 + 0001 1083670976.63238.76.1083670763.livebase.live12.2ch.net.bbs.bbs.2ch.net
@40000000409781ca3aeab9bc 267289eb:50df:8729 + 0001 1083670976.56043.129.1083670787.liveanb.live8.2ch.net.bbs.bbs.2ch.net
@40000000409781cb002bcce4 267289e9:468b:e816 + 0001 1083670976.45872.38.1083668481.livecx.live10.2ch.net.bbs.bbs.2ch.net
@40000000409781cb01b0e25c d8dad9b3:2020:f4fe + 0001 1083670976.20567.16.1083196120.football.sports4.2ch.net.bbs.bbs.2ch.net

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:01

あ、クリアされましたね。

**▲ 某ソレ511** · 04/05/04 21:02

クリアされたけどうまく切り替わってないみたいね、

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:02

この時間の発言数 95,709 (2004/05/04 20:59:40 現在)
この時間の発言数 0 (2004/05/04 21:00:08 現在)
この時間の発言数 0 (2004/05/04 21:02:08 現在)

クリアされて２分、発言０。ありえない～

**FOX ★** · 04/05/04 21:04

毎回時間取得しなきゃだめなのかー

つまり毎回呼ばれるんじゃなく
ずーと常駐していると、

なおしてきますー

**root ★** · 04/05/04 21:06

>>185
bbyと違って毎回呼び出すようにするとコストがとても高くなるので
(何せ全サーバのbbs.cgi起動数分)、
パイプ型でずっと常駐するように設定してますです。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:06

激減

**FOX ★** · 04/05/04 21:07

>>186
了解ですー

毎回時刻とるように改造したつもり

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:08

クリアされてからすぐの時間だと、
伸びっぷりがよーくわかってほそろしいですねぇ。

**FOX ★** · 04/05/04 21:13

なんか落ちているような。。。

◆QANoNotan. · 04/05/04 21:14

嫌われてるのかと思った

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:14

そんな気が・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:14

落ちてるみたいです。

**root ★** · 04/05/04 21:15

>>190
しょっちゅうネットワーク詰まるです。昨日も詰まりました。
例のHE問題と思われ。

**FOX ★** · 04/05/04 21:16

なんだ便秘か、

**root ★** · 04/05/04 21:16

上がったかな。マシンは落ちてないすね。

%uptime
5:15AM up 15:44, 2 users, load averages: 0.05, 0.06, 0.06

**FOX ★** · 04/05/04 21:20

この数値の跳ね上がりは
誰かがどこかの段階で自動的にリトライかけるからですかねぇ

書き込む人もリトライするし・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:24

１０分くらいリロードしないと、総発言数が万単位で増えているのが、怖いよなぁ。
ＧＷのゴールデンタイムだから？
ついでに、baseの増え方みていると、とも子入れられないか、よけいな心配してみたり。

**▲ 某ソレ511** · 04/05/04 21:29

この時間は秒速25レスくらい(1分で1500レス相当)ついてるね。

※ ◆baila6uPTo · 04/05/04 21:30

そして常に最下位な板は自然消滅するｶﾞｸﾌﾞﾙ

**FOX ★** · 04/05/04 21:30

>>186
ふむふむ
ということは、今一番書き込まれているスレッドのランキング等は
どうせ使い捨てだからオンメモリーでやっちゃえばいいのか、

20 位くらいまであればいいですよね?
live あり版となし版くらいにわけて

**root ★** · 04/05/04 21:30

落ち着いたら、サーバ別あたりをグラフにとってみようかなと。
うまくできるようなら、bbs.cgi起動数は各サーバでとる必要がなくなるということで。

04/05/04 21:31

どでもいいけど、総バイト数は何処へ・・・。

あと、HTMLデザインももにょもにょ・・・。

**▲ 某ソレ511** · 04/05/04 21:38

>>200
最近過疎板のさらなる過疎化（レス数の減少）が進んでるっぽいんですよね、
あと、レス数が少ない板としては、規制情報を別にすれば
ダントツにグッズリスト板が少ないですねぇ。
他の板は1週間に少なくとも100レスはついてるのにグッズリスト板は
1週間に20～30レス前後という、、

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:42

>204
そういう過疎板なんですけど板のしての役目は終わったんじゃないかと思います。
ＰＩＥへ本格引っ越し前に板の見直し等やった方がいいんじゃないかと思われ

**▲ 某ソレ511** · 04/05/04 21:52

>>205
2ちゃんねるガイドからして「人が少ないから」という理由での閉鎖は却下ですから。
住人からの要請があった場合は別かもしれないけどそこには手をつけないほうがいいかと。
>>203
HTMLデザインを作って送ってみるとか（素

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:55

newsplusの他にnews5ってありますね。
ゴミ箱かなにか？

**▲ 某ソレ511** · 04/05/04 21:56

>>207
イスラム情勢
http://news10.2ch.net/news5/

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:59

>>208
おおぉ、そうだったのかー。ありがとうございます（ﾃﾚ

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 22:00

また落ちてる？

>206
うーん、ｆｏｎｔ－ｓｉｚｅ：２５０－順位÷３（端数切り捨て）％

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 22:12

特化係数を出してくれないか？
ランキングだけ見せられてもようわからん。

特化係数＝（（短期間のある板の書き込み数）／（短期間の全体の書き込み数））／（（長期間のある板の書き込み数）／（長期間の全体の書き込み数））

これをやるとどこで特徴的に書き込み数多いかわかるはず。
わり算を使っているから過疎板だと過敏に反応しそうだけど。

**名無しお兄ちゃん……大好きv** ◆XB8eKarenE · 04/05/04 22:26

すずめの本日の発言数、
百万のところのカンマが抜けてますー

>>210
450位でようやく100％……大きすぎでは？
というか、今でも800x600でウェブ見てる人も居るんで見放さないでくだちい。。。

>>211
何の特化係数ですか？
短期間＝5分くらい＆長期間＝1週間くらいにすると、
祭りがどこで起きてるのかの判定には使えそうですけど……。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 22:37

りんちゃん？

**ぼるじょあ** ◆yBEncckFOU · 04/05/04 23:41

おー
やっぱのべ100万いくのかぁ　

一割はアレだけどne

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 23:43

また、便秘になったみたい・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 00:15

1分間で約1700の発言。
今の時間にそれ以上の人がPCに向かって2chやってるわけだ

**FOX ★** · 04/05/05 00:26

http://stats.2ch.net/tubame.cgi

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 00:27

>>217
すばらしいぃ・・・