【野鳥の会】 BBS.2ch.net 全発言統計の巻 part1

**FOX ★** · 04/05/03 04:30

２ちゃんねるの全発言の統計を取ろうに挑戦

bbs.cgi に一個DNS問い合わせの処理を追加
発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net をlook up
この方法でやるとかなり低コストで出来る予感。

まずは現在空いている oyster138(旧game5)ではじめてみよう計画

04/05/04 20:06

投稿バイト数の合計まだー？

**外野ｧｧﾝ** · 04/05/04 20:13

基本の部分が完成されてしまえばアウトプットの形はいろんな人がそれぞれ作ってくれるのではないかと

**FOX ★** · 04/05/04 20:14

http://stats.2ch.net/tonbi.cgi

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 20:16

おおっ、時間単位の発言数だ
まぁ、トップは今お祭り騒ぎだからなぁっと言っても野球すら超えてるとはｗ

◆BFzK/mtqM2 · 04/05/04 20:22

>>166
この時間とは、どの時間？

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 20:22

>>169
とんびを見ると、
プロ野球板baseで実況しているのが、
わかるねぇ・・・

**▲ 某ソレ511** · 04/05/04 20:24

ところで、バイト数や鯖名がたまに紛れ込んでますが、
これはすぐになおるかな、

>>172
いやあの、デーゲームだった試合も3試合ほどありますよ、、
とは言っても確かに実況してそうなスレはありますがね、

**FOX ★** · 04/05/04 20:24

データを蓄積していく上で必要なのは

毎日　0:01 に呼ばれる処理　(一日の集計 & お掃除)
毎時　N:01 に呼ばれる処理
N分毎に呼ばれる処理

この三つかしら、(これらはPerlで書くか、)

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 20:25

どのくらいの時間の集計なんだろ？＞とんび
baseは実況かな？

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 20:26

>>173
何度か見てみると実況してるのがよく分かる。

**FOX ★** · 04/05/04 20:26

>>173
データ形式を変更したので・・・

お掃除しました

4649 575 801
のデータもしっかり消えてしまった。

**root ★** · 04/05/04 20:29

>>163
done.

**▲ 某ソレ511** · 04/05/04 20:36

>>176
いや、してるって分かるけどね、審判スレとか劇場スレとか。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 20:39

>169
とんびのこの時間って、過去何分ですか？

それとは別に、要望としては過去１０分の投稿数＋投稿ＩＰ数キボン。

**root ★** · 04/05/04 20:43

というわけでフォーマットが変わったので、
Wikiのほうを更新いただけると。

@40000000409781ca359406bc 26729091:3c1e:db37 + 0001 1083670976.63248.21.1083670501.livebase.live12.2ch.net.bbs.bbs.2ch.net
@40000000409781ca382279cc d8dad9b3:e038:b61a + 0001 1083670975.754.62.1081403915.siki.hobby3.2ch.net.bbs.bbs.2ch.net
@40000000409781ca38a8824c 26729091:77ae:3372 + 0001 1083670976.63238.76.1083670763.livebase.live12.2ch.net.bbs.bbs.2ch.net
@40000000409781ca3aeab9bc 267289eb:50df:8729 + 0001 1083670976.56043.129.1083670787.liveanb.live8.2ch.net.bbs.bbs.2ch.net
@40000000409781cb002bcce4 267289e9:468b:e816 + 0001 1083670976.45872.38.1083668481.livecx.live10.2ch.net.bbs.bbs.2ch.net
@40000000409781cb01b0e25c d8dad9b3:2020:f4fe + 0001 1083670976.20567.16.1083196120.football.sports4.2ch.net.bbs.bbs.2ch.net

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:01

あ、クリアされましたね。

**▲ 某ソレ511** · 04/05/04 21:02

クリアされたけどうまく切り替わってないみたいね、

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:02

この時間の発言数 95,709 (2004/05/04 20:59:40 現在)
この時間の発言数 0 (2004/05/04 21:00:08 現在)
この時間の発言数 0 (2004/05/04 21:02:08 現在)

クリアされて２分、発言０。ありえない～

**FOX ★** · 04/05/04 21:04

毎回時間取得しなきゃだめなのかー

つまり毎回呼ばれるんじゃなく
ずーと常駐していると、

なおしてきますー

**root ★** · 04/05/04 21:06

>>185
bbyと違って毎回呼び出すようにするとコストがとても高くなるので
(何せ全サーバのbbs.cgi起動数分)、
パイプ型でずっと常駐するように設定してますです。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:06

激減

**FOX ★** · 04/05/04 21:07

>>186
了解ですー

毎回時刻とるように改造したつもり

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:08

クリアされてからすぐの時間だと、
伸びっぷりがよーくわかってほそろしいですねぇ。

**FOX ★** · 04/05/04 21:13

なんか落ちているような。。。

◆QANoNotan. · 04/05/04 21:14

嫌われてるのかと思った

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:14

そんな気が・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:14

落ちてるみたいです。

**root ★** · 04/05/04 21:15

>>190
しょっちゅうネットワーク詰まるです。昨日も詰まりました。
例のHE問題と思われ。

**FOX ★** · 04/05/04 21:16

なんだ便秘か、

**root ★** · 04/05/04 21:16

上がったかな。マシンは落ちてないすね。

%uptime
5:15AM up 15:44, 2 users, load averages: 0.05, 0.06, 0.06

**FOX ★** · 04/05/04 21:20

この数値の跳ね上がりは
誰かがどこかの段階で自動的にリトライかけるからですかねぇ

書き込む人もリトライするし・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:24

１０分くらいリロードしないと、総発言数が万単位で増えているのが、怖いよなぁ。
ＧＷのゴールデンタイムだから？
ついでに、baseの増え方みていると、とも子入れられないか、よけいな心配してみたり。

**▲ 某ソレ511** · 04/05/04 21:29

この時間は秒速25レスくらい(1分で1500レス相当)ついてるね。

※ ◆baila6uPTo · 04/05/04 21:30

そして常に最下位な板は自然消滅するｶﾞｸﾌﾞﾙ

**FOX ★** · 04/05/04 21:30

>>186
ふむふむ
ということは、今一番書き込まれているスレッドのランキング等は
どうせ使い捨てだからオンメモリーでやっちゃえばいいのか、

20 位くらいまであればいいですよね?
live あり版となし版くらいにわけて

**root ★** · 04/05/04 21:30

落ち着いたら、サーバ別あたりをグラフにとってみようかなと。
うまくできるようなら、bbs.cgi起動数は各サーバでとる必要がなくなるということで。

04/05/04 21:31

どでもいいけど、総バイト数は何処へ・・・。

あと、HTMLデザインももにょもにょ・・・。

**▲ 某ソレ511** · 04/05/04 21:38

>>200
最近過疎板のさらなる過疎化（レス数の減少）が進んでるっぽいんですよね、
あと、レス数が少ない板としては、規制情報を別にすれば
ダントツにグッズリスト板が少ないですねぇ。
他の板は1週間に少なくとも100レスはついてるのにグッズリスト板は
1週間に20～30レス前後という、、

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:42

>204
そういう過疎板なんですけど板のしての役目は終わったんじゃないかと思います。
ＰＩＥへ本格引っ越し前に板の見直し等やった方がいいんじゃないかと思われ

**▲ 某ソレ511** · 04/05/04 21:52

>>205
2ちゃんねるガイドからして「人が少ないから」という理由での閉鎖は却下ですから。
住人からの要請があった場合は別かもしれないけどそこには手をつけないほうがいいかと。
>>203
HTMLデザインを作って送ってみるとか（素

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:55

newsplusの他にnews5ってありますね。
ゴミ箱かなにか？

**▲ 某ソレ511** · 04/05/04 21:56

>>207
イスラム情勢
http://news10.2ch.net/news5/

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:59

>>208
おおぉ、そうだったのかー。ありがとうございます（ﾃﾚ

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 22:00

また落ちてる？

>206
うーん、ｆｏｎｔ－ｓｉｚｅ：２５０－順位÷３（端数切り捨て）％

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 22:12

特化係数を出してくれないか？
ランキングだけ見せられてもようわからん。

特化係数＝（（短期間のある板の書き込み数）／（短期間の全体の書き込み数））／（（長期間のある板の書き込み数）／（長期間の全体の書き込み数））

これをやるとどこで特徴的に書き込み数多いかわかるはず。
わり算を使っているから過疎板だと過敏に反応しそうだけど。

**名無しお兄ちゃん……大好きv** ◆XB8eKarenE · 04/05/04 22:26

すずめの本日の発言数、
百万のところのカンマが抜けてますー

>>210
450位でようやく100％……大きすぎでは？
というか、今でも800x600でウェブ見てる人も居るんで見放さないでくだちい。。。

>>211
何の特化係数ですか？
短期間＝5分くらい＆長期間＝1週間くらいにすると、
祭りがどこで起きてるのかの判定には使えそうですけど……。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 22:37

りんちゃん？

**ぼるじょあ** ◆yBEncckFOU · 04/05/04 23:41

おー
やっぱのべ100万いくのかぁ　

一割はアレだけどne

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 23:43

また、便秘になったみたい・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 00:15

1分間で約1700の発言。
今の時間にそれ以上の人がPCに向かって2chやってるわけだ

**FOX ★** · 04/05/05 00:26

http://stats.2ch.net/tubame.cgi

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 00:27

>>217
すばらしいぃ・・・

**ぼるじょあ** ◆yBEncckFOU · 04/05/05 00:31

ページを表示できません

検索中のページは現在、利用できません。Web サイトに技術的な問題が発
生しているか、ブラウザの設定を調整する必要があります。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 00:32

>>217
見れませぬ。
てゆうか野鳥全部見れない

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 00:32

>>217
アクセス出来ませんよう。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 00:33

よくわかりませんが、ここに野菜おいておきますね。

**▲ 某ソレ511** · 04/05/05 00:33

>>219-221
>>190-197

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 00:33

鯖おちてる？

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 00:40

PIEが調整中みたいだからか？

**▲ 某ソレ511** · 04/05/05 00:45

stats.2ch.netはPIEじゃなくてheにあるgame5の再利用ですよ。
っていってるうちに直ったようですね。
しかし、なんかこの止まって直った直後に、すずめとかの値が
ちょっと増えすぎてるような気がするんだけど、、
例えば、止まる前は32000レス＠18分くらいだったのに急に240000＠43分になったり。
1750レス/分→5600レス/分なんだよなぁ、どっかで処理がループしてるんじゃ、、

**root ★** · 04/05/05 00:52

うーむ、、、。データのはけが悪いために、DNSがリトライしているとかか。

正直ここまでデータのはけが悪いと、かなりつらいかも。
ここでMRTGとかRTG入れてグラフ表示しようかなとか思ってたんですが、
この状況ではとても無理な予感。

**FOX ★** · 04/05/05 01:24

ティーショットが飛ばないと

クラブが悪いとか、
いっしょに回っているメンバーが悪いとか

野球の監督でチームが負けたら

選手が悪いとか
フロントが悪いとか

ないものねだりは無意味かと、
どうせ望むものは手に入りません。
狭い空き地でも、みんなで遊んでいるのが面白いﾝであって

04/05/05 01:27

>>228
おっ。めづらしい。

どでもいいけどHTMLデザインつくってイイデスカ

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 01:32

狭いながらも楽しい我が家？

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 01:53

つばめにレス速度が欲しいかも。

**FOX ★** · 04/05/05 02:58

http://stats.2ch.net/tubame.cgi

いろいろ修正かなり正確になったかと、
数字は分速です。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 03:03

>>232
ニュー速は『その他』なんですねぇ・・・
まぁ、雑談カテですしねぇ・・・（w

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 03:25

>>233
N即は今でもニュースカテゴリだよ。
鯖がex4だけど。

**FOX ★** · 04/05/05 03:28

入れますか、

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 03:34

>>234
ご指摘ありがとうございます・・・
ニュースカテに戻っていたのですねぇ・・・

**ぼるじょあ** ◆yBEncckFOU · 04/05/05 03:36

おおおっ
ツバメいつの間にかスレに飛べるようになってるのねン☆

余は満足じゃ

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 03:39

>>235
早速の変更、お疲れさまです・・・
ニュー速が『NEWS』に入ると、目立ちますねぇ・・・
『その他』に、いろんな板がはいって、
興味深いですねぇ・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 03:46

ツバメよ　stats鯖から　教えてよ　スレの速度を～♪

**FOX ★** · 04/05/05 03:47

右の数字が過去一分間に付いたレスの数です

つまり分速です

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 04:06

お、月食中継も補足されてますね。すごいや。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 04:39

進化してますねー。
つばめにスレタイも欲しいけど……厳しいだろうしなぁ……。

**FOX ★** · 04/05/05 04:43

>>242

その辺は　形が固まってからかと
今は、あるデータをどの様に加工したら便利かを模索中。。。

ってことで

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 05:08

そのうち専ブラで見れるようになったらいいなぁ。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 05:13

>>244
うん、うん。。
BBYのように、見れたらいいねぇ・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 05:55

555のせいで分速が実況並になってる

**FOX ★** · 04/05/05 06:17

>>167
どんな風に表現する?

**FOX ★** · 04/05/05 06:39

>>212
$xxx =~ s/(\d)(\d\d\d)(?!\d)/$1,$2/g;

というのをぐぐって見つけて使っているﾃﾞ酢
百万のところもカンマつけるにはどうしたらいいの?

**FOX ★** · 04/05/05 06:41

$xxx =~ s/(\d)(\d\d\d)(\d\d\d)(?!\d)/$1,$2,$3/g;

こうか?

※ ◆baila6uPTo · 04/05/05 06:51

>>249
http://www.din.or.jp/~ohzaki/perl.htm#NumberWithComma
このあたりですー

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 07:07

すごい。いつか本当にこれができそう。
http://qb3.2ch.net/test/read.cgi/operate/1077427399/260

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 10:39

乙です。

確認事項ですが、>>163だとwiki中の、

「発言時unixtimeとバイト数を掛け合わせた数値.発言バイト数.～」

じゃなくて

「発言時unixtime.発言処理プロセスID.発言バイト数.～」

じゃないんでしょうか。

**ヾ●ﾉ゛** ◆NATTOSpTC2 · 04/05/05 10:43

仮想都市｢にちゃんねる｣とかそんなのが出来るのかな…
ﾜｸﾜｸ

◆/yjFd7fSrw · 04/05/05 10:55

>>252
おぉ　そうですね
更新しておきました。

**サザン ★** · 04/05/05 11:48

>>248-249
おいらがずっと前に作った、コンマつけるサブルーチン

sub Comma{
$input = $_[0];
return $input if ($input < 1000);

$input = reverse($input);
$input =~ s/(\d\d\d)/$1,/g;
$input = reverse($input);

return $input;
}

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 12:09

記念マキコ

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 12:10

>>254
どうもです。

あと、ちょろっと「現状」の体裁を整えておきました。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 12:43

つばめの「その他」だけベスト20か30まで表示して欲しいと言ってみる
板数多いのに特定の板の雑談スレや狼のスレがいくつも常に10以内に入ってるから

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 12:50

＞FOX 師

たびたびlookup仕様変更になってスマソですが、
●でのカキコフラグもいれられませんかね？

どの板でどれくらい●利用者のカキコがあるかってのもおもしろいかと。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 14:08

>>259
それおもろそう。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 15:20

（●´ー｀●）板は不要やね

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 15:23

たぶん●板より●の書き込み回数の多い板とかあるんだろうなあ

**▲ 某ソレ511** · 04/05/05 15:24

此の板もそうっぽいね

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 15:44

携帯カキコフラグとかもおもろいかもね。オフ板と携帯板は半数以上だったりして。

docomo.ne.jp、ezweb.ne.jp、jp-*.ne.jp、P*.ppp.prin.ne.jp

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 16:09

できれば隠し板はカウントに入れて欲しくないと思ってみる今日この頃

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 17:03

各種フラグをいれるとしてこんなところですか。

・●使用の有無
・携帯からかどうか

・UAフラグ(IE6/IE5/Mozilla(with NN)/safari/opera/その他)