【野鳥の会】 BBS.2ch.net 全発言統計の巻 part1

**FOX ★** · 04/05/03 04:30

２ちゃんねるの全発言の統計を取ろうに挑戦

bbs.cgi に一個DNS問い合わせの処理を追加
発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net をlook up
この方法でやるとかなり低コストで出来る予感。

まずは現在空いている oyster138(旧game5)ではじめてみよう計画

**FOX ★** · 04/05/04 21:30

>>186
ふむふむ
ということは、今一番書き込まれているスレッドのランキング等は
どうせ使い捨てだからオンメモリーでやっちゃえばいいのか、

20 位くらいまであればいいですよね?
live あり版となし版くらいにわけて

**root ★** · 04/05/04 21:30

落ち着いたら、サーバ別あたりをグラフにとってみようかなと。
うまくできるようなら、bbs.cgi起動数は各サーバでとる必要がなくなるということで。

04/05/04 21:31

どでもいいけど、総バイト数は何処へ・・・。

あと、HTMLデザインももにょもにょ・・・。

**▲ 某ソレ511** · 04/05/04 21:38

>>200
最近過疎板のさらなる過疎化（レス数の減少）が進んでるっぽいんですよね、
あと、レス数が少ない板としては、規制情報を別にすれば
ダントツにグッズリスト板が少ないですねぇ。
他の板は1週間に少なくとも100レスはついてるのにグッズリスト板は
1週間に20～30レス前後という、、

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:42

>204
そういう過疎板なんですけど板のしての役目は終わったんじゃないかと思います。
ＰＩＥへ本格引っ越し前に板の見直し等やった方がいいんじゃないかと思われ

**▲ 某ソレ511** · 04/05/04 21:52

>>205
2ちゃんねるガイドからして「人が少ないから」という理由での閉鎖は却下ですから。
住人からの要請があった場合は別かもしれないけどそこには手をつけないほうがいいかと。
>>203
HTMLデザインを作って送ってみるとか（素

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:55

newsplusの他にnews5ってありますね。
ゴミ箱かなにか？

**▲ 某ソレ511** · 04/05/04 21:56

>>207
イスラム情勢
http://news10.2ch.net/news5/

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 21:59

>>208
おおぉ、そうだったのかー。ありがとうございます（ﾃﾚ

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 22:00

また落ちてる？

>206
うーん、ｆｏｎｔ－ｓｉｚｅ：２５０－順位÷３（端数切り捨て）％

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 22:12

特化係数を出してくれないか？
ランキングだけ見せられてもようわからん。

特化係数＝（（短期間のある板の書き込み数）／（短期間の全体の書き込み数））／（（長期間のある板の書き込み数）／（長期間の全体の書き込み数））

これをやるとどこで特徴的に書き込み数多いかわかるはず。
わり算を使っているから過疎板だと過敏に反応しそうだけど。

**名無しお兄ちゃん……大好きv** ◆XB8eKarenE · 04/05/04 22:26

すずめの本日の発言数、
百万のところのカンマが抜けてますー

>>210
450位でようやく100％……大きすぎでは？
というか、今でも800x600でウェブ見てる人も居るんで見放さないでくだちい。。。

>>211
何の特化係数ですか？
短期間＝5分くらい＆長期間＝1週間くらいにすると、
祭りがどこで起きてるのかの判定には使えそうですけど……。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 22:37

りんちゃん？

**ぼるじょあ** ◆yBEncckFOU · 04/05/04 23:41

おー
やっぱのべ100万いくのかぁ　

一割はアレだけどne

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 23:43

また、便秘になったみたい・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 00:15

1分間で約1700の発言。
今の時間にそれ以上の人がPCに向かって2chやってるわけだ

**FOX ★** · 04/05/05 00:26

http://stats.2ch.net/tubame.cgi

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 00:27

>>217
すばらしいぃ・・・

**ぼるじょあ** ◆yBEncckFOU · 04/05/05 00:31

ページを表示できません

検索中のページは現在、利用できません。Web サイトに技術的な問題が発
生しているか、ブラウザの設定を調整する必要があります。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 00:32

>>217
見れませぬ。
てゆうか野鳥全部見れない

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 00:32

>>217
アクセス出来ませんよう。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 00:33

よくわかりませんが、ここに野菜おいておきますね。

**▲ 某ソレ511** · 04/05/05 00:33

>>219-221
>>190-197

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 00:33

鯖おちてる？

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 00:40

PIEが調整中みたいだからか？

**▲ 某ソレ511** · 04/05/05 00:45

stats.2ch.netはPIEじゃなくてheにあるgame5の再利用ですよ。
っていってるうちに直ったようですね。
しかし、なんかこの止まって直った直後に、すずめとかの値が
ちょっと増えすぎてるような気がするんだけど、、
例えば、止まる前は32000レス＠18分くらいだったのに急に240000＠43分になったり。
1750レス/分→5600レス/分なんだよなぁ、どっかで処理がループしてるんじゃ、、

**root ★** · 04/05/05 00:52

うーむ、、、。データのはけが悪いために、DNSがリトライしているとかか。

正直ここまでデータのはけが悪いと、かなりつらいかも。
ここでMRTGとかRTG入れてグラフ表示しようかなとか思ってたんですが、
この状況ではとても無理な予感。

**FOX ★** · 04/05/05 01:24

ティーショットが飛ばないと

クラブが悪いとか、
いっしょに回っているメンバーが悪いとか

野球の監督でチームが負けたら

選手が悪いとか
フロントが悪いとか

ないものねだりは無意味かと、
どうせ望むものは手に入りません。
狭い空き地でも、みんなで遊んでいるのが面白いﾝであって

04/05/05 01:27

>>228
おっ。めづらしい。

どでもいいけどHTMLデザインつくってイイデスカ

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 01:32

狭いながらも楽しい我が家？

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 01:53

つばめにレス速度が欲しいかも。

**FOX ★** · 04/05/05 02:58

http://stats.2ch.net/tubame.cgi

いろいろ修正かなり正確になったかと、
数字は分速です。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 03:03

>>232
ニュー速は『その他』なんですねぇ・・・
まぁ、雑談カテですしねぇ・・・（w

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 03:25

>>233
N即は今でもニュースカテゴリだよ。
鯖がex4だけど。

**FOX ★** · 04/05/05 03:28

入れますか、

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 03:34

>>234
ご指摘ありがとうございます・・・
ニュースカテに戻っていたのですねぇ・・・

**ぼるじょあ** ◆yBEncckFOU · 04/05/05 03:36

おおおっ
ツバメいつの間にかスレに飛べるようになってるのねン☆

余は満足じゃ

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 03:39

>>235
早速の変更、お疲れさまです・・・
ニュー速が『NEWS』に入ると、目立ちますねぇ・・・
『その他』に、いろんな板がはいって、
興味深いですねぇ・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 03:46

ツバメよ　stats鯖から　教えてよ　スレの速度を～♪

**FOX ★** · 04/05/05 03:47

右の数字が過去一分間に付いたレスの数です

つまり分速です

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 04:06

お、月食中継も補足されてますね。すごいや。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 04:39

進化してますねー。
つばめにスレタイも欲しいけど……厳しいだろうしなぁ……。

**FOX ★** · 04/05/05 04:43

>>242

その辺は　形が固まってからかと
今は、あるデータをどの様に加工したら便利かを模索中。。。

ってことで

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 05:08

そのうち専ブラで見れるようになったらいいなぁ。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 05:13

>>244
うん、うん。。
BBYのように、見れたらいいねぇ・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 05:55

555のせいで分速が実況並になってる

**FOX ★** · 04/05/05 06:17

>>167
どんな風に表現する?

**FOX ★** · 04/05/05 06:39

>>212
$xxx =~ s/(\d)(\d\d\d)(?!\d)/$1,$2/g;

というのをぐぐって見つけて使っているﾃﾞ酢
百万のところもカンマつけるにはどうしたらいいの?

**FOX ★** · 04/05/05 06:41

$xxx =~ s/(\d)(\d\d\d)(\d\d\d)(?!\d)/$1,$2,$3/g;

こうか?

※ ◆baila6uPTo · 04/05/05 06:51

>>249
http://www.din.or.jp/~ohzaki/perl.htm#NumberWithComma
このあたりですー

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 07:07

すごい。いつか本当にこれができそう。
http://qb3.2ch.net/test/read.cgi/operate/1077427399/260

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 10:39

乙です。

確認事項ですが、>>163だとwiki中の、

「発言時unixtimeとバイト数を掛け合わせた数値.発言バイト数.～」

じゃなくて

「発言時unixtime.発言処理プロセスID.発言バイト数.～」

じゃないんでしょうか。

**ヾ●ﾉ゛** ◆NATTOSpTC2 · 04/05/05 10:43

仮想都市｢にちゃんねる｣とかそんなのが出来るのかな…
ﾜｸﾜｸ

◆/yjFd7fSrw · 04/05/05 10:55

>>252
おぉ　そうですね
更新しておきました。

**サザン ★** · 04/05/05 11:48

>>248-249
おいらがずっと前に作った、コンマつけるサブルーチン

sub Comma{
$input = $_[0];
return $input if ($input < 1000);

$input = reverse($input);
$input =~ s/(\d\d\d)/$1,/g;
$input = reverse($input);

return $input;
}

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 12:09

記念マキコ

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 12:10

>>254
どうもです。

あと、ちょろっと「現状」の体裁を整えておきました。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 12:43

つばめの「その他」だけベスト20か30まで表示して欲しいと言ってみる
板数多いのに特定の板の雑談スレや狼のスレがいくつも常に10以内に入ってるから

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 12:50

＞FOX 師

たびたびlookup仕様変更になってスマソですが、
●でのカキコフラグもいれられませんかね？

どの板でどれくらい●利用者のカキコがあるかってのもおもしろいかと。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 14:08

>>259
それおもろそう。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 15:20

（●´ー｀●）板は不要やね

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 15:23

たぶん●板より●の書き込み回数の多い板とかあるんだろうなあ

**▲ 某ソレ511** · 04/05/05 15:24

此の板もそうっぽいね

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 15:44

携帯カキコフラグとかもおもろいかもね。オフ板と携帯板は半数以上だったりして。

docomo.ne.jp、ezweb.ne.jp、jp-*.ne.jp、P*.ppp.prin.ne.jp

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 16:09

できれば隠し板はカウントに入れて欲しくないと思ってみる今日この頃

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 17:03

各種フラグをいれるとしてこんなところですか。

・●使用の有無
・携帯からかどうか

・UAフラグ(IE6/IE5/Mozilla(with NN)/safari/opera/その他)

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 17:04

別に良いじゃないかと思って見る今日この頃

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 17:06

>>266
monazillaはその他大勢ですか

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 17:10

>>268
とりあえず通常ブラウザだけあげてみただけです、スマソ。

で、monazillaはどうしますかね。

・一緒にmonazillaとする
・個々のブラウザごとにわける

04/05/05 17:52

デザイン作てもいいのかなぁ？

>>247
合計 xxxxxx Bytes

書きこみバイト数が多い板TOP50

みたいな。

>>269
ブラウザごとにわけたほうがいいかと。

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 18:12

>>270
ならのっけるストリングを検討。
参考：ttp://www.bayashi.net/st/pdmemo/ua.html

＜PCwebブラウザ＞
msie6 IE6
msie5 IE5
safari Safari
mozilla Mozilla/Netscape(判別が困難なため一緒にする)
opera Opera
lite Lite
icab iCab
omni OmniWeb
hotjava HotJava
lynx Lynx
w3m w3m

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 18:14

個人的にはだけど、あの手の情報公開用文書に「デザイン」は要らないと思う。

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 18:14

＜携帯＞(ホスト名判別を入れる？)
imode i-mode
foma FOMA
voda J-Phone/Vodafone
ezweb AU
ddip H"
astel ASTEL

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 18:23

monazillaについてですが、結論から言うと、ブラウザ別に分離するのは仕様上無理っぽいです。
なんでmonazillaはmonazillaということで・・・。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 18:27

UA って必要ですか？
UA が判ると何が嬉しい？

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 18:37

携帯や2chブラウザかだけ判れば充分だと思う。
一般ブラウザはどうせほとんどIEだろうし、
UAが判った所で２ちゃんねるにとっては
何の参考にもならなさそう。

利用価値云々ではなくて、とにかくいろんな統計を
片っ端から取りたいって言うなら別だけどね。

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 18:39

あとはロボット検索系ですか。
ttp://f3.aaacafe.ne.jp/~zwgxodue/url.html

google Google系
naver Naver系
fast AllTheWeb
inktomi inktomi系(gooとかも)

netscapeは判別可能っぽいです、スマソ。

netscape Netscape

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 18:45

2chの場合、意外とロボット検索の割合があるはずなので
一概にUAがIEでほとんど、は言い切れません。
マカーのSafari度も結構あるはずですし。

判定はFOX師次第ですが。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 19:06

ロボットは、bbs.cgi を叩かないと思う。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 20:13

携帯：monazilla：その他
の比率だけで十分な予感。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 22:25

ゴミ箱はカウントしないようにしてください。

**FOX ★** · 04/05/05 22:27

>>281
そういう話か?
なんか違うような、

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 22:39

男と女のひりｔ;y=ｰ(ﾟдﾟ)･∵. ﾀｰﾝ

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 00:09

書き込み内容から空白を取り除いた物のMD5値なんてぇのはどうでしょうか？
コスト高いかな？

定型文爆撃の統計に使えそうですけど。

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 01:44

http://stats.2ch.net/tubame.cgi

pieとidolの板は、bbspink.comにして欲しいです。
（pie.2ch.net、idol.2ch.netになってるです。）

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 02:29

板別のスレたて人のホスト統計とか
とれるようになったら、うれしいのです。

なんとなく。

**FOX ★** · 04/05/06 03:03

>>174 なんですが。。。

某BBS directry にある
kawasemi-d.cgi を毎日 00:01に
kawasemi-h.cgi を毎時 01min に
kawasemi-m.cgi を一日中 1 min おきに

呼んで欲しいですー

わたし、cronとか良く知らないのでお願いしますー

>root★さん

**root ★** · 04/05/06 03:59

これからやります。
-dは、JSTですよね。

**FOX ★** · 04/05/06 04:00

はいー
JST ですー

すんませんです。
お手数かけて

**root ★** · 04/05/06 04:09

うーむ、PDT/PSTな環境で夏も冬もちゃんと0:01に動かすのって、どうやるんだろ。
今はとりあえずPDTで0:01にしておこう。

で、このコマンド何か出力しているらしくがんがんメールがでているわけですが、
出力をログに残すようにしておく？
それとも、捨てちゃっていいですか？

**FOX ★** · 04/05/06 04:13

あっ
テスト用に　print したんだった。
すてちゃっていいですー

今後も print する予定なので < testするとき

**root ★** · 04/05/06 04:15

stdout/stderrをでぶぬるに捨てるようにしました。>>291

**FOX ★** · 04/05/06 04:16

どもですー

**FOX ★** · 04/05/06 14:23

>>281-282

どういうことかと言うと

1) うわっ　ゴミ箱にかけるんで無いの? -> ゴミ箱を書けなくしなきゃ
2) げっ　書いていないのにカウントされるって事?
　　正しくカウントしてなきゃ意味無いじゃん

だと思うのだが、

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/06 14:24

●書き込み統計は不採用ですか・・・・残念。

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 21:21

http://stats.2ch.net/karasu.cgi
http://stats.2ch.net/suzume.cgi

繋がらない。

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 21:26

>>296
鯖落ちしてるみたいっすね。
pingかからないです

**FOX ★** · 04/05/06 21:31

pie に移しますか、
あした手配します。

**FOX ★** · 04/05/06 21:32

まずは bbs.cgi から呼ぶの止めます

**FOX ★** · 04/05/06 21:43

ということで　bbs.2ch.net は急遽 pie に banana を用意します
メール送りますー　> root★さん