【野鳥の会】 BBS.2ch.net 全発言統計の巻 part1

**FOX ★** · 04/05/03 04:30

２ちゃんねるの全発言の統計を取ろうに挑戦

bbs.cgi に一個DNS問い合わせの処理を追加
発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net をlook up
この方法でやるとかなり低コストで出来る予感。

まずは現在空いている oyster138(旧game5)ではじめてみよう計画

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 04:39

進化してますねー。
つばめにスレタイも欲しいけど……厳しいだろうしなぁ……。

**FOX ★** · 04/05/05 04:43

>>242

その辺は　形が固まってからかと
今は、あるデータをどの様に加工したら便利かを模索中。。。

ってことで

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 05:08

そのうち専ブラで見れるようになったらいいなぁ。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 05:13

>>244
うん、うん。。
BBYのように、見れたらいいねぇ・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 05:55

555のせいで分速が実況並になってる

**FOX ★** · 04/05/05 06:17

>>167
どんな風に表現する?

**FOX ★** · 04/05/05 06:39

>>212
$xxx =~ s/(\d)(\d\d\d)(?!\d)/$1,$2/g;

というのをぐぐって見つけて使っているﾃﾞ酢
百万のところもカンマつけるにはどうしたらいいの?

**FOX ★** · 04/05/05 06:41

$xxx =~ s/(\d)(\d\d\d)(\d\d\d)(?!\d)/$1,$2,$3/g;

こうか?

※ ◆baila6uPTo · 04/05/05 06:51

>>249
http://www.din.or.jp/~ohzaki/perl.htm#NumberWithComma
このあたりですー

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 07:07

すごい。いつか本当にこれができそう。
http://qb3.2ch.net/test/read.cgi/operate/1077427399/260

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 10:39

乙です。

確認事項ですが、>>163だとwiki中の、

「発言時unixtimeとバイト数を掛け合わせた数値.発言バイト数.～」

じゃなくて

「発言時unixtime.発言処理プロセスID.発言バイト数.～」

じゃないんでしょうか。

**ヾ●ﾉ゛** ◆NATTOSpTC2 · 04/05/05 10:43

仮想都市｢にちゃんねる｣とかそんなのが出来るのかな…
ﾜｸﾜｸ

◆/yjFd7fSrw · 04/05/05 10:55

>>252
おぉ　そうですね
更新しておきました。

**サザン ★** · 04/05/05 11:48

>>248-249
おいらがずっと前に作った、コンマつけるサブルーチン

sub Comma{
$input = $_[0];
return $input if ($input < 1000);

$input = reverse($input);
$input =~ s/(\d\d\d)/$1,/g;
$input = reverse($input);

return $input;
}

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 12:09

記念マキコ

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 12:10

>>254
どうもです。

あと、ちょろっと「現状」の体裁を整えておきました。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 12:43

つばめの「その他」だけベスト20か30まで表示して欲しいと言ってみる
板数多いのに特定の板の雑談スレや狼のスレがいくつも常に10以内に入ってるから

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 12:50

＞FOX 師

たびたびlookup仕様変更になってスマソですが、
●でのカキコフラグもいれられませんかね？

どの板でどれくらい●利用者のカキコがあるかってのもおもしろいかと。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 14:08

>>259
それおもろそう。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 15:20

（●´ー｀●）板は不要やね

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 15:23

たぶん●板より●の書き込み回数の多い板とかあるんだろうなあ

**▲ 某ソレ511** · 04/05/05 15:24

此の板もそうっぽいね

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 15:44

携帯カキコフラグとかもおもろいかもね。オフ板と携帯板は半数以上だったりして。

docomo.ne.jp、ezweb.ne.jp、jp-*.ne.jp、P*.ppp.prin.ne.jp

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 16:09

できれば隠し板はカウントに入れて欲しくないと思ってみる今日この頃

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 17:03

各種フラグをいれるとしてこんなところですか。

・●使用の有無
・携帯からかどうか

・UAフラグ(IE6/IE5/Mozilla(with NN)/safari/opera/その他)

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 17:04

別に良いじゃないかと思って見る今日この頃

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 17:06

>>266
monazillaはその他大勢ですか

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 17:10

>>268
とりあえず通常ブラウザだけあげてみただけです、スマソ。

で、monazillaはどうしますかね。

・一緒にmonazillaとする
・個々のブラウザごとにわける

04/05/05 17:52

デザイン作てもいいのかなぁ？

>>247
合計 xxxxxx Bytes

書きこみバイト数が多い板TOP50

みたいな。

>>269
ブラウザごとにわけたほうがいいかと。

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 18:12

>>270
ならのっけるストリングを検討。
参考：ttp://www.bayashi.net/st/pdmemo/ua.html

＜PCwebブラウザ＞
msie6 IE6
msie5 IE5
safari Safari
mozilla Mozilla/Netscape(判別が困難なため一緒にする)
opera Opera
lite Lite
icab iCab
omni OmniWeb
hotjava HotJava
lynx Lynx
w3m w3m

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 18:14

個人的にはだけど、あの手の情報公開用文書に「デザイン」は要らないと思う。

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 18:14

＜携帯＞(ホスト名判別を入れる？)
imode i-mode
foma FOMA
voda J-Phone/Vodafone
ezweb AU
ddip H"
astel ASTEL

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 18:23

monazillaについてですが、結論から言うと、ブラウザ別に分離するのは仕様上無理っぽいです。
なんでmonazillaはmonazillaということで・・・。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 18:27

UA って必要ですか？
UA が判ると何が嬉しい？

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 18:37

携帯や2chブラウザかだけ判れば充分だと思う。
一般ブラウザはどうせほとんどIEだろうし、
UAが判った所で２ちゃんねるにとっては
何の参考にもならなさそう。

利用価値云々ではなくて、とにかくいろんな統計を
片っ端から取りたいって言うなら別だけどね。

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 18:39

あとはロボット検索系ですか。
ttp://f3.aaacafe.ne.jp/~zwgxodue/url.html

google Google系
naver Naver系
fast AllTheWeb
inktomi inktomi系(gooとかも)

netscapeは判別可能っぽいです、スマソ。

netscape Netscape

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 18:45

2chの場合、意外とロボット検索の割合があるはずなので
一概にUAがIEでほとんど、は言い切れません。
マカーのSafari度も結構あるはずですし。

判定はFOX師次第ですが。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 19:06

ロボットは、bbs.cgi を叩かないと思う。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 20:13

携帯：monazilla：その他
の比率だけで十分な予感。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 22:25

ゴミ箱はカウントしないようにしてください。

**FOX ★** · 04/05/05 22:27

>>281
そういう話か?
なんか違うような、

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 22:39

男と女のひりｔ;y=ｰ(ﾟдﾟ)･∵. ﾀｰﾝ

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 00:09

書き込み内容から空白を取り除いた物のMD5値なんてぇのはどうでしょうか？
コスト高いかな？

定型文爆撃の統計に使えそうですけど。

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 01:44

http://stats.2ch.net/tubame.cgi

pieとidolの板は、bbspink.comにして欲しいです。
（pie.2ch.net、idol.2ch.netになってるです。）

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 02:29

板別のスレたて人のホスト統計とか
とれるようになったら、うれしいのです。

なんとなく。

**FOX ★** · 04/05/06 03:03

>>174 なんですが。。。

某BBS directry にある
kawasemi-d.cgi を毎日 00:01に
kawasemi-h.cgi を毎時 01min に
kawasemi-m.cgi を一日中 1 min おきに

呼んで欲しいですー

わたし、cronとか良く知らないのでお願いしますー

>root★さん

**root ★** · 04/05/06 03:59

これからやります。
-dは、JSTですよね。

**FOX ★** · 04/05/06 04:00

はいー
JST ですー

すんませんです。
お手数かけて

**root ★** · 04/05/06 04:09

うーむ、PDT/PSTな環境で夏も冬もちゃんと0:01に動かすのって、どうやるんだろ。
今はとりあえずPDTで0:01にしておこう。

で、このコマンド何か出力しているらしくがんがんメールがでているわけですが、
出力をログに残すようにしておく？
それとも、捨てちゃっていいですか？

**FOX ★** · 04/05/06 04:13

あっ
テスト用に　print したんだった。
すてちゃっていいですー

今後も print する予定なので < testするとき

**root ★** · 04/05/06 04:15

stdout/stderrをでぶぬるに捨てるようにしました。>>291

**FOX ★** · 04/05/06 04:16

どもですー

**FOX ★** · 04/05/06 14:23

>>281-282

どういうことかと言うと

1) うわっ　ゴミ箱にかけるんで無いの? -> ゴミ箱を書けなくしなきゃ
2) げっ　書いていないのにカウントされるって事?
　　正しくカウントしてなきゃ意味無いじゃん

だと思うのだが、

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/06 14:24

●書き込み統計は不採用ですか・・・・残念。

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 21:21

http://stats.2ch.net/karasu.cgi
http://stats.2ch.net/suzume.cgi

繋がらない。

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 21:26

>>296
鯖落ちしてるみたいっすね。
pingかからないです

**FOX ★** · 04/05/06 21:31

pie に移しますか、
あした手配します。

**FOX ★** · 04/05/06 21:32

まずは bbs.cgi から呼ぶの止めます

**FOX ★** · 04/05/06 21:43

ということで　bbs.2ch.net は急遽 pie に banana を用意します
メール送りますー　> root★さん

04/05/06 21:49

bananaで大丈夫なの？>memory

**root ★** · 04/05/06 22:36

了解です。>>300

で、pekoサーバのbbs.cgiを更新しました。
live8負荷かかってんなぁと思ったら某今井氏出演中か。2ブレーメンぐらいかな。

bbs.2ch.netの用途だけなら、なんとかなるんじゃかなと。>>301
もし足りないようなら、そのときはまた考慮いただくということで。

**FOX ★** · 04/05/06 22:46

>>302
メール発射しましたー
DNS の設定はどのように変更すればいいですか?

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 22:48

スレごとの投稿バイトの平均とか
スレごとの投稿間隔の平均とかが見られると
レス数が異なるスレ同士の比較に使えるかも

あとレスアンカーの使われたレス数で住人同士の会話度とか
URLリンク数で情報度とか
2ちゃんねるスレリンク数で連携度とか

**root ★** · 04/05/06 22:48

>>303
メール受け取りました。これから中身確認します。

今bbs.cgiから参照されてないんであれば、単純に今のものを引き継いでいただければOKです。
つまりIPアドレスの変更のみで可かなと。

儀式内容はあっちのスレでいきます。

**FOX ★** · 04/05/06 22:49

qb2 も含めて呼び出しは全てのサーバで停止しました。

**root ★** · 04/05/06 22:51

>>306
了解です。
まずは中身確認させてくださいです。

ごそごそして、準備ができ次第儀式へと。

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 22:53

>304

おいらは某板で>>このアンカーはスレの容量を増やすので
嫌われると仕込まれて以来、>一個でレスするのを原則にしてる
専用ブラウザは大抵ポップアップしてくれるし

だから、レスアンカーを数えてもあまり参考にならないかと・・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 22:57

うんまあその程度しか期待してないけど

**動け２ちゃんねる** · 04/05/06 23:53

過去のデータは見られるようになるのか？

**動け動けウゴウゴ２ちゃんねる** · 04/05/07 00:08

datから起こせるようになるんでは？
物凄い負荷になるかも知れんけど

※ ◆baila6uPTo · 04/05/07 00:36

>>310
うしろには振り向かない仕様なので無理です。

**▲ 某ソレ511** · 04/05/07 00:39

>>174 >>287 を見る限り予定はあると思うけど、

**root ★** · 04/05/07 15:15

ということで、PIEにて再開。

さきほどpekoサーバのbbs.cgiを更新。

**root ★** · 04/05/07 16:16

移行して約1時間半。
メモリ不足やI/Oがめいっぱいになることもなく、今のところ問題なく動いている模様。

**FOX ★** · 04/05/07 16:28

今日観察したいのは
昨日まで起こっていた問題が解決されたかどうか、

昨日までの問題点
各サーバのbbs.cgiを bbs.2ch.net がブロックしてしまうので
書き込み時に時間がかかり、処理が溜まり各サーバが
にっちもさっちも行かなくなった。

取った行動
bbs.2ch.net の設置してあるサーバが良くないと決め付け
別のサーバにした。ロケーションすら変えた　(he->pie)

期待値
bbs.2ch.net の動作が各サーバのbbs.cgiをブロックすることなく
ピーク時も順調に良好な掲示板動作が・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/07 18:16

今朝分のカキコ数が累積されてなかったのは
再開前の投稿が反映されてなかっただけね

**▲ 某ソレ511** · 04/05/07 18:18

heからPIEに移ってネットワークの詰まりがなくなるため
>>226-227の問題も解決できてると、期待してみよう、

**root ★** · 04/05/08 01:56

http://ch2.ath.cx/load/live8.html

やるな。ここのCGIからデータとってるすね。これ。

**FOX ★** · 04/05/08 01:58

ええと
あくまでも仮の形式・仮のアドレスなので
どんどん仕様変更は覚悟しておいてくださいー

**root ★** · 04/05/08 02:01

もとより>>319の中の人はそのつもりでしょう。

で、>>316、いいかんじすね。ピークでも詰まる様子はみられないし。

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 02:18

>>319
ですです。

>>320
んー、２ちゃんの歴史そのものかなぁ。(笑)＜どんどん仕様変更
直ぐに元に戻したりも出来るので、その点は大丈夫です。

**未承諾広告※** ◆TWARamEjuA · 04/05/08 02:25

個人的にはやっぱり生textが欲しかったり（苦笑）

♪tonbi をグラフにしてみようかしらん。

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 02:26

そろそろread.cgi/r.i/p.iのも見たいな、と言ってみるてすつ。

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 02:33

>>323
ﾜｸﾜｸ。
私の方では、板別には手が出ないです。(´･ω･`)

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 02:42

>>324
さすがにread.cgiのアクセス数を外部で拾うのは無理のような。

内部で記録する場合でも、httpd.confを触って１アクセスで１バイトの
ログを吐くようにしてファイルサイズ＝アクセス数というような工夫を
しないと苦しいかも。

**FOX ★** · 04/05/08 03:19

移転考察用に

http://stats.2ch.net/karasu2.cgi

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 03:32

>>327
それぞれの色はどういう意味ですか？

**▲ 某ソレ511** · 04/05/08 03:34

おいらでいいなら、
水色＝peko(cobra)サーバ
黄色＝bananaサーバ
白色＝その他

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 03:34

>>328
青：peko
黄：banana

かと

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 03:37

㌧。

**▲ 某ソレ511** · 04/05/08 03:45

そういえばpc5だけbananaで白文字だけど、
バックアップ強化とかなんか特殊事情あったっけ、

**FOX ★** · 04/05/08 03:52

単に忘れているだけだったりして

**FOX ★** · 04/05/08 04:31

kawasemi さんたちは呼ばれていますか? > root★さん

**root ★** · 04/05/08 04:37

>>334
>>314 の時点で既にcron仕込んでありますです。

**FOX ★** · 04/05/08 04:38

はいー

動いていましたー

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 04:48

緑色がumaっすかね。

**FOX ★** · 04/05/08 05:00

http://stats.2ch.net/kawasemi-m/
http://stats.2ch.net/kawasemi-m/0total-20040508.txt

毎分更新

23:59 は正しく取れるけど
24:00 は取れなくて
00:00 が・・・

**未承諾広告※** ◆TWARamEjuA · 04/05/08 05:16

>>338
おー！
24:00 = 00:00 ではダメなのかな？

**FOX ★** · 04/05/08 05:22

>>339
こまいところは、ちとあとまわし、、、

**未承諾広告※** ◆TWARamEjuA · 04/05/08 05:22

あっと、23:59-24:00 の分。って意味ですね。
それならそのまま翌日 00:00 でも OK かと（ソートしてもキレイに並ぶから）
あと、何日分保持させるのかな？
1440行/日ですよね？

**未承諾広告※** ◆TWARamEjuA · 04/05/08 05:28

手前味噌でｽﾏｿですけれども、鯖名もくっつけると鯖毎の集計も楽になるかと。
参照： http://sv2ch.baila6.jp/board/

でもって、1 板ずつ採取となると 500 近いアクセスが必要となってくるので、みんなまとめたファイルもあるとよいかもです。
（こちらの場合は「最新値／その日の累計値」だけを 1 板 1 行にしておくとか）
参照： http://sv2ch.baila6.jp/boardlist.txt