【野鳥の会】 BBS.2ch.net 全発言統計の巻 part1

**FOX ★** · 04/05/03 04:30

２ちゃんねるの全発言の統計を取ろうに挑戦

bbs.cgi に一個DNS問い合わせの処理を追加
発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net をlook up
この方法でやるとかなり低コストで出来る予感。

まずは現在空いている oyster138(旧game5)ではじめてみよう計画

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 17:03

各種フラグをいれるとしてこんなところですか。

・●使用の有無
・携帯からかどうか

・UAフラグ(IE6/IE5/Mozilla(with NN)/safari/opera/その他)

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 17:04

別に良いじゃないかと思って見る今日この頃

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 17:06

>>266
monazillaはその他大勢ですか

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 17:10

>>268
とりあえず通常ブラウザだけあげてみただけです、スマソ。

で、monazillaはどうしますかね。

・一緒にmonazillaとする
・個々のブラウザごとにわける

04/05/05 17:52

デザイン作てもいいのかなぁ？

>>247
合計 xxxxxx Bytes

書きこみバイト数が多い板TOP50

みたいな。

>>269
ブラウザごとにわけたほうがいいかと。

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 18:12

>>270
ならのっけるストリングを検討。
参考：ttp://www.bayashi.net/st/pdmemo/ua.html

＜PCwebブラウザ＞
msie6 IE6
msie5 IE5
safari Safari
mozilla Mozilla/Netscape(判別が困難なため一緒にする)
opera Opera
lite Lite
icab iCab
omni OmniWeb
hotjava HotJava
lynx Lynx
w3m w3m

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 18:14

個人的にはだけど、あの手の情報公開用文書に「デザイン」は要らないと思う。

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 18:14

＜携帯＞(ホスト名判別を入れる？)
imode i-mode
foma FOMA
voda J-Phone/Vodafone
ezweb AU
ddip H"
astel ASTEL

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 18:23

monazillaについてですが、結論から言うと、ブラウザ別に分離するのは仕様上無理っぽいです。
なんでmonazillaはmonazillaということで・・・。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 18:27

UA って必要ですか？
UA が判ると何が嬉しい？

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 18:37

携帯や2chブラウザかだけ判れば充分だと思う。
一般ブラウザはどうせほとんどIEだろうし、
UAが判った所で２ちゃんねるにとっては
何の参考にもならなさそう。

利用価値云々ではなくて、とにかくいろんな統計を
片っ端から取りたいって言うなら別だけどね。

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 18:39

あとはロボット検索系ですか。
ttp://f3.aaacafe.ne.jp/~zwgxodue/url.html

google Google系
naver Naver系
fast AllTheWeb
inktomi inktomi系(gooとかも)

netscapeは判別可能っぽいです、スマソ。

netscape Netscape

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/05 18:45

2chの場合、意外とロボット検索の割合があるはずなので
一概にUAがIEでほとんど、は言い切れません。
マカーのSafari度も結構あるはずですし。

判定はFOX師次第ですが。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 19:06

ロボットは、bbs.cgi を叩かないと思う。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 20:13

携帯：monazilla：その他
の比率だけで十分な予感。

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 22:25

ゴミ箱はカウントしないようにしてください。

**FOX ★** · 04/05/05 22:27

>>281
そういう話か?
なんか違うような、

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 22:39

男と女のひりｔ;y=ｰ(ﾟдﾟ)･∵. ﾀｰﾝ

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 00:09

書き込み内容から空白を取り除いた物のMD5値なんてぇのはどうでしょうか？
コスト高いかな？

定型文爆撃の統計に使えそうですけど。

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 01:44

http://stats.2ch.net/tubame.cgi

pieとidolの板は、bbspink.comにして欲しいです。
（pie.2ch.net、idol.2ch.netになってるです。）

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 02:29

板別のスレたて人のホスト統計とか
とれるようになったら、うれしいのです。

なんとなく。

**FOX ★** · 04/05/06 03:03

>>174 なんですが。。。

某BBS directry にある
kawasemi-d.cgi を毎日 00:01に
kawasemi-h.cgi を毎時 01min に
kawasemi-m.cgi を一日中 1 min おきに

呼んで欲しいですー

わたし、cronとか良く知らないのでお願いしますー

>root★さん

**root ★** · 04/05/06 03:59

これからやります。
-dは、JSTですよね。

**FOX ★** · 04/05/06 04:00

はいー
JST ですー

すんませんです。
お手数かけて

**root ★** · 04/05/06 04:09

うーむ、PDT/PSTな環境で夏も冬もちゃんと0:01に動かすのって、どうやるんだろ。
今はとりあえずPDTで0:01にしておこう。

で、このコマンド何か出力しているらしくがんがんメールがでているわけですが、
出力をログに残すようにしておく？
それとも、捨てちゃっていいですか？

**FOX ★** · 04/05/06 04:13

あっ
テスト用に　print したんだった。
すてちゃっていいですー

今後も print する予定なので < testするとき

**root ★** · 04/05/06 04:15

stdout/stderrをでぶぬるに捨てるようにしました。>>291

**FOX ★** · 04/05/06 04:16

どもですー

**FOX ★** · 04/05/06 14:23

>>281-282

どういうことかと言うと

1) うわっ　ゴミ箱にかけるんで無いの? -> ゴミ箱を書けなくしなきゃ
2) げっ　書いていないのにカウントされるって事?
　　正しくカウントしてなきゃ意味無いじゃん

だと思うのだが、

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/06 14:24

●書き込み統計は不採用ですか・・・・残念。

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 21:21

http://stats.2ch.net/karasu.cgi
http://stats.2ch.net/suzume.cgi

繋がらない。

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 21:26

>>296
鯖落ちしてるみたいっすね。
pingかからないです

**FOX ★** · 04/05/06 21:31

pie に移しますか、
あした手配します。

**FOX ★** · 04/05/06 21:32

まずは bbs.cgi から呼ぶの止めます

**FOX ★** · 04/05/06 21:43

ということで　bbs.2ch.net は急遽 pie に banana を用意します
メール送りますー　> root★さん

04/05/06 21:49

bananaで大丈夫なの？>memory

**root ★** · 04/05/06 22:36

了解です。>>300

で、pekoサーバのbbs.cgiを更新しました。
live8負荷かかってんなぁと思ったら某今井氏出演中か。2ブレーメンぐらいかな。

bbs.2ch.netの用途だけなら、なんとかなるんじゃかなと。>>301
もし足りないようなら、そのときはまた考慮いただくということで。

**FOX ★** · 04/05/06 22:46

>>302
メール発射しましたー
DNS の設定はどのように変更すればいいですか?

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 22:48

スレごとの投稿バイトの平均とか
スレごとの投稿間隔の平均とかが見られると
レス数が異なるスレ同士の比較に使えるかも

あとレスアンカーの使われたレス数で住人同士の会話度とか
URLリンク数で情報度とか
2ちゃんねるスレリンク数で連携度とか

**root ★** · 04/05/06 22:48

>>303
メール受け取りました。これから中身確認します。

今bbs.cgiから参照されてないんであれば、単純に今のものを引き継いでいただければOKです。
つまりIPアドレスの変更のみで可かなと。

儀式内容はあっちのスレでいきます。

**FOX ★** · 04/05/06 22:49

qb2 も含めて呼び出しは全てのサーバで停止しました。

**root ★** · 04/05/06 22:51

>>306
了解です。
まずは中身確認させてくださいです。

ごそごそして、準備ができ次第儀式へと。

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 22:53

>304

おいらは某板で>>このアンカーはスレの容量を増やすので
嫌われると仕込まれて以来、>一個でレスするのを原則にしてる
専用ブラウザは大抵ポップアップしてくれるし

だから、レスアンカーを数えてもあまり参考にならないかと・・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 22:57

うんまあその程度しか期待してないけど

**動け２ちゃんねる** · 04/05/06 23:53

過去のデータは見られるようになるのか？

**動け動けウゴウゴ２ちゃんねる** · 04/05/07 00:08

datから起こせるようになるんでは？
物凄い負荷になるかも知れんけど

※ ◆baila6uPTo · 04/05/07 00:36

>>310
うしろには振り向かない仕様なので無理です。

**▲ 某ソレ511** · 04/05/07 00:39

>>174 >>287 を見る限り予定はあると思うけど、

**root ★** · 04/05/07 15:15

ということで、PIEにて再開。

さきほどpekoサーバのbbs.cgiを更新。

**root ★** · 04/05/07 16:16

移行して約1時間半。
メモリ不足やI/Oがめいっぱいになることもなく、今のところ問題なく動いている模様。

**FOX ★** · 04/05/07 16:28

今日観察したいのは
昨日まで起こっていた問題が解決されたかどうか、

昨日までの問題点
各サーバのbbs.cgiを bbs.2ch.net がブロックしてしまうので
書き込み時に時間がかかり、処理が溜まり各サーバが
にっちもさっちも行かなくなった。

取った行動
bbs.2ch.net の設置してあるサーバが良くないと決め付け
別のサーバにした。ロケーションすら変えた　(he->pie)

期待値
bbs.2ch.net の動作が各サーバのbbs.cgiをブロックすることなく
ピーク時も順調に良好な掲示板動作が・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/07 18:16

今朝分のカキコ数が累積されてなかったのは
再開前の投稿が反映されてなかっただけね

**▲ 某ソレ511** · 04/05/07 18:18

heからPIEに移ってネットワークの詰まりがなくなるため
>>226-227の問題も解決できてると、期待してみよう、

**root ★** · 04/05/08 01:56

http://ch2.ath.cx/load/live8.html

やるな。ここのCGIからデータとってるすね。これ。

**FOX ★** · 04/05/08 01:58

ええと
あくまでも仮の形式・仮のアドレスなので
どんどん仕様変更は覚悟しておいてくださいー

**root ★** · 04/05/08 02:01

もとより>>319の中の人はそのつもりでしょう。

で、>>316、いいかんじすね。ピークでも詰まる様子はみられないし。

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 02:18

>>319
ですです。

>>320
んー、２ちゃんの歴史そのものかなぁ。(笑)＜どんどん仕様変更
直ぐに元に戻したりも出来るので、その点は大丈夫です。

**未承諾広告※** ◆TWARamEjuA · 04/05/08 02:25

個人的にはやっぱり生textが欲しかったり（苦笑）

♪tonbi をグラフにしてみようかしらん。

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 02:26

そろそろread.cgi/r.i/p.iのも見たいな、と言ってみるてすつ。

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 02:33

>>323
ﾜｸﾜｸ。
私の方では、板別には手が出ないです。(´･ω･`)

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 02:42

>>324
さすがにread.cgiのアクセス数を外部で拾うのは無理のような。

内部で記録する場合でも、httpd.confを触って１アクセスで１バイトの
ログを吐くようにしてファイルサイズ＝アクセス数というような工夫を
しないと苦しいかも。

**FOX ★** · 04/05/08 03:19

移転考察用に

http://stats.2ch.net/karasu2.cgi

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 03:32

>>327
それぞれの色はどういう意味ですか？

**▲ 某ソレ511** · 04/05/08 03:34

おいらでいいなら、
水色＝peko(cobra)サーバ
黄色＝bananaサーバ
白色＝その他

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 03:34

>>328
青：peko
黄：banana

かと

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 03:37

㌧。

**▲ 某ソレ511** · 04/05/08 03:45

そういえばpc5だけbananaで白文字だけど、
バックアップ強化とかなんか特殊事情あったっけ、

**FOX ★** · 04/05/08 03:52

単に忘れているだけだったりして

**FOX ★** · 04/05/08 04:31

kawasemi さんたちは呼ばれていますか? > root★さん

**root ★** · 04/05/08 04:37

>>334
>>314 の時点で既にcron仕込んでありますです。

**FOX ★** · 04/05/08 04:38

はいー

動いていましたー

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 04:48

緑色がumaっすかね。

**FOX ★** · 04/05/08 05:00

http://stats.2ch.net/kawasemi-m/
http://stats.2ch.net/kawasemi-m/0total-20040508.txt

毎分更新

23:59 は正しく取れるけど
24:00 は取れなくて
00:00 が・・・

**未承諾広告※** ◆TWARamEjuA · 04/05/08 05:16

>>338
おー！
24:00 = 00:00 ではダメなのかな？

**FOX ★** · 04/05/08 05:22

>>339
こまいところは、ちとあとまわし、、、

**未承諾広告※** ◆TWARamEjuA · 04/05/08 05:22

あっと、23:59-24:00 の分。って意味ですね。
それならそのまま翌日 00:00 でも OK かと（ソートしてもキレイに並ぶから）
あと、何日分保持させるのかな？
1440行/日ですよね？

**未承諾広告※** ◆TWARamEjuA · 04/05/08 05:28

手前味噌でｽﾏｿですけれども、鯖名もくっつけると鯖毎の集計も楽になるかと。
参照： http://sv2ch.baila6.jp/board/

でもって、1 板ずつ採取となると 500 近いアクセスが必要となってくるので、みんなまとめたファイルもあるとよいかもです。
（こちらの場合は「最新値／その日の累計値」だけを 1 板 1 行にしておくとか）
参照： http://sv2ch.baila6.jp/boardlist.txt

**FOX ★** · 04/05/08 05:34

なるなる、

サーバ名は、、、
別に　板 - サーバのファイルを一日に一回くらい作るかな

まとめたファイルですか。。。
ちと考えます

http://stats.2ch.net/kawasemi-h/0total-2004050805.txt
http://stats.2ch.net/kawasemi-h/
これも日にち境界がどうなるか。。。
すでに晩酌モード頭働かないので、またあとで考えよう。

**FOX ★** · 04/05/08 05:35

保持数は・・・

四日程度を考えていますー

**未承諾広告※** ◆TWARamEjuA · 04/05/08 05:39

>>343-344
おつですおつですー(^o^)

**FOX ★** · 04/05/08 05:41

ファイル名失敗

http://stats.2ch.net/kawasemi-h/0total-20040508.txt
こうですね、

>>345
大枠はこんな感じでしょうかねぇ
細かいところはこれからということで、

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 05:50

スレ立てを分けてカウントしてみません？

**FOX ★** · 04/05/08 05:53

>>347
そっすねー

>>342
全部１ファイルというと、こうかな?
http://stats.2ch.net/kawasemi-m/0all-20040508.txt

**未承諾広告※** ◆TWARamEjuA · 04/05/08 05:59

>>348
をーすばーらすぃっ！（嬉）

しかし朝珈琲ってばなんなんでしょうね。。。
と宣いつつ朝珈琲飲用中（嬉）

**FOX ★** · 04/05/08 07:02

なんとなく上手く行っている気配
http://stats.2ch.net/kawasemi-h/morningcoffee-20040508.txt

日にち境界もこっちは上手く行くはずなんだけど、、、
結果がでるのは 24:01 過ぎですなぁ

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 12:24

実況板のログと番組表を組み合わせてみると面白そう
XMLTVとか使えばいいかな
http://linux.paken.org/index.php?XMLTV%C6%FC%CB%DC%C2%D0%B1%FE%C8%C7

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 19:38

今ってどんなIP返してるのかな？
res/minとかのっけてみるとか。

**動け動けウゴウゴ２ちゃんねる** · 04/05/09 05:48

とも子がスレストする時に BBS に何か投げて
「とも子作動検知器」って作れないかな？

**動け動けウゴウゴ２ちゃんねる** · 04/05/09 18:35

とも子の日記帳

**動け動けウゴウゴ２ちゃんねる** · 04/05/09 21:52

板名はmorningcoffeeとかよりもモ娘(狼)とかいてあった方がわかりやすいと思います

**FOX ★** · 04/05/09 22:57

http://stats.2ch.net/kawasemi-d/2ch.txt

ここに毎日の投稿数の合計が貯められていく予定

**動け動けウゴウゴ２ちゃんねる** · 04/05/09 23:07

えー　私は逆の方がわかりやすいけど>>355

**▲ 某ソレ511** · 04/05/09 23:13

こんな板に入り浸ってる人くらいじゃない？フォルダ名から板名が分かるのって

**外野ｧｧﾝ** · 04/05/09 23:15

>>355,357
どういう形式で表示するかは後で誰かがなんとかしてくれるさ

◆hhAfoYOSSY · 04/05/09 23:18

じゃ、間をとって
ハロプロ＠2ch掲示板で。

◆FAVEaNACCI · 04/05/09 23:22

野鳥の会だから鳥の名前なんだ（逆？

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 00:56

http://stats.2ch.net/karasu2.cgi
どんどん黄色くなっていく。

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 04:18

>>356
> 200405090
> 200405091533082
> 200405091658017

なんで全部0509なの？

**FOX ★** · 04/05/10 04:27

>>363
全部五月九日のデータだからでーす

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 05:01

ほよ、、、どう違うの？