【野鳥の会】 BBS.2ch.net 全発言統計の巻 part1

**FOX ★** · 04/05/03 04:30

２ちゃんねるの全発言の統計を取ろうに挑戦

bbs.cgi に一個DNS問い合わせの処理を追加
発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net をlook up
この方法でやるとかなり低コストで出来る予感。

まずは現在空いている oyster138(旧game5)ではじめてみよう計画

**FOX ★** · 04/05/05 22:27

>>281
そういう話か?
なんか違うような、

**動け動けウゴウゴ２ちゃんねる** · 04/05/05 22:39

男と女のひりｔ;y=ｰ(ﾟдﾟ)･∵. ﾀｰﾝ

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 00:09

書き込み内容から空白を取り除いた物のMD5値なんてぇのはどうでしょうか？
コスト高いかな？

定型文爆撃の統計に使えそうですけど。

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 01:44

http://stats.2ch.net/tubame.cgi

pieとidolの板は、bbspink.comにして欲しいです。
（pie.2ch.net、idol.2ch.netになってるです。）

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 02:29

板別のスレたて人のホスト統計とか
とれるようになったら、うれしいのです。

なんとなく。

**FOX ★** · 04/05/06 03:03

>>174 なんですが。。。

某BBS directry にある
kawasemi-d.cgi を毎日 00:01に
kawasemi-h.cgi を毎時 01min に
kawasemi-m.cgi を一日中 1 min おきに

呼んで欲しいですー

わたし、cronとか良く知らないのでお願いしますー

>root★さん

**root ★** · 04/05/06 03:59

これからやります。
-dは、JSTですよね。

**FOX ★** · 04/05/06 04:00

はいー
JST ですー

すんませんです。
お手数かけて

**root ★** · 04/05/06 04:09

うーむ、PDT/PSTな環境で夏も冬もちゃんと0:01に動かすのって、どうやるんだろ。
今はとりあえずPDTで0:01にしておこう。

で、このコマンド何か出力しているらしくがんがんメールがでているわけですが、
出力をログに残すようにしておく？
それとも、捨てちゃっていいですか？

**FOX ★** · 04/05/06 04:13

あっ
テスト用に　print したんだった。
すてちゃっていいですー

今後も print する予定なので < testするとき

**root ★** · 04/05/06 04:15

stdout/stderrをでぶぬるに捨てるようにしました。>>291

**FOX ★** · 04/05/06 04:16

どもですー

**FOX ★** · 04/05/06 14:23

>>281-282

どういうことかと言うと

1) うわっ　ゴミ箱にかけるんで無いの? -> ゴミ箱を書けなくしなきゃ
2) げっ　書いていないのにカウントされるって事?
　　正しくカウントしてなきゃ意味無いじゃん

だと思うのだが、

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/06 14:24

●書き込み統計は不採用ですか・・・・残念。

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 21:21

http://stats.2ch.net/karasu.cgi
http://stats.2ch.net/suzume.cgi

繋がらない。

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 21:26

>>296
鯖落ちしてるみたいっすね。
pingかからないです

**FOX ★** · 04/05/06 21:31

pie に移しますか、
あした手配します。

**FOX ★** · 04/05/06 21:32

まずは bbs.cgi から呼ぶの止めます

**FOX ★** · 04/05/06 21:43

ということで　bbs.2ch.net は急遽 pie に banana を用意します
メール送りますー　> root★さん

04/05/06 21:49

bananaで大丈夫なの？>memory

**root ★** · 04/05/06 22:36

了解です。>>300

で、pekoサーバのbbs.cgiを更新しました。
live8負荷かかってんなぁと思ったら某今井氏出演中か。2ブレーメンぐらいかな。

bbs.2ch.netの用途だけなら、なんとかなるんじゃかなと。>>301
もし足りないようなら、そのときはまた考慮いただくということで。

**FOX ★** · 04/05/06 22:46

>>302
メール発射しましたー
DNS の設定はどのように変更すればいいですか?

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 22:48

スレごとの投稿バイトの平均とか
スレごとの投稿間隔の平均とかが見られると
レス数が異なるスレ同士の比較に使えるかも

あとレスアンカーの使われたレス数で住人同士の会話度とか
URLリンク数で情報度とか
2ちゃんねるスレリンク数で連携度とか

**root ★** · 04/05/06 22:48

>>303
メール受け取りました。これから中身確認します。

今bbs.cgiから参照されてないんであれば、単純に今のものを引き継いでいただければOKです。
つまりIPアドレスの変更のみで可かなと。

儀式内容はあっちのスレでいきます。

**FOX ★** · 04/05/06 22:49

qb2 も含めて呼び出しは全てのサーバで停止しました。

**root ★** · 04/05/06 22:51

>>306
了解です。
まずは中身確認させてくださいです。

ごそごそして、準備ができ次第儀式へと。

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 22:53

>304

おいらは某板で>>このアンカーはスレの容量を増やすので
嫌われると仕込まれて以来、>一個でレスするのを原則にしてる
専用ブラウザは大抵ポップアップしてくれるし

だから、レスアンカーを数えてもあまり参考にならないかと・・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 22:57

うんまあその程度しか期待してないけど

**動け２ちゃんねる** · 04/05/06 23:53

過去のデータは見られるようになるのか？

**動け動けウゴウゴ２ちゃんねる** · 04/05/07 00:08

datから起こせるようになるんでは？
物凄い負荷になるかも知れんけど

※ ◆baila6uPTo · 04/05/07 00:36

>>310
うしろには振り向かない仕様なので無理です。

**▲ 某ソレ511** · 04/05/07 00:39

>>174 >>287 を見る限り予定はあると思うけど、

**root ★** · 04/05/07 15:15

ということで、PIEにて再開。

さきほどpekoサーバのbbs.cgiを更新。

**root ★** · 04/05/07 16:16

移行して約1時間半。
メモリ不足やI/Oがめいっぱいになることもなく、今のところ問題なく動いている模様。

**FOX ★** · 04/05/07 16:28

今日観察したいのは
昨日まで起こっていた問題が解決されたかどうか、

昨日までの問題点
各サーバのbbs.cgiを bbs.2ch.net がブロックしてしまうので
書き込み時に時間がかかり、処理が溜まり各サーバが
にっちもさっちも行かなくなった。

取った行動
bbs.2ch.net の設置してあるサーバが良くないと決め付け
別のサーバにした。ロケーションすら変えた　(he->pie)

期待値
bbs.2ch.net の動作が各サーバのbbs.cgiをブロックすることなく
ピーク時も順調に良好な掲示板動作が・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/07 18:16

今朝分のカキコ数が累積されてなかったのは
再開前の投稿が反映されてなかっただけね

**▲ 某ソレ511** · 04/05/07 18:18

heからPIEに移ってネットワークの詰まりがなくなるため
>>226-227の問題も解決できてると、期待してみよう、

**root ★** · 04/05/08 01:56

http://ch2.ath.cx/load/live8.html

やるな。ここのCGIからデータとってるすね。これ。

**FOX ★** · 04/05/08 01:58

ええと
あくまでも仮の形式・仮のアドレスなので
どんどん仕様変更は覚悟しておいてくださいー

**root ★** · 04/05/08 02:01

もとより>>319の中の人はそのつもりでしょう。

で、>>316、いいかんじすね。ピークでも詰まる様子はみられないし。

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 02:18

>>319
ですです。

>>320
んー、２ちゃんの歴史そのものかなぁ。(笑)＜どんどん仕様変更
直ぐに元に戻したりも出来るので、その点は大丈夫です。

**未承諾広告※** ◆TWARamEjuA · 04/05/08 02:25

個人的にはやっぱり生textが欲しかったり（苦笑）

♪tonbi をグラフにしてみようかしらん。

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 02:26

そろそろread.cgi/r.i/p.iのも見たいな、と言ってみるてすつ。

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 02:33

>>323
ﾜｸﾜｸ。
私の方では、板別には手が出ないです。(´･ω･`)

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 02:42

>>324
さすがにread.cgiのアクセス数を外部で拾うのは無理のような。

内部で記録する場合でも、httpd.confを触って１アクセスで１バイトの
ログを吐くようにしてファイルサイズ＝アクセス数というような工夫を
しないと苦しいかも。

**FOX ★** · 04/05/08 03:19

移転考察用に

http://stats.2ch.net/karasu2.cgi

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 03:32

>>327
それぞれの色はどういう意味ですか？

**▲ 某ソレ511** · 04/05/08 03:34

おいらでいいなら、
水色＝peko(cobra)サーバ
黄色＝bananaサーバ
白色＝その他

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 03:34

>>328
青：peko
黄：banana

かと

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 03:37

㌧。

**▲ 某ソレ511** · 04/05/08 03:45

そういえばpc5だけbananaで白文字だけど、
バックアップ強化とかなんか特殊事情あったっけ、

**FOX ★** · 04/05/08 03:52

単に忘れているだけだったりして

**FOX ★** · 04/05/08 04:31

kawasemi さんたちは呼ばれていますか? > root★さん

**root ★** · 04/05/08 04:37

>>334
>>314 の時点で既にcron仕込んでありますです。

**FOX ★** · 04/05/08 04:38

はいー

動いていましたー

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 04:48

緑色がumaっすかね。

**FOX ★** · 04/05/08 05:00

http://stats.2ch.net/kawasemi-m/
http://stats.2ch.net/kawasemi-m/0total-20040508.txt

毎分更新

23:59 は正しく取れるけど
24:00 は取れなくて
00:00 が・・・

**未承諾広告※** ◆TWARamEjuA · 04/05/08 05:16

>>338
おー！
24:00 = 00:00 ではダメなのかな？

**FOX ★** · 04/05/08 05:22

>>339
こまいところは、ちとあとまわし、、、

**未承諾広告※** ◆TWARamEjuA · 04/05/08 05:22

あっと、23:59-24:00 の分。って意味ですね。
それならそのまま翌日 00:00 でも OK かと（ソートしてもキレイに並ぶから）
あと、何日分保持させるのかな？
1440行/日ですよね？

**未承諾広告※** ◆TWARamEjuA · 04/05/08 05:28

手前味噌でｽﾏｿですけれども、鯖名もくっつけると鯖毎の集計も楽になるかと。
参照： http://sv2ch.baila6.jp/board/

でもって、1 板ずつ採取となると 500 近いアクセスが必要となってくるので、みんなまとめたファイルもあるとよいかもです。
（こちらの場合は「最新値／その日の累計値」だけを 1 板 1 行にしておくとか）
参照： http://sv2ch.baila6.jp/boardlist.txt

**FOX ★** · 04/05/08 05:34

なるなる、

サーバ名は、、、
別に　板 - サーバのファイルを一日に一回くらい作るかな

まとめたファイルですか。。。
ちと考えます

http://stats.2ch.net/kawasemi-h/0total-2004050805.txt
http://stats.2ch.net/kawasemi-h/
これも日にち境界がどうなるか。。。
すでに晩酌モード頭働かないので、またあとで考えよう。

**FOX ★** · 04/05/08 05:35

保持数は・・・

四日程度を考えていますー

**未承諾広告※** ◆TWARamEjuA · 04/05/08 05:39

>>343-344
おつですおつですー(^o^)

**FOX ★** · 04/05/08 05:41

ファイル名失敗

http://stats.2ch.net/kawasemi-h/0total-20040508.txt
こうですね、

>>345
大枠はこんな感じでしょうかねぇ
細かいところはこれからということで、

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 05:50

スレ立てを分けてカウントしてみません？

**FOX ★** · 04/05/08 05:53

>>347
そっすねー

>>342
全部１ファイルというと、こうかな?
http://stats.2ch.net/kawasemi-m/0all-20040508.txt

**未承諾広告※** ◆TWARamEjuA · 04/05/08 05:59

>>348
をーすばーらすぃっ！（嬉）

しかし朝珈琲ってばなんなんでしょうね。。。
と宣いつつ朝珈琲飲用中（嬉）

**FOX ★** · 04/05/08 07:02

なんとなく上手く行っている気配
http://stats.2ch.net/kawasemi-h/morningcoffee-20040508.txt

日にち境界もこっちは上手く行くはずなんだけど、、、
結果がでるのは 24:01 過ぎですなぁ

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 12:24

実況板のログと番組表を組み合わせてみると面白そう
XMLTVとか使えばいいかな
http://linux.paken.org/index.php?XMLTV%C6%FC%CB%DC%C2%D0%B1%FE%C8%C7

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 19:38

今ってどんなIP返してるのかな？
res/minとかのっけてみるとか。

**動け動けウゴウゴ２ちゃんねる** · 04/05/09 05:48

とも子がスレストする時に BBS に何か投げて
「とも子作動検知器」って作れないかな？

**動け動けウゴウゴ２ちゃんねる** · 04/05/09 18:35

とも子の日記帳

**動け動けウゴウゴ２ちゃんねる** · 04/05/09 21:52

板名はmorningcoffeeとかよりもモ娘(狼)とかいてあった方がわかりやすいと思います

**FOX ★** · 04/05/09 22:57

http://stats.2ch.net/kawasemi-d/2ch.txt

ここに毎日の投稿数の合計が貯められていく予定

**動け動けウゴウゴ２ちゃんねる** · 04/05/09 23:07

えー　私は逆の方がわかりやすいけど>>355

**▲ 某ソレ511** · 04/05/09 23:13

こんな板に入り浸ってる人くらいじゃない？フォルダ名から板名が分かるのって

**外野ｧｧﾝ** · 04/05/09 23:15

>>355,357
どういう形式で表示するかは後で誰かがなんとかしてくれるさ

◆hhAfoYOSSY · 04/05/09 23:18

じゃ、間をとって
ハロプロ＠2ch掲示板で。

◆FAVEaNACCI · 04/05/09 23:22

野鳥の会だから鳥の名前なんだ（逆？

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 00:56

http://stats.2ch.net/karasu2.cgi
どんどん黄色くなっていく。

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 04:18

>>356
> 200405090
> 200405091533082
> 200405091658017

なんで全部0509なの？

**FOX ★** · 04/05/10 04:27

>>363
全部五月九日のデータだからでーす

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 05:01

ほよ、、、どう違うの？

**FOX ★** · 04/05/10 05:03

200405091533082 = 2004/05/09 15:33:08 かな?

**FOX ★** · 04/05/10 05:04

どっかに \t で区切り入っていなかった?

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 05:07

20040509　0
20040509　1533082
20040509　1658017

見た目こんな感じでしょ
1,533,082かと思ったんだけど、それなら
同じ日で1行目・2行目・3行目の数字は何故違うんだと。。。

**FOX ★** · 04/05/10 05:08

ちょっとまっててね

banana230 でごそごそ中。。。

**FOX ★** · 04/05/10 05:22

20040509　0　←　初めてのテスト「大失敗」
20040509　1533082　←　二回目のテスト「よさげ」
20040509　1658017　←　始めて自動的に取れたデータ「あっていればいいな」

となっております

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 05:25

なるほどｗ　乙です
「あっていればいいな」の正解確認はどこでできるんだろう？ｗ

**FOX ★** · 04/05/10 05:29

毎日　24:00 直前の suzume の数値との比較かな、

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 16:45

sports3/4/5/6　ってPIEでした？
黄色だけど

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 19:56

みなたん乙です。
早速作ってみますた。採集15+2分毎です。グラフはリアルタイム生成です。
ttp://web5.nazarite.jp/stats/
タイトルが変なのは、そのうちに直します。
TV のデータがチャンネル別だとニールセンより価値出るね。(期待)

**▲ 某ソレ511** · 04/05/10 20:00

>>373
なんでまとまって書かれてるんかねぇ(￣ー￣)ﾆﾔﾘｯ
>>374
うーん、地震&+って傾向似てるから合計しても変わらないかも、、
ちなみに実況chは板がチャンネル別に分かれてるけど、

**374** · 04/05/10 20:06

なるほど調べてみます。実況ch はｻｶｰのとき位か...

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 20:11

＞that3/book3/off2/bubble2/aa4/food3/travel
まだ動かすんですか？

**374** · 04/05/10 20:37

>>375 地上波対応しますた。

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 21:43

ふじはいいともをやってるのが昼間に出てる
朝日とテレ塔の夜中は何だろう

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 22:05

N捨てとアニメかな

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 22:36

実況ch を実況するｽﾚができたり。これはこれで面白。