【野鳥の会】 BBS.2ch.net 全発言統計の巻 part1

**FOX ★** · 04/05/03 04:30

２ちゃんねるの全発言の統計を取ろうに挑戦

bbs.cgi に一個DNS問い合わせの処理を追加
発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net をlook up
この方法でやるとかなり低コストで出来る予感。

まずは現在空いている oyster138(旧game5)ではじめてみよう計画

**FOX ★** · 04/05/06 22:49

qb2 も含めて呼び出しは全てのサーバで停止しました。

**root ★** · 04/05/06 22:51

>>306
了解です。
まずは中身確認させてくださいです。

ごそごそして、準備ができ次第儀式へと。

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 22:53

>304

おいらは某板で>>このアンカーはスレの容量を増やすので
嫌われると仕込まれて以来、>一個でレスするのを原則にしてる
専用ブラウザは大抵ポップアップしてくれるし

だから、レスアンカーを数えてもあまり参考にならないかと・・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/06 22:57

うんまあその程度しか期待してないけど

**動け２ちゃんねる** · 04/05/06 23:53

過去のデータは見られるようになるのか？

**動け動けウゴウゴ２ちゃんねる** · 04/05/07 00:08

datから起こせるようになるんでは？
物凄い負荷になるかも知れんけど

※ ◆baila6uPTo · 04/05/07 00:36

>>310
うしろには振り向かない仕様なので無理です。

**▲ 某ソレ511** · 04/05/07 00:39

>>174 >>287 を見る限り予定はあると思うけど、

**root ★** · 04/05/07 15:15

ということで、PIEにて再開。

さきほどpekoサーバのbbs.cgiを更新。

**root ★** · 04/05/07 16:16

移行して約1時間半。
メモリ不足やI/Oがめいっぱいになることもなく、今のところ問題なく動いている模様。

**FOX ★** · 04/05/07 16:28

今日観察したいのは
昨日まで起こっていた問題が解決されたかどうか、

昨日までの問題点
各サーバのbbs.cgiを bbs.2ch.net がブロックしてしまうので
書き込み時に時間がかかり、処理が溜まり各サーバが
にっちもさっちも行かなくなった。

取った行動
bbs.2ch.net の設置してあるサーバが良くないと決め付け
別のサーバにした。ロケーションすら変えた　(he->pie)

期待値
bbs.2ch.net の動作が各サーバのbbs.cgiをブロックすることなく
ピーク時も順調に良好な掲示板動作が・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/07 18:16

今朝分のカキコ数が累積されてなかったのは
再開前の投稿が反映されてなかっただけね

**▲ 某ソレ511** · 04/05/07 18:18

heからPIEに移ってネットワークの詰まりがなくなるため
>>226-227の問題も解決できてると、期待してみよう、

**root ★** · 04/05/08 01:56

http://ch2.ath.cx/load/live8.html

やるな。ここのCGIからデータとってるすね。これ。

**FOX ★** · 04/05/08 01:58

ええと
あくまでも仮の形式・仮のアドレスなので
どんどん仕様変更は覚悟しておいてくださいー

**root ★** · 04/05/08 02:01

もとより>>319の中の人はそのつもりでしょう。

で、>>316、いいかんじすね。ピークでも詰まる様子はみられないし。

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 02:18

>>319
ですです。

>>320
んー、２ちゃんの歴史そのものかなぁ。(笑)＜どんどん仕様変更
直ぐに元に戻したりも出来るので、その点は大丈夫です。

**未承諾広告※** ◆TWARamEjuA · 04/05/08 02:25

個人的にはやっぱり生textが欲しかったり（苦笑）

♪tonbi をグラフにしてみようかしらん。

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 02:26

そろそろread.cgi/r.i/p.iのも見たいな、と言ってみるてすつ。

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 02:33

>>323
ﾜｸﾜｸ。
私の方では、板別には手が出ないです。(´･ω･`)

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 02:42

>>324
さすがにread.cgiのアクセス数を外部で拾うのは無理のような。

内部で記録する場合でも、httpd.confを触って１アクセスで１バイトの
ログを吐くようにしてファイルサイズ＝アクセス数というような工夫を
しないと苦しいかも。

**FOX ★** · 04/05/08 03:19

移転考察用に

http://stats.2ch.net/karasu2.cgi

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 03:32

>>327
それぞれの色はどういう意味ですか？

**▲ 某ソレ511** · 04/05/08 03:34

おいらでいいなら、
水色＝peko(cobra)サーバ
黄色＝bananaサーバ
白色＝その他

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 03:34

>>328
青：peko
黄：banana

かと

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 03:37

㌧。

**▲ 某ソレ511** · 04/05/08 03:45

そういえばpc5だけbananaで白文字だけど、
バックアップ強化とかなんか特殊事情あったっけ、

**FOX ★** · 04/05/08 03:52

単に忘れているだけだったりして

**FOX ★** · 04/05/08 04:31

kawasemi さんたちは呼ばれていますか? > root★さん

**root ★** · 04/05/08 04:37

>>334
>>314 の時点で既にcron仕込んでありますです。

**FOX ★** · 04/05/08 04:38

はいー

動いていましたー

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 04:48

緑色がumaっすかね。

**FOX ★** · 04/05/08 05:00

http://stats.2ch.net/kawasemi-m/
http://stats.2ch.net/kawasemi-m/0total-20040508.txt

毎分更新

23:59 は正しく取れるけど
24:00 は取れなくて
00:00 が・・・

**未承諾広告※** ◆TWARamEjuA · 04/05/08 05:16

>>338
おー！
24:00 = 00:00 ではダメなのかな？

**FOX ★** · 04/05/08 05:22

>>339
こまいところは、ちとあとまわし、、、

**未承諾広告※** ◆TWARamEjuA · 04/05/08 05:22

あっと、23:59-24:00 の分。って意味ですね。
それならそのまま翌日 00:00 でも OK かと（ソートしてもキレイに並ぶから）
あと、何日分保持させるのかな？
1440行/日ですよね？

**未承諾広告※** ◆TWARamEjuA · 04/05/08 05:28

手前味噌でｽﾏｿですけれども、鯖名もくっつけると鯖毎の集計も楽になるかと。
参照： http://sv2ch.baila6.jp/board/

でもって、1 板ずつ採取となると 500 近いアクセスが必要となってくるので、みんなまとめたファイルもあるとよいかもです。
（こちらの場合は「最新値／その日の累計値」だけを 1 板 1 行にしておくとか）
参照： http://sv2ch.baila6.jp/boardlist.txt

**FOX ★** · 04/05/08 05:34

なるなる、

サーバ名は、、、
別に　板 - サーバのファイルを一日に一回くらい作るかな

まとめたファイルですか。。。
ちと考えます

http://stats.2ch.net/kawasemi-h/0total-2004050805.txt
http://stats.2ch.net/kawasemi-h/
これも日にち境界がどうなるか。。。
すでに晩酌モード頭働かないので、またあとで考えよう。

**FOX ★** · 04/05/08 05:35

保持数は・・・

四日程度を考えていますー

**未承諾広告※** ◆TWARamEjuA · 04/05/08 05:39

>>343-344
おつですおつですー(^o^)

**FOX ★** · 04/05/08 05:41

ファイル名失敗

http://stats.2ch.net/kawasemi-h/0total-20040508.txt
こうですね、

>>345
大枠はこんな感じでしょうかねぇ
細かいところはこれからということで、

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 05:50

スレ立てを分けてカウントしてみません？

**FOX ★** · 04/05/08 05:53

>>347
そっすねー

>>342
全部１ファイルというと、こうかな?
http://stats.2ch.net/kawasemi-m/0all-20040508.txt

**未承諾広告※** ◆TWARamEjuA · 04/05/08 05:59

>>348
をーすばーらすぃっ！（嬉）

しかし朝珈琲ってばなんなんでしょうね。。。
と宣いつつ朝珈琲飲用中（嬉）

**FOX ★** · 04/05/08 07:02

なんとなく上手く行っている気配
http://stats.2ch.net/kawasemi-h/morningcoffee-20040508.txt

日にち境界もこっちは上手く行くはずなんだけど、、、
結果がでるのは 24:01 過ぎですなぁ

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 12:24

実況板のログと番組表を組み合わせてみると面白そう
XMLTVとか使えばいいかな
http://linux.paken.org/index.php?XMLTV%C6%FC%CB%DC%C2%D0%B1%FE%C8%C7

**動け動けウゴウゴ２ちゃんねる** · 04/05/08 19:38

今ってどんなIP返してるのかな？
res/minとかのっけてみるとか。

**動け動けウゴウゴ２ちゃんねる** · 04/05/09 05:48

とも子がスレストする時に BBS に何か投げて
「とも子作動検知器」って作れないかな？

**動け動けウゴウゴ２ちゃんねる** · 04/05/09 18:35

とも子の日記帳

**動け動けウゴウゴ２ちゃんねる** · 04/05/09 21:52

板名はmorningcoffeeとかよりもモ娘(狼)とかいてあった方がわかりやすいと思います

**FOX ★** · 04/05/09 22:57

http://stats.2ch.net/kawasemi-d/2ch.txt

ここに毎日の投稿数の合計が貯められていく予定

**動け動けウゴウゴ２ちゃんねる** · 04/05/09 23:07

えー　私は逆の方がわかりやすいけど>>355

**▲ 某ソレ511** · 04/05/09 23:13

こんな板に入り浸ってる人くらいじゃない？フォルダ名から板名が分かるのって

**外野ｧｧﾝ** · 04/05/09 23:15

>>355,357
どういう形式で表示するかは後で誰かがなんとかしてくれるさ

◆hhAfoYOSSY · 04/05/09 23:18

じゃ、間をとって
ハロプロ＠2ch掲示板で。

◆FAVEaNACCI · 04/05/09 23:22

野鳥の会だから鳥の名前なんだ（逆？

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 00:56

http://stats.2ch.net/karasu2.cgi
どんどん黄色くなっていく。

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 04:18

>>356
> 200405090
> 200405091533082
> 200405091658017

なんで全部0509なの？

**FOX ★** · 04/05/10 04:27

>>363
全部五月九日のデータだからでーす

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 05:01

ほよ、、、どう違うの？

**FOX ★** · 04/05/10 05:03

200405091533082 = 2004/05/09 15:33:08 かな?

**FOX ★** · 04/05/10 05:04

どっかに \t で区切り入っていなかった?

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 05:07

20040509　0
20040509　1533082
20040509　1658017

見た目こんな感じでしょ
1,533,082かと思ったんだけど、それなら
同じ日で1行目・2行目・3行目の数字は何故違うんだと。。。

**FOX ★** · 04/05/10 05:08

ちょっとまっててね

banana230 でごそごそ中。。。

**FOX ★** · 04/05/10 05:22

20040509　0　←　初めてのテスト「大失敗」
20040509　1533082　←　二回目のテスト「よさげ」
20040509　1658017　←　始めて自動的に取れたデータ「あっていればいいな」

となっております

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 05:25

なるほどｗ　乙です
「あっていればいいな」の正解確認はどこでできるんだろう？ｗ

**FOX ★** · 04/05/10 05:29

毎日　24:00 直前の suzume の数値との比較かな、

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 16:45

sports3/4/5/6　ってPIEでした？
黄色だけど

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 19:56

みなたん乙です。
早速作ってみますた。採集15+2分毎です。グラフはリアルタイム生成です。
ttp://web5.nazarite.jp/stats/
タイトルが変なのは、そのうちに直します。
TV のデータがチャンネル別だとニールセンより価値出るね。(期待)

**▲ 某ソレ511** · 04/05/10 20:00

>>373
なんでまとまって書かれてるんかねぇ(￣ー￣)ﾆﾔﾘｯ
>>374
うーん、地震&+って傾向似てるから合計しても変わらないかも、、
ちなみに実況chは板がチャンネル別に分かれてるけど、

**374** · 04/05/10 20:06

なるほど調べてみます。実況ch はｻｶｰのとき位か...

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 20:11

＞that3/book3/off2/bubble2/aa4/food3/travel
まだ動かすんですか？

**374** · 04/05/10 20:37

>>375 地上波対応しますた。

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 21:43

ふじはいいともをやってるのが昼間に出てる
朝日とテレ塔の夜中は何だろう

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 22:05

N捨てとアニメかな

**動け動けウゴウゴ２ちゃんねる** · 04/05/10 22:36

実況ch を実況するｽﾚができたり。これはこれで面白。

**FOX ★** · 04/05/11 01:22

root★さんに質問ですー

BBS.2ch.net (banana223?) のcapacityはどれくらいの雰囲気ですかねぇ

**動け動けウゴウゴ２ちゃんねる** · 04/05/11 01:33

>>379
昨日の深夜
テレ朝　サマーソニック＆WIRE04チケット予約特番
テレ東　J1・FC東京ｖｓ柏

**動け動けウゴウゴ２ちゃんねる** · 04/05/11 01:39

おっ、 read.cgi 版も入れてみたりするのかな？

**root ★** · 04/05/11 02:25

>>382
メモリ、ディスクI/O、ネットワークI/Oいずれも余裕ありかと。
で、何入れようとしてます？もしBB?だったらIPアドレスのおかわりをくださいです。

**動け動けウゴウゴ２ちゃんねる** · 04/05/11 02:31

http://stats.2ch.net/karasu2.cgi
travel2が別統計なんですけど。

**動け動けウゴウゴ２ちゃんねる** · 04/05/11 04:32

http://stats.2ch.net/suzume.cgi　板別　0時よりの統計
http://stats.2ch.net/tonbi.cgi　板別　毎時0分よりの統計
http://stats.2ch.net/karasu.cgi　鯖別　0時よりの統計
http://stats.2ch.net/karasu2.cgi　鯖グループ別　0時よりの統計
http://stats.2ch.net/tubame.cgi　各スレッド瞬間風速ランキング

http://stats.2ch.net/kawasemi-d/2ch.txt　2ch一日全発言統計一覧
http://stats.2ch.net/kawasemi-h/　tonbiのログっぽいの

tonbiは0分からの統計じゃなくて過去1時間の統計がいい。とｵﾓﾀ。
あとkawasemi-dは2ch.txtだけじゃなくて各板ﾎｽｨ。とｵﾓﾀ。

**動け動けウゴウゴ２ちゃんねる** · 04/05/11 16:53

that3/book3/off2/bubble2/aa4/travel2　　7,561

なんか止まっちゃってるみたい。数が増えない‥‥。

**動け動けウゴウゴ２ちゃんねる** · 04/05/11 17:20

>>388
http://ch2.ath.cx/load/aa4.html
banana229 ですか。
こりゃ今朝の回線落ち（鯖落ち？）の時ですね。
banana は若くてかっこいいお兄さんが担当でしたっけ？

◆BDFCNV1.to · 04/05/11 17:22

はいはいなんでしょうか?

たぶん IP とか設定されている name とかが変わってしまって
BBS.2ch.net ではじかれているのかなぁ。。。

**動け動けウゴウゴ２ちゃんねる** · 04/05/11 17:27

なるほど、じゃ root さん待ちなんですかね。
ま、板が機能不全になっている訳ではないし。
ﾏﾀｰﾘﾏﾀｰﾘ

◆BDFCNV1.to · 04/05/11 17:28

ちよっと見てきますね、

**root ★** · 04/05/11 17:30

>>389
banana229だけ他のbananaさんと/etc/resolv.confの内容が違うみたいですが、
今後このホストも使用する予定なのでしょうか。

…と、bananaの中の人にお伝えいただけますでしょうか。

**root ★** · 04/05/11 17:34

とりあえずシステム側に仮登録しておきました。
# BBX/Rock54システムにも登録しておこう。

**root ★** · 04/05/11 17:49

うまくいってなかったので、再登録。どうかな。

**root ★** · 04/05/11 17:52

増え始めたみたいですね。仕事に戻ります。

**root ★** · 04/05/11 17:53

>>393も対応いただけた予感。
これでOKかなと。

◆BDFCNV1.to · 04/05/11 17:55

どもども

Jim

◆BDFCNV1.to · 04/05/11 17:56

おっと暴発

Jim & David は、bgp のお勉強をはじめるそうです

**動け動けウゴウゴ２ちゃんねる** · 04/05/11 17:56

乙ですー。

**動け動けウゴウゴ２ちゃんねる** · 04/05/12 08:17

ちょっとした要望なんだけど・・・

両方の「からす」にも、時刻表示を入れてほしいなぁ・・・

http://stats.2ch.net/karasu.cgi
http://stats.2ch.net/karasu2.cgi

それから、昨日の「からす」があればいいなぁ・・・

◆BDFCNV1.to · 04/05/12 14:48

http://stats.2ch.net/karasu2.cgi?yesterday

すでにある?

**動け動けウゴウゴ２ちゃんねる** · 04/05/12 14:52

>>402
どうもありがとうございます・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/12 15:03

＞サーバ別発言数本日
と書いてあると紛らわしいですなあ

◆BDFCNV1.to · 04/05/12 15:22

そのうち無くなるものですから
力入れてもしょうがなく　< cgi たち