【野鳥の会】 BBS.2ch.net 全発言統計の巻 part1
■ このスレッドは過去ログ倉庫に格納されています
2ちゃんねるの全発言の統計を取ろうに挑戦
bbs.cgi に一個DNS問い合わせの処理を追加
発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net をlook up
この方法でやるとかなり低コストで出来る予感。
まずは現在空いている oyster138(旧game5)ではじめてみよう計画
stats.2ch.netはPIEじゃなくてheにあるgame5の再利用ですよ。
っていってるうちに直ったようですね。
しかし、なんかこの止まって直った直後に、すずめとかの値が
ちょっと増えすぎてるような気がするんだけど、、
例えば、止まる前は32000レス@18分くらいだったのに急に240000@43分になったり。
1750レス/分→5600レス/分なんだよなぁ、どっかで処理がループしてるんじゃ、、 うーむ、、、。データのはけが悪いために、DNSがリトライしているとかか。
正直ここまでデータのはけが悪いと、かなりつらいかも。
ここでMRTGとかRTG入れてグラフ表示しようかなとか思ってたんですが、
この状況ではとても無理な予感。 ティーショットが飛ばないと
クラブが悪いとか、
いっしょに回っているメンバーが悪いとか
野球の監督でチームが負けたら
選手が悪いとか
フロントが悪いとか
ないものねだりは無意味かと、
どうせ望むものは手に入りません。
狭い空き地でも、みんなで遊んでいるのが面白いンであって >>228
おっ。めづらしい。
どでもいいけどHTMLデザインつくってイイデスカ >>232
ニュー速は『その他』なんですねぇ・・・
まぁ、雑談カテですしねぇ・・・(w >>233
N即は今でもニュースカテゴリだよ。
鯖がex4だけど。 >>234
ご指摘ありがとうございます・・・
ニュースカテに戻っていたのですねぇ・・・ おおおっ
ツバメいつの間にかスレに飛べるようになってるのねン☆
余は満足じゃ >>235
早速の変更、お疲れさまです・・・
ニュー速が『NEWS』に入ると、目立ちますねぇ・・・
『その他』に、いろんな板がはいって、
興味深いですねぇ・・・ ツバメよ stats鯖から 教えてよ スレの速度を〜♪ 右の数字が過去一分間に付いたレスの数です
つまり分速です 進化してますねー。
つばめにスレタイも欲しいけど……厳しいだろうしなぁ……。 >>242
その辺は 形が固まってからかと
今は、あるデータをどの様に加工したら便利かを模索中。。。
ってことで >>244
うん、うん。。
BBYのように、見れたらいいねぇ・・ >>212
$xxx =~ s/(\d)(\d\d\d)(?!\d)/$1,$2/g;
というのをぐぐって見つけて使っているデ酢
百万のところもカンマつけるにはどうしたらいいの? $xxx =~ s/(\d)(\d\d\d)(\d\d\d)(?!\d)/$1,$2,$3/g;
こうか? >>249
http://www.din.or.jp/~ohzaki/perl.htm#NumberWithComma
このあたりですー 乙です。
確認事項ですが、>>163だとwiki中の、
「発言時unixtimeとバイト数を掛け合わせた数値.発言バイト数.〜」
じゃなくて
「発言時unixtime.発言処理プロセスID.発言バイト数.〜」
じゃないんでしょうか。 仮想都市「にちゃんねる」とかそんなのが出来るのかな…
ワクワク >>252
おぉ そうですね
更新しておきました。 >>248-249
おいらがずっと前に作った、コンマつけるサブルーチン
sub Comma{
$input = $_[0];
return $input if ($input < 1000);
$input = reverse($input);
$input =~ s/(\d\d\d)/$1,/g;
$input = reverse($input);
return $input;
} >>254
どうもです。
あと、ちょろっと「現状」の体裁を整えておきました。 つばめの「その他」だけベスト20か30まで表示して欲しいと言ってみる
板数多いのに特定の板の雑談スレや狼のスレがいくつも常に10以内に入ってるから >FOX 師
たびたびlookup仕様変更になってスマソですが、
●でのカキコフラグもいれられませんかね?
どの板でどれくらい●利用者のカキコがあるかってのもおもしろいかと。 たぶん●板より●の書き込み回数の多い板とかあるんだろうなあ 携帯カキコフラグとかもおもろいかもね。オフ板と携帯板は半数以上だったりして。
docomo.ne.jp、ezweb.ne.jp、jp-*.ne.jp、P*.ppp.prin.ne.jp できれば隠し板はカウントに入れて欲しくないと思ってみる今日この頃 各種フラグをいれるとしてこんなところですか。
・●使用の有無
・携帯からかどうか
・UAフラグ(IE6/IE5/Mozilla(with NN)/safari/opera/その他)
>>268
とりあえず通常ブラウザだけあげてみただけです、スマソ。
で、monazillaはどうしますかね。
・一緒にmonazillaとする
・個々のブラウザごとにわける デザイン作てもいいのかなぁ?
>>247
合計 xxxxxx Bytes
書きこみバイト数が多い板TOP50
みたいな。
>>269
ブラウザごとにわけたほうがいいかと。 >>270
ならのっけるストリングを検討。
参考:ttp://www.bayashi.net/st/pdmemo/ua.html
<PCwebブラウザ>
msie6 IE6
msie5 IE5
safari Safari
mozilla Mozilla/Netscape(判別が困難なため一緒にする)
opera Opera
lite Lite
icab iCab
omni OmniWeb
hotjava HotJava
lynx Lynx
w3m w3m 個人的にはだけど、あの手の情報公開用文書に「デザイン」は要らないと思う。
<携帯>(ホスト名判別を入れる?)
imode i-mode
foma FOMA
voda J-Phone/Vodafone
ezweb AU
ddip H"
astel ASTEL monazillaについてですが、結論から言うと、ブラウザ別に分離するのは仕様上無理っぽいです。
なんでmonazillaはmonazillaということで・・・。 UA って必要ですか?
UA が判ると何が嬉しい? 携帯や2chブラウザかだけ判れば充分だと思う。
一般ブラウザはどうせほとんどIEだろうし、
UAが判った所で2ちゃんねるにとっては
何の参考にもならなさそう。
利用価値云々ではなくて、とにかくいろんな統計を
片っ端から取りたいって言うなら別だけどね。 あとはロボット検索系ですか。
ttp://f3.aaacafe.ne.jp/~zwgxodue/url.html
google Google系
naver Naver系
fast AllTheWeb
inktomi inktomi系(gooとかも)
netscapeは判別可能っぽいです、スマソ。
netscape Netscape 2chの場合、意外とロボット検索の割合があるはずなので
一概にUAがIEでほとんど、は言い切れません。
マカーのSafari度も結構あるはずですし。
判定はFOX師次第ですが。 携帯:monazilla:その他
の比率だけで十分な予感。 書き込み内容から空白を取り除いた物のMD5値なんてぇのはどうでしょうか?
コスト高いかな?
定型文爆撃の統計に使えそうですけど。 http://stats.2ch.net/tubame.cgi
pieとidolの板は、bbspink.comにして欲しいです。
(pie.2ch.net、idol.2ch.netになってるです。) 板別のスレたて人のホスト統計とか
とれるようになったら、うれしいのです。
なんとなく。 >>174 なんですが。。。
某BBS directry にある
kawasemi-d.cgi を毎日 00:01に
kawasemi-h.cgi を毎時 01min に
kawasemi-m.cgi を一日中 1 min おきに
呼んで欲しいですー
わたし、cronとか良く知らないのでお願いしますー
>root★さん はいー
JST ですー
すんませんです。
お手数かけて うーむ、PDT/PSTな環境で夏も冬もちゃんと0:01に動かすのって、どうやるんだろ。
今はとりあえずPDTで0:01にしておこう。
で、このコマンド何か出力しているらしくがんがんメールがでているわけですが、
出力をログに残すようにしておく?
それとも、捨てちゃっていいですか? あっ
テスト用に print したんだった。
すてちゃっていいですー
今後も print する予定なので < testするとき stdout/stderrをでぶぬるに捨てるようにしました。>>291 >>281-282
どういうことかと言うと
1) うわっ ゴミ箱にかけるんで無いの? -> ゴミ箱を書けなくしなきゃ
2) げっ 書いていないのにカウントされるって事?
正しくカウントしてなきゃ意味無いじゃん
だと思うのだが、 >>296
鯖落ちしてるみたいっすね。
pingかからないです ということで bbs.2ch.net は急遽 pie に banana を用意します
メール送りますー > root★さん 了解です。>>300
で、pekoサーバのbbs.cgiを更新しました。
live8負荷かかってんなぁと思ったら某今井氏出演中か。2ブレーメンぐらいかな。
bbs.2ch.netの用途だけなら、なんとかなるんじゃかなと。>>301
もし足りないようなら、そのときはまた考慮いただくということで。 >>302
メール発射しましたー
DNS の設定はどのように変更すればいいですか?
スレごとの投稿バイトの平均とか
スレごとの投稿間隔の平均とかが見られると
レス数が異なるスレ同士の比較に使えるかも
あとレスアンカーの使われたレス数で住人同士の会話度とか
URLリンク数で情報度とか
2ちゃんねるスレリンク数で連携度とか >>303
メール受け取りました。これから中身確認します。
今bbs.cgiから参照されてないんであれば、単純に今のものを引き継いでいただければOKです。
つまりIPアドレスの変更のみで可かなと。
儀式内容はあっちのスレでいきます。 qb2 も含めて呼び出しは全てのサーバで停止しました。 >>306
了解です。
まずは中身確認させてくださいです。
ごそごそして、準備ができ次第儀式へと。 >304
おいらは某板で>>このアンカーはスレの容量を増やすので
嫌われると仕込まれて以来、>一個でレスするのを原則にしてる
専用ブラウザは大抵ポップアップしてくれるし
だから、レスアンカーを数えてもあまり参考にならないかと・・・・
datから起こせるようになるんでは?
物凄い負荷になるかも知れんけど
>>310
うしろには振り向かない仕様なので無理です。 >>174 >>287 を見る限り予定はあると思うけど、 ということで、PIEにて再開。
さきほどpekoサーバのbbs.cgiを更新。 移行して約1時間半。
メモリ不足やI/Oがめいっぱいになることもなく、今のところ問題なく動いている模様。 今日観察したいのは
昨日まで起こっていた問題が解決されたかどうか、
昨日までの問題点
各サーバのbbs.cgiを bbs.2ch.net がブロックしてしまうので
書き込み時に時間がかかり、処理が溜まり各サーバが
にっちもさっちも行かなくなった。
取った行動
bbs.2ch.net の設置してあるサーバが良くないと決め付け
別のサーバにした。ロケーションすら変えた (he->pie)
期待値
bbs.2ch.net の動作が各サーバのbbs.cgiをブロックすることなく
ピーク時も順調に良好な掲示板動作が・・・
今朝分のカキコ数が累積されてなかったのは
再開前の投稿が反映されてなかっただけね heからPIEに移ってネットワークの詰まりがなくなるため
>>226-227の問題も解決できてると、期待してみよう、 ええと
あくまでも仮の形式・仮のアドレスなので
どんどん仕様変更は覚悟しておいてくださいー もとより>>319の中の人はそのつもりでしょう。
で、>>316、いいかんじすね。ピークでも詰まる様子はみられないし。 >>319
ですです。
>>320
んー、2ちゃんの歴史そのものかなぁ。(笑)<どんどん仕様変更
直ぐに元に戻したりも出来るので、その点は大丈夫です。 個人的にはやっぱり生textが欲しかったり(苦笑)
♪tonbi をグラフにしてみようかしらん。 そろそろread.cgi/r.i/p.iのも見たいな、と言ってみるてすつ。 ■ このスレッドは過去ログ倉庫に格納されています