【野鳥の会】 BBS.2ch.net 全発言統計の巻 part1

**FOX ★** · 04/05/03 04:30

２ちゃんねるの全発言の統計を取ろうに挑戦

bbs.cgi に一個DNS問い合わせの処理を追加
発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net をlook up
この方法でやるとかなり低コストで出来る予感。

まずは現在空いている oyster138(旧game5)ではじめてみよう計画

**root ★** · 04/05/03 04:32

もうすぐ生誕の儀式します。
儀式はあっちのスレで。儀式後はこちらで。

**FOX ★** · 04/05/03 04:33

ほほーい

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 04:43

ついでにIPアドレスも入れてユニークホスト数とか出したら面白くない？

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 04:50

おおー、わくわく

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 04:55

ｷﾀ━━━━(ﾟ∀ﾟ)━━━━!!!!!

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 05:11

（　‘д‘）＜ウギャー

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 05:38

ほほう。つなぎ変え荒らし自動検出器ですか。

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 05:52

もしIPアドレスも入れると、どのホストがどの板のどのスレで発言しているかを
追跡できる。

**FOX ★** · 04/05/03 05:57

stats.2ch.net の中でいろいろ作ればいいのかな?

**root ★** · 04/05/03 06:00

さて、DNS側の基本作業は終わりました。
これからアカウント情報をFOXさんにメールします。

統計情報処理プログラムを作るときは、BBX/Rock54と同じようなフィルタリングが必要ですね。
つまり、PIEやHEのDNSキャッシュサーバか、あるいはuma/pekoサーバからの
DNSリクエストだけ受けるようにしないと、ノイズが乗ってしまうんで。

このへんはシステム側でできると思います。
つまり、FOXさんの処理プログラムにデータが行く時は、既にフィルタリングは済んでいると
想定してもらっていい、という仕様でいこううかと。

# どういうシステムデザインでいこうかいろいろ試行錯誤と脳内計画をしていたのが、
# 生誕の儀式が遅れた原因でした。スマソ。

**root ★** · 04/05/03 06:01

>>10
ですね。statsはoyster138上に作成しています。

**FOX ★** · 04/05/03 06:03

まずは　呼ぶほうから作りますか、

もえ引いてもいいですか?

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 06:04

おもしろいことやるね
ｲｲﾖｲｲﾖｰ

**root ★** · 04/05/03 06:06

>>13
はい、準備OKです。

◆/yjFd7fSrw · 04/05/03 06:06

http://info.2ch.net/wiki/pukiwiki.php?%C1%B4%C8%AF%B8%C0%C5%FD%B7%D7%BC%E8%C6%C0%BA%EE%C0%EF
とりあえず、突貫工事のWikiページを…
しばらくの間は凍結しませんので、書き換えられる方は書き換えてみてください。

**root ★** · 04/05/03 06:09

>>16
対応はやっ。
Wikiが必要かなぁ、って書いてから寝ようと思っていた矢先に、、、。

ありがとうございます。

**FOX ★** · 04/05/03 06:10

こんなコードを書いていきなり tv5 に入れてみる

{
my $BYTES = length($FORM{'MESSAGE'});
my $BHOST = "$BYTES.$FORM{'key'}.$FORM{'bbs'}.$ENV{'SERVER_NAME'}.bbs.bbs.2ch.net";
my $YACHO = gethostbyname($BHOST);
}

**root ★** · 04/05/03 06:14

こんなのがどんどん来はじめた。
@400000004095649e3b09e634 d8dad9b3:ffa9:b4d8 + 0001 70.1083531769.morningcoffee.tv5.2ch.net.bbs.bbs.2ch.net

**FOX ★** · 04/05/03 06:15

qb4 に入れて特にエラーも出さないようなので、

全サーバに配ってみる

ただしaaa.bbb.ccc.ddd.bbs.2ch.net の部分は
どんどん変わる予定

**root ★** · 04/05/03 06:16

CGI名が一番上位に来るというのは、いいセンスですね。
将来read.cgiとかで何かしても、サブドメインを分ければ、サーバ側を分けられるので。

**root ★** · 04/05/03 06:16

>>20
配り終わったらpekoサーバでperlccしますので、お伝えください。

**FOX ★** · 04/05/03 06:18

>>22
配りましたー

**root ★** · 04/05/03 06:18

他のサーバからもどんどん来始めた。

@40000000409565b01efa986c d8dad9b3:6b39:f011 + 0001 73.1083146689.entrance.ex2.2ch.net.bbs.bbs.2ch.net
@40000000409565b02c41a894 267289e9:b519:8f38 + 0001 134.1083529195.livecx.live10.2ch.net.bbs.bbs.2ch.net
@40000000409565b02d762154 4113977a:4f0a:afc0 + 0001 90.1080893802.mj.gamble2.2ch.net.bbs.bbs.2ch.net
@40000000409565b100e80c4c d8dad9b3:b487:c7ea + 0001 68.1083508251.news.ex4.2ch.net.bbs.bbs.2ch.net
@40000000409565b1193a55fc d8dad9b3:2e95:9788 + 0001 117.1083531849.motenai.love2.2ch.net.bbs.bbs.2ch.net
@40000000409565b12103e1a4 d8dad9b3:2c87:5494 + 0001 26.1078758110.intro.etc.2ch.net.bbs.bbs.2ch.net
@40000000409565b12a11c874 d8dad9b3:e962:b596 + 0001 163.1083523761.base.sports5.2ch.net.bbs.bbs.2ch.net

**root ★** · 04/05/03 06:19

>>23
perlccしてきます。

**FOX ★** · 04/05/03 06:21

my $BYTES = length($FORM{'MESSAGE'});

現在この部分は、投稿時のバイト数ではなく
bbs.cgi が　>>1 なんかを置き換えたあとの実際に
dat に書き込まれるバイト数でーす

**FOX ★** · 04/05/03 06:24

>>25

bbs.2ch.net look up 個数の微分値、積分値は
MRTG or RTG 等を用いて　root★さんの方でやりますか?

私は、サーバ別とか板別とか中身をみての処理をやろうと思いますが、

04/05/03 06:33

>>1
何に使うシステムなんだかさっぱり分からん。

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 06:35

>>28
時間ごと日にちごとの、板別スレッド別発言数ランキングとか。
http://www6.big.or.jp/~beyond/bbsnews/bbs-post-1h.html

read.cgiにも組み込むと、どのスレがどれだけ呼ばれているか統計が取れる。
で、IPアドレスも呼び出しに含めると、>>9に加えて、どのホストが
どの板のどのスレをROMしたり書いてるか、完全追跡できる。

**FOX ★** · 04/05/03 06:37

>>28

第一目標は
http://www6.big.or.jp/~beyond/bbsnews/bbs-post-1.html
これを超低コストでより正確によりリアルタイムに実現。

**root ★** · 04/05/03 06:41

perlccしました。

>>27
そうですね。そんなかんじがいいかなと。
サーバ別とか板別の投稿数の推移とか、これならコストかけずに簡単にとれますね。

read.cgiに応用すれば、そっちも取れるのかも。

**root ★** · 04/05/03 06:45

今のところDNS側には異常なし。

本日はそろそろ、おやすみなさい。
いろいろいじるのは、明日以降ということで。

04/05/03 06:55

>>29
とりあえずは数字取って発表するだけの面白企画、と認識しとけば良いのかな？

＞で、IPアドレスも呼び出しに含めると、>>9に加えて、どのホストが
＞どの板のどのスレをROMしたり書いてるか、完全追跡できる。
そりゃ既知外のする事ですわ

**ヾ●ﾉ゛** ◆NATTOSpTC2 · 04/05/03 06:58

>>29
荒らしの追跡ができて便利になるのかなー？
すると野菜舞台の人が楽になったりするのかも？

◆BARONWRR1M · 04/05/03 07:13

生命の神秘の追求には役立つのかしら？

04/05/03 08:00

女体の神秘の追求に役立つなら応援してやらん事も無い

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/05/03 10:34

ほう、なかなか面白い仕掛けですな。
で、>>19を例にしてwikiを若干書き換えてみました。

t041080.ipgw.phs.yoyogi.mopera.ne.jp ◆arc/U573Xw · 04/05/03 11:52

>>35

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 12:15

わくわく

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 13:26

●でスレ立て無制限じゃなくなったの？
http://oyster.2ch.net/test/read.cgi/maru/1083536631/

**動け動けウゴウゴ２ちゃんねる** · 04/05/03 14:16

前から期待してた機能だ

↑　|
ス . |　　　　　　　　　 ,ﾍ
レ . |　　　　　　　　　　/　|
数　|　　　　　　　　／　　|
　　 |＿＿,,,,,,,,,,ｒ-''~　　　　＼
　　 .￣￣￣￣￣￣￣￣￣
　　　　レス頻度→

これが板ごとに見られれば板全体の稼動スレの占有度とか
個々のスレの板におけるレスの早さの程度とかがわかる

はじめて行く板でもレスが特定のスレに集中しているのかどうかも見当がつく

[―{}@{}@{}-] ● · 04/05/03 14:55

これと●でスレ立てられなくなたのと何か関係が・・・？

**FOX ★** · 04/05/03 18:06

stats.2ch.net 内に原型のプログラム書いたので
都度呼んでくださいー　> root★さん

詳しくは、メールしましたー
BBYと同じと仮定して作ってあります(単にコピーしただけですけど)

**サザン ★** · 04/05/03 18:49

むぅ

どうやって読むのかと思った、、

**root ★** · 04/05/03 19:15

>>43
ほい、ぼちぼちやります。

**FOX ★** · 04/05/04 01:41

質問でーす

ひばり君をコンパイルして更新しても
変わった様子がないんですが、

コンパイル後に何かしなきゃならないんでしょうか?

**root ★** · 04/05/04 01:50

>>46
あ、メールしたとおり今回のは「パイプ」として起動されてますので、
コンパイルしたら、1回今いるやつをkillしないとだめです。

killを簡単に実行するshell sciptを作って置いておきます。

**FOX ★** · 04/05/04 01:52

むちむちなもんで

よろしくお願いいたします

**root ★** · 04/05/04 01:58

該当ディレクトリに .sh で終わるファイルを入れて置きました。

./なんちゃら.sh

というかんじで実行すればだいじょうぶなはず。

**FOX ★** · 04/05/04 01:59

どもですー
やってみますー

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 01:59

予想としては一日30万カキコくらいかなぁ？

現行スレの数は500板*400スレ＝20万スレくらいあるよね。多分。
それに平均500レスあるとしたら・・・　1億レス？
一生かかっても見れねぇな・・・

あぁ、この瞬間にも俺が一生見ることが無いであろう書き込みが行われている・・・！

**▲ 某ソレ511＠けっこう酔ってるみたい** · 04/05/04 02:02

>>51
http://www6.big.or.jp/~beyond/bbsnews/bbs-post-24h.html
ここを見るに、１日110～130万ほどカキコがあるようです。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 02:08

>>52
('A`)多すぎ

**FOX ★** · 04/05/04 02:09

>>49
うまく行っているようです。
どもでした。

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 02:18

スレッドランキングまだなおらんのか

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 02:48

>>51
実際常時動いてるスレはもっと少ないかもかも

**▲ 某ソレ511＠ちょっと酔ってるみたい** · 04/05/04 02:53

それは「常時動いてる」というのがどのラインなのかによると思うなぁ、、
10分に1レス？1時間に1レス？1日に1レス？とか水掛け論かこれは、、

**ヾ●ﾉ゛** ◆NATTOSpTC2 · 04/05/04 02:58

>>57
脳内定義↓
最近２４時間でレスがあれば動いている。
例えば過疎板なんかでは動いてるスレが50以下なんてこともあったり…

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:08

どこまで進んだの～？

**FOX ★** · 04/05/04 03:23

すずめ Ver 0.01
http://stats.2ch.net/suzume.cgi

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:27

め、めだか！

>>41
各板のスレ稼働率なんかも分かっちゃうのかねぇ。

**FOX ★** · 04/05/04 03:29

からす Ver 0.01
http://stats.2ch.net/karasu.cgi

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:31

うほっ！

……狼は桁が違いますな。

**ホームズ©** ◆SHERLOCK7U · 04/05/04 03:31

すごー。新しいおもちゃだ、、

**動け動けウゴウゴ２ちゃんねる** · 04/05/04 03:34

上に行く程文字が大きくなってるんだな。