【野鳥の会】 BBS.2ch.net 全発言統計の巻 part1

[1 FOX ★ 04/05/03 04:30 ID:???]

２ちゃんねるの全発言の統計を取ろうに挑戦

bbs.cgi に一個DNS問い合わせの処理を追加
発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net をlook up
この方法でやるとかなり低コストで出来る予感。

まずは現在空いている oyster138(旧game5)ではじめてみよう計画

[2 root ★ 04/05/03 04:32 ID:???]

もうすぐ生誕の儀式します。
儀式はあっちのスレで。儀式後はこちらで。

[3 FOX ★ 04/05/03 04:33 ID:???]

ほほーい

[4 動け動けウゴウゴ２ちゃんねる 04/05/03 04:43 ID:XQvv945r]

ついでにIPアドレスも入れてユニークホスト数とか出したら面白くない？

[5 動け動けウゴウゴ２ちゃんねる 04/05/03 04:50 ID:+eqSx2xX]

おおー、わくわく

[6 動け動けウゴウゴ２ちゃんねる 04/05/03 04:55 ID:tpk0eAKm]

ｷﾀ━━━━(ﾟ∀ﾟ)━━━━!!!!!

[7 動け動けウゴウゴ２ちゃんねる 04/05/03 05:11 ID:dKUM8bSD]

（　‘д‘）＜ウギャー

[8 動け動けウゴウゴ２ちゃんねる 04/05/03 05:38 ID:aKkla+Rq]

ほほう。つなぎ変え荒らし自動検出器ですか。

[9 動け動けウゴウゴ２ちゃんねる 04/05/03 05:52 ID:e7+mElU+]

もしIPアドレスも入れると、どのホストがどの板のどのスレで発言しているかを
追跡できる。

[10 FOX ★ 04/05/03 05:57 ID:???]

stats.2ch.net の中でいろいろ作ればいいのかな?

[11 root ★ 04/05/03 06:00 ID:???]

さて、DNS側の基本作業は終わりました。
これからアカウント情報をFOXさんにメールします。

統計情報処理プログラムを作るときは、BBX/Rock54と同じようなフィルタリングが必要ですね。
つまり、PIEやHEのDNSキャッシュサーバか、あるいはuma/pekoサーバからの
DNSリクエストだけ受けるようにしないと、ノイズが乗ってしまうんで。

このへんはシステム側でできると思います。
つまり、FOXさんの処理プログラムにデータが行く時は、既にフィルタリングは済んでいると
想定してもらっていい、という仕様でいこううかと。

# どういうシステムデザインでいこうかいろいろ試行錯誤と脳内計画をしていたのが、
# 生誕の儀式が遅れた原因でした。スマソ。

[12 root ★ 04/05/03 06:01 ID:???]

>>10
ですね。statsはoyster138上に作成しています。

[13 FOX ★ 04/05/03 06:03 ID:???]

まずは　呼ぶほうから作りますか、

もえ引いてもいいですか?

[14 動け動けウゴウゴ２ちゃんねる 04/05/03 06:04 ID:0MoUpqtI]

おもしろいことやるね
ｲｲﾖｲｲﾖｰ

[15 root ★ 04/05/03 06:06 ID:???]

>>13
はい、準備OKです。

[16 ◆/yjFd7fSrw 04/05/03 06:06 ID:3KQn1btK]

http://info.2ch.net/wiki/pukiwiki.php?%C1%B4%C8%AF%B8%C0%C5%FD%B7%D7%BC%E8%C6%C0%BA%EE%C0%EF
とりあえず、突貫工事のWikiページを…
しばらくの間は凍結しませんので、書き換えられる方は書き換えてみてください。

[17 root ★ 04/05/03 06:09 ID:???]

>>16
対応はやっ。
Wikiが必要かなぁ、って書いてから寝ようと思っていた矢先に、、、。

ありがとうございます。

[18 FOX ★ 04/05/03 06:10 ID:???]

こんなコードを書いていきなり tv5 に入れてみる

{
my $BYTES = length($FORM{'MESSAGE'});
my $BHOST = "$BYTES.$FORM{'key'}.$FORM{'bbs'}.$ENV{'SERVER_NAME'}.bbs.bbs.2ch.net";
my $YACHO = gethostbyname($BHOST);
}

[19 root ★ 04/05/03 06:14 ID:???]

こんなのがどんどん来はじめた。
@400000004095649e3b09e634 d8dad9b3:ffa9:b4d8 + 0001 70.1083531769.morningcoffee.tv5.2ch.net.bbs.bbs.2ch.net

[20 FOX ★ 04/05/03 06:15 ID:???]

qb4 に入れて特にエラーも出さないようなので、

全サーバに配ってみる

ただしaaa.bbb.ccc.ddd.bbs.2ch.net の部分は
どんどん変わる予定

[21 root ★ 04/05/03 06:16 ID:???]

CGI名が一番上位に来るというのは、いいセンスですね。
将来read.cgiとかで何かしても、サブドメインを分ければ、サーバ側を分けられるので。

[22 root ★ 04/05/03 06:16 ID:???]

>>20
配り終わったらpekoサーバでperlccしますので、お伝えください。

[23 FOX ★ 04/05/03 06:18 ID:???]

>>22
配りましたー

[24 root ★ 04/05/03 06:18 ID:???]

他のサーバからもどんどん来始めた。

@40000000409565b01efa986c d8dad9b3:6b39:f011 + 0001 73.1083146689.entrance.ex2.2ch.net.bbs.bbs.2ch.net
@40000000409565b02c41a894 267289e9:b519:8f38 + 0001 134.1083529195.livecx.live10.2ch.net.bbs.bbs.2ch.net
@40000000409565b02d762154 4113977a:4f0a:afc0 + 0001 90.1080893802.mj.gamble2.2ch.net.bbs.bbs.2ch.net
@40000000409565b100e80c4c d8dad9b3:b487:c7ea + 0001 68.1083508251.news.ex4.2ch.net.bbs.bbs.2ch.net
@40000000409565b1193a55fc d8dad9b3:2e95:9788 + 0001 117.1083531849.motenai.love2.2ch.net.bbs.bbs.2ch.net
@40000000409565b12103e1a4 d8dad9b3:2c87:5494 + 0001 26.1078758110.intro.etc.2ch.net.bbs.bbs.2ch.net
@40000000409565b12a11c874 d8dad9b3:e962:b596 + 0001 163.1083523761.base.sports5.2ch.net.bbs.bbs.2ch.net

[25 root ★ 04/05/03 06:19 ID:???]

>>23
perlccしてきます。

[26 FOX ★ 04/05/03 06:21 ID:???]

my $BYTES = length($FORM{'MESSAGE'});

現在この部分は、投稿時のバイト数ではなく
bbs.cgi が　>>1 なんかを置き換えたあとの実際に
dat に書き込まれるバイト数でーす

[27 FOX ★ 04/05/03 06:24 ID:???]

>>25

bbs.2ch.net look up 個数の微分値、積分値は
MRTG or RTG 等を用いて　root★さんの方でやりますか?

私は、サーバ別とか板別とか中身をみての処理をやろうと思いますが、

[28 朝食前の秀樹はブーツを履いたままYMCAの振りで泳いでくる 04/05/03 06:33 ID:6InyWyvT]

>>1
何に使うシステムなんだかさっぱり分からん。

[29 動け動けウゴウゴ２ちゃんねる 04/05/03 06:35 ID:e7+mElU+]

>>28
時間ごと日にちごとの、板別スレッド別発言数ランキングとか。
http://www6.big.or.jp/~beyond/bbsnews/bbs-post-1h.html

read.cgiにも組み込むと、どのスレがどれだけ呼ばれているか統計が取れる。
で、IPアドレスも呼び出しに含めると、>>9に加えて、どのホストが
どの板のどのスレをROMしたり書いてるか、完全追跡できる。

[30 FOX ★ 04/05/03 06:37 ID:???]

>>28

第一目標は
http://www6.big.or.jp/~beyond/bbsnews/bbs-post-1.html
これを超低コストでより正確によりリアルタイムに実現。

[31 root ★ 04/05/03 06:41 ID:???]

perlccしました。

>>27
そうですね。そんなかんじがいいかなと。
サーバ別とか板別の投稿数の推移とか、これならコストかけずに簡単にとれますね。

read.cgiに応用すれば、そっちも取れるのかも。

[32 root ★ 04/05/03 06:45 ID:???]

今のところDNS側には異常なし。

本日はそろそろ、おやすみなさい。
いろいろいじるのは、明日以降ということで。

[33 朝食前の秀樹はブーツを履いたままYMCAの振りで泳いでくる 04/05/03 06:55 ID:6InyWyvT]

>>29
とりあえずは数字取って発表するだけの面白企画、と認識しとけば良いのかな？

＞で、IPアドレスも呼び出しに含めると、>>9に加えて、どのホストが
＞どの板のどのスレをROMしたり書いてるか、完全追跡できる。
そりゃ既知外のする事ですわ

[34 ヾ●ﾉ゛ ◆NATTOSpTC2 04/05/03 06:58 ID:ll71U536]

>>29
荒らしの追跡ができて便利になるのかなー？
すると野菜舞台の人が楽になったりするのかも？

[35 ◆BARONWRR1M 04/05/03 07:13 ID:I5A2iZiq]

生命の神秘の追求には役立つのかしら？

[36 朝食前の秀樹はブーツを履いたままYMCAの振りで泳いでくる 04/05/03 08:00 ID:6InyWyvT]

女体の神秘の追求に役立つなら応援してやらん事も無い

[37 ▲:/usr/local/bin/ch2 -o i686 ◆P8fXJj6wwo 04/05/03 10:34 ID:hI9Gu+So]

ほう、なかなか面白い仕掛けですな。
で、>>19を例にしてwikiを若干書き換えてみました。

[38 t041080.ipgw.phs.yoyogi.mopera.ne.jp ◆arc/U573Xw 04/05/03 11:52 ID:nXpFj3X5]

>>35

[39 動け動けウゴウゴ２ちゃんねる 04/05/03 12:15 ID:p0cxQi32]

わくわく

[40 動け動けウゴウゴ２ちゃんねる 04/05/03 13:26 ID:n+xhleSy]

●でスレ立て無制限じゃなくなったの？
http://oyster.2ch.net/test/read.cgi/maru/1083536631/