【野鳥の会】 BBS.2ch.net 全発言統計の巻 part1

**FOX ★** · 04/05/03 04:30

２ちゃんねるの全発言の統計を取ろうに挑戦

bbs.cgi に一個DNS問い合わせの処理を追加
発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net をlook up
この方法でやるとかなり低コストで出来る予感。

まずは現在空いている oyster138(旧game5)ではじめてみよう計画

**動け動けウゴウゴ２ちゃんねる** · 04/08/14 17:46

>>734
http://stats.2ch.net/top10news/
http://stats.2ch.net/top10live/
http://stats.2ch.net/top10regl/

専用ブラウザに登録

**動け動けウゴウゴ２ちゃんねる** · 04/08/14 19:37

>>735
既にあったのね…(´･ω･`)ゞ
愛してるよ。

04/08/21 21:40

http://stats.2ch.net/kawasemi-m/0all-2004XXXX.txt
を毎日取っている、という方はいませんか

**▲ 某ソレ511** · 04/08/21 21:44

そういう人いるのかな(^^;
0totalのほうなら半月ほど取ってるけど
それじゃあんまり意味なさそうだしなぁ

**動け動けウゴウゴ２ちゃんねる** · 04/08/23 14:00

http://stats.2ch.net/kawasemi-d/2ch.txt
統計取ってから最高の発言数を記録したね。（８月２２日　1822034発言）

**FOX ★** · 04/08/23 14:11

いやはや、、、

**動け動けウゴウゴ２ちゃんねる** · 04/08/23 14:44

涼しくなるようなお話。

「イチローくん、メジャーへ行くんだって？　そんなのは駄目じゃー！」

**動け動けウゴウゴ２ちゃんねる** · 04/08/23 14:55

今日は充分涼しいので間に合ってます。

**▲ 某ソレ511** · 04/08/23 17:41

それでも少しデータ取得できてないところがあったみたいだなぁ。
27時間テレビの日はものすごい勢いでデータ取得がストップしてたけど、
これが全部記録できてたらどのくらいだったんだろう、、

**動け動けウゴウゴ２ちゃんねる** · 04/08/23 17:44

500板の次は200万発言/daysですか？

**FOX ★** · 04/08/23 17:50

>>744
それを今年中にたっせいなんかすると・・・
まつしく一年で倍のペースかと、

**動け動けウゴウゴ２ちゃんねる** · 04/08/23 20:28

過密な板を全部ニュー速化して全スレ雑談と保守合戦で回せば
板は増やさずに発言数は何倍にも出来る

**動け動けウゴウゴ２ちゃんねる** · 04/08/23 21:33

負荷が上がってまともに動かなくなだけのような

**動け動けウゴウゴ２ちゃんねる** · 04/08/23 23:26

実際そういうような時期もあった

**動け動けウゴウゴ２ちゃんねる** · 04/08/24 02:22

やっぱり夜勤さんはかな入力なのね

まつしく
まつしく
まつしく

**動け動けウゴウゴ２ちゃんねる** · 04/08/24 17:38

>>749
まつしく
本当はなんて打とうとしてたんだろ？

◆BDFCNV1.to · 04/08/24 17:41

Z X

**動け動けウゴウゴ２ちゃんねる** · 04/08/24 17:41

まさしくじゃないのかな

**動け動けウゴウゴ２ちゃんねる** · 04/08/24 17:50

>>752
まつしく。

**動け動けウゴウゴ２ちゃんねる** · 04/08/24 18:06

だれか>>751 に反応してあげなよ。

**737** · 04/08/25 12:41

取っていたがHDクラッシュで消し飛びました

**動け動けウゴウゴ２ちゃんねる** · 04/08/25 18:53

>>240
http://qb5.2ch.net/test/read.cgi/operate/1083526243/739

**動け動けウゴウゴ２ちゃんねる** · 04/08/25 18:55

=ｬ=ｬ

**動け動けウゴウゴ２ちゃんねる** · 04/08/27 15:58

2chの発言数統計を見て考察するスレ。
http://that3.2ch.net/test/read.cgi/gline/1092445450/

**動け動けウゴウゴ２ちゃんねる** · 04/08/27 23:49

ちゃっかりカウンターの全リストってないの？

**動け動けウゴウゴ２ちゃんねる** · 04/08/28 00:44

某ソレさんの休憩所

04/09/13 16:29:06

**動け動けウゴウゴ２ちゃんねる** · 04/09/17 08:00:44

なんか新しいのやらないの?

**動け動けウゴウゴ２ちゃんねる** · 04/09/17 08:42:21

　
　　　や　　ら　　な　　い　　か
　

**動け動けウゴウゴ２ちゃんねる** · 04/09/17 16:42:54

このスレ巡回に入ってたことに今気づいた

**動け動けウゴウゴ２ちゃんねる** · 04/09/18 00:20:57

http://stats.2ch.net/top10news/
http://stats.2ch.net/top10live/
http://stats.2ch.net/top10regl/
動いてないね

**動け動けウゴウゴ２ちゃんねる** · 04/09/18 06:08:29

ほんとだ。今気づいたｗ

**FOX ★** · 04/09/21 02:46:08

うーむ
なぜ動かなくなったかわからないなぁ・・・

動かなくなったときに何かありましたっけ?

**root ★** · 04/09/21 18:37:31

>>767
それ、どうやってとってんでしたっけ。

**FOX ★** · 04/09/21 19:31:20

計測はうまく行って、表示する元となるファイルはできているけど
個別の dat が取れないのかな? ってとこです。

方法は headline と同じはずなんですが、
(headline はうまく動いているようです)

**動け動けウゴウゴ２ちゃんねる** · 04/09/26 20:19:23

そういえばeroliveがLIVEではなく
その他の扱いになってましたよ＞つばめ

**▲ 某ソレ511** · 04/09/27 16:10:23

20040926　1838559
http://stats.2ch.net/kawasemi-d/2ch.txt

ひそかに昨日はバッケンレコード更新

**FOX ★** · 04/09/27 16:13:50

うげっ　　200 っすか、、、
何かありましたっけ? 要因

**FOX ★** · 04/09/27 16:15:20

って　勘違い
2004/09/26 だた

**▲ 某ソレ511** · 04/09/27 16:27:28

まぁ、昨日はマラソン女子日本新にK-1曙祭り、大相撲千秋楽、と
スポーツイベントには事欠かなかったわけですが、、関連する板のレス数は
まぁそれなりに（予想の範囲内で）伸びてるかなー、という感じでしかないですねぇ。

全体的に多かっただけ、な悪寒。

**動け動けウゴウゴ２ちゃんねる** · 04/09/27 20:04:47

>>355さんの意見は採用されないんでしょうか？
http://ruitomo.com/~gulab/speed.html
みたいなのだとわかりやすいです。
それと、このruitomoのレス数統計は、
2ch関係者が運用してるんでしょうか？
連絡先を知ってる方いましらどなたか教えてください。
なぜか一部データがおかしかったりするので。
ここにも書きましたが↓
http://qb5.2ch.net/test/read.cgi/operate/1095697632/587
（ただし今時点では、003 93641.56 厨房！(tmp4.2ch)等が実際より多いです。）

**動け動けウゴウゴ２ちゃんねる** · 04/09/27 20:28:58

>>775
１つ上のディレクトリに移動してちょっと探せば
連絡先（メールアドレス）は載ってるようですけど

**動け動けウゴウゴ２ちゃんねる** · 04/09/27 22:36:03

>>774
あとTGSぐらいかね

**775** · 04/09/27 23:36:15

>>776
ありがとうございます。それらしいものを見つけたので
連絡してみようと思います。

それと、やっぱりすずめやとんびの板名を
entrance→ラウンジ　などに変更してほしい。
FOXさん（でいいのかな？）おねがいします。

**動け動けウゴウゴ２ちゃんねる** · 04/09/28 23:10:42

併記が一番わかりやすい

**動け動けウゴウゴ２ちゃんねる** · 04/10/06 16:19:53

3日も180万いってますね。記録更新ではないけど。

**FOX ★** · 04/10/12 02:05:29

現在の BBS の呼び出し方　@bbs.cgi

$NOWTIME.$$.$BYTES.$FORM{'key'}.$FORM{'bbs'}.$ENV{'SERVER_NAME'}.bbs.bbs.2ch.net

**FOX ★** · 04/10/12 02:09:10

まずここにIPを載せることが許されるか否か、
許されないなら終了な訳だが、

**動け動けウゴウゴ２ちゃんねる** · 04/10/12 02:11:26

>>782
掲載することに異義ありません・・・

**動け動けウゴウゴ２ちゃんねる** · 04/10/12 02:19:49

ふむふむ。2chのポリシー的にどうか、と。
……どうなんでしょう？

**動け動けウゴウゴ２ちゃんねる** · 04/10/12 02:20:55

>>782
それって閲覧者や書込者のIP統計をsuzumeやkarasuみたいな感じで公開するってことですか？
だとしたら抵抗あるな。

**動け動けウゴウゴ２ちゃんねる** · 04/10/12 02:26:26

IP晒されてウッキーにいちいちなっていたら
削除３板には書き込めないわけで。。
なんかイヤーンって”感情”はあると思うけど。

公開するとしても関係者版とかにするのか一般公開にするのかもあるのかなーと。

**FOX ★** · 04/10/12 02:27:18

公開?
意図的にする予定はないけど?

**動け動けウゴウゴ２ちゃんねる** · 04/10/12 02:33:46

見られる人だけ見られるようにしとけば無問題かと

見られる人 = 機械のようにイモを掘り続ける事の出来る人 or 機械

**動け動けウゴウゴ２ちゃんねる** · 04/10/12 02:37:09

特に問題なさそうな気はする。

**動け動けウゴウゴ２ちゃんねる** · 04/10/12 04:30:46

ダメですよ。

**動け動けウゴウゴ２ちゃんねる** · 04/10/12 04:49:24

>>788
IP Address が作業者にも見られるのが問題ありとするなら、
表示時に適当に暗号化して、ID化するのもいいかと。

**FOX ★** · 04/10/12 09:27:34

表示しないってば、
DNSくえりぃに載せる是非
まったく

**動け動けウゴウゴ２ちゃんねる** · 04/10/12 09:52:29

すまんこってす。。

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/10/12 10:18:46

>>792
すぐに解読できないように16進数クエリってのはどうでせう。
たとえば255.255.255.0ならばFF.FF.FF.00

あまり忌みなさそうですが

**root▲ ★** · 04/10/12 13:03:50

DNS queryに乗せることが、どういう意味を持つかってことですね。
もしそれが何らかのリスクを持っているなら、だめってことかと。
(例えば、外の人がIPアドレスを含んだDNS queryを覗くことができるリスクが生じるとか)

さて、

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/10/12 13:51:04

かといって暗号化するとなると共通式でかまわないとは思われだけど
そのエンコードとデコードを相当軽いやつにしないといけないですしね・・・

さて、

**root▲ ★** · 04/10/12 13:57:54

暗号化はパフォーマンスの点からいまいちだなぁ。

>>795 の意味をよく考えてみることが大事かなと。
さて、↓

**外野ｧｧﾝ** · 04/10/12 15:25:00

は南京玉簾～♪

**動け動けウゴウゴ２ちゃんねる** · 04/10/12 15:54:58

よくわからんが、誘導されたのでURI貼っておく。
http://pc5.2ch.net/test/read.cgi/software/1096811550/561
http://pc5.2ch.net/test/read.cgi/software/1096811550/563
http://pc5.2ch.net/test/read.cgi/software/1096811550/566

**動け動けウゴウゴ２ちゃんねる** · 04/10/12 17:21:09

なにが問題なのかが良くわからなかったり。
すでにnikuでやってるのと同じことでは？

**動け動けウゴウゴ２ちゃんねる** · 04/10/12 18:49:23

>>139で提案したのにスルーされたから
てっきりそういう方向じゃないのかと…
というかIPでこのスレ検索すると
それ以前にも何回か話が出てるのになあ

**FOX ★** · 04/10/13 11:17:19

root ★さーん
今日、ちょろちょろっと時間とれますかー?
BBS のIF等外回り変更しちゃいたいんですが、

1) bbs.2ch.net のクエリに IP を載せる
2) 乱立・連投爆撃解析ルーチンも呼んでもらう

が作業内容ですー

**動け動けウゴウゴ２ちゃんねる** · 04/10/13 11:18:19

おつとめご苦労さんですっ

**FOX ★** · 04/10/13 11:26:36

$NOWTIME.$$.$ENV{'REMOTE_ADDR'}.$NEWTHREAD.$BYTES.$FORM{'key'}.$FORM{'bbs'}.$ENV{'SERVER_NAME'}.bbs.bbs.2ch.net

$NEWTHREAD = 0 : 既存のスレッドへの投稿(レス)
$NEWTHREAD = key : 新スレッド(スレ立て)

にします。

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/10/13 11:30:54

で、IP乗せる是非はスルーですか＞狐先生

**FOX ★** · 04/10/13 11:36:18

>>805
まずいっすか?

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/10/13 11:43:17

>>806
>>795-797

**FOX ★** · 04/10/13 11:54:58

詳しく

**動け動けウゴウゴ２ちゃんねる** · 04/10/13 12:02:12

>>808
＞例えば、外の人がIPアドレスを含んだDNS queryを覗くことができるリスクが生じるとか

**FOX ★** · 04/10/13 12:12:32

root ★さんへ

メール発射しましたー

**root▲ ★** · 04/10/13 12:29:56

>>810
受け取りました。
今日は午後会議入っているので、15:00 以降あたりに。

というわけでこのDNSパケットが2ch外部に飛ぶ可能性があるのは、

・キャッシュサーバ <=> ルートサーバ
・キャッシュサーバ <=> netサーバ

ということになりますね。
2ch.net 以降のツリーはPIEにあるので、外には出ません。

ここの間の通信路を覗くことができた場合、何時何分何秒にどのIPアドレスからどの板の
どのスレに書いたか、がわかる可能性があります。
しかし、普通の一般ユーザが簡単にこれを見られるようになる、というわけでは
むろんありません。

ということで今の時点ではすぐに匿名性がおびやかされるリスクは少ないかなと思いますが、
まずは事実の把握はしておいたほうがいいかなと。

**root▲ ★** · 04/10/13 12:35:40

>>811
少ない => きわめて少ない

ぐらいかなと(ない、わけではありません)。

**FOX ★** · 04/10/13 12:49:57

おっと
あと　banana238 で延々と作業するので
SSH とか FTP の接続タイムアウトを
ぐーんと長くしておいていただけるとありがたいです

30min とか

**FOX ★** · 04/10/13 14:25:13

当初は、スレ立てのみを対象としていろいろ試行錯誤の予定

1) BBS で異常なスピードのスレたてを検知(いろいろ試行錯誤)
2) 検知したら qb6 に通知
3) qb6 は通知された情報を元に .htaccess を構築し全サーバに配布。

検知したらほぼリアルタイムで止まるはず。

**動け動けウゴウゴ２ちゃんねる** · 04/10/13 14:37:34

すげー

**root▲ ★** · 04/10/13 14:48:13

>>813
既に以前（りゃ。

もうちょっとしたら、メールで依頼された件をすすめるです。

**root▲ ★** · 04/10/13 15:30:01

>>802
2) をやりました。

1) は、bbs.cgi の仕事かと。

**FOX ★** · 04/10/13 15:39:19

1) も完了していますー

ちと、動作確認してみます。

**root▲ ★** · 04/10/13 15:41:20

>>818
live16/live17 のバイナリ版 bbs.cgi を追随させました。

さて、こっちはこっちで ex7 あたりでごそごそしてみるか。

**FOX ★** · 04/10/13 15:42:10

きてます
きてます

**動け動けウゴウゴ２ちゃんねる** · 04/10/13 16:01:21

(;´Д｀)ﾊｧﾊｧ

**動け動けウゴウゴ２ちゃんねる** · 04/10/13 16:03:54

　の＿の　
　（u・(ェ)・）　ﾄﾞｷﾄﾞｷ
　（　∪ ∪
　と＿_）__）　

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/10/13 16:05:37

乙です＞狐＆根　氏

で、結局導入ですか。
若干リスクはあるけど、2ch.net内部のDNSサーバを落とさせなければ問題なさそうですね

唯一の例外があるとすればsports2<->なんちゃら　かな

**FOX ★** · 04/10/13 16:09:23

>>816
やっぱり　すぐ切られちゃうんですけど、、、

**動け動けウゴウゴ２ちゃんねる** · 04/10/13 16:14:06

設定が30sだったりして。

**root▲ ★** · 04/10/13 16:15:12

>>824
FTPすよね。ちとみてきます。

**root▲ ★** · 04/10/13 16:17:01

うーん、これになってるなぁ。

TimeoutIdle 1800
TimeoutNoTransfer 1800

一応リスタートしておきました。

**FOX ★** · 04/10/13 16:30:10

SSH もなんです

私の回線状況が悪いのかなぁ、、、
でも　tail とか top 走らせておくと問題ないし、

**FOX ★** · 04/10/13 16:34:37

検出機一号を作ってみた

この機能は通称「とかげの尻尾」です。

どこかで実験したいんだけど、
さすがに既設板でスレ乱立実験はまずいか?

**root▲ ★** · 04/10/13 16:35:04

>>828
回線状況かルータの設定ですね。たぶん。
流量があると落ちないというあたりが（りゃ。

KeepAlive yes (デフォルト)をnoにすればいいのかもですが、
そうするともしもの場合ごみが残るですね。

でも、一時的にsshdの設定変えておいたです。
ログアウト/ログインで効くはず。

**root▲ ★** · 04/10/13 16:35:32

>>829
(金)は？

**FOX ★** · 04/10/13 16:35:38

すんませんです、

**動け動けウゴウゴ２ちゃんねる** · 04/10/13 16:36:45

>>829
テストの後、削除されるなら、問題ないとおもいますよ・・・

**FOX ★** · 04/10/13 16:36:46

>>831
超スレ乱立実験なんですが、
既存のスレ全部落ちると思われ、