2ちゃんねるの全発言の統計を取ろうに挑戦
bbs.cgi に一個DNS問い合わせの処理を追加
発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net をlook up
この方法でやるとかなり低コストで出来る予感。
まずは現在空いている oyster138(旧game5)ではじめてみよう計画
探検
【野鳥の会】 BBS.2ch.net 全発言統計の巻 part1
■ このスレッドは過去ログ倉庫に格納されています
1FOX ★
04/05/03 04:30ID:???04/05/04 04:31ID:AdOlsIdV
>>85
たしかに……。
たしかに……。
04/05/04 04:32ID:oedb2deq
72 名前:FOX ★[] 投稿日:04/05/04(火) 03:46 ID:???
突貫工事で酒飲みながら作ったから
今日の昨日きここまで
ご要望はこのスレに書いておいてね
本格的に飲む !!
↑
ここらへんが危険
突貫工事で酒飲みながら作ったから
今日の昨日きここまで
ご要望はこのスレに書いておいてね
本格的に飲む !!
↑
ここらへんが危険
88FOX ★
04/05/04 04:32ID:???04/05/04 04:34ID:t1viavpl
>>88
ここです
ここです
90FOX ★
04/05/04 04:35ID:???04/05/04 04:36ID:t1viavpl
>>90
はい、human4ですね
はい、human4ですね
04/05/04 04:37ID:t1viavpl
http://www.domo2.net/system/ver.html
20040414みたいです
20040414みたいです
93FOX ★
04/05/04 04:38ID:??? あららっ
更新するようにした
更新するようにした
94FOX ★
04/05/04 04:40ID:??? qb2 は こっそり手動で入れてこよう
952chtubo愛用者〜ヘ(゚д゚ヘ))))))〜61 ◆2CHTUBOC5A
04/05/04 04:44ID:SlhusVJW すこしだけスクリプトいじってみたいと思うのはやはり・・・中毒?
というのはどうでもいいのでおいといて、、、もう5万すか、、、
というのはどうでもいいのでおいといて、、、もう5万すか、、、
96ぼるじょあ ◆yBEncckFOU
04/05/04 04:45ID:muKXYdZS スゲースゲー
98FOX ★
04/05/04 04:46ID:???99FOX ★
04/05/04 04:46ID:??? >>97
鴨です
鴨です
1002chtubo愛用者〜ヘ(゚д゚ヘ))))))〜61 ◆2CHTUBOC5A
04/05/04 04:49ID:SlhusVJW >>98
>至福゜のひとときってやつです。
↑
一瞬これが気になった。まさか本当にかな入力(ry
板名表示のほうがいいなー。>suzume
>至福゜のひとときってやつです。
↑
一瞬これが気になった。まさか本当にかな入力(ry
板名表示のほうがいいなー。>suzume
102ぼるじょあ ◆yBEncckFOU
04/05/04 05:00ID:muKXYdZS ホントだー
103FOX ★
04/05/04 05:06ID:???104root ★
04/05/04 05:06ID:??? >>80
log/main/currentの出力を、ほぼそのままFOXさんのプログラムにくべています。
某bbsgather.plみたいなかんじ。
# 呼び出し部分を作る際に、あのコードを参考にさせていただきました。どもです。
log/main/currentの出力を、ほぼそのままFOXさんのプログラムにくべています。
某bbsgather.plみたいなかんじ。
# 呼び出し部分を作る際に、あのコードを参考にさせていただきました。どもです。
105FOX ★
04/05/04 05:11ID:??? >>104
質問です
各サーバからのlook up時、時刻データは載せていませんが
(つまり ひばり君が受け取った時刻を基準に全部動作している)
日付境界での挙動は・・・
1) かにりずれるので look up 時日付もデータとして載せたほうが良い
2) たいして気にする必要は無い
どんなもんでしょ?
質問です
各サーバからのlook up時、時刻データは載せていませんが
(つまり ひばり君が受け取った時刻を基準に全部動作している)
日付境界での挙動は・・・
1) かにりずれるので look up 時日付もデータとして載せたほうが良い
2) たいして気にする必要は無い
どんなもんでしょ?
107root ★
04/05/04 05:16ID:??? 1秒も、というのは「ぜんぜん」いう意味ではなくて、
遅延は多く見ても1秒未満だ、という意味です。
遅延は多く見ても1秒未満だ、という意味です。
108FOX ★
04/05/04 05:17ID:??? ほほーい
んじゃ 2) で
んじゃ 2) で
109root ★
04/05/04 05:18ID:??? もちろん日付を乗せても無害だとは思います。
で、このプログラムは日付境界と関係なく動き続けるようになっていて、
ログローテートとかの影響を受けることはありませんです。
で、このプログラムは日付境界と関係なく動き続けるようになっていて、
ログローテートとかの影響を受けることはありませんです。
110動け動けウゴウゴ2ちゃんねる
04/05/04 05:18ID:A5sVUGfg すみません関係ない質問ですが削除依頼はどこにだせばいいですか?
111root ★
04/05/04 05:19ID:??? もうねなきゃ。
しかし、暴論を承知で言うと、
2ちゃんねるの全体の1割がmorningcoffeeでできているのか、、、。
しかし、暴論を承知で言うと、
2ちゃんねるの全体の1割がmorningcoffeeでできているのか、、、。
112 ◆BFzK/mtqM2
04/05/04 05:22ID:Pj7f0UXH >>111
たしかに。。。。
たしかに。。。。
04/05/04 05:23ID:fWBrq4PN
114FOX ★
04/05/04 05:54ID:??? まずは一定間隔おきにデータ取りの感じでやってみますか
04/05/04 05:58ID:oedb2deq
04/05/04 05:59ID:5SNTe4Hr
いやそれどころじゃないし(;´∀`)・・
04/05/04 06:02ID:Bm2cXfAJ
んじゃ「実験中毒」で。
118▲:/usr/local/bin/ch2 -o i686 ◆P8fXJj6wwo
04/05/04 07:47ID:yvoV0Ae2119▲:/usr/local/bin/ch2 -o i686 ◆P8fXJj6wwo
04/05/04 07:51ID:yvoV0Ae2 連投スマソです。
>>111
もしそうならば、●による書き込み規制を
morningcoffeeにいれるだけで以下の可能性が予想できますなw
・書き込みたいがゆえに●が馬鹿売れ
・該当板の書き込みが減少
・該当板が廃れる
・その他の事象が発生
>>111
もしそうならば、●による書き込み規制を
morningcoffeeにいれるだけで以下の可能性が予想できますなw
・書き込みたいがゆえに●が馬鹿売れ
・該当板の書き込みが減少
・該当板が廃れる
・その他の事象が発生
04/05/04 08:05ID:T5hskl3S
>119
・その他の事象が発生
に
(´・ω・´)ノ〓 100オレオ
・その他の事象が発生
に
(´・ω・´)ノ〓 100オレオ
04/05/04 11:18ID:RHBmNt0H
わーい、新しいおもちゃだー
04/05/04 11:20ID:fXiwlTKb
04/05/04 11:25ID:/glRN505
>>60から集計し始めたからじゃないかな?
つまり0時〜3時まではすずめではカウントされてないとか
つまり0時〜3時まではすずめではカウントされてないとか
04/05/04 11:31ID:fXiwlTKb
お、なるほど。
本日稼動開始だったのか(w
さすが、▲持ちですねー。
本日稼動開始だったのか(w
さすが、▲持ちですねー。
04/05/04 11:50ID:njNboplL
IPアドレスをデータに含めると、板別人口ランキングが分かる。
IPアドレスは繋ぎ変え等で変わるが、統計的に見れば人口とほぼ比例するはず。
板の常駐率みたいなのも分かるかも。
常駐率=発言数/IPアドレス数 のように求める。
IPアドレスは繋ぎ変え等で変わるが、統計的に見れば人口とほぼ比例するはず。
板の常駐率みたいなのも分かるかも。
常駐率=発言数/IPアドレス数 のように求める。
126▲ 某ソレ511
04/05/04 13:00ID:/glRN505 あとすずめに出てこないのはsports2上の5板と
2ch規制情報[sec2ch]なので漏れはなさそうですね。
>>125
いちおうsamba24でクリアされた時間ごとのIPアドレスの数っていうデータはあるけどねぇ、
カウントされるのがどういう基準なのかよく分からないからなぁ
http://etc.2ch.net/_service/IPnum-2004-5-4.txt
2ch規制情報[sec2ch]なので漏れはなさそうですね。
>>125
いちおうsamba24でクリアされた時間ごとのIPアドレスの数っていうデータはあるけどねぇ、
カウントされるのがどういう基準なのかよく分からないからなぁ
http://etc.2ch.net/_service/IPnum-2004-5-4.txt
127動け動けウゴウゴ2ちゃんねる
04/05/04 13:30ID:HiEE2Dve 引きこもりランキングだなあ
128動け動けウゴウゴ2ちゃんねる
04/05/04 14:25ID:18i/pJOV 板が23あるgame6より板が1つのtv5が多いっつうのも
04/05/04 14:47ID:r6qwSjJs
morningcoffee>game6全部>>(越えられない壁)>>その他
04/05/04 14:51ID:Hrfq64Ek
実況板の書き込み数がたいしたことないなと思ったが、
あそこはゴールデンタイムにならないと上がってこないか
つーか、モー板には時間は関係ないのねw
あそこはゴールデンタイムにならないと上がってこないか
つーか、モー板には時間は関係ないのねw
131_
04/05/04 15:34ID:5POVpaVr04/05/04 17:14ID:njn3ef4n
> 58 www.hobby4 1
> 59 www.that2 1
これってなんですか?
> 59 www.that2 1
これってなんですか?
04/05/04 17:35ID:M8x5z933
http://www.hobby4.2ch.net/
とかで書き込んでる人が居るんじゃないですけー
とかで書き込んでる人が居るんじゃないですけー
134▲ 某ソレ511
04/05/04 18:08ID:/glRN505 なんかlive系の板だけ、書き込み数が3分の1くらいになってる気がする。。
(スレッドランキングの「過去6時間の投稿数」より少ないのはどうかと
http://www6.big.or.jp/~beyond/bbsnews/bbs-post-6h.html)
あと、フジテレビ板を見てきたら朝の10時から本スレを少なくとも10本は使ってるっぽいのに
すずめで見れるレス数が5000程度だったりするしなぁ、
(スレッドランキングの「過去6時間の投稿数」より少ないのはどうかと
http://www6.big.or.jp/~beyond/bbsnews/bbs-post-6h.html)
あと、フジテレビ板を見てきたら朝の10時から本スレを少なくとも10本は使ってるっぽいのに
すずめで見れるレス数が5000程度だったりするしなぁ、
04/05/04 18:11ID:XEms+XWz
136FOX ★
04/05/04 18:12ID:??? 処理の入り口部分で www. を取らなきゃね
137root ★
04/05/04 18:29ID:??? >>134
ネガティブキャッシュが動いてしまっているのかも。
一応ネガティブキャッシュが効かないようにはしてあるつもりだけど(SOA TTL=0)
うまくいってないのかな。
キャッシュが効いてしまうと、全く同じ問い合わせだとDNSに聞きに来てくれないんで。
避けるためには、何かランダムな文字列を一つ付与するようにしてもらえるとうれしいかも。
つまり、
> 発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net をlook up
を、
毎回変わるランダム文字列.発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net
とかにするということです。
ネガティブキャッシュが動いてしまっているのかも。
一応ネガティブキャッシュが効かないようにはしてあるつもりだけど(SOA TTL=0)
うまくいってないのかな。
キャッシュが効いてしまうと、全く同じ問い合わせだとDNSに聞きに来てくれないんで。
避けるためには、何かランダムな文字列を一つ付与するようにしてもらえるとうれしいかも。
つまり、
> 発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net をlook up
を、
毎回変わるランダム文字列.発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net
とかにするということです。
138root ★
04/05/04 18:33ID:???04/05/04 18:33ID:G5wEnZAp
投稿者のIP.発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net
140▲:/usr/local/bin/ch2 -o i686 ◆P8fXJj6wwo
04/05/04 18:34ID:yvoV0Ae2142※ ◆baila6uPTo
04/05/04 18:35ID:2DOEwHTG 「発言番号」ってのはうまくいくのかな?
144▲:/usr/local/bin/ch2 -o i686 ◆P8fXJj6wwo
04/05/04 18:37ID:yvoV0Ae2145▲ 某ソレ511
04/05/04 18:38ID:/glRN505146※ ◆baila6uPTo
04/05/04 18:39ID:2DOEwHTG あ、$$(プロセスIDを格納しているスカラー変数)だと被りにくいかもですね(^-^)
147root ★
04/05/04 18:40ID:??? これでいいのかな。
$uniqid = time . "." . $$;
$uniqid = time . "." . $$;
04/05/04 18:40ID:yvoV0Ae2
149▲:/usr/local/bin/ch2 -o i686 ◆P8fXJj6wwo
04/05/04 18:42ID:yvoV0Ae2 また名前入れ忘れた上に、GAじゃなくてGIだったし orz
逝ってきます。
逝ってきます。
150※ ◆baila6uPTo
04/05/04 18:42ID:2DOEwHTG152root ★
04/05/04 18:45ID:??? で、live系がなぜ特に少なくなったかというと、みんなで同じバイト数の発言を同じスレでしてるからか。
153▲:/usr/local/bin/ch2 -o i686 ◆P8fXJj6wwo
04/05/04 18:47ID:yvoV0Ae2154※ ◆baila6uPTo
04/05/04 18:47ID:2DOEwHTG >>150
でもって無精だから、、、
gethostbyname sprintf qq|%d.%d.%d.%d.%s.%s.%s.bbs.2ch.net|,
time, # epoctime
$$, # PID
length $FORM{message}, # 長さ
$FORM{key}, # datナンバ
$FORM{bbs}, # bbs名
$ENV{HTTP_HOST}, # 鯖名
$ENV{SCRIPT_URI}; # cgi名
(^ー^;;;)
でもって無精だから、、、
gethostbyname sprintf qq|%d.%d.%d.%d.%s.%s.%s.bbs.2ch.net|,
time, # epoctime
$$, # PID
length $FORM{message}, # 長さ
$FORM{key}, # datナンバ
$FORM{bbs}, # bbs名
$ENV{HTTP_HOST}, # 鯖名
$ENV{SCRIPT_URI}; # cgi名
(^ー^;;;)
04/05/04 18:48ID:giuYQHul
すれ違いしまそ
319 名前: 動け動けウゴウゴ2ちゃんねる [sage] 投稿日: 04/05/04 18:46 ID:vM82bvmg
oyster244落ちました。
2ch鯖監視所
http://users72.psychedance.com/
なので、よろしくお願いします
319 名前: 動け動けウゴウゴ2ちゃんねる [sage] 投稿日: 04/05/04 18:46 ID:vM82bvmg
oyster244落ちました。
2ch鯖監視所
http://users72.psychedance.com/
なので、よろしくお願いします
157FOX ★
04/05/04 19:11ID:???1582chtubo愛用者〜ヘ(゚д゚ヘ))))))〜61 ◆2CHTUBOC5A
04/05/04 19:31ID:SlhusVJW PHPはよくわかるけど、
Perl よくわからないってところは同じだな。
Perl よくわからないってところは同じだな。
159FOX ★
04/05/04 19:34ID:???04/05/04 19:38ID:18i/pJOV
bba.cgi
04/05/04 19:42ID:K1WK5TN9
む、新型か。
163FOX ★
04/05/04 19:42ID:??? time.$$.bytes. -----
にした。
peko サーバコンパイルお願いしますー
にした。
peko サーバコンパイルお願いしますー
04/05/04 19:58ID:w+IqmgNm
★の自作自演が見られるスレはここですか?
166FOX ★
04/05/04 20:04ID:??? この時間ってのも作ってみるか、
今はまだ試行錯誤の段階ですので
あら捜し、アイデア出しって事で
今はまだ試行錯誤の段階ですので
あら捜し、アイデア出しって事で
1672chtubo愛用者〜ヘ(゚д゚ヘ))))))〜61 ◆2CHTUBOC5A
04/05/04 20:06ID:SlhusVJW 投稿バイト数の合計まだー?
168外野ァァン
04/05/04 20:13ID:AfF+geJh 基本の部分が完成されてしまえばアウトプットの形はいろんな人がそれぞれ作ってくれるのではないかと
169FOX ★
04/05/04 20:14ID:???04/05/04 20:16ID:xaPinMdF
おおっ、時間単位の発言数だ
まぁ、トップは今お祭り騒ぎだからなぁっと言っても野球すら超えてるとはw
まぁ、トップは今お祭り騒ぎだからなぁっと言っても野球すら超えてるとはw
>>166
この時間とは、どの時間?
この時間とは、どの時間?
172動け動けウゴウゴ2ちゃんねる
04/05/04 20:22ID:AZIx/j9H173▲ 某ソレ511
04/05/04 20:24ID:/glRN505 ところで、バイト数や鯖名がたまに紛れ込んでますが、
これはすぐになおるかな、
>>172
いやあの、デーゲームだった試合も3試合ほどありますよ、、
とは言っても確かに実況してそうなスレはありますがね、
これはすぐになおるかな、
>>172
いやあの、デーゲームだった試合も3試合ほどありますよ、、
とは言っても確かに実況してそうなスレはありますがね、
174FOX ★
04/05/04 20:24ID:??? データを蓄積していく上で必要なのは
毎日 0:01 に呼ばれる処理 (一日の集計 & お掃除)
毎時 N:01 に呼ばれる処理
N分毎に呼ばれる処理
この三つかしら、(これらはPerlで書くか、)
毎日 0:01 に呼ばれる処理 (一日の集計 & お掃除)
毎時 N:01 に呼ばれる処理
N分毎に呼ばれる処理
この三つかしら、(これらはPerlで書くか、)
04/05/04 20:25ID:RHBmNt0H
どのくらいの時間の集計なんだろ?>とんび
baseは実況かな?
baseは実況かな?
04/05/04 20:26ID:K1WK5TN9
>>173
何度か見てみると実況してるのがよく分かる。
何度か見てみると実況してるのがよく分かる。
177FOX ★
04/05/04 20:26ID:???04/05/04 20:39ID:GEVQ7hIH
>169
とんびのこの時間って、過去何分ですか?
それとは別に、要望としては過去10分の投稿数+投稿IP数キボン。
とんびのこの時間って、過去何分ですか?
それとは別に、要望としては過去10分の投稿数+投稿IP数キボン。
181root ★
04/05/04 20:43ID:??? というわけでフォーマットが変わったので、
Wikiのほうを更新いただけると。
@40000000409781ca359406bc 26729091:3c1e:db37 + 0001 1083670976.63248.21.1083670501.livebase.live12.2ch.net.bbs.bbs.2ch.net
@40000000409781ca382279cc d8dad9b3:e038:b61a + 0001 1083670975.754.62.1081403915.siki.hobby3.2ch.net.bbs.bbs.2ch.net
@40000000409781ca38a8824c 26729091:77ae:3372 + 0001 1083670976.63238.76.1083670763.livebase.live12.2ch.net.bbs.bbs.2ch.net
@40000000409781ca3aeab9bc 267289eb:50df:8729 + 0001 1083670976.56043.129.1083670787.liveanb.live8.2ch.net.bbs.bbs.2ch.net
@40000000409781cb002bcce4 267289e9:468b:e816 + 0001 1083670976.45872.38.1083668481.livecx.live10.2ch.net.bbs.bbs.2ch.net
@40000000409781cb01b0e25c d8dad9b3:2020:f4fe + 0001 1083670976.20567.16.1083196120.football.sports4.2ch.net.bbs.bbs.2ch.net
Wikiのほうを更新いただけると。
@40000000409781ca359406bc 26729091:3c1e:db37 + 0001 1083670976.63248.21.1083670501.livebase.live12.2ch.net.bbs.bbs.2ch.net
@40000000409781ca382279cc d8dad9b3:e038:b61a + 0001 1083670975.754.62.1081403915.siki.hobby3.2ch.net.bbs.bbs.2ch.net
@40000000409781ca38a8824c 26729091:77ae:3372 + 0001 1083670976.63238.76.1083670763.livebase.live12.2ch.net.bbs.bbs.2ch.net
@40000000409781ca3aeab9bc 267289eb:50df:8729 + 0001 1083670976.56043.129.1083670787.liveanb.live8.2ch.net.bbs.bbs.2ch.net
@40000000409781cb002bcce4 267289e9:468b:e816 + 0001 1083670976.45872.38.1083668481.livecx.live10.2ch.net.bbs.bbs.2ch.net
@40000000409781cb01b0e25c d8dad9b3:2020:f4fe + 0001 1083670976.20567.16.1083196120.football.sports4.2ch.net.bbs.bbs.2ch.net
04/05/04 21:01ID:MKwSh8Va
あ、クリアされましたね。
183▲ 某ソレ511
04/05/04 21:02ID:/glRN505 クリアされたけどうまく切り替わってないみたいね、
04/05/04 21:02ID:GEVQ7hIH
この時間の発言数 95,709 (2004/05/04 20:59:40 現在)
この時間の発言数 0 (2004/05/04 21:00:08 現在)
この時間の発言数 0 (2004/05/04 21:02:08 現在)
クリアされて2分、発言0。ありえない〜
この時間の発言数 0 (2004/05/04 21:00:08 現在)
この時間の発言数 0 (2004/05/04 21:02:08 現在)
クリアされて2分、発言0。ありえない〜
185FOX ★
04/05/04 21:04ID:??? 毎回時間取得しなきゃだめなのかー
つまり毎回呼ばれるんじゃなく
ずーと常駐していると、
なおしてきますー
つまり毎回呼ばれるんじゃなく
ずーと常駐していると、
なおしてきますー
186root ★
04/05/04 21:06ID:???■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 【日米】関税が無ければカリフォルニア米5kg1295円 消費者には嬉しい価格だが、日本の農家への打撃の懸念も [シャチ★]
- 【野球】MLB東京シリーズ 『巨人vsドジャース』 日テレ19:00~ [冬月記者★]
- 石破首相「国民の理解を得られたとは思っていない」 商品券配布 [どどん★]
- 【竹中平蔵】「財務省解体デモは意味がない。ただ騒いでいるだけ」…問題を単純化し思考停止した陰謀論が強いことに懸念 ★6 [煮卵★]
- 【ライバー殺害】「本当に優しくて、思いやりがある子だったのに」 被害女性と事件前日に話した知人が証言★5 [シャチ★]
- 茂木健一郎氏、トレンディドラマに疑問「誰のために作ってるの?」日本映画にも「全部勘違いしている、だから国際的な評価得られない」 [muffin★]
- 巨専】 ★3
- 【MLB】プレシーズンゲーム【東京シリーズ】 3
- 巨専】
- 【MLB】プレシーズンゲーム【東京シリーズ】 4
- 【NJPW】新日本プロレスワールド part.2247
- 巨専】3 ワッチョイ有り
- 【実況】ドジャース×巨人 ★2
- 大谷ホームラン [268244553]
- 【実況】ドジャース×巨人
- 日本人が中国に親しみを感じない理由、判明。「自分たちより下の存在だったのにどんどん差をつけられてしまったから」 [271912485]
- 大手商社、年内にも1万トンの外国産米を輸入へ「関税を払っても充分に採算が取れる」 [668970678]
- 🏡