【野鳥の会】 BBS.2ch.net 全発言統計の巻 part1
■ このスレッドは過去ログ倉庫に格納されています
2ちゃんねるの全発言の統計を取ろうに挑戦
bbs.cgi に一個DNS問い合わせの処理を追加
発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net をlook up
この方法でやるとかなり低コストで出来る予感。
まずは現在空いている oyster138(旧game5)ではじめてみよう計画
2ch一日全発言統計一覧
http://stats.2ch.net/kawasemi-d/2ch.txt
統計取り始めてからの最高記録は
2004年7月11日(参議院選挙投票日)の、1,805,421発言。
今週の週末はいよいよアテネ五輪が開幕し(すでにサッカーは開幕)、
夏休み期間、お盆中ということもありレスがさらに増えると予想される。
8月14日、15日の土・日あたりでこの記録を抜けるかどうか?
特に五輪以外にもいろんなイベントがある8月15日は結構期待できる。 しかし記録の達成には2chの鯖があまり落ちずに順調に動いていることが絶対条件になりそうだ。 実はお盆や年末は、全体としてはアクセスが少ない傾向にあります
ネット環境の整った自宅を離れる人が多いためでしょうか
実況板などに突発的にアクセスが集中することはありますが、
トータルで見ると下がると予想 ふーむ
俺は携帯使わないから何とも言えんが
そっちの方で負荷増とか、、、
>2004年7月11日(参議院選挙投票日)
が最高とは 意外だなぁ >>729
お盆中はどこも暇だ。忙しいのは坊主だけ。 スレッドタイトルも表示できるようにしておくれ<つばめ >>735
既にあったのね…(´・ω・`)ゞ
愛してるよ。 そういう人いるのかな(^^;
0totalのほうなら半月ほど取ってるけど
それじゃあんまり意味なさそうだしなぁ 涼しくなるようなお話。
「イチローくん、メジャーへ行くんだって? そんなのは駄目じゃー!」 それでも少しデータ取得できてないところがあったみたいだなぁ。
27時間テレビの日はものすごい勢いでデータ取得がストップしてたけど、
これが全部記録できてたらどのくらいだったんだろう、、 >>744
それを今年中にたっせいなんかすると・・・
まつしく一年で倍のペースかと、 過密な板を全部ニュー速化して全スレ雑談と保守合戦で回せば
板は増やさずに発言数は何倍にも出来る
やっぱり夜勤さんはかな入力なのね
まつしく
まつしく
まつしく >>749
まつしく
本当はなんて打とうとしてたんだろ? うーむ
なぜ動かなくなったかわからないなぁ・・・
動かなくなったときに何かありましたっけ? 計測はうまく行って、表示する元となるファイルはできているけど
個別の dat が取れないのかな? ってとこです。
方法は headline と同じはずなんですが、
(headline はうまく動いているようです) そういえばeroliveがLIVEではなく
その他の扱いになってましたよ>つばめ うげっ 200 っすか、、、
何かありましたっけ? 要因 まぁ、昨日はマラソン女子日本新にK-1曙祭り、大相撲千秋楽、と
スポーツイベントには事欠かなかったわけですが、、関連する板のレス数は
まぁそれなりに(予想の範囲内で)伸びてるかなー、という感じでしかないですねぇ。
全体的に多かっただけ、な悪寒。 >>355さんの意見は採用されないんでしょうか?
http://ruitomo.com/~gulab/speed.html
みたいなのだとわかりやすいです。
それと、このruitomoのレス数統計は、
2ch関係者が運用してるんでしょうか?
連絡先を知ってる方いましらどなたか教えてください。
なぜか一部データがおかしかったりするので。
ここにも書きましたが↓
http://qb5.2ch.net/test/read.cgi/operate/1095697632/587
(ただし今時点では、003 93641.56 厨房!(tmp4.2ch)等が実際より多いです。) >>775
1つ上のディレクトリに移動してちょっと探せば
連絡先(メールアドレス)は載ってるようですけど >>776
ありがとうございます。それらしいものを見つけたので
連絡してみようと思います。
それと、やっぱりすずめやとんびの板名を
entrance→ラウンジ などに変更してほしい。
FOXさん(でいいのかな?)おねがいします。 3日も180万いってますね。記録更新ではないけど。 現在の BBS の呼び出し方 @bbs.cgi
$NOWTIME.$$.$BYTES.$FORM{'key'}.$FORM{'bbs'}.$ENV{'SERVER_NAME'}.bbs.bbs.2ch.net まずここにIPを載せることが許されるか否か、
許されないなら終了な訳だが、 ふむふむ。2chのポリシー的にどうか、と。
……どうなんでしょう? >>782
それって閲覧者や書込者のIP統計をsuzumeやkarasuみたいな感じで公開するってことですか?
だとしたら抵抗あるな。 IP晒されてウッキーにいちいちなっていたら
削除3板には書き込めないわけで。。
なんかイヤーンって”感情”はあると思うけど。
公開するとしても関係者版とかにするのか一般公開にするのかもあるのかなーと。 見られる人だけ見られるようにしとけば無問題かと
見られる人 = 機械のようにイモを掘り続ける事の出来る人 or 機械 >>788
IP Address が作業者にも見られるのが問題ありとするなら、
表示時に適当に暗号化して、ID化するのもいいかと。 表示しないってば、
DNSくえりぃに載せる是非
まったく >>792
すぐに解読できないように16進数クエリってのはどうでせう。
たとえば255.255.255.0ならばFF.FF.FF.00
あまり忌みなさそうですが DNS queryに乗せることが、どういう意味を持つかってことですね。
もしそれが何らかのリスクを持っているなら、だめってことかと。
(例えば、外の人がIPアドレスを含んだDNS queryを覗くことができるリスクが生じるとか)
さて、 かといって暗号化するとなると共通式でかまわないとは思われだけど
そのエンコードとデコードを相当軽いやつにしないといけないですしね・・・
さて、 暗号化はパフォーマンスの点からいまいちだなぁ。
>>795 の意味をよく考えてみることが大事かなと。
さて、↓ なにが問題なのかが良くわからなかったり。
すでにnikuでやってるのと同じことでは? >>139で提案したのにスルーされたから
てっきりそういう方向じゃないのかと…
というかIPでこのスレ検索すると
それ以前にも何回か話が出てるのになあ
root ★さーん
今日、ちょろちょろっと時間とれますかー?
BBS のIF等外回り変更しちゃいたいんですが、
1) bbs.2ch.net のクエリに IP を載せる
2) 乱立・連投爆撃解析ルーチンも呼んでもらう
が作業内容ですー $NOWTIME.$$.$ENV{'REMOTE_ADDR'}.$NEWTHREAD.$BYTES.$FORM{'key'}.$FORM{'bbs'}.$ENV{'SERVER_NAME'}.bbs.bbs.2ch.net
$NEWTHREAD = 0 : 既存のスレッドへの投稿(レス)
$NEWTHREAD = key : 新スレッド(スレ立て)
にします。 >>808
>例えば、外の人がIPアドレスを含んだDNS queryを覗くことができるリスクが生じるとか >>810
受け取りました。
今日は午後会議入っているので、15:00 以降あたりに。
というわけでこのDNSパケットが2ch外部に飛ぶ可能性があるのは、
・キャッシュサーバ <=> ルートサーバ
・キャッシュサーバ <=> netサーバ
ということになりますね。
2ch.net 以降のツリーはPIEにあるので、外には出ません。
ここの間の通信路を覗くことができた場合、何時何分何秒にどのIPアドレスからどの板の
どのスレに書いたか、がわかる可能性があります。
しかし、普通の一般ユーザが簡単にこれを見られるようになる、というわけでは
むろんありません。
ということで今の時点ではすぐに匿名性がおびやかされるリスクは少ないかなと思いますが、
まずは事実の把握はしておいたほうがいいかなと。 >>811
少ない => きわめて少ない
ぐらいかなと(ない、わけではありません)。 おっと
あと banana238 で延々と作業するので
SSH とか FTP の接続タイムアウトを
ぐーんと長くしておいていただけるとありがたいです
30min とか 当初は、スレ立てのみを対象としていろいろ試行錯誤の予定
1) BBS で異常なスピードのスレたてを検知(いろいろ試行錯誤)
2) 検知したら qb6 に通知
3) qb6 は通知された情報を元に .htaccess を構築し全サーバに配布。
検知したらほぼリアルタイムで止まるはず。 >>813
既に以前(りゃ。
もうちょっとしたら、メールで依頼された件をすすめるです。 >>802
2) をやりました。
1) は、bbs.cgi の仕事かと。 1) も完了していますー
ちと、動作確認してみます。 >>818
live16/live17 のバイナリ版 bbs.cgi を追随させました。
さて、こっちはこっちで ex7 あたりでごそごそしてみるか。 の_の
(u・(ェ)・) ドキドキ
( ∪ ∪
と__)__) 乙です>狐&根 氏
で、結局導入ですか。
若干リスクはあるけど、2ch.net内部のDNSサーバを落とさせなければ問題なさそうですね
唯一の例外があるとすればsports2<->なんちゃら かな >>816
やっぱり すぐ切られちゃうんですけど、、、 うーん、これになってるなぁ。
TimeoutIdle 1800
TimeoutNoTransfer 1800
一応リスタートしておきました。 SSH もなんです
私の回線状況が悪いのかなぁ、、、
でも tail とか top 走らせておくと問題ないし、 検出機一号を作ってみた
この機能は通称「とかげの尻尾」です。
どこかで実験したいんだけど、
さすがに既設板でスレ乱立実験はまずいか? ■ このスレッドは過去ログ倉庫に格納されています