【野鳥の会】 BBS.2ch.net 全発言統計の巻 part４
レス数が900を超えています。1000を超えると表示できなくなるよ。
２ちゃんねるの全発言の統計を取ろうに挑戦
bbs.cgi に一個DNS問い合わせの処理を追加
発言バイト数.スレッドkey.板.サーバ.CGI名.BBS.2ch.net をlook up
この方法でやるとかなり低コストで出来る予感。
すずめ (板別発言数統計) http://stats.2ch.net/suzume.cgi
からす (サーバー別発言数統計) http://stats.2ch.net/karasu.cgi
からす2 (鯖グループ別発言数統計) http://stats.2ch.net/karasu2.cgi
すずめ、からすはURLをcgi->cgi?yesterdayとすることで前日のデータを閲覧できます。
とんび (1時間単位板別発言数統計) http://stats.2ch.net/tonbi.cgi
・とんびのログっぽいの http://stats.2ch.net/kawasemi-h/
・とんびのログ分刻み版 http://stats.2ch.net/kawasemi-m/
・とんび2 (1時間単位板別バイト数統計) http://stats.2ch.net/tonbi2.cgi
つばめ (分単位多数発言スレッド統計) http://stats.2ch.net/tubame.cgi
つばめ (ex8専用) http://stats.2ch.net/tubame2.cgi
2ch一日全発言統計一覧
http://stats.2ch.net/kawasemi-d/2ch.txt
前スレまでの規制のまとめ
とかげの尻尾
極短時間に多くのスレを立てたり、レスをつけたりすると
●、★の有無に関わらず2時間の間、qb5以外の読み書きが規制されます。
読もうとすると http://qb6.2ch.net/403/ に飛ばされます。
記者、スレ立て代行さんは要注意。
現在のこの件での規制対象は http://qb6.2ch.net/403/c403.cgi で確認できます。
●を併用してもBBQチェック済みの串を使って書けないようになりました。
p2に関する質問や議論はソフトウェア板のp2スレでどうぞ。
現状もそちらでまとめられています。
p2+●に関する規制議論はこちらです。
http://qb5.2ch.net/test/read.cgi/sec2chd/1097492197/
過去スレ
part1 http://qb5.2ch.net/test/read.cgi/operate/1083526243/
part2 http://qb5.2ch.net/test/read.cgi/operate/1097666632/
part3 http://qb5.2ch.net/test/read.cgi/operate/1097821787/ >824
意味不明ですが、
何をして特殊事例と言ってるの？
CATVのグローバルIPはサイト運営を前提としてるので
別途月数千円単位の金がかかる。
ネット利用の仕方によってはグローバルIPが必要ない場合もあり、
わざわざ金払ってグローバルIPをとる人のほうが奇特。
つーか利用の仕方はその人の勝手。 それでは人ごと規制でなくIPごと規制なのも
2chの中の人の勝手ということで もちろん。
てゆーか普通に巻き添え食うだろ。当然。
ただし、けっして特殊な状況などではない。 独占状態の昔ならいざ知らず、いまだにプライベートIPを割り振ってる業者もあるんだねえ
ADSLとの激しい競争でとっくに絶滅したかと思ってたよ
殿様商売ってのは結構なもんですな >826
デフォでローカルIPしか付与していない業者が未だに存在しているのを
非常に不思議に思っております。
（生存競争的にね。そういう業者はADSL等へ客を奪われる昨今ですから。）
ローカルIPを付与する業者→絶滅寸前で残り極少数→特殊事例
という趣旨です。
また、光接続やADSL、ダイアルアップを含めた全利用者を母数とすると、
ローカルIPのCATVユーザという極少数の「特殊事例」に配慮せんがために
大多数が不便になるというのには反対です。
漏れも、2chの利用を重視した上で接続ISPを選択してますから、そういう
利用者側のアプローチが重要ではないでしょうか。 >>831
不思議＝特殊事例ということでしょうか。 つーか、大手CATV業者のサービス内容を覗いてみたけど、
・J-COM（70万：加入世帯） ・ZAQ（30万）
・iTSCOM（8.5万） ・Cable@nifty（不明、10万程度？）
このあたりの業者は全部グローバルIPだなあ
J-COMとZAQだけで全CATVインターネット利用者の約半分だし
いい統計が無いんでわからんけど、もはやプライベートIPの方が少数派かと
「少数派だからって無視すんなよ」というご意見は引き続きどうぞ ＣＡの話の大元は>822-823というわけでぃすが
まぁここのスレか忘れたけど完全なシステムなんつーのは無理無茶な話なんだし、巻き添え食うのはグローバルＩＰだろうがローカルＩＰだろうが同じ
人数が違うだけで
しかし現状で特に大きな問題がないシステムの設定をわざわざ変える必要もないんじゃ
風潮がどうしたって話デスシ うちのＩＳＰ
いまだにローカルで運用ですよ
ＧＷで変換くさい・・・ 同じやつやろ。
1 222.147.199.19 (p4019-ipad34sizuokaden.shizuoka.ocn.ne.jp) 91
2 221.189.238.59 (p1059-ipad31sizuokaden.shizuoka.ocn.ne.jp) 71
3 219.162.201.110 (p2110-ipad02atuta2.shizuoka.ocn.ne.jp) 40
4 220.98.164.44 (p7044-ipad26sapodori.hokkaido.ocn.ne.jp) 16
5 222.147.199.50 (p4050-ipad34sizuokaden.shizuoka.ocn.ne.jp) 3
何故北海道が混じってるのかね？
ダイアルアップ？ああ、そうか。。。 最近、荒らしたちが学習したみたいで・・・
「同じ内容のレスを大量に貼るとバーボン送り」
を逆手にとって
「違う内容のレス」を貼るようにしてるみたいです。
↑虐殺AAネタコピペや意味不明なレスのコピペを混ぜる
FOX★さん、気が乗らないとは思いますが、いい対策を期待しています。 >>840
コピペ連投は別の話ですよ。
IPで規制される事もあればコピペ内容で規制される事も。
バーボンは同一IPからある一定時間にある一定数以上のスレ立てor書き込みで
自動発生する規制です。
なので、逆手に取られているのは>>838の様な繋ぎ直しなんだよなぁ。
それぞれレス内容まで見て、あんまり酷いようなら規制されるんだろうけど。 また規制された…勘弁して欲しい。
scnなんだけどもううんざりだ。他のに変えようかな。
>>833
そうだね。何で早く導入しないのか。
アメリカ辺りがアドレスを独占してて儲けるために反対してるんじゃないかと陰謀説を唱えてみる v6導入したってレガシーシステムは残るわけだし
v4網から見ればv4IPにv6IPがパックされてるだけ
たぶん個々のPCにv6をふってGWがv4アドレスに直してレガシー網に流す感じ
鯖とDNSがv6を認識しないと意味がない とかげ（バーボンハウス？）って Deny リストのために動的に .htaccess を
変更してるんでしょうか？ 直接 .htaccess を変更するよりは，
Deny リストを別ファイルにした方が安全かとは思いますが......
mod_authz_iplist http://203.205.158.160/jikken/mod_authz_iplist.c
なら，Deny リストを別ファイルとして扱えます．使用法は
<Files bbs.cgi>
AuthzIPList Black /path/to/blacklist
</Files>
のような感じで．ついでに，mod_authz_iplist ならファイル変更がない限り
リストをメモリ上に保持し続けるので，毎回読み込む .htaccess での
Deny の羅列よりパフォーマンス面でも有利かと思います． >>847
これって、bbs.cgi のリミッターに使えるかも。 >>848
>bbs.cgi のリミッター
というのは，bbs.cgi のプロセス数を制限するということでしょうか？
mod_authz_iplist では，規制リストは各 httpd プロセス単位で保持している
（共有メモリは使用していない）ので，全体で bbs.cgi がいくつ立ち上がって
いるかはこのモジュールでは把握できませんね．
今ある仕組みを使うのなら，read.cgi を fork() させない（mod_cgidso を使う）
ようにすれば，RLimitNPROC の指定がほぼそのまま bbs.cgi プロセス数の制限に
なるのではないかと思いますけど． >>849
そですね。モジュールだけではむりぽかと。
RLimitNPROCでリミッターに激しくぶつかると、どうもシステム的にうまくないみたいなんですよ。
さて、どうしたものか。 質問でーす
現 stats.2ch.net はDNSクエリに対して非同期(よんだらすぐリターン)になっていますが
これを同期にするのってのは難しいんですか?
1) サーバの設定 (集計プログラムの呼び出し方等)
2) リターン値の返し方 (集計プログラムからどういう経路で呼び出し元へ返すの?)
なんてとこが知りたかったりします。 同期というか、1 query受信したごとに、
その都度指定したプログラムを呼び出すようにしたいとかいうことですかね。 >>852 は、簡単にできます。
ちょっと負荷上がりますが。 呼び出したいというよりは
「値を返したい」が目的だったりします。
呼び出し元に何か返したいとしたら、
簡単にやるならプログラムのexit codeでやるのが楽かと。
つまり、>>853 の手法で子供のプログラムを呼び出す時にその終了を待つようにして、
呼び出し元プログラムで何かすると。
shell scriptなら、./log/run をたぶんこんなかんじにすればいいかなと。
while read $line; do
echo $line | multilog -t ./main
echo $line | 処理プログラム
if [ $? -eq 0 ]; then
処理プログラムの戻り値が0だったときの処理
else
それ以外の時の処理
fi
done こうやっておくと、
DNSクエリがない間は、readのところで入力を待っています。 ふむふむ
1) 呼び出されるプログラムは exit(????); で通知する。
2) exit のコードを貰って、呼び出し側はDNS look upの返り値に整形して
大本の呼び出し側(bbs.cgi)に返すと
仕組みは理解したはずー
>>857
1)はそれでよいです。
3)はひょっとして gethostbyname()したおおもとのプログラムに返す値を、
exit()の結果に応じてダイナミックに変えたいといっています?
今のしくみだと、前と同じものをもう1回聞かれた時に違う値を返す、
ってのはできますが(BBX/Rock54で採用)、
一発目の応答を変えるってのは、今の仕組みではちょっと難しいかも。 そうなんです
【bbs.cgi】 -DNS look up-> 【DNS server】 -処理呼び出し-> 【集計プログラム】
↓
処理&リターン値(数値)
↓
5454545454 <- 【23.23.23.23形式に変換】 <-exitで通知- 【5454545454】
こんな事を考えているです。
つまり 【23.23.23.23形式に変換】 このあたりが複雑ということですか? やりたいのはこんなかんじ ?
bbs.cgi → gethostbyname() →(DNS問い合わせ)→ BBS → 処理プログラム
というDNS問い合わせが起こったときに、＊その問い合わせへの答え＊として、
処理プログラム → BBS →(何らかの値)→ gethostbyname() → bbs.cgi
というルートで値を戻したい。 お、かぶった。>>859 >>860 は同じこと書いていますね。
ええと、問い合わせを受けたときに bbs.cgi に値を返しているのは、DNSサーバです。
つまり、BBSシステムと非同期であると。
で、これを同期(というかダイナミック)にしたいということですね。
それは、今のBBSの仕組みそのままでは難しいすね。
同じような別の仕組みを作れば、できるかも。 具体例でいくと、
read.cgi の呼び出された総数をカウントしたい
その結果を都度 read.cgi の出力(html) に表示したい
こんなことなんですが、 >>863
(回数-1)回、つまり「それまでにread.cgiが呼ばれた回数」なら、出来なくないかも。
でも、ちと重そうだなぁ。 負荷のことは置いておいて、
仕組みの話しなんですが、
exit(1234) ; とやったら bbs.cgi が 1234 を受け取り
出力に "1234" と入れたいってことなんです。
具体的な例として read.cgi のカウントを上げています
考えているのはもっと仮想化されたものです >>865
bbs.cgi と read.cgi がごっちゃになってる。。。
read.cgi に読み直してくださいー ふうむ。
簡単なプロセス間通信をしたい、ってことですね。
それなら、DNSのフレームワークじゃないのを使ったほうがよさげですね。
しかも導入が簡単で、わりと軽いやつか。 こんな感じの概念?
<< read.cgi >>
c = getcount(p);
printf("count = %d\n", c);
で、getcount() は別のサーバSで動いている
サーバプログラムsに何か情報pを伝えて、
サーバプログラムsはgetcount()に結果を戻し、
read.cgiはその結果を表示する。 そうなんです、
DNS のフレームワークでない方がいい?
コスト的、とくにサーバ間の通信ではとってもお得に感じるんだけど、、、 >>869
はい、DNSはコスト低いし、らくちんですね。
どのシステムにも標準実装されてるし。
ちょっと会議入るんで、オフライン。
やりたいことはたぶん理解できました & 使えそうな仕組みはあるはずなので、
今夜 news19 をバージョンアップしながら、ぼちぼち考えてみます。 実際に実験したいな。
>>853 でご指摘のように返り値を取るために待っていることで当然
負荷は当然上がるとして、んじゃ一体どれくらい上がるのか。。。
いままでの経験から DNS を利用した方法は「他の仕組み」に比べて
極端にコストが安くかつ高速に実現かつ帯域的にもお得だった訳だけど
それを踏み潰してしまうほど、つまり「他の仕組み」にまけてしまうほど
負荷が上がってしまうのかどうか、 UDP一発もの、サーバは単純な脊髄反射系 ってやつですからね。< DNS
ちょっともう今日はねむいんで、明日の昼以降の
アタマがはっきりしてる時にでも、実現可能性を調べてみるです。
今日の残りは、ちょっとだらだらするか、もう寝るかあたりをしようかなと。 あっ どもども
実際に返したいものは数値なんで
bbs.cgi(read.cgi) が受け取るのは
123.123.123.123 の形式で十分だったりします スレッド乱立報告スレッド４
http://qb5.2ch.net/test/read.cgi/sec2chd/1094737461/577
577 名前：名無しの報告[sage] 投稿日：04/11/27 21:26:47 ID:Z/TwD1fa
http://qb6.2ch.net/_403/c403.cgi
ここをウォッチングしていてわかったのですが、どうやら、
とかげのしっぽが解除されて再び発動するまでに、
１０分のインターバルがあるようです
で、荒らしはその１０分の間に田代砲のようなものを、
フル回転させてスレッドを乱立させているみたい
まじっすか？ もしF22で規制リストを配ってるなら、
それぐらいの時間がかかるかもですね。。 甲) ２ちゃんねる各サーバ(60台くらい?)
↓a) 投稿ごとに BBS.2ch.net に通知
乙)BBS.2ch.net ここでいろいろ集計
↓b) おっ 攻撃だ! qb6 に通知
丙)qb6.2ch.net 攻撃者リストメンテ部
↓c) deny リスト作ったわん。全サーバに配信、配信。
丁) ２ちゃんねる各サーバ(59台くらい?) deny from で撃退
タイムラグはあるべね いや運用情報だから過疎ではない
VIPのあのスレから来たな お、そうか。
昨日dnscacheを増やしたから、登録しないといかんぞ。
>>881
別途チェックをば。 >>882
新しいdnscahe(dnscache2.peko.2ch.net = cobra2245の第2IPアドレス)を登録した。
http://stats.2ch.net/karasu.cgi
ex8やlive15が見えてきたので、大丈夫かと。 pie.bbspink.com が参照しているDNSキャッシュサーバをBBS/BBX/BBYに登録しました。 バーボンって生きてる？
ここ数日の間にソフト板が連投マルチ食らってるんだけど 転載 from 【実況】 live8/15/16 鯖 Part1
http://qb5.2ch.net/test/read.cgi/operate/1102681336/601-603
601 名前： FOX ★ [sage] 投稿日： 04/12/31 21:53:01 ID:???
うーん BBSも・・・
603 ：root▲ ★ ：04/12/31 21:55:52 ID:???
>>601
そですね。
BBSは、分散化かなぁ。
2台のサーバでBBSを半分ずつ受けるようにして、集計をやるしくみを別に作るとか。 止まってる？
すずめ Ver 0.01 = 板別発言数 本日 2005/01/01
本日の発言数 1,654,742 (2005/01/01 5:9:51 現在) ちょっと、バーボンハウスのスレ立て数の値きつくしてみます、 sports8 → ex9 への移転を反映する必要があるですね。
ちょっと見てみましたが、複数箇所変更する必要がありそうなので、
FOXさんにおまかせすることにしよう、そうしよう。 バーボンきつくし過ぎです・・・・。
どの位きつくしたんですか? なんか私が設定したときよりはるかにきつくなってますね、
それまで3ヶ月間変わってなかったくせに。
何か意図があるかもしれないけど、、
ちょっとさすがに変えすぎだと思うので少し戻しましょう。。 live8 , live15 , live16 はスルーにしよう
そうしよう Perl なんですが、
$yyy = "game9/etc4/dso";
っていうのがあって、これを
"<a href=http://game9.2ch.net/>;game9</a>/<a href=http://etc4.2ch.net/>;etc4</a>/<a href=http://dso.2ch.net/>;dso</a>"
のようにするにはどうしたらいいんですかねぇ? $data =~ s/(\w+)/<a href\=http:\/\/\1\.2ch\.net>\1<\/a>/g;
ぱっと思いつくのはこんなもんですかねぇ。 おおっ
おつむが硬いとだめじゃのぉ
早速ぱくらせていただきます
∩＿＿＿∩
|ノ⌒ ⌒ ヽ
/ ●) ●) |
ｵﾂｶﾚﾁｬ━━━━━| ( _●_) ﾐ━━━━━ﾝ♪
彡、 |∪｜ 、｀
/ ヽノ ヽ
/ 人 ＼＼ 彡
⊂´_/ ） ヽ__｀⊃
/ 人 （
（＿ノ （＿） おおっ
あとはどこで〆切るかですなぁ < PVあて
ちなみに通例どおり 2ch + bbspink でやります
(@pie なサーバだけになりますが、) おお、、、。
PV計測対応の時のミスですね。
直しておきます。 >>910
そういう仕様なので・・・・と思いましたが、とりあえず直しておきました すずめ昨日のほうだけでもいいから板名にリンクつけてよ すずめが板名参照できてリンクがついてれば
とりあえずサブカテゴリはいらない >>916
例のやつですか、、、。超どばっと来ると、いまいちになるという。 あれ、確かに変ですね。
cronかな。みてきます。 cronすね。
夏時間への切り替えのところに、間違いがあるみたい。
今の設定:
# Apr
1 8 1 4 0 /home/ch2stats/BBS/kawasemi-d.cgi > /dev/null 2>&1
1 7 1 4 1-6 /home/ch2stats/BBS/kawasemi-d.cgi > /dev/null 2>&1
1 8 2 4 0-1 /home/ch2stats/BBS/kawasemi-d.cgi > /dev/null 2>&1
1 7 2 4 2-6 /home/ch2stats/BBS/kawasemi-d.cgi > /dev/null 2>&1
1 8 3 4 0-2 /home/ch2stats/BBS/kawasemi-d.cgi > /dev/null 2>&1
1 7 3 4 3-6 /home/ch2stats/BBS/kawasemi-d.cgi > /dev/null 2>&1
1 8 4 4 0-3 /home/ch2stats/BBS/kawasemi-d.cgi > /dev/null 2>&1
1 7 4 4 4-6 /home/ch2stats/BBS/kawasemi-d.cgi > /dev/null 2>&1
1 8 5 4 0-4 /home/ch2stats/BBS/kawasemi-d.cgi > /dev/null 2>&1
1 7 5 4 5-6 /home/ch2stats/BBS/kawasemi-d.cgi > /dev/null 2>&1
1 8 6 4 0-5 /home/ch2stats/BBS/kawasemi-d.cgi > /dev/null 2>&1
1 7 6 4 6 /home/ch2stats/BBS/kawasemi-d.cgi > /dev/null 2>&1
1 8 7-30 4 * /home/ch2stats/BBS/kawasemi-d.cgi > /dev/null 2>&1 http://www.freebsd.org/cgi/man.cgi?query=crontab&sektion=5
Note: The day of a command's execution can be specified by two fields --
day of month, and day of week. If both fields are restricted (ie, aren't
*), the command will be run when either field matches the current time.
For example, ``30 4 1,15 * 5'' would cause a command to be run at 4:30 am
on the 1st and 15th of each month, plus every Friday.
ということで......
1 7 * * * [ "`/bin/date +%Z`" = PST ] && /home/ch2stats/BBS/kawasemi-d.cgi > /dev/null 2>&1
1 8 * * * [ "`/bin/date +%Z`" = PDT ] && /home/ch2stats/BBS/kawasemi-d.cgi > /dev/null 2>&1 >>921
どうも。こういうふうにしてみました。
# Jan-Mar
1 7 * 1-3 * /home/ch2stats/BBS/kawasemi-d.cgi > /dev/null 2>&1
# Apr
1 7 * 4 * [ "`/bin/date +%Z`" = "PST" ] && /home/ch2stats/BBS/kawasemi-d.cgi > /dev/null 2>&1
1 8 * 4 * [ "`/bin/date +%Z`" = "PDT" ] && /home/ch2stats/BBS/kawasemi-d.cgi > /dev/null 2>&1
# May-Sep
1 8 * 5-9 * /home/ch2stats/BBS/kawasemi-d.cgi > /dev/null 2>&1
# Oct
1 7 * 10 * [ "`/bin/date +%Z`" = "PST" ] && /home/ch2stats/BBS/kawasemi-d.cgi > /dev/null 2>&1
1 8 * 10 * [ "`/bin/date +%Z`" = "PDT" ] && /home/ch2stats/BBS/kawasemi-d.cgi > /dev/null 2>&1
# Nov-Dec
1 7 * 11-12 * /home/ch2stats/BBS/kawasemi-d.cgi > /dev/null 2>&1 あららん
http://stats.2ch.net/kawasemi-d/2ch.txt
4/5 以降 計測できていないような、
手動で suzume から拾っておこう
4/7 1,824,801 あららん。いちおう僕が取ってたデータから
過日分も書いておきます。。
4/5 1,803,075
4/6 1,839,402 レス数が900を超えています。1000を超えると表示できなくなるよ。
