bbs.cgi再開発プロジェクト6

**動け動けウゴウゴ２ちゃんねる** · 2005/04/10(日) 16:15:47

peko鯖の稼動によりﾎﾞﾄﾙﾈｯｸの一つである事がより明らかになった
bbs.cgi作り直しプロジェクトです。

【開発環境の工事現場】
また挑戦。＠2ch掲示板　　http://dso.2ch.net/myanmar/
また挑戦２。＠2ch掲示板　http://dso.2ch.net/yangon/

関連スレなどは >>2-5 くらい

**動け動けウゴウゴ２ちゃんねる** · 2005/06/04(土) 23:56:28

対象リストに載っているデータを
SJISに直すと共に、べた書きのPerlプログラムに直すスクリプトを作る。
そして、bbs.cgiではこれをソースとして動かす。
SpeedyCGIでコンパイルは10分に1回なんだから無問題。
とか。

**ピロリ** · 2005/06/04(土) 23:57:02

ちといろいろ忘れたので復習が寺

各サーバの丁稚どんは原本を定期的に引っ張ってくる
1) 原本ってどこにあるんでしたっけ? bbq.2ch.net ?
2) 原本を出力するときに \t 区切りの Shift Jis にしておけば一番お特?

**ピロリ** · 2005/06/04(土) 23:58:12

>>288

いっそうの船が10分に一回では?
ちがうのかな、、

**動け動けウゴウゴ２ちゃんねる** · 2005/06/05(日) 00:06:20

そうだけど
毎回ファイルに載ってる全部を読みながら正規表現のコンパイルをして云々・・・と比べて
1/((呼び出される回数/10分)/プロセス数)・・・見込みで1/10-1/100程度にはなるかと。

**root▲ ★** · NG

さて。

>>284
ということは、6割ぐらいにはなるってかんじですか。
anime サーバで、しこんでみるです。

**root▲ ★** · NG

あ、まずエラーにならないことをqb6で確認するです。

**ピロリ** · 2005/06/05(日) 00:13:41

まったー

**ピロリ** · 2005/06/05(日) 00:14:42

読み込んだときに変換するのは激しく反対。
配布前になされるべきです

**root▲ ★** · NG

ふむ。

ということは、各サーバに置かれる時点でSJISもので全角半角もなされたものにすべきと。
つまり、丁稚側でやるべきってことかな。

**ピロリ** · 2005/06/05(日) 00:16:20

系の入り口or最終段階で encode , decode が入るのは
当然ですが、途中段階で interpliter がはいるなんてシステムは
激しく反対。

中身は「ただのブツ」意味の無いものであるべきです

**root▲ ★** · NG

リストのおおもと EUC
↓
配布用マスター SJIS
↓
各サーバに配布
↓
そのまま利用

っていうふうにすれば、いいような。

**ピロリ** · 2005/06/05(日) 00:24:10

んだんだ

**ピロリ** · 2005/06/05(日) 00:25:24

そうすれば
改修するところは

1) マスター作り部
2) IsKoukoku内の処理

ということになり、今後の改修もここだけになるｯス

**動け動けウゴウゴ２ちゃんねる** · 2005/06/05(日) 00:29:53

NG_wordに正規表現使ってないならEUCに変換なんてしないで
index()でいいんだけどな

◆TWARamEjuA · NG

あり得る手段としては、「DATをeuc-jpにする」というのもある香奈♪

それはさておき、、、
となると、かなり大変だよなぁ。。。

●Rock54側でやるべき事。
・配布用リストを変換しておく。
1. 全角カナ→全角カナ＋半角カナにしてor設定(ex.がんばる→(が|ガ|(ｶﾞ))(ん|ン|ﾝ)(ば|バ|(ﾊﾞ))(る|ル|ﾙ)
2. euc-jp→Shift_JISする際に、誤認をするものにエスケープを施す（「表」とか「ー」とか）
3. euc-jp→Shift_JISにする。

こんな感じかな？

＃banana238から追い出されそうな悪寒（苦笑）＠負荷増大

**root▲ ★** · NG

>>302
1. って、やらなくてもいいようになるといいなと。

「がんばる」は「がんばる」だけRockできれば、それでいいんじゃないかなと。
で、「ガンバル」もRockしたければ、単にもう1行入れればいいんではと。

◆TWARamEjuA · NG

>>302
と、書いてみたものの、、、
→1. 全角カナ→全角カナ＋半角カナにしてor設定(ex.がんばる→(が|ガ|(ｶﾞ))(ん|ン|ﾝ)(ば|バ|(ﾊﾞ))(る|ル|ﾙ)
こんなことしてたら、ますます負荷が「お互いに（Rock54基地でも各鯖でも）」掛かるよなぁ。。。

やっぱりいっそのこと、リストには半角英数記号以外禁止にしちゃおうよ♪

**root▲ ★** · NG

2. と 3. は、それで問題ないとおもうです。

**ピロリ** · 2005/06/05(日) 00:38:32

＃banana238から追い出されそうな悪寒（苦笑）＠負荷増大

この部部が理解できなかったり、
投稿毎に(bananaで 5万/day) 処理していることが
どうして出来ないのかがわからないのだ。

**root▲ ★** · NG

>>304
あ、かぶったですね。
全角と半角をそこまでやらなくても、正規表現パターンが減るだけで、
かなり負荷下がるような予感。

◆TWARamEjuA · NG

>>303
荒らす人は徹底的に荒らしたいらしいので、もっといろんな描き方をしてくるですです（苦笑）
がんばる
ガんばる
がンばる
：
：
がん　ば　る
：
（わはは）

URIとmailアドレスと思しきもの、電話番号と思しきものに限定しちゃって、無差別コピペは別管轄にしちゃうとかとか。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/05(日) 00:44:56

マルチバイト文字非対応でいいなら、それが一番楽そうですね

**ピロリ** · 2005/06/05(日) 00:45:32

Rock54 はあらし撃退にも使えるけど
広告爆撃対策が本業かと、

**root▲ ★** · NG

>>308
まぁ、>>310 すね。
あとは、正規表現の高速なやつを入れてみるぐらいか。

いずれにせよ、なるはやで>>298にしたいなと思うです。

◆TWARamEjuA · NG

>>306
banana238さんではRock54以外にもBBXやBBR、別プロセスとなるf22baseや、headline、itadaki、statsが同居していますから、
多少不安があったりもしまして。
単純にbbs処理とは異質なものでもありますし。

>>310
本来の本業に専念した方が、問題を切り分けるのには適しているですよね。
荒らしさんには、専属の特殊部隊を結成してみるとか。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/05(日) 01:07:04

>>308
それはログで実証されていますか?
Rockに限らず「これこれこういう方法で回避できるから無駄だ」とやりもせずに
決めつける人大杉ですが実際に「これこれこういう方法」を使う人は意外と少ないものです。
そして「これこれこういう方法」を実際に使われてくると破綻します(例: 山田)

**ピロリ** · 2005/06/05(日) 01:34:15

うーん
一所懸命考えたけど、やっぱりわからん

現在は 240万投稿 x 2700 回　変換しているですよね、
それを bbs.cgi 船進水時にやるとして
どれくらいになるかな、10万 x 2700 回くらい?
それを配布元でやれば、データが一日に100回更新されたとして
100 x 2700 回だけで済むようになると思うんだが

何が違うんだろう・・・

◆TWARamEjuA · NG

>>314
bbs.cgiが動いている鯖での変換「以外」の負荷の掛かり具合がよく判っていないので、
ただ単にbanana238でも大丈夫なのかな？と危惧しているところです。
（bbs.cgiが動いている鯖でのpsやtopコマンドの値は知りうることが出来ませんから）

ひとまず「案ずるより産むが易し」ってことで、変換作業をしているですですm(_ _)m

**root▲ ★** · NG

>>315
最終行に、同意っすね。
うむ、うむ。

# ちと、今日はおねむかも。
# ちょっと別のスレで別のじっけんしてくるです。

◆TWARamEjuA · NG

基地の方では、切り替える準備が出来ました。

>>278 を以下のようにスキーリさせることができるかと♪
#################################################################################################
#罠、罠、罠、罠、罠に
#入力：
#IsKoukoku(対象文字列[Shift_JIS],Rock54のファイル名)　現状は無し。sub で定義中。
#返り血ぶしゅー：
#OK ならば空文字列(偽)
#NG ならば（規制文字列(真)[Shift_JIS], MD5値, フラグ）のリストへのリファレンス
sub IsKoukoku
{
my ($GB) = @_;
my $In_Strings = $GB->{FORM}->{'MESSAGE'}; # 長いので代入

# 読み込む。。。
# my @Rock_word = @FOX_Ro54; # メモリの無駄なので省略してみました。

# では NG ワードのチェック。
foreach my $NG_word_ref (@FOX_Ro54){
if (my $matched = eval{$In_Strings =~ m<$NG_word_ref->[0]>}) { return $NG_word_ref } # 合致したらリファレンスを返す。
# 不正 NG ワードがあったり引っかからなければスキップ
}
return '';
}

配布が始まりましたら、基地の方でもリスタートを掛けていきますです。
（多少のタイムラグは致し方ないですよね（苦笑）＠しばらくは文字コードの違いでスルーされる現象）

**ピロリ** · 2005/06/05(日) 02:29:46

おっ

qb6 に早速入れてみます。

**root▲ ★** · NG

おぉ。

>>318
おまかせするです。わくわく。

**ピロリ** · 2005/06/05(日) 02:34:41

if (my $matched = eval{$In_Strings =~ m<$NG_word_ref->[0]>}) { return $NG_word_ref } # 合致したらリファレンスを返す。

　ここで 500 error になるっす

**水色＠飛行石 ★** · 2005/06/05(日) 02:34:48

おー。

◆TWARamEjuA · NG

>>318
あ、、、
丁稚どんがそのままなので、全鯖に配布されちゃうです（汗）

ので、qb6用の丁稚どんも用意しましょうか？

**ピロリ** · 2005/06/05(日) 02:37:06

いやいや
まず動くかどうかでして、

**ピロリ** · 2005/06/05(日) 02:38:07

つまり　正しく動くかどうかじゃなくて
動くかどうかの確認をしたいと、 @qb6

**ピロリ** · 2005/06/05(日) 02:38:52

>>320 の行をコメントアウトすると動く(書き込める)です

**讃岐フォアンフォアン▲** ◆MylTDX..QI · NG

おー

**動け動けウゴウゴ２ちゃんねる** · 2005/06/05(日) 02:44:49

アローがデリミタと被っているのでは…

◆TWARamEjuA · NG

>>320
if (my $matched = eval{$In_Strings =~ m<$NG_word_ref->[0]>}) { return $NG_word_ref } # 合致したらリファレンスを返す。
を、以下の２行に。。。m(_ _)m深謝
my $NG_word = $NG_word_ref->[0]; # リファレンスから取り出し。
if (my $matched = eval{$In_Strings =~ m<$NG_word>}) { return $NG_word_ref } # 合致したらリファレンスを返す。

>>324
そのままですと、全部の鯖にいる丁稚どんを呼び出してしまいますので（汗）
ひとまず基地からはqb6の丁稚どんだけを呼び出すようにしますですです。

**ピロリ** · 2005/06/05(日) 02:50:32

>>327
うごいたー @qb6

全サーバに配布していいですか?

◆TWARamEjuA · NG

>>328
→ひとまず基地からはqb6の丁稚どんだけを呼び出すようにしますですです。
スタンバイ出来ました。

**ピロリ** · 2005/06/05(日) 02:53:17

んじゃ　配布しまーす

◆TWARamEjuA · NG

ひとまずqb6「だけ」配布完了した模様です。＠新ファイル

**ピロリ** · 2005/06/05(日) 02:55:05

指示にしたがいますー

まだ全サーバ配布はやってません

◆TWARamEjuA · NG

ちょと様子見しています。
船が自爆しないからかな？

◆TWARamEjuA · NG

qb5.2ch.net<>200 OK<>Sat, 04 Jun 2005 17:34:18 GMT<>236589<>
qb6.2ch.net<>200 OK<>Sat, 04 Jun 2005 17:59:09 GMT<>236544<>

リストは行き渡っています。。。

◆Reffi/bQ.c · 2005/06/05(日) 03:05:17

rockテストやってきて吸い込まれるのは確認しましたがエラーメッセーが出ないですね。

**ピロリ** · 2005/06/05(日) 03:06:03

どんな時にどんなメッセージが出るんでしたっけ?

**root▲ ★** · NG

>>336
花が咲くとき以外は、エラー出ないはず。

**root▲ ★** · NG

>>338
× エラー
○ エラーメッセージ

>>337
通常ただ吸い込まれる
いっぱつものさくらが咲いてますよ

**讃岐フォアンフォアン▲** ◆MylTDX..QI · NG

普通の書き込みがずっと吸収されてる…

**ピロリ** · 2005/06/05(日) 03:09:00

あと三発で「Rockは人生だ」でしたっけ?

◆Reffi/bQ.c · NG

了解しますた。
さくらが咲くｕｒｌはわからないのでそっちの検証は無理ですけど無事に稼働しているよう
です。
あとはコストの削減具合の観察ですね。

◆TWARamEjuA · NG

BBX チェック（２ちゃんねるで広告爆撃したホストなどが、登録されています。）

La ROCA es la vida.(-_-)

;; ANSWER SECTION (1 record)
227.33.105.220.bbx.2ch.net.2048INTXT"shutouted by BBX: 220.105.33.227"

ひっかかりました（照）

◆Reffi/bQ.c · NG

あれれ
普通の書き込みも吸い込まれてる（滝汗

**root▲ ★** · NG

>>341
今は、それコメントアウトされてたような。

**ピロリ** · 2005/06/05(日) 03:15:03

>>345
ほんとだ、吸い込まれる仕様ですね

**動け動けウゴウゴ２ちゃんねる** · 2005/06/05(日) 03:15:37

肝心の負荷は?

**root▲ ★** · NG

>>347
配布が終わったら、animeサーバあたりの様子と、
qb6 でのプロファイリングを再度やってみるです。

◆TWARamEjuA · NG

もしかして、qb6ではIsKoukokuを呼び出しているところが他のとはちょと違うのかな？
・さくらか咲かない。
・BBRが返ってこない。
という症状が現れています。

**ピロリ** · 2005/06/05(日) 03:28:54

確認してみますー

**ピロリ** · 2005/06/05(日) 03:30:18

スルーするかどうかの違いはありますが
他には制御に違いはないようです

◆TWARamEjuA · NG

>>351
了解ですー

とりあえずやっちゃてみます？＠全鯖配布

**ピロリ** · 2005/06/05(日) 03:33:54

りょうかいですー

配布しますー

**ピロリ** · 2005/06/05(日) 03:35:02

あっ anime が　IsKoukoku するーになってる

配布しなおしますー

**root▲ ★** · NG

animeサーバの船を爆破しました。

なんか、うそみたいに軽いかも。
一桁数値が低くなった、、、。

PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU CPU COMMAND
22033 ch2anime 96 0 10508K 9796K select 3 0:01 1.03% 0.83% speedy_back
22031 ch2anime 96 0 10740K 9992K select 0 0:01 0.48% 0.39% speedy_back

**root▲ ★** · NG

な、なんだ。
もう1回。

**root▲ ★** · NG

animeサーバ、IsKoukokuが有効になったやつが入ったのを確認しました。
確認中。

◆TWARamEjuA · NG

ではでは、全鯖開始ONにしますですー＠リスト

**root▲ ★** · NG

いいかんじみたい。

時間帯を比較しないとわからないけど、
やはり、一桁負荷が低くなったようです。

コード変換って、すごく重いのね。

**root▲ ★** · NG

>>358
OKです。観察を継続。

**root▲ ★** · NG

animeサーバ、SJISバージョンに切り替わったようです。

**root▲ ★** · NG

んでは、qb6でプロファイリングしてみるです。
メインのほうではなく、もとの1行目をさわるです。とお知らせ。

**root▲ ★** · NG

わーい。

%dprofpp tmon.out
Total Elapsed Time = 0.773049 Seconds
User+System Time = 0.242963 Seconds
Exclusive Times
%Time ExclSec CumulS #Calls sec/call Csec/c Name
12.7 0.031 0.045 11 0.0028 0.0041 Net::DNS::Resolver::Base::BEGIN
9.47 0.023 0.107 1 0.0234 0.1069 main::bbs_entryXXX
9.47 0.023 0.030 10 0.0023 0.0030 LWP::UserAgent::BEGIN
9.47 0.023 0.041 1 0.0233 0.0411 main::bbs_main
6.59 0.016 0.128 19 0.0008 0.0067 main::BEGIN
6.59 0.016 0.015 1 0.0156 0.0154 LWP::Protocol::implementor
3.29 0.008 0.008 49 0.0002 0.0002 Exporter::import
3.29 0.008 0.008 6 0.0013 0.0013 Exporter::heavy_export
3.29 0.008 0.008 1 0.0078 0.0078 main::initFOX
3.29 0.008 0.008 1 0.0078 0.0078 main::MakeWorkFile
3.29 0.008 0.008 1 0.0078 0.0078 vars::BEGIN
3.29 0.008 0.008 4 0.0019 0.0019 HTTP::Response::BEGIN
3.29 0.008 0.060 6 0.0013 0.0101 Net::DNS::Resolver::BEGIN
3.29 0.008 0.007 6 0.0013 0.0012 CGI::BEGIN
3.29 0.008 0.008 1 0.0078 0.0077 BSDPAN::Override::import

**root▲ ★** · NG

で、>>362 は元に戻しました。

>>26 と比較すると、効果は明白ですね。
コストが 1/10 以下になったんではないかと。

◆Reffi/bQ.c · NG

>26と>363の簡単な比較データ（何故か円換算）

>26のコスト　14330円
>363のコスト　118円

※ここまで下がれば大成功ですね。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/05(日) 04:09:59

1/10と言っても1が0.1になったというよりは10が1になったような感じだけど

**root▲ ★** · NG

最初、計測したときにIsKoukokuスルーされてるんじゃないかと、心配になりました。
でも、そんなことはないみたいです。

◆Reffi/bQ.c · NG

ちょっと、ヤバ目の不具合発見
rockに引っかかった時に本来ならばrockワード以外は書けるはずなのに全く書けなく
なってます。
（引っかかった以降全て吸い込まれて書けない）
ケーブルでこれ出ちゃうと該当回線が書けなくなって巻き添えが大量に出てしまいます。
（既に引っかかってるところも出てます。）

**root▲ ★** · NG

なんか、変かも。
こんなにひっかかるわけないし。

http://mumumu.mu/mrtg/mrtg-rrd.cgi/bbqbbx/

◆Reffi/bQ.c · NG

>369
多分、>368で巻き添えが大量に出ているかも
改善するまでｑｂ６以外は元に戻した方がいいかも

**root▲ ★** · NG

# では NG ワードのチェック。
foreach my $NG_word_ref (@FOX_Ro54)
{
my $NG_word = $NG_word_ref->[0]; # リファレンスから取り出し。
if (my $matched = eval{$In_Strings =~ m<$NG_word>}) { return $NG
_word_ref } # 合致したらリファレンスを返す。
# 不正 NG ワードがあったり引っかからなければスキップ
}
return '';

ここが、いまいちな予感。

◆TWARamEjuA · NG

あ、なっとく。。。

**ピロリ** · 2005/06/05(日) 04:26:40

わーい

まずはヨロ個簿絵

**root▲ ★** · NG

>>372
どうすればよい?

**ピロリ** · 2005/06/05(日) 04:26:57

ちとみてきます

**FOX ★** · 2005/06/05(日) 04:28:50

>>372
どうすればよい?

**root▲ ★** · NG

で、直ったら、
BBXの登録アドレスを1回クリーンアップしないと、いけなそうっすね。

そのへんは、ぼちぼちと。

**FOX ★** · 2005/06/05(日) 04:29:25

うん　書けない。。。
★使うっす

**大佐は疲労困憊φ** ◆K76a0xu20c · NG

http://qb5.2ch.net/test/read.cgi/sec2chd/1117705579/
ここでかなりの人が報告してますねぇ・・・・

僕も引っ掛かってましたが。

**FOX ★** · 2005/06/05(日) 04:31:08

んじゃ
まず　スルー版は配布しまーす

**root▲ ★** · NG

直し方待ちで。

なんか、本文内にNGワードがなくてもNGワードがあったことにされているみたい。

◆TWARamEjuA · NG

# NG ワードも変換。ついでに NG ワード、MD5値、フラグの 3 要素だけにしてリファレンスにしてして。
@Rock_word = map { [ (split /<>/)[5,6,7] ] } map { &jcode::euc($_, 'euc', 'z') } @Rock_word;
この部分が抜けていました、、、（汗）

でもってこの部分は出航の時だけで桶のはずなので、、、

# Rock54リストを読みこむ
open Rock54_List, "ファイルの場所";
@FOX_Ro54 = map { [ (split /<>/)[5,6,7] ] } <Rock54_List>;
close Rock54_List;

のように入れてもらえればー

**FOX ★** · 2005/06/05(日) 04:34:02

スルー版配布完　10min まつ

qb6 だけ on にします

**root▲ ★** · NG

>>382
おじさんの間違いを防ぐために、もう1度サブルーチン全体をばさっと貼りましょー。

**FOX ★** · 2005/06/05(日) 04:35:54

qb6 を on 版にした。

**FOX ★** · 2005/06/05(日) 04:37:00

open(ADFILE,"内緒");
@FOX_Ro54 = <ADFILE>;
close(ADFILE);

現在の読み込み部

**FOX ★** · 2005/06/05(日) 04:38:34

open(ADFILE,"内緒");
#@FOX_Ro54 = <ADFILE>;
@FOX_Ro54 = map { [ (split /<>/)[5,6,7] ] } <ADFILE>;
close(ADFILE);

にしてみた @qb6