bbs.cgi再開発プロジェクト6

**動け動けウゴウゴ２ちゃんねる** · 2005/04/10(日) 16:15:47

peko鯖の稼動によりﾎﾞﾄﾙﾈｯｸの一つである事がより明らかになった
bbs.cgi作り直しプロジェクトです。

【開発環境の工事現場】
また挑戦。＠2ch掲示板　　http://dso.2ch.net/myanmar/
また挑戦２。＠2ch掲示板　http://dso.2ch.net/yangon/

関連スレなどは >>2-5 くらい

**ピロリ** · 2005/06/04(土) 22:29:24

あっ　ちと数字またがったか、
いつものことで

**ピロリ** · 2005/06/04(土) 22:29:54

>>261
個数の問題だｯたり

◆IDaU21y6wI · NG

記念カキコ

**root▲ ★** · 2005/06/04(土) 22:32:13

まずは、EUC→SJISに変えてみるだけで、相当効果ある気がするです。
前にやったプロファイリングの結果では、jcodeが相当重かったような。

もう1回qb6でプロファイリングしてみるです。

**ｒｅｆｆｉ@報告人 ★** · 2005/06/04(土) 22:32:53

登録数を下げる方法としては強制時限消去ってのはどうでしょうか？
例えば登録後、３０日でデータベースから強制削除

※システムに負担がかかっているのなら新システムの構築か人的資源の投入のどっちが
　いいかってところですね

◆IDaU21y6wI · NG

これかな、

%Time ExclSec CumulS #Calls sec/call Csec/c Name
58.1 0.102 0.125 1 0.1016 0.1252 main::IsKoukoku
35.3 0.062 0.055 2853 0.0000 0.0000 jcode::convert
26.8 0.047 0.024 2853 0.0000 0.0000 jcode::euc2euc
22.2 0.039 0.225 1 0.0390 0.2251 main::bbs_entryXXX
13.1 0.023 0.008 2853 0.0000 0.0000 jcode::h2z_euc
13.1 0.023 0.023 10 0.0023 0.0023 LWP::UserAgent::BEGIN
9.12 0.016 0.016 3 0.0052 0.0052 Net::DNS::Packet::dn_comp
9.12 0.016 0.039 2853 0.0000 0.0000 jcode::to
9.12 0.016 0.024 2853 0.0000 0.0000 jcode::euc

**root▲ ★** · 2005/06/04(土) 22:34:54

>>260
同じこと考えてたです。
ETCが米国の同じようなシステムと比べて、バカ高になったのと同じですね。

ポリシーの問題なんで、1500円かける道もあるかと。
まずはできることをやってみて本当は1500円じゃなかったら、
とりあえず問題を先送りはできるのかしら。

>>264
あ、Perlできるやつがきた。

**root▲ ★** · 2005/06/04(土) 22:35:57

>>267
あ、それそれ。

jcode: がすごいですね。
実はSJISでデータ持たせるだけで、解決すると言ってます?

◆IDaU21y6wI · NG

jcode が主な要因っぽいですね。

EUC to SJIS は効果がありそうな予感。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/04(土) 22:41:50

rock word検索毎に毎回jcodeを呼び出してたときのデータじゃなかったっけ?

**ピロリ** · 2005/06/04(土) 22:43:17

>>271
今も相変わらずですよん

**root▲ ★** · NG

>>271
今も変えてないんではないかしら。
それとも、変わったんだっけ。

**讃岐フォアンフォアン▲** ◆MylTDX..QI · NG

登録一週間で一定の量までいってなければ削除とか

**root▲ ★** · NG

で、内部データをSJIS化するには、どういう手順でやればいいのかしら。
丁稚どんの改良が必要?

あと、いわゆる「表」みたいな字の対策も入れる必要があるような予感も。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/04(土) 22:45:32

レスにurl入ってるかどうか調べて、入ってない場合はチェックを一部省略するってやってますか？

**ピロリ** · 2005/06/04(土) 22:46:25

>>276
この部分のコードは公開されています四

**ピロリ** · 2005/06/04(土) 22:47:41

#################################################################################################
#罠、罠、罠、罠、罠に
#入力：
#IsKoukoku(対象文字列[Shift_JIS],Rock54のファイル名)　現状は無し。sub で定義中。
#返り血ぶしゅー：
#OK ならば空文字列(偽)
#NG ならば（規制文字列(真)[Shift_JIS], MD5値, フラグ）の配列へのリファレンス
sub IsKoukoku
{
my ($GB) = @_;
my $In_Strings = $GB->{FORM}->{'MESSAGE'}; # shift or return ''; # 入力無しなら (・∀・) カエレ

# 読み込む。。。
my @Rock_word = @FOX_Ro54;

# EUC に変換して半角カナ→全角カナにしてして。
# まず対象となる文字列を変換。
$In_Strings = jcode::euc($In_Strings , 'sjis', 'z');

# NG ワードも変換。ついでに NG ワード、MD5値、フラグの 3 要素だけにしてリファレンスにしてして。
@Rock_word = map { [ (split /<>/)[5,6,7] ] } map { &jcode::euc($_, 'euc', 'z') } @Rock_word;

# では NG ワードのチェック。
foreach my $NG_word_ref (@Rock_word){
my $NG_word = $NG_word_ref->[0]; # リファレンスから NG ワードを取り出す。
eval { $In_Strings =~m<$NG_word> }; # NG ワード自体をチェック。以前の失敗を繰り返さないために。。。
return '' if $@; # 不正 NG ワードがあったときは OK とする。
if ($In_Strings =~m<$NG_word>) { # NG ワードをチェック。
$NG_word_ref->[0] = &jcode::sjis($&, 'euc'); # 該当すれば NG ワードを sjis に戻して。。。
return $NG_word_ref; # リファレンスを返す。
}
}
return '';
}

**動け動けウゴウゴ２ちゃんねる** · 2005/06/04(土) 22:47:56

>>272-273
あ、いや別に今は変わってると言いたいのではなくて
単なる説明のつもりでした。

それより書き込みのURLらしき部分だけ処理してみるとか?

**ｒｅｆｆｉ@報告人 ★** · 2005/06/04(土) 22:49:57

>275
この辺ですか？
（5.8以降限定ですけど）

ttp://www.fl.reitaku-u.ac.jp/~schiba/perl/perlEncoding.html#shiftjis

**root▲ ★** · NG

ちと、めし落ち。

改めて眺めてみましたが、
>>278 のうち、コード変換部分がなくなるだけでも、相当かもすね。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/04(土) 22:52:58

正規表現を使う必要のあるNGワードって意外と少ない気もするが
Rockだとそうでもないのかな?
固定文字列の検索なら工夫の余地が大きいと思うんだけど

**動け動けウゴウゴ２ちゃんねる** · 2005/06/04(土) 23:00:49

map { &jcode::euc($_, 'euc', 'z') } @Rock_word
これは単なる半全角変換だっけ?

◆TWARamEjuA · NG

まずは、>>243 の方法ってのはいかがでしょうか？
>>240 にて、
　s/iter a c b
　a　8.48　--　-37%　-39%
　c　5.31　60%　--　-3%
　b　5.18　64%　3%　--
と、対比64%との数値が出ていることですので。。。

IsKoukokuの中で、NGワードファイルのeuc→Shift_JISを行っているものを、
NGワードファイルを読み込んできたときに変換しておくという手法です。
（参照：>>127）

あと、リストのShift_JIS化はかなり躊躇しております。
いかんせん、Shift_JISによる文字化けを回避するために、
登録所ではすべてをeuc-jpで処理をしていることもありまして。
（登録者がエスケープを気にしなくても良いようにとの思いで登録所を作成した経緯もありますのでm(_ _)m深謝）

それからそれから。
NGワードリストの並びですが、以前は、有効期限が長い物順に並べておりましたが、
現在では、BBRからの返りが多い物順に替えてあります。
ので、多少減らしても大丈夫かもしれないです。

しかし、200という数ではかなり漏れが出てしまうかもしれないです。。。
BBRの返りを見ても、最低でも、1500近くは必要かもです。

**root▲ ★** · NG

>>284
ご本尊、こられましたか。

ちと、お風呂入ったりしてからで。

◆WMaLhm.gkw · 2005/06/04(土) 23:36:16

rockリストに変更があったときに、NGワード・MD5値・フラグだけをShiftJIS化したサブセットも作ることにして、それを元にして判定しましょ……ってこと？

◆TWARamEjuA · NG

>>285
自鯖のperl入れ替えであたふたしている最中なのでレスポンスが悪いかもしれないですm(_ _)m

>>286
実は既に、管理用と配布用とで分けてありますです。（配布用は３要素のみ／管理用のファイルの半分の量です）

**動け動けウゴウゴ２ちゃんねる** · 2005/06/04(土) 23:56:28

対象リストに載っているデータを
SJISに直すと共に、べた書きのPerlプログラムに直すスクリプトを作る。
そして、bbs.cgiではこれをソースとして動かす。
SpeedyCGIでコンパイルは10分に1回なんだから無問題。
とか。

**ピロリ** · 2005/06/04(土) 23:57:02

ちといろいろ忘れたので復習が寺

各サーバの丁稚どんは原本を定期的に引っ張ってくる
1) 原本ってどこにあるんでしたっけ? bbq.2ch.net ?
2) 原本を出力するときに \t 区切りの Shift Jis にしておけば一番お特?

**ピロリ** · 2005/06/04(土) 23:58:12

>>288

いっそうの船が10分に一回では?
ちがうのかな、、

**動け動けウゴウゴ２ちゃんねる** · 2005/06/05(日) 00:06:20

そうだけど
毎回ファイルに載ってる全部を読みながら正規表現のコンパイルをして云々・・・と比べて
1/((呼び出される回数/10分)/プロセス数)・・・見込みで1/10-1/100程度にはなるかと。

**root▲ ★** · NG

さて。

>>284
ということは、6割ぐらいにはなるってかんじですか。
anime サーバで、しこんでみるです。

**root▲ ★** · NG

あ、まずエラーにならないことをqb6で確認するです。

**ピロリ** · 2005/06/05(日) 00:13:41

まったー

**ピロリ** · 2005/06/05(日) 00:14:42

読み込んだときに変換するのは激しく反対。
配布前になされるべきです

**root▲ ★** · NG

ふむ。

ということは、各サーバに置かれる時点でSJISもので全角半角もなされたものにすべきと。
つまり、丁稚側でやるべきってことかな。

**ピロリ** · 2005/06/05(日) 00:16:20

系の入り口or最終段階で encode , decode が入るのは
当然ですが、途中段階で interpliter がはいるなんてシステムは
激しく反対。

中身は「ただのブツ」意味の無いものであるべきです

**root▲ ★** · NG

リストのおおもと EUC
↓
配布用マスター SJIS
↓
各サーバに配布
↓
そのまま利用

っていうふうにすれば、いいような。

**ピロリ** · 2005/06/05(日) 00:24:10

んだんだ

**ピロリ** · 2005/06/05(日) 00:25:24

そうすれば
改修するところは

1) マスター作り部
2) IsKoukoku内の処理

ということになり、今後の改修もここだけになるｯス

**動け動けウゴウゴ２ちゃんねる** · 2005/06/05(日) 00:29:53

NG_wordに正規表現使ってないならEUCに変換なんてしないで
index()でいいんだけどな

◆TWARamEjuA · NG

あり得る手段としては、「DATをeuc-jpにする」というのもある香奈♪

それはさておき、、、
となると、かなり大変だよなぁ。。。

●Rock54側でやるべき事。
・配布用リストを変換しておく。
1. 全角カナ→全角カナ＋半角カナにしてor設定(ex.がんばる→(が|ガ|(ｶﾞ))(ん|ン|ﾝ)(ば|バ|(ﾊﾞ))(る|ル|ﾙ)
2. euc-jp→Shift_JISする際に、誤認をするものにエスケープを施す（「表」とか「ー」とか）
3. euc-jp→Shift_JISにする。

こんな感じかな？

＃banana238から追い出されそうな悪寒（苦笑）＠負荷増大

**root▲ ★** · NG

>>302
1. って、やらなくてもいいようになるといいなと。

「がんばる」は「がんばる」だけRockできれば、それでいいんじゃないかなと。
で、「ガンバル」もRockしたければ、単にもう1行入れればいいんではと。

◆TWARamEjuA · NG

>>302
と、書いてみたものの、、、
→1. 全角カナ→全角カナ＋半角カナにしてor設定(ex.がんばる→(が|ガ|(ｶﾞ))(ん|ン|ﾝ)(ば|バ|(ﾊﾞ))(る|ル|ﾙ)
こんなことしてたら、ますます負荷が「お互いに（Rock54基地でも各鯖でも）」掛かるよなぁ。。。

やっぱりいっそのこと、リストには半角英数記号以外禁止にしちゃおうよ♪

**root▲ ★** · NG

2. と 3. は、それで問題ないとおもうです。

**ピロリ** · 2005/06/05(日) 00:38:32

＃banana238から追い出されそうな悪寒（苦笑）＠負荷増大

この部部が理解できなかったり、
投稿毎に(bananaで 5万/day) 処理していることが
どうして出来ないのかがわからないのだ。

**root▲ ★** · NG

>>304
あ、かぶったですね。
全角と半角をそこまでやらなくても、正規表現パターンが減るだけで、
かなり負荷下がるような予感。

◆TWARamEjuA · NG

>>303
荒らす人は徹底的に荒らしたいらしいので、もっといろんな描き方をしてくるですです（苦笑）
がんばる
ガんばる
がンばる
：
：
がん　ば　る
：
（わはは）

URIとmailアドレスと思しきもの、電話番号と思しきものに限定しちゃって、無差別コピペは別管轄にしちゃうとかとか。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/05(日) 00:44:56

マルチバイト文字非対応でいいなら、それが一番楽そうですね

**ピロリ** · 2005/06/05(日) 00:45:32

Rock54 はあらし撃退にも使えるけど
広告爆撃対策が本業かと、

**root▲ ★** · NG

>>308
まぁ、>>310 すね。
あとは、正規表現の高速なやつを入れてみるぐらいか。

いずれにせよ、なるはやで>>298にしたいなと思うです。

◆TWARamEjuA · NG

>>306
banana238さんではRock54以外にもBBXやBBR、別プロセスとなるf22baseや、headline、itadaki、statsが同居していますから、
多少不安があったりもしまして。
単純にbbs処理とは異質なものでもありますし。

>>310
本来の本業に専念した方が、問題を切り分けるのには適しているですよね。
荒らしさんには、専属の特殊部隊を結成してみるとか。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/05(日) 01:07:04

>>308
それはログで実証されていますか?
Rockに限らず「これこれこういう方法で回避できるから無駄だ」とやりもせずに
決めつける人大杉ですが実際に「これこれこういう方法」を使う人は意外と少ないものです。
そして「これこれこういう方法」を実際に使われてくると破綻します(例: 山田)

**ピロリ** · 2005/06/05(日) 01:34:15

うーん
一所懸命考えたけど、やっぱりわからん

現在は 240万投稿 x 2700 回　変換しているですよね、
それを bbs.cgi 船進水時にやるとして
どれくらいになるかな、10万 x 2700 回くらい?
それを配布元でやれば、データが一日に100回更新されたとして
100 x 2700 回だけで済むようになると思うんだが

何が違うんだろう・・・

◆TWARamEjuA · NG

>>314
bbs.cgiが動いている鯖での変換「以外」の負荷の掛かり具合がよく判っていないので、
ただ単にbanana238でも大丈夫なのかな？と危惧しているところです。
（bbs.cgiが動いている鯖でのpsやtopコマンドの値は知りうることが出来ませんから）

ひとまず「案ずるより産むが易し」ってことで、変換作業をしているですですm(_ _)m

**root▲ ★** · NG

>>315
最終行に、同意っすね。
うむ、うむ。

# ちと、今日はおねむかも。
# ちょっと別のスレで別のじっけんしてくるです。

◆TWARamEjuA · NG

基地の方では、切り替える準備が出来ました。

>>278 を以下のようにスキーリさせることができるかと♪
#################################################################################################
#罠、罠、罠、罠、罠に
#入力：
#IsKoukoku(対象文字列[Shift_JIS],Rock54のファイル名)　現状は無し。sub で定義中。
#返り血ぶしゅー：
#OK ならば空文字列(偽)
#NG ならば（規制文字列(真)[Shift_JIS], MD5値, フラグ）のリストへのリファレンス
sub IsKoukoku
{
my ($GB) = @_;
my $In_Strings = $GB->{FORM}->{'MESSAGE'}; # 長いので代入

# 読み込む。。。
# my @Rock_word = @FOX_Ro54; # メモリの無駄なので省略してみました。

# では NG ワードのチェック。
foreach my $NG_word_ref (@FOX_Ro54){
if (my $matched = eval{$In_Strings =~ m<$NG_word_ref->[0]>}) { return $NG_word_ref } # 合致したらリファレンスを返す。
# 不正 NG ワードがあったり引っかからなければスキップ
}
return '';
}

配布が始まりましたら、基地の方でもリスタートを掛けていきますです。
（多少のタイムラグは致し方ないですよね（苦笑）＠しばらくは文字コードの違いでスルーされる現象）

**ピロリ** · 2005/06/05(日) 02:29:46

おっ

qb6 に早速入れてみます。

**root▲ ★** · NG

おぉ。

>>318
おまかせするです。わくわく。

**ピロリ** · 2005/06/05(日) 02:34:41

if (my $matched = eval{$In_Strings =~ m<$NG_word_ref->[0]>}) { return $NG_word_ref } # 合致したらリファレンスを返す。

　ここで 500 error になるっす

**水色＠飛行石 ★** · 2005/06/05(日) 02:34:48

おー。

◆TWARamEjuA · NG

>>318
あ、、、
丁稚どんがそのままなので、全鯖に配布されちゃうです（汗）

ので、qb6用の丁稚どんも用意しましょうか？

**ピロリ** · 2005/06/05(日) 02:37:06

いやいや
まず動くかどうかでして、

**ピロリ** · 2005/06/05(日) 02:38:07

つまり　正しく動くかどうかじゃなくて
動くかどうかの確認をしたいと、 @qb6

**ピロリ** · 2005/06/05(日) 02:38:52

>>320 の行をコメントアウトすると動く(書き込める)です

**讃岐フォアンフォアン▲** ◆MylTDX..QI · NG

おー

**動け動けウゴウゴ２ちゃんねる** · 2005/06/05(日) 02:44:49

アローがデリミタと被っているのでは…

◆TWARamEjuA · NG

>>320
if (my $matched = eval{$In_Strings =~ m<$NG_word_ref->[0]>}) { return $NG_word_ref } # 合致したらリファレンスを返す。
を、以下の２行に。。。m(_ _)m深謝
my $NG_word = $NG_word_ref->[0]; # リファレンスから取り出し。
if (my $matched = eval{$In_Strings =~ m<$NG_word>}) { return $NG_word_ref } # 合致したらリファレンスを返す。

>>324
そのままですと、全部の鯖にいる丁稚どんを呼び出してしまいますので（汗）
ひとまず基地からはqb6の丁稚どんだけを呼び出すようにしますですです。

**ピロリ** · 2005/06/05(日) 02:50:32

>>327
うごいたー @qb6

全サーバに配布していいですか?

◆TWARamEjuA · NG

>>328
→ひとまず基地からはqb6の丁稚どんだけを呼び出すようにしますですです。
スタンバイ出来ました。

**ピロリ** · 2005/06/05(日) 02:53:17

んじゃ　配布しまーす

◆TWARamEjuA · NG

ひとまずqb6「だけ」配布完了した模様です。＠新ファイル

**ピロリ** · 2005/06/05(日) 02:55:05

指示にしたがいますー

まだ全サーバ配布はやってません

◆TWARamEjuA · NG

ちょと様子見しています。
船が自爆しないからかな？

◆TWARamEjuA · NG

qb5.2ch.net<>200 OK<>Sat, 04 Jun 2005 17:34:18 GMT<>236589<>
qb6.2ch.net<>200 OK<>Sat, 04 Jun 2005 17:59:09 GMT<>236544<>

リストは行き渡っています。。。

◆Reffi/bQ.c · 2005/06/05(日) 03:05:17

rockテストやってきて吸い込まれるのは確認しましたがエラーメッセーが出ないですね。

**ピロリ** · 2005/06/05(日) 03:06:03

どんな時にどんなメッセージが出るんでしたっけ?

**root▲ ★** · NG

>>336
花が咲くとき以外は、エラー出ないはず。

**root▲ ★** · NG

>>338
× エラー
○ エラーメッセージ

>>337
通常ただ吸い込まれる
いっぱつものさくらが咲いてますよ

**讃岐フォアンフォアン▲** ◆MylTDX..QI · NG

普通の書き込みがずっと吸収されてる…

**ピロリ** · 2005/06/05(日) 03:09:00

あと三発で「Rockは人生だ」でしたっけ?

◆Reffi/bQ.c · NG

了解しますた。
さくらが咲くｕｒｌはわからないのでそっちの検証は無理ですけど無事に稼働しているよう
です。
あとはコストの削減具合の観察ですね。

◆TWARamEjuA · NG

BBX チェック（２ちゃんねるで広告爆撃したホストなどが、登録されています。）

La ROCA es la vida.(-_-)

;; ANSWER SECTION (1 record)
227.33.105.220.bbx.2ch.net.2048INTXT"shutouted by BBX: 220.105.33.227"

ひっかかりました（照）

◆Reffi/bQ.c · NG

あれれ
普通の書き込みも吸い込まれてる（滝汗

**root▲ ★** · NG

>>341
今は、それコメントアウトされてたような。

**ピロリ** · 2005/06/05(日) 03:15:03

>>345
ほんとだ、吸い込まれる仕様ですね

**動け動けウゴウゴ２ちゃんねる** · 2005/06/05(日) 03:15:37

肝心の負荷は?

**root▲ ★** · NG

>>347
配布が終わったら、animeサーバあたりの様子と、
qb6 でのプロファイリングを再度やってみるです。

◆TWARamEjuA · NG

もしかして、qb6ではIsKoukokuを呼び出しているところが他のとはちょと違うのかな？
・さくらか咲かない。
・BBRが返ってこない。
という症状が現れています。

**ピロリ** · 2005/06/05(日) 03:28:54

確認してみますー

**ピロリ** · 2005/06/05(日) 03:30:18

スルーするかどうかの違いはありますが
他には制御に違いはないようです

◆TWARamEjuA · NG

>>351
了解ですー

とりあえずやっちゃてみます？＠全鯖配布

**ピロリ** · 2005/06/05(日) 03:33:54

りょうかいですー

配布しますー

**ピロリ** · 2005/06/05(日) 03:35:02

あっ anime が　IsKoukoku するーになってる

配布しなおしますー

**root▲ ★** · NG

animeサーバの船を爆破しました。

なんか、うそみたいに軽いかも。
一桁数値が低くなった、、、。

PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU CPU COMMAND
22033 ch2anime 96 0 10508K 9796K select 3 0:01 1.03% 0.83% speedy_back
22031 ch2anime 96 0 10740K 9992K select 0 0:01 0.48% 0.39% speedy_back

**root▲ ★** · NG

な、なんだ。
もう1回。

**root▲ ★** · NG

animeサーバ、IsKoukokuが有効になったやつが入ったのを確認しました。
確認中。

◆TWARamEjuA · NG

ではでは、全鯖開始ONにしますですー＠リスト

**root▲ ★** · NG

いいかんじみたい。

時間帯を比較しないとわからないけど、
やはり、一桁負荷が低くなったようです。

コード変換って、すごく重いのね。

**root▲ ★** · NG

>>358
OKです。観察を継続。

**root▲ ★** · NG

animeサーバ、SJISバージョンに切り替わったようです。