bbs.cgi再開発プロジェクト6

[1 動け動けウゴウゴ２ちゃんねる 2005/04/10(日) 16:15:47 ID:a6rtBqIi0]

peko鯖の稼動によりﾎﾞﾄﾙﾈｯｸの一つである事がより明らかになった
bbs.cgi作り直しプロジェクトです。

【開発環境の工事現場】
また挑戦。＠2ch掲示板　　http://dso.2ch.net/myanmar/
また挑戦２。＠2ch掲示板　http://dso.2ch.net/yangon/

関連スレなどは >>2-5 くらい

[203 動け動けウゴウゴ２ちゃんねる 2005/05/30(月) 22:46:17 ID:UtFyGIqu0]

>>201
数百じゃ話にならんよ。。。
日曜プログラマでシコシコやる分には良いが。。
２４時間との単位で負荷テストしないと。

>>202
ソケットもサポしてます。
Ver4以降からコマンドラインもサポしてますよ。

[204 動け動けウゴウゴ２ちゃんねる 2005/05/30(月) 23:17:01 ID:31RcjPGy0]

亜種の出る速度から考えて正直対症療法に意味があるとは思えないけど

[205 動け動けウゴウゴ２ちゃんねる 2005/05/30(月) 23:17:38 ID:31RcjPGy0]

参考になる実験結果も持ってないのにどうしてそんなphpを力いっぱい押せるんだか

[206 動け動けウゴウゴ２ちゃんねる 2005/05/30(月) 23:47:10 ID:cvk6biLo0]

っていうか、どんな言語でも（たとえ水平マイクロアセンブラでも）、今から新規に作り直せば、
今のbbs.cgiよりきれいに違いない
そんなの自慢にもならん

[207 動け動けウゴウゴ２ちゃんねる 2005/05/30(月) 23:55:23 ID:RGXs7Ntx0]

作り直せというのは大分前からのこと。
仕様変更だって、1ヶ月前から告知したら専ブラも対応できるのに。
面倒なんですと。

[208 動け動けウゴウゴ２ちゃんねる 2005/05/31(火) 00:08:01 ID:NuMPfTs10]

個人的な負荷実験結果でこの際１００万アクセスって言われてる
ここでPHPの有効性を実際に実験したいってのが本音です。

[209 動け動けウゴウゴ２ちゃんねる 2005/05/31(火) 00:26:27 ID:jGPtv+4B0]

口でいう奴よりも手を動かす奴のほうがすごい法則

[210 動け動けウゴウゴ２ちゃんねる 2005/05/31(火) 03:42:02 ID:TIbffBNl0]

しこしこ

[211 動け動けウゴウゴ２ちゃんねる 2005/05/31(火) 11:10:12 ID:86o0U8t20]

どのみち山田対策のからみもあって大幅な仕様変更やらなきゃいけないような悪寒がするけど・・・・

[212 動け動けウゴウゴ２ちゃんねる 2005/05/31(火) 11:12:53 ID:pIF7DXcf0]

PHP使ってるサイトを良く見ますけど、どのサイトもクソ重いです…。
いかにPHPが優れていようと今の2chのcgiより重かったら何にもならないです。

[213 動け動けウゴウゴ２ちゃんねる 2005/05/31(火) 11:21:28 ID:0jYZZ9Q30]

phpも便利な言語だし好きだけどperlと比べてそれほどメリットはないよ。
perl捨ててphpにしようとかphp妄信者の寝言はもうたくさん。

それでもphpにしようとかいうひとはphpでbbs.cgi,read.cgi相当の祖体ぐらいだしてからにしてくれよ。

[214 動け動けウゴウゴ２ちゃんねる 2005/05/31(火) 11:24:48 ID:0jYZZ9Q30]

>>212
大抵のところはphpを生で使ってるから重い。
スクリプトはそのままで、アクセラレータエンジン入れればだいぶ軽くなるんだがね。

[215 ◆TWARamEjuA NG NG]

同じような手法として、perlccなんてのがあったりするです。
live系はそうしているんだっけ？

[216 動け動けウゴウゴ２ちゃんねる 2005/05/31(火) 11:32:53 ID:jGPtv+4B0]

>214
御託はいいからさ
>213を嫁。

[217 動け動けウゴウゴ２ちゃんねる 2005/05/31(火) 11:36:19 ID:0jYZZ9Q30]

>>216 >>213と>>214は間違いなく漏れな訳だが。

[218 動け動けウゴウゴ２ちゃんねる 2005/05/31(火) 11:50:14 ID:86o0U8t20]

確かにphpは3.0が出た当時はまだperlに比べてアドバンテージがあった。
apacheモジュール実装然り、初心者にわかりやすく多くのDBとの連携のあるAPI群。
この当時ってperl5がでるかでないかぐらいじゃなかったかしら。

基本的にperlとjavaの弟分みたいなところがあるし、
両者がチューンがすすみ、PerlもSpeedyCGIやmod_perlなどのラッパーが充実してきた今、あまりアドバンテージは感じられないな。

[219 動け動けウゴウゴ２ちゃんねる 2005/05/31(火) 11:53:50 ID:86o0U8t20]

スクリプト言語の位置づけとコンパイル言語の位置づけを比較すると

shはアセンブラ
perlはC
rubyはC++/Java
phpはVB

ってところなのかな。

[220 動け動けウゴウゴ２ちゃんねる 2005/05/31(火) 12:01:03 ID:0jYZZ9Q30]

>>219
それは激しく異論があるぞ。
VBなんぞと一緒にするなよ。というかそれだけ言語じゃなくて処理系名かよ:p
だいたいどういう視点での位置づけなんだ？

[221 動け動けウゴウゴ２ちゃんねる 2005/05/31(火) 12:09:41 ID:QiMRSrT20]

言語の優位性語るスレじゃないのに
根本的な解決策にはならんでしょ

[222 動け動けウゴウゴ２ちゃんねる 2005/05/31(火) 12:20:06 ID:86o0U8t20]

>>220
単に初心者のとっつきやすさという観点からくっつけただけです

異論も出るのも当然ですね、スマソ吊ってきます

[223 動け動けウゴウゴ２ちゃんねる 2005/05/31(火) 16:56:28 ID:iy9dpxZMO]

Perl信者テライタスｗｗｗｗｗｗｗ

[224 stream ◆ap/yuix/tw NG NG]

またいつものパターンですか

[225 root▲ ★ NG NG]

>>215
今は全部、speedycgiにしました。
perlccはしょせん、単なる毎回ロードするバイナリ。

で、ここでは「中身を何で書くか」といった、手段のことを言うんではなくて、
まずは目的のことを話してほしいなと。

まずは目的があったうえで、それにあった手段を選ぶわけで。

[226 動け動けウゴウゴ２ちゃんねる 2005/05/31(火) 17:13:26 ID:86o0U8t20]

で、現状の問題点

・より確実な山田対策
・IsKoukoku

違ったら指摘よろ
あとなんかありましたっけ？

[227 讃岐フォアンフォアン▲ ◆MylTDX..QI NG NG]

それでおｋ

[228 動け動けウゴウゴ２ちゃんねる 2005/05/31(火) 21:18:29 ID:xnXA6jy30]

山田について説明希望

[229 動け動けウゴウゴ２ちゃんねる 2005/05/31(火) 21:20:19 ID:aHPOndkO0]

検索して

[230 動け動けウゴウゴ２ちゃんねる 2005/05/31(火) 21:22:59 ID:2uvrcdmn0]

こんやが、

[231 ヾ（ﾟﾊﾟ）ﾉ ◆f0.zuburi6 2005/05/31(火) 21:24:50 ID:X5FkKZ+T0]

武田

[232 動け動けウゴウゴ２ちゃんねる 2005/05/31(火) 22:10:01 ID:J6kC1tX50]

>>228
>>197

[233 ﾀｿｷ@妄想系統 ◆Ver7J..... 2005/05/31(火) 22:50:24 ID:9aqh9O8n0]

cgi 外部での対策
　　ウイルスの対策告知・啓蒙
　　http://tmp5.2ch.net/download/ の head.txt に、
　　山田ウイルスなんとかかんとかですです。。　　　とか。


#　この板書けるのかしらはグローバルに
YamadaBarbon() # ブロック10回超えたら 12時間 これにかかると閃き。パラメータ適当
barbon
bbq bbm
samba
@GB # 格納
@GB =~ # 変換 重いと思われる。
#　一般的なエラーはここでまとめて
IsKoukoku # 重いと思われる。
#　このスレッド書けるのかしら
#　書き込み確認/書き込み警告

負荷対策として
　正規表現と文字列と eval の処理コストが高いので、
正規表現はコンパイルし、文字列はグローバルにする。
eval は外に出す。

# speedycgi のご利益はこういう風に受けるものだろうと思われる
@rMESSAGE = (qr/\r//g,
  qr/\n/ <br> /g;
);

if (/MESSAGE/) {
  $FORM{$_} =~ /@rMESSAGE[0]/;
  $FORM{$_} =~ /@rMESSAGE[1]/;

[234 ﾀｿｷ@妄想系統 ◆Ver7J..... 2005/05/31(火) 22:53:30 ID:9aqh9O8n0]

山田ワクチンを作り、
重いところを軽くして山田耐性を上げる。

[235 動け動けウゴウゴ２ちゃんねる 2005/06/01(水) 01:01:49 ID:4S6eve7r0]

スラッシュ入りとそうでないのにリストを分けて、入ってないレスの時はスラッシュ入りを回さないとか。

[236 動け動けウゴウゴ２ちゃんねる 2005/06/01(水) 07:16:37 ID:bf9SHC1F0]

rockのファイルってジンギスカンしてます？
まあそれ以前の問題かもしれませんが・・・

関連でこんなんはっときます
ttp://www.oracle.co.jp/interactive/Techniques/VLDB/Basic/step08.html

[237 235 2005/06/01(水) 10:31:09 ID:3nHEF7NN0]

メアドやドメイン名だけだとスラッシュ入らんな。ドットでチェックすればいいのかな。

[238 235 2005/06/01(水) 10:56:56 ID:3nHEF7NN0]

NGワードを「スラッシュ入り」「スラッシュ無しドット入り」「スラッシュ無しドット無し」の3つにあらかじめ分けておく。

「スラッシュ無しドット無し」のNGワードチェック。
本文にドットがあるかチェックして入ってたら「スラッシュ無しドット入り」のNGワードチェック。
本文にスラッシュがあるかチェックして入ってたら「スラッシュ入り」のNGワードチェック。

問題は正規表現と整合性がとれるかなんだが、俺はPerlわからんから予想できん。

[239 動け動けウゴウゴ２ちゃんねる 2005/06/01(水) 11:10:50 ID:zzFYRbIx0]

とりあえず、仕組みやコードについてアドバイスしたいのなら、
Rock54プロジェクト関連の全ての過去ログに目を通してから語った方が
ええよ。
そうしないと話がループして不毛になるから。
過去ログや関連スレを探すのも2chのプロジェクトに参加するための最低限の
スキルだから、どこにあるか分からないとか言わないでね。

[240 ◆TWARamEjuA NG NG]

じっけん結果。
RegExpのコンパイルは、あまり効果がなかったみたい。

Benchmark: timing 5 iterations of a, b, c...
a: 46 wallclock secs (42.39 usr + 0.01 sys = 42.40 CPU) @ 0.12/s (n=5)
b: 43 wallclock secs (25.86 usr + 0.03 sys = 25.89 CPU) @ 0.19/s (n=5)
c: 28 wallclock secs (26.54 usr + 0.02 sys = 26.56 CPU) @ 0.19/s (n=5)
s/iter a c b
a 8.48 -- -37% -39%
c 5.31 60% -- -3%
b 5.18 64% 3% --

[241 ◆TWARamEjuA NG NG]

#!/usr/local/bin/perl

use strict;
# use warnings;
use Jcode;
use Benchmark qw(:all);

########
# めいんるーちん
MAIN:
{
# 主要ファイル名
my $Rock54_PATH = qq|./|;
my $Rock54_List = qq|$Rock54_PATH/Rock54.txt|;
my $Rock54_List2 = qq|$Rock54_PATH/Rock54-1.txt|;
my $Rock54_DAT = qq|$Rock54_PATH/000.txt|;

my $reply = timethese( 5, {
'a' => \&IsKoukoku1,
'b' => \&IsKoukoku2,
'c' => \&IsKoukoku3,
});
cmpthese $reply;

exit;

[242 ◆TWARamEjuA NG NG]

# 従来の方法？
sub IsKoukoku1 {
# bbs.cgi の初めのところみたいところ。
# NGファイルの読み込み
open Rock54, $Rock54_List or die "$!:[$Rock54_List]";
# NG ワード要素を NG ワード、MD5値、フラグの 3 要素だけにしてリファレンスにしてして。
my @Rock_word = map [ (split /<>/)[5,6,7] ] , <Rock54>;
close Rock54;

# 索敵ファイルを読み込み（operate/1064936147.datを利用[820レス/504KB]）
open DAT_File, $Rock54_DAT or die $!;
my @DAT = map((split /<>/)[3], <DAT_File>); # 本文だけ抽出。
close DAT_File;

# ここからがIsKoukokuの本体みたいなところ。
# 総レス数(820)を10倍界王拳
foreach my $In_Strings ((@DAT) x 100){
# では NG ワードのチェック。
foreach my $NG_word_ref (@Rock_word){
$In_Strings = jcode->euc($In_Strings , 'sjis', 'z'); # 本文を半角カナ→全角カナ変換。
my $NG_word = jcode->euc($NG_word_ref->[0], 'euc', 'z'); # リファレンスから取り出して半角カナ→全角カナ変換。
if (my $matched = eval{$In_Strings =~ m<$NG_word>}) { last } # 合致したら。。。
elsif ($@) { last } # 不正 NG ワードがあったら。。。
}
}
}

[243 ◆TWARamEjuA NG NG]

# あらかじめ、カナ変換をしておく。
sub IsKoukoku2{
# bbs.cgi の初めのところみたいところ。
# NGファイルの読み込み
open Rock54, $Rock54_List or die $!;
# NG ワード要素を NG ワード、MD5値、フラグの 3 要素だけにしてリファレンスにしてカナ変換してして。
my @Rock_word =
map [ jcode->euc($_->[0], 'euc', 'z'), $_->[1,2] ],
map [ (split /<>/)[5,6,7] ],
<Rock54>;
close Rock54;

# 索敵ファイルを読み込み（operate/1064936147.datを利用[820レス/504KB]）
open DAT_File, $Rock54_DAT or die $!;
my @DAT = map((split /<>/)[3], <DAT_File>); # 本文だけ抽出。
close DAT_File;

# ここからがIsKoukokuの本体みたいなところ。
# 総レス数(820)を10倍界王拳
foreach my $In_Strings ((@DAT) x 100){
# では NG ワードのチェック。
foreach my $NG_word_ref (@Rock_word){
$In_Strings = jcode->euc($In_Strings , 'sjis', 'z'); # 本文を半角カナ→全角カナ変換。
my $NG_word = $NG_word_ref->[0]; # リファレンスから取り出し。
if (my $matched = eval{$In_Strings =~ m<$NG_word>}) { last } # 合致したら。。。
elsif ($@) { last } # 不正 NG ワードがあったら。。。
}
}
}

[244 ◆TWARamEjuA NG NG]

# あらかじめ、カナ変換してRegExpをコンパイルしておく。
sub IsKoukoku3{
# bbs.cgi の初めのところみたいところ。
# NGファイルの読み込み（RegExpコンパイル済み）
open Rock54, $Rock54_List or die $!;
# NG ワード要素を NG ワード、MD5値、フラグの 3 要素だけにしてリファレンスにしてして。
my @Rock_word =
map [ qr|$_->[0]|, $_->[1,2] ],
map [ jcode->euc($_->[0], 'euc', 'z'), $_->[1,2] ],
map [ (split /<>/)[5,6,7] ],
<Rock54>;
close Rock54;

# 索敵ファイルを読み込み（operate/1064936147.datを利用[820レス/504KB]）
open DAT_File, $Rock54_DAT or die $!;
my @DAT = map((split /<>/)[3], <DAT_File>); # 本文だけ抽出。
close DAT_File;

# ここからがIsKoukokuの本体みたいなところ。
# 総レス数(820)を10倍界王拳
foreach my $In_Strings ((@DAT) x 100){
$In_Strings = jcode->euc($In_Strings , 'sjis', 'z'); # 先に、本文を半角カナ→全角カナ変換。
# では NG ワードのチェック。
foreach my $NG_word_ref (@Rock_word){
my $NG_word = $NG_word_ref->[0]; # リファレンスから取り出し。
if (my $matched = eval{$In_Strings =~ m<$NG_word>}) { last } # 合致したら。。。
elsif ($@) { last } # 不正 NG ワードがあったら。。。
}
}
}
}

__END__

[245 ◆TWARamEjuA NG NG]

○えんばいろめんと
jcode.plがうまく動かなかったのでJcode.pmで。

$ uname -a
Linux tierra.baila6.jp 2.4.27-0vl7.5 #1 Tue May 17 13:33:27 JST 2005 i686 unknown

$ dmesg | grep Hz
Detected 1050.026 MHz processor.
ide: Assuming 33MHz system bus speed for PIO modes; override with idebus=xx

なキカイで。。。

[246 ﾀｿｷ@妄想系統 ◆Ver7J..... 2005/06/02(木) 08:45:31 ID:VnP48VQZ0]

ということは perl での正規表現のコンパイルは意味がないけれど、
文字列をあらかじめ宣言しておくことは効果があるってことですよね

[247 ﾀｿｷ@妄想系統 ◆Ver7J..... 2005/06/02(木) 08:59:58 ID:VnP48VQZ0]

>>240が読めませんが、そう解釈しました。

[248 動け動けウゴウゴ２ちゃんねる 2005/06/04(土) 03:35:19 ID:6UTTXnDi0]

ここで良いのか分からないけど、、、
「スレッドストッパー」が働いたときに、subback.html等に
レス数の増加が反映されないのはどうなんでしょうか？

http://qb5.2ch.net/test/read.cgi/operate/1117803694/l50
↑スレッドストッパーを入れて28だけど、、

http://qb5.2ch.net/operate/subback.html
↑ここでは27となっている。

[249 動け動けウゴウゴ２ちゃんねる 2005/06/04(土) 03:40:59 ID:z2pnxTOZ0]

>>248
スレッドストッパーとか無関係にそうなることがあると思ってたけど。
時々更新をサボるみたいね。しかもいつ更新されるかわからないｗ

[250 root▲ ★ NG NG]

>>248
単純に、スレッドストッパーさんはsubject.txtやsubback.htmlの更新、
場合によってはindex.htmlの書き換えといった、
とってもコストのかかる重い処理を、一切やってないってことですね。

そもそも正直、必要性を感じないし。

[251 root▲ ★ 2005/06/04(土) 22:00:50 ID:???0]

IsKoukokuの軽量化が急務っぽいので、
やろうと思うです。

ex11とanimeのbbs.cgi船の重さが15倍ぐらい違うのを見たら、
決断せざるを得ないすね。で、これをせめて10倍ぐらいにはしたいなと。

で、すみませんがこれって今どんな状況で、どう進めればいいんでしたっけか。

[252 ピロリ 2005/06/04(土) 22:07:37 ID:ir56pciX0]

1) まず 山田関係は全部外す
2) 上限を設定する
3) すべて ShiftJis に変更したものを bbs.cgi で回す

[253 root▲ ★ 2005/06/04(土) 22:12:10 ID:???0]

>>252
どもです。反応はや。

Perlぜんぜんだめなひと(Cならまぁぼちぼちですが)ですが、
やれることをやってみようかと。

1) 3) は、脳内にあったです。
で、2) は「登録できるデータの上限」を設定するっていうことかしら。

[254 ピロリ 2005/06/04(土) 22:13:16 ID:ir56pciX0]

そうですー　

せいぜい 200とか
広告爆撃対策だとこれくらいでたりるんでは? (推測)

[255 root▲ ★ 2005/06/04(土) 22:17:08 ID:???0]

>>254
今、2753行あるみたいです。
中身見てみないとですが、200じゃぜんぜんたりなさげな予感。

[256 root▲ ★ 2005/06/04(土) 22:19:35 ID:???0]

で、SJISでやるのと、マッチングするところのコストを下げる(上限とか、場合によってはdbにするとか)のが、
鍵なのかしら。

[257 ピロリ 2005/06/04(土) 22:20:05 ID:ir56pciX0]

まったくそうは思っていなかったり、

Rockにたよりすぎですよ

url 以下のは全部外すべきかと

[258 ピロリ 2005/06/04(土) 22:20:47 ID:ir56pciX0]

本当は 半角英数字だけだから
マッチングにこまるとは全く思っていないです

[259 root▲ ★ 2005/06/04(土) 22:26:59 ID:???0]

>>257
> Rockにたよりすぎですよ

ふむ。

ざっと中身見てみましたが、目視で8割ぐらいがURLっぽいかんじですかね。
そうじゃないのは意外に少ないみたい。

あとは、そのURLっぽいのが本当に全部必要なのかとか、
もし必要ならハッシュ入れたりしてそこのコストを下げられないかとか、
そういう話ですか。

で、マッチングは正規表現使ってるですね。
regexpの高速なやつがあれば、相当変わるような予感も。

[260 ピロリ 2005/06/04(土) 22:28:35 ID:ir56pciX0]

だいたい 50% を撃退するのに 10円かかるとします。
20円かければ 100% 撃退できる? そんなばかな事はありません。
残り 50% の50%だから 75% ですね、期待できるのは、
さらに 10円かける(都合30円)かけると 87.25% 、
まだ 100% ではありません。

これを 100% にしようとして、1500円くらいかけている段階かしら?

わたしは 30円くらいでいいと思っています。
あとはポリシーの問題化と、
あくまで100%を目指すなら、それもありかと。たんたんとやるだけ。

[261 讃岐フォアンフォアン▲ ◆MylTDX..QI NG NG]

http://←この部分外して登録とか

[262 ピロリ 2005/06/04(土) 22:29:24 ID:ir56pciX0]

あっ　ちと数字またがったか、
いつものことで

[263 ピロリ 2005/06/04(土) 22:29:54 ID:ir56pciX0]

>>261
個数の問題だｯたり

[264 ◆IDaU21y6wI NG NG]

記念カキコ

[265 root▲ ★ 2005/06/04(土) 22:32:13 ID:???0]

まずは、EUC→SJISに変えてみるだけで、相当効果ある気がするです。
前にやったプロファイリングの結果では、jcodeが相当重かったような。

もう1回qb6でプロファイリングしてみるです。

[266 ｒｅｆｆｉ@報告人 ★ 2005/06/04(土) 22:32:53 ID:???0]

登録数を下げる方法としては強制時限消去ってのはどうでしょうか？
例えば登録後、３０日でデータベースから強制削除


※システムに負担がかかっているのなら新システムの構築か人的資源の投入のどっちが
　いいかってところですね

[267 ◆IDaU21y6wI NG NG]

これかな、

%Time ExclSec CumulS #Calls sec/call Csec/c Name
58.1 0.102 0.125 1 0.1016 0.1252 main::IsKoukoku
35.3 0.062 0.055 2853 0.0000 0.0000 jcode::convert
26.8 0.047 0.024 2853 0.0000 0.0000 jcode::euc2euc
22.2 0.039 0.225 1 0.0390 0.2251 main::bbs_entryXXX
13.1 0.023 0.008 2853 0.0000 0.0000 jcode::h2z_euc
13.1 0.023 0.023 10 0.0023 0.0023 LWP::UserAgent::BEGIN
9.12 0.016 0.016 3 0.0052 0.0052 Net::DNS::Packet::dn_comp
9.12 0.016 0.039 2853 0.0000 0.0000 jcode::to
9.12 0.016 0.024 2853 0.0000 0.0000 jcode::euc

[268 root▲ ★ 2005/06/04(土) 22:34:54 ID:???0]

>>260
同じこと考えてたです。
ETCが米国の同じようなシステムと比べて、バカ高になったのと同じですね。

ポリシーの問題なんで、1500円かける道もあるかと。
まずはできることをやってみて本当は1500円じゃなかったら、
とりあえず問題を先送りはできるのかしら。

>>264
あ、Perlできるやつがきた。

[269 root▲ ★ 2005/06/04(土) 22:35:57 ID:???0]

>>267
あ、それそれ。

jcode: がすごいですね。
実はSJISでデータ持たせるだけで、解決すると言ってます?

[270 ◆IDaU21y6wI NG NG]

jcode が主な要因っぽいですね。

EUC to SJIS は効果がありそうな予感。

[271 動け動けウゴウゴ２ちゃんねる 2005/06/04(土) 22:41:50 ID:5JYtZIYC0]

rock word検索毎に毎回jcodeを呼び出してたときのデータじゃなかったっけ?

[272 ピロリ 2005/06/04(土) 22:43:17 ID:ir56pciX0]

>>271
今も相変わらずですよん

[273 root▲ ★ NG NG]

>>271
今も変えてないんではないかしら。
それとも、変わったんだっけ。

[274 讃岐フォアンフォアン▲ ◆MylTDX..QI NG NG]

登録一週間で一定の量までいってなければ削除とか

[275 root▲ ★ NG NG]

で、内部データをSJIS化するには、どういう手順でやればいいのかしら。
丁稚どんの改良が必要?

あと、いわゆる「表」みたいな字の対策も入れる必要があるような予感も。

[276 動け動けウゴウゴ２ちゃんねる 2005/06/04(土) 22:45:32 ID:oewniHwY0]

レスにurl入ってるかどうか調べて、入ってない場合はチェックを一部省略するってやってますか？

[277 ピロリ 2005/06/04(土) 22:46:25 ID:ir56pciX0]

>>276
この部分のコードは公開されています四

[278 ピロリ 2005/06/04(土) 22:47:41 ID:ir56pciX0]

#################################################################################################
#罠、罠、罠、罠、罠に
#入力：
#IsKoukoku(対象文字列[Shift_JIS],Rock54のファイル名)　現状は無し。sub で定義中。
#返り血ぶしゅー：
#OK ならば 空文字列(偽)
#NG ならば （規制文字列(真)[Shift_JIS], MD5値, フラグ）の配列へのリファレンス
sub IsKoukoku
{
my ($GB) = @_;
my $In_Strings = $GB->{FORM}->{'MESSAGE'}; # shift or return ''; # 入力無しなら (・∀・) カエレ

# 読み込む。。。
my @Rock_word = @FOX_Ro54;

# EUC に変換して半角カナ→全角カナにしてして。
# まず対象となる文字列を変換。
$In_Strings = jcode::euc($In_Strings , 'sjis', 'z');

# NG ワードも変換。ついでに NG ワード、MD5値、フラグの 3 要素だけにしてリファレンスにしてして。
@Rock_word = map { [ (split /<>/)[5,6,7] ] } map { &jcode::euc($_, 'euc', 'z') } @Rock_word;

# では NG ワードのチェック。
foreach my $NG_word_ref (@Rock_word){
my $NG_word = $NG_word_ref->[0]; # リファレンスから NG ワードを取り出す。
eval { $In_Strings =~m<$NG_word> }; # NG ワード自体をチェック。以前の失敗を繰り返さないために。。。
return '' if $@; # 不正 NG ワードがあったときは OK とする。
if ($In_Strings =~m<$NG_word>) { # NG ワードをチェック。
$NG_word_ref->[0] = &jcode::sjis($&, 'euc'); # 該当すれば NG ワードを sjis に戻して。。。
return $NG_word_ref; # リファレンスを返す。
}
}
return '';
}

[279 動け動けウゴウゴ２ちゃんねる 2005/06/04(土) 22:47:56 ID:5JYtZIYC0]

>>272-273
あ、いや別に今は変わってると言いたいのではなくて
単なる説明のつもりでした。

それより書き込みのURLらしき部分だけ処理してみるとか?

[280 ｒｅｆｆｉ@報告人 ★ 2005/06/04(土) 22:49:57 ID:???0]

>275
この辺ですか？
（5.8以降限定ですけど）

ttp://www.fl.reitaku-u.ac.jp/~schiba/perl/perlEncoding.html#shiftjis

[281 root▲ ★ NG NG]

ちと、めし落ち。

改めて眺めてみましたが、
>>278 のうち、コード変換部分がなくなるだけでも、相当かもすね。

[282 動け動けウゴウゴ２ちゃんねる 2005/06/04(土) 22:52:58 ID:5JYtZIYC0]

正規表現を使う必要のあるNGワードって意外と少ない気もするが
Rockだとそうでもないのかな?
固定文字列の検索なら工夫の余地が大きいと思うんだけど

[283 動け動けウゴウゴ２ちゃんねる 2005/06/04(土) 23:00:49 ID:5JYtZIYC0]

map { &jcode::euc($_, 'euc', 'z') } @Rock_word
これは単なる半全角変換だっけ?

[284 ◆TWARamEjuA NG NG]

まずは、>>243 の方法ってのはいかがでしょうか？
>>240 にて、
　s/iter a c b
　a　8.48　--　-37%　-39%
　c　5.31　60%　--　-3%
　b　5.18　64%　3%　--
と、対比64%との数値が出ていることですので。。。

IsKoukokuの中で、NGワードファイルのeuc→Shift_JISを行っているものを、
NGワードファイルを読み込んできたときに変換しておくという手法です。
（参照：>>127）

あと、リストのShift_JIS化はかなり躊躇しております。
いかんせん、Shift_JISによる文字化けを回避するために、
登録所ではすべてをeuc-jpで処理をしていることもありまして。
（登録者がエスケープを気にしなくても良いようにとの思いで登録所を作成した経緯もありますのでm(_ _)m深謝）

それからそれから。
NGワードリストの並びですが、以前は、有効期限が長い物順に並べておりましたが、
現在では、BBRからの返りが多い物順に替えてあります。
ので、多少減らしても大丈夫かもしれないです。

しかし、200という数ではかなり漏れが出てしまうかもしれないです。。。
BBRの返りを見ても、最低でも、1500近くは必要かもです。

[285 root▲ ★ NG NG]

>>284
ご本尊、こられましたか。

ちと、お風呂入ったりしてからで。

[286 ◆WMaLhm.gkw 2005/06/04(土) 23:36:16 ID:64YlXvAF0]

rockリストに変更があったときに、NGワード・MD5値・フラグだけをShiftJIS化したサブセットも作ることにして、それを元にして判定しましょ……ってこと？

[287 ◆TWARamEjuA NG NG]

>>285
自鯖のperl入れ替えであたふたしている最中なのでレスポンスが悪いかもしれないですm(_ _)m

>>286
実は既に、管理用と配布用とで分けてありますです。（配布用は３要素のみ／管理用のファイルの半分の量です）

[288 動け動けウゴウゴ２ちゃんねる 2005/06/04(土) 23:56:28 ID:gNaPLbTW0]

対象リストに載っているデータを
SJISに直すと共に、べた書きのPerlプログラムに直すスクリプトを作る。
そして、bbs.cgiではこれをソースとして動かす。
SpeedyCGIでコンパイルは10分に1回なんだから無問題。
とか。

[289 ピロリ 2005/06/04(土) 23:57:02 ID:ir56pciX0]

ちといろいろ忘れたので復習が寺

各サーバの丁稚どんは原本を定期的に引っ張ってくる
1) 原本ってどこにあるんでしたっけ? bbq.2ch.net ?
2) 原本を出力するときに \t 区切りの Shift Jis にしておけば一番お特?

[290 ピロリ 2005/06/04(土) 23:58:12 ID:ir56pciX0]

>>288

いっそうの船が10分に一回では?
ちがうのかな、、

[291 動け動けウゴウゴ２ちゃんねる 2005/06/05(日) 00:06:20 ID:m8q3xj0O0]

そうだけど
毎回ファイルに載ってる全部を読みながら正規表現のコンパイルをして云々・・・と比べて
1/((呼び出される回数/10分)/プロセス数)・・・見込みで1/10-1/100程度にはなるかと。

[292 root▲ ★ NG NG]

さて。

>>284
ということは、6割ぐらいにはなるってかんじですか。
anime サーバで、しこんでみるです。

[293 root▲ ★ NG NG]

あ、まずエラーにならないことをqb6で確認するです。

[294 ピロリ 2005/06/05(日) 00:13:41 ID:hV/aUjEj0]

まったー

[295 ピロリ 2005/06/05(日) 00:14:42 ID:hV/aUjEj0]

読み込んだときに変換するのは激しく反対。
配布前になされるべきです

[296 root▲ ★ NG NG]

ふむ。

ということは、各サーバに置かれる時点でSJISもので全角半角もなされたものにすべきと。
つまり、丁稚側でやるべきってことかな。

[297 ピロリ 2005/06/05(日) 00:16:20 ID:hV/aUjEj0]

系の入り口or最終段階で encode , decode が入るのは
当然ですが、途中段階で interpliter がはいるなんてシステムは
激しく反対。

中身は「ただのブツ」意味の無いものであるべきです

[298 root▲ ★ NG NG]

リストのおおもと EUC
↓
配布用マスター SJIS
↓
各サーバに配布
↓
そのまま利用

っていうふうにすれば、いいような。

[299 ピロリ 2005/06/05(日) 00:24:10 ID:hV/aUjEj0]

んだんだ

[300 ピロリ 2005/06/05(日) 00:25:24 ID:hV/aUjEj0]

そうすれば
改修するところは

1) マスター作り部
2) IsKoukoku内の処理

ということになり、今後の改修もここだけになるｯス

[301 動け動けウゴウゴ２ちゃんねる 2005/06/05(日) 00:29:53 ID:5aS7YfV20]

NG_wordに正規表現使ってないならEUCに変換なんてしないで
index()でいいんだけどな

[302 ◆TWARamEjuA NG NG]

あり得る手段としては、「DATをeuc-jpにする」というのもある香奈♪

それはさておき、、、
となると、かなり大変だよなぁ。。。

●Rock54側でやるべき事。
・配布用リストを変換しておく。
1. 全角カナ→全角カナ＋半角カナにしてor設定(ex.がんばる→(が|ガ|(ｶﾞ))(ん|ン|ﾝ)(ば|バ|(ﾊﾞ))(る|ル|ﾙ)
2. euc-jp→Shift_JISする際に、誤認をするものにエスケープを施す（「表」とか「ー」とか）
3. euc-jp→Shift_JISにする。

こんな感じかな？

＃banana238から追い出されそうな悪寒（苦笑）＠負荷増大