bbs.cgi再開発プロジェクト6

**動け動けウゴウゴ２ちゃんねる** · 2005/04/10(日) 16:15:47

peko鯖の稼動によりﾎﾞﾄﾙﾈｯｸの一つである事がより明らかになった
bbs.cgi作り直しプロジェクトです。

【開発環境の工事現場】
また挑戦。＠2ch掲示板　　http://dso.2ch.net/myanmar/
また挑戦２。＠2ch掲示板　http://dso.2ch.net/yangon/

関連スレなどは >>2-5 くらい

**root▲ ★** · NG

で、
@FOX_Ro54 = <ADFILE> ;

を、

@FOX_Ro54 = map { [ (split /<>/)[5,6,7] ] } <ADFILE>;

にした分、initFOX のコストが少し上がったと。
でも、全体のコストは下がったと、そんなかんじか。

**root▲ ★** · NG

…でも、initFOX は上のほうにもあるように、船が出港する時しか通らないから、
全体としては、大幅にコスト下がってるですね。

1回目で 1/4 ということは(>>434-435)、
常駐型なら、ほんとに 1/10 にはなっている気がするです。

というわけで、関係した方々、おつでした。

これで、某サーバのスレ保持数を 700 でキープできるといいなと。
(ちょっと、500にするのは負けっぽいなと)

**動け動けウゴウゴ２ちゃんねる** · 2005/06/05(日) 05:52:04

現時点でIskoukokuスルーになっている鯖は？

**動け動けウゴウゴ２ちゃんねる** · 2005/06/05(日) 05:57:20

4時頃にいきなり公式p2でdat取得済みのスレのスレタイのみが文字化けしてしまったのもこれが原因でしょうか？
ちなみに面白news板でdat取得済みのスレに起こった不具合のようですが
この場合、一旦ログを削除してdatを再取得しなければ直りませんかね？

**root▲ ★** · NG

>>438
live16 live20 live21
ex9 ex10 ex11
tmp5

>>439
違うような気がするです。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/05(日) 06:17:17

>>440
コストが減った事でその鯖群に戻す予定はないの？

**動け動けウゴウゴ２ちゃんねる** · 2005/06/05(日) 06:30:22

懲罰鯖なんだから必要なしでいいんじゃない？

**root▲ ★** · NG

>>441
live16 20 21 ex11 は、私は戻す気ないです。
他は、状況を見ながらかなと。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/05(日) 10:21:11

>>436
その部分
外部に出せないかな？

と本気で思う

**一２ちゃんねら** · 2005/06/05(日) 15:32:51

root▲ ★ さん、明け方まで乙でした。
いつも運営ありがとうございます。
どうぞお体にお気をつけて・・・。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/05(日) 16:44:10

>>308
$blacklist{$allunID} += 1 if ($chatMsg =~ /[Mm][Oo][Rr][Ee]/);
$blacklist{$allunID} += 1 if ($chatMsg =~ /[Mm][Oo][Nn][Ee][Yy]/);
$blacklist{$allunID} += 1 if ($chatMsg =~ /[Pp][LlIi][SsZz]/);
$blacklist{$allunID} += 2 if ($chatMsg =~ /[Pp][LlIi][EeSsZz][SsZz]/);
$blacklist{$allunID} += 5 if ($chatMsg =~ /[Pp][LlIi][EeSsZz][SsZz][SsZz]/);
$blacklist{$allunID} += 10 if ($chatMsg =~ /[Pp][LlIi][EeSsZz][SsZz][SsZz][SsZz][SsZz]/);

(chat)荒らしくたばれ（謎

**動け動けウゴウゴ２ちゃんねる** · 2005/06/05(日) 17:56:13

>>440-443
試しに負荷試験やってみれば？
すぐ止められる状況じゃないとだめだろうけど。

**root▲ ★** · NG

>>447
今日は日曜(負荷高い日)なんで、時間とれたらｺｿｰﾘやるかも。

**root▲ ★** · NG

1時間ばかり前から、ex9 ex10 の IsKoukoku 有効にしてみた。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/06(月) 01:36:13

現在2chで使用されているPerlは5.6より前のものなんですか？

**FOX ★** · 2005/06/06(月) 01:38:49

いろいろじゃないかなぁ
version 意識したことはないっす

banana601(etc3)
This is perl, v5.6.1 built for i386-freebsd

**動け動けウゴウゴ２ちゃんねる** · 2005/06/06(月) 02:14:55

5.6以上なのであれば、
文字コードの変換にはXSのJcodeが使えたのでは。
PurePerlのjcode.plよりは負荷も少ないと思われますが。

**root▲ ★** · NG

>>450
banana - FreeBSD 5.2.1R/5.3R - Perl 5.6.1/5.8.5
tiger - FreeBSD 5.3R/5.4R - Perl 5.8.5/5.8.6
cobra - FreeBSD 5.4R - Perl 5.8.6

>>452
Jcodeは前に頼まれて、全サーバに入れてあるです。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/06(月) 02:32:23

そうでしたか。失礼。

上のソースを見たところ&jcode::*となっていたので
てっきりjcode.plを使っているものかと思いこんでいました。

**root▲ ★** · NG

>>454
jcode.pl 「も」使っているようですよ。
何せ、つぎはぎのソースなんで。

昨年のSpeedyCGI対応の時、
おじさんががんがってきれいにしてくれたので、前よりは「読もうかなぁ」という気にはなるですけど。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/06(月) 02:59:09

と言うと、大本の開発陣は運営側には回ってはいないのでしょうか。

このスレッドをみる限り、リアルタイムで、
それも高頻度でソースの書き換えが行われている様ですが
不特定多数が半端な理解で改造チックな改変を繰り返していると
いずれ対応出来なくなる可能性もあるのでは。

せめて構文チェックくらいはサーバに上げる前に:P

**FOX ★** · 2005/06/06(月) 03:00:21

もう六年もそれを・・・

**動け動けウゴウゴ２ちゃんねる** · NG

まぁ今ちゃんと動いてるんだし、書き直ししなくてもとりあえずは問題ないんじゃない？

**動け動けウゴウゴ２ちゃんねる** · NG

>>458は>>457宛

**動け動けウゴウゴ２ちゃんねる** · 2005/06/06(月) 03:09:30

まずくなったらその時考えよう(･∀･)

**stream** ◆ap/yuix/tw · NG

うへへ

**動け動けウゴウゴ２ちゃんねる** · 2005/06/06(月) 03:13:23

なんか偉そうなこと言っちゃいましたが

まあ、なんだ、その。頑張って下さい。(￣∀￣)
私も一Perlerとしてこのスレッドに貢献出来るよう
身勝手ながら努めさせていただきます。

では。よい夜を。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/06(月) 04:01:43

「説教するならコードをくれ」安達祐実

◆TWARamEjuA · NG

>>444
リファレンスをファイルに書き出してそれを配布して、、、読み込んでも使えないよね？＠やってみたけれどもやっぱりダメだった。
でも、わざわざcsv形式にするよか、リファレンスにした方がsplitしないぶん楽になれるかなぁと。

>>453
Jcodeも0.88から2.00に一気に変わったので、要チェックかもです♪＠Encodeのwrapperに

>>455
.plと.pmをごちゃ混ぜにするとまずいかもです。。。
.pmは下位互換があるので、.plは外した方がよいかも。。。
require './jcode.pl';
の行で読み込んでいます。

>>456
use strict;
use warnings;
を入れて、あにさんを悩ましてみたい衝動はいつもありますｗｗｗＷｗｗｗ

>>462
よろしくですですm(_ _)m深謝

# Shift_JIS にしたことで、4,50個ほどエラーが出ているもよりです（苦笑）＠NGワード

**動け動けウゴウゴ２ちゃんねる** · 2005/06/06(月) 12:02:51

JcodeがEncodeのラッパーになるのは5.8.1から。

というかPerl5.8.2を入れて
use encoding
use Encode qw/encode decoge/
した方がJcodeより速い希ガス

**stream** ◆ap/yuix/tw · NG

ふと思いついたんだけど、過去の突発的な荒らしなどに対して、bbs.cgiに細工をして対処をしたことがあったと思うんだけど、
もう不要な処理については削除すれば、軽くなったりしないのかな。

思いついたもの
1.レスアンカーを付けまくる嵐が出たから、レスアンカーの数を制限した
2.一部の広告荒らしに対し、自動的にそのURLを消去し、名前をfusianaにする

**stream** ◆ap/yuix/tw · NG

「思いついた」というより、「思い出した」だな

**動け動けウゴウゴ２ちゃんねる** · 2005/06/06(月) 21:02:50

bbs.cgiの朗読会を開こう
1行目から読んでいって
「この規制なんで入れたんだっけ?」
「あ、あの祭りのときだ」
「もういらないよね」
「じゃあ外そう」

**ﾀｿｷ@妄想系統 1/10 ☆** ◆Ver7J..... · 2005/06/06(月) 21:40:57

おつdeath death。。

直感的レスを発動させます。

>>311 ＞正規表現の高速なやつを入れてみるぐらいか。
　対象 : IsKoukoku　10.2
>>452-455 >>464 ＞jcode.pl をはずす。
　対象 : 全体弱い
>>465 ＞というかPerl5.8.2を入れて use encoding 　use Encode qw/encode decoge/
　対象 : 全体強い
>>468 ＞bbs.cgiの朗読会
　対象 : main::BEGIN ？　7.60

>>434
UserAgent::BEGIN　5.28 もIsKousokuみたいなことになってるかもと”予測”。

**ﾀｿｷ@妄想系統 1/10 ☆** ◆Ver7J..... · 2005/06/06(月) 21:44:54

UserAgent::BEGIN　は関係なかったです。

**ﾀｿｷ@妄想系統 1/10 ☆** ◆Ver7J..... · 2005/06/07(火) 08:08:39

IsKoukoku の eval を外してみて計測してみるとかいかがでしょう。

**ﾀｿｷ@妄想系統 1/10 ☆** ◆Ver7J..... · 2005/06/07(火) 09:26:54

Shift JIS で起こる問題は、
バイトに変換して末尾が5Cの文字は、
エスケープする必要があるということです。
リストのメンテナンスがめんどくさくなる。

対策として、
euc-jp だったリストを unicode にして、
initFOX で変換してみる。
unicode の配列を Shift JIS に変換 # こっちのほうが変換が早いかもしれない。
euc-jp の配列を Shift JIS に変換 # 以前
Shift JIS の CSV型.txt(エスケープに問題がある) を読み込む # 現在

**動け動けウゴウゴ２ちゃんねる** · 2005/06/07(火) 12:03:34

2ch全体をeucで作り直すとかｗ

**動け動けウゴウゴ２ちゃんねる** · 2005/06/07(火) 12:57:08

>>472
それはencodingプラグマで解決出来ませんでしょうか？

＠IsKoukokuネタ
過去ログにあったアイデアなのですが、正規表現を一つにまとめてみるのはどうでしょう。

例：
use warnings "uninitialized"; #リストが空の時の警告回避
$Ro=qr/@{["(".join(")|(", map {$_->[0]} @FOX_Ro54).")"]}/o;
...

過去ログ内の話によると、やや効果があったようです。
よろしかったらお試ししあれ。
（チェックしてませんが。）

**動け動けウゴウゴ２ちゃんねる** · 2005/06/07(火) 12:59:23

× use (ry
〇 no (ry

**動け動けウゴウゴ２ちゃんねる** · 2005/06/07(火) 15:52:02

>>464
Shift_JISがどの段階でエラーを起こしているのか分からないが、
ファイルの読み込みの段階なら、Shift_JIS1文字にマッチする正規表現を
使って切り分ければ良いし、(エンコードよりはコストが安いはず)、正規表現の段階なら
Shift_JIS文字列だけquotemetaすれば良いし、Perlスクリプト内の埋め込み文字列に問題があるなら、

chop($a = <<'EOF')
aaaa
EOF

でOK。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/07(火) 17:39:29

>>476
正規表現の所でえらー

アルファベットだけの所で巻き添えも出やすくなりそう

**動け動けウゴウゴ２ちゃんねる** · 2005/06/07(火) 22:47:25

> 正規表現の段階なら
> Shift_JIS文字列だけquotemetaすれば良いし、

**476** · 2005/06/08(水) 12:25:18

>>477
NGワード内って正規表現交じりですか？そうでないならばっさりquotemetaすれば良いし、
Shift_JIS部分だけquotemetaするコードくらいなら書きますよ。

あと、済んだことだけど、

# 読み込む。。。
# my @Rock_word = @FOX_Ro54; # メモリの無駄なので省略してみました。

こういう場合は参照使えばメモリ食わないんではないかと。
性能には一切貢献しないと思うけど、

my $In_Strings = $GB->{FORM}->{'MESSAGE'}; # 長いので代入

こういうのも

my $In_Strings = \$GB->{FORM}->{'MESSAGE'}; # 長いので代入

こうして$$In_Stringsで使った方が若干メモリ（と文字列コピーにかかるコスト）はお徳。

もう一点。eval使ってるのは正規表現エラー回避のトラップでしょうか？
コケるような正規表現が混じってる可能性があるなら、

>>474
の策は、@FOX_Ro54に1つでも不備があると全部のチェックがコケますね。

NGワードに正規表現が一切ないという仮定なら、事前に@FOX_Ro54の中身を
丸ごとquotemetaすれば、正規表現でコケないはずなのでevalは外せるのでは。

**476** · 2005/06/08(水) 15:50:17

> Shift_JIS部分だけquotemetaするコードくらいなら書きますよ。

とか言うほどの事じゃなかった。むしろテストの方が大変だった。
必要な作業だったのかどうか謎だけど一応上げておきます。
perl5.00503でテスト。

(票表十){2}

とか問題ありそうなShift_JIS + 正規表現交じりでやってみたけどOKでした。

foreach my $NG_word_ref (@FOX_Ro54){
　　my $NG_word = $NG_word_ref->[0]; # エスケープしたままじゃ他で使えないのでコピー
next unless $NG_word; # 空文字列ならスキップ
　　$NG_word =~ s/((?:[\x81-\x9F\xE0-\xFC][\x40-\x7E\x80-\xFC])+)/quotemeta($1)/geo;
　　if (my $matched = eval{$In_Strings =~ m<$NG_word>}) { return $NG_word_ref } # 合致したらリファレンスを返す。
　　# 不正 NG ワードがあったり引っかからなければスキップ
}

○チェック文字列1 - (票表十){2}
○チェック文字列2 - 十予約表
○In_Strings - ああ票表十票表十予約表いい

■裸の場合。
> /([\){2}/: unmatched [] in regexp at ./check.pl line 22.
> /\驅/: trailing \ in regexp at ./check.pl line 22.

■正規表現を噛ませた場合
> found.
> found.

◆TWARamEjuA · NG

リストは、正規表現文字列が連なっております。
例えば。
(\.|．|/|／)(3|３|4|４|6|６|8|８|9|９　...長いので省略。
↓Shift_JISですと、こうなります。
Unmatched ( in regex; marked by <-- HERE in m/( <-- HERE .|．|/|／)(3|３|4|４|6|６|8|８|9|９　...長いので省略。
／が、バけていますよね♪([／] = 0x815E)

→こういう場合は参照使えばメモリ食わないんではないかと。
それ以前に、IsKoukokuでしか利用されていませんので、そのまま利用しました。
リファレンスにしろグローバルを触っちゃいますし。

→こうして$$In_Stringsで使った方が若干メモリ（と文字列コピーにかかるコスト）はお徳。
でもって、こう書いちゃうと中の人が呑み屋さんに繰り出しちゃう恐れがあるので避けていたりもしますです（ｗ

→もう一点。eval使ってるのは正規表現エラー回避のトラップでしょうか？
ですです。
発行元でもチェックを行っていますが、以前と同じ失敗（すべてRockされる）を繰り返さないようにと、あえてそのようにしてあります。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/08(水) 19:06:25

>>481
その文字列でチェックしてみたんですが、
5.00503ではエラー起きませんね。省略部分に何かあるんではないでしょうか？

> (\.|．|/|／)(3|３|4|４|6|６|8|８|9|９

これの8ビット目が立ってるバイトを「#」に置き換えると↓こんな感じです。

(.|#D|/|#^)(3|#R|4|#S|6|#U|8|#W|9|#X

「^」は一応メタキャラですが文頭にないので素通りのようです。最後、括弧が閉じてないので
勝手に閉じ括弧付けて実験しました。

もし全文か、他のお題があればこっちでチェックしますよ。
でもこの手のエラーはおそらく>>480のコードで全部解決するんじゃないかと思います。

参照とevalに関しては了解です。

**476** · 2005/06/09(木) 12:03:19

evalってコスト高いんじゃ……？と思ったのでベンチ取ってみた。
@FOX_Ro54が2048個のチェックを1000回。

Benchmark: timing 1000 iterations of with_eval, with_noeval...
with_eval: 159 wallclock secs (158.80 usr +  0.02 sys = 158.82 CPU) @  6.30/s (n=1000)
with_noeval: 155 wallclock secs (154.28 usr +  0.05 sys = 154.33 CPU) @  6.48/s (n=1000)

誤差の範囲内なので、運用上の安全を考えると現状維持で良いと思った。>>480のコードのベンチも取ってみた。
ついでにJcode.pmで双方ともEUCに変換した時の結果も。

Benchmark: timing 1000 iterations of with_jcode, with_noreg, with_reg...
with_jcode: 493 wallclock secs (490.95 usr +  0.07 sys = 491.02 CPU) @  2.04/s (n=1000)
with_noreg: 124 wallclock secs (123.99 usr +  0.04 sys = 124.03 CPU) @  8.06/s (n=1000)
with_reg: 159 wallclock secs (158.80 usr +  0.02 sys = 158.82 CPU) @  6.30/s (n=1000)

割と予想通りの結果。落としどころとしては悪くないんでは。＞Shift_JISのquotemeta
"Rock54_List"ファイルにquotemetaしたものを突っ込んでおくというのもアリだけど、目視やエディタでの編集ができなくなります。
IsKoukokuでしか使わないのなら、Rock54読み込み時に先にquotemetaしとくってのはアリかも知れません。

◆TWARamEjuA · NG

>>483
エロエロとありがとうですm(_ _)m深謝
ただ、、、今、家にあるメインの林檎機が昇天されましたので、対応が出来ないで居ますですぅぅぅ（滂沱）
♪実はすべての作業を林檎機でやっているものでして・・・

**動け動けウゴウゴ２ちゃんねる** · 2005/06/09(木) 18:20:52

quotemetaを使わずに
s/(?<=[\x81-\x9F\xE0-\xFC])[\[\\\]\^\{\|\}]/\\$&/g
とかでも(やってることはあんまり違わないか)

**476** · 2005/06/09(木) 20:08:30

>>485
それだとエラーが出ますね。例えば、

"ワ[a]"

だと「ワ」は2バイト目も8bitが立っているので検索がスキップされますよね。
で、2バイト目と3バイト目の組み合わせをShift_JISの「充」と間違えて開き角括弧
「 [ 」をエスケープしてしまいます。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/09(木) 20:50:47

>>486
おお、そうだ。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/09(木) 23:45:12

もしかしてこうすればいいのか?(未テスト)
s/([\x81-\x9F\xE0-\xFC])([\[\\\]\^\{\|\}\x81-\x9F\xE0-\xFC])/$1\\$2/g

**476** · 2005/06/10(金) 00:51:10

>>488
30秒考えた限りでは問題なさそう。ただ、ベンチ取った結果、quotemetaとほとんど
コスト同じなんだよね。２、３回やってみたけど誤差前後1秒以内。

with_reg1: 146 wallclock secs (144.33 usr + 0.05 sys = 144.38 CPU) @ 6.93/s (n=1000)
with_reg2: 145 wallclock secs (144.18 usr + 0.05 sys = 144.23 CPU) @ 6.93/s (n=1000)

となるとquotemetaの方が安全かなとは思う（自分贔屓ですんません）。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/10(金) 01:11:38

>>489
はやさの問題ではなくて気分の問題だったり.
>quotemetaの方が安全かなとは思う
同意ｗ

**ﾀｿｷ@妄想系統 1/10 ☆** ◆Ver7J..... · 2005/06/10(金) 08:39:08

>>483ナイスゥ

中の人が呑み屋さんに繰り出しちゃわないようにまとめてみます。

Shift_JIS の場合、エスケープする必要あり。
エスケープしておくと、リストの編集がはげしくめんどい。

解決方法
　１、encodingプラグマでエンコードする
　２、Shift_JIS文字列だけquotemetaする (エンコードよりはコストが安いはず)
後者のほうが処理コストが安い。

**476** · 2005/06/10(金) 11:20:46

>>484
ご愁傷さまです。早い復活を祈ってます。

>>480
あと若干ソースを変更。空文字チェックは直前の方がより安全ってのと、evalの結果の代入は
必要ないかと。

foreach my $NG_word_ref (@FOX_Ro54){
　　my $NG_word = $NG_word_ref->[0]; # エスケープしたままじゃ他で使えないのでコピー
　　$NG_word =~ s/((?:[\x81-\x9F\xE0-\xFC][\x40-\x7E\x80-\xFC])+)/quotemeta($1)/geo;
next unless $NG_word; # 空文字列ならスキップ
　　eval{$main::In_Strings =~ /$NG_word/} and return $NG_word_ref; # 合致したらリファレンスを返す。
　　# 不正 NG ワードがあったり引っかからなければスキップ
}

**476** · 2005/06/10(金) 11:23:23

× 　　eval{$main::In_Strings =~ /$NG_word/} and return $NG_word_ref; # 合致したらリファレンスを返す。
○ 　　eval{$In_Strings =~ /$NG_word/} and return $NG_word_ref; # 合致したらリファレンスを返す。

失礼。

◆TWARamEjuA · NG

えっと、エスケープ処理は基地側で執り行おうと思っておりますので、IsKoukokuはそのままで桶になるかと♪

**root▲ ★** · NG

>>494
りよかいです。

**476** · 2005/06/11(土) 01:23:50

>>494
お疲れ様です。とりあえず、

next unless $NG_word; # 空文字列ならスキップ

これはevalの直前に入れた方がいいと思うです。evalと同じくfail safeってことで。
極端な話、use strictしてないんだったら、quotemetaをtypoしただけで
NG_wordが全部空文字列（投稿が全部エラー）になるわけで。

◆TWARamEjuA · NG

s/([\x81-\x9F\xE0-\xFC][\x40-\x7E\x80-\xFC])(?<!\\[^$\$\*\+\-\.\?\[\|\]\^\{\|\}])/quotemeta $1/ego;

が、今のところいー感じです♪

◆TWARamEjuA · NG

>>497
が、今のところいー感じです♪→×
が、今のところいー感じです♪＠基地内での実験

◆TWARamEjuA · 2005/06/11(土) 20:59:51

>>498
んでは、エスケープされたリストを配布する段取りをしてみるです。
不具合が出たらでたで。。。

◆TWARamEjuA · 2005/06/11(土) 22:35:39

>>499
エスケープされたリストを配布してみました。
何かあるようでしたら何かしらのレスポンスよろしこですですm(_ _)m

◆TWARamEjuA · 2005/06/12(日) 09:37:16

klistに不具合がでていたその要因がわかりました。
IsKoukouの中にある、、、
if (my $matched = eval{$In_Strings =~ m<$NG_word>}) { return $NG_word_ref } # 合致したらリファレンスを返す。
を、、、
if (my $matched = eval{$In_Strings =~ m<$NG_word>}) { $NG_word_ref->[0] = $&; return $NG_word_ref; } # 合致したらNGワード部分の摘出とリファレンスを返す。
のように$&を返すようにしていただけるとありがたいですm(_ _)m

**動け動けウゴウゴ２ちゃんねる** · 2005/06/12(日) 17:28:29

【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part18
http://qb5.2ch.net/test/read.cgi/operate/1115133136/741　より

741 名前：root▲ ★[sage] 投稿日：2005/06/12(日) 17:17:42 ID:???0 BE:3831067-##
bbs.cgi 暴走対策として、RLimitCPU を 10 から 5 に変更。
どうも、スレ立てに暴走へと繋がる爆弾がひそんでいるような気がするですね。

だそうですが。

▲ ◆cZfSunOs.U · 2005/06/12(日) 18:07:45

今は subject.txt や index.html の更新時にロックしてないらしいので，
競合した時に意図せぬ動作につながっている，とかも考えられなくもないですね．
subject.txt のレス数について，単純にインクリメントするだけだとずれてくので
dat 中のレス数を毎回数え直さないといけないってのも，ロックしてない故の
競合によって起きてるような気もします．

で，対策ですが，まず考えられるのはきちんとロックするということですね．
それ以外の方法としては，message queue を利用して，bbs.cgi からは
subject.txt 等の更新要求を mq に放り込んで，別途走らせておく
更新用デーモンが mq から要求を取り出して処理する，って感じでしょうか．
mq を利用する方法なら，ロックしなくても処理がシリアライズされますし，
その更新用デーモンを C で書いて subject の並べ替えを例えば mmap() して
memmove() するような処理にすれば，今の Perl の処理よりも軽くできると思います．

**root▲ ★** · NG

>>501
BBS.CGI - 2005/06/13

**root▲ ★** · NG

移動しました。

>>499-500
なるほど、これですか(今頃気づくやつ)。

さて、まずは原因をつかまないと。

**root▲ ★** · NG

むこうで聞いてみるか。

**root▲ ★** · NG

さて、どうも配布用DBがこわれてるっぽいと。
で、配布用DBを作っているやつがおかしくなったらしいと。

質問・雑談スレ174＠運用情報板
http://qb5.2ch.net/test/read.cgi/operate/1118562549/625-646

**root▲ ★** · NG

ということで、この問題は後で別途ということに。

◆TWARamEjuA · 2005/06/13(月) 20:11:46

>>501
if (my $matched = eval{$In_Strings =~ m<$NG_word> ? return $& : return undef}) {
$NG_word_ref->[0] = $matched; return $NG_word_ref
} # 合致したらNGワード部分の摘出とリファレンスを返す。

もしかするとこうかもしれませんですm(_ _)m深謝

◆TWARamEjuA · 2005/06/13(月) 20:13:27

>>509
訂正前に送信しちゃってごめんなさいです。

if (my $matched = eval{ return $In_Strings =~ m<$NG_word> ? $& : undef }) {
$NG_word_ref->[0] = $matched; return $NG_word_ref
} # 合致したらNGワード部分の摘出とリファレンスを返す。

ですm(_ _)m深謝

**root▲ ★** · NG

>>510 を qb6 に入れて試して、エラーがなかったら配布するです。

**root▲ ★** · NG

if (my $matched = eval{ return $In_Strings =~ m<$NG_word> ? $& : undef }) {
$NG_word_ref->[0] = $matched; return $NG_word_ref;
} # 合致したらNGワード部分の摘出とリファレンスを返す。

これを配布しました。

◆TWARamEjuA · NG

>>512
今のところ無事そうですよね。。。
よかた・・・（泪）

**stream** ◆ap/yuix/tw · NG

名前欄に山崎渉が入ってるとfusianaになる機能とか、
そんな感じのいろんな過去の遺物を取り払ったら負荷が減ったりしないかな

**root▲ ★** · NG

>>514
塵も積もれば（りゃってかんじですか。

また暇を見てプロファイリングしてみて、重いところを重点的に、
ってかんじですかね。

**root▲ ★** · NG

ちなみに某京ぽんから「む山崎渉」って名前欄に入れているので、
この機能なくなると、ちょっと困っちゃったりして(w。

**讃岐フォアンフォアン▲** ◆MylTDX..QI · NG

fusianasanじゃないのかｗ

**動け動けウゴウゴ２ちゃんねる** · 2005/06/15(水) 13:16:52

だったら

fusianasanでリモホ表示を無くし、
もっと簡単な文字でリモホ表示ができるようになれば良いじゃないか、とか思った。

誰も使わんような文字とかで、被害が出ない程度に。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/15(水) 21:00:21

>>518
> fusianasanでリモホ表示を無くし、

それをやった場合、

・メリット = もしかしたら軽くなるかもしれないが、不明
・デメリット = もしかしたら何が起きるか、不明

最低限でもメリットがデメリットを下回らないことが確実であることが
開発の条件だと思うです。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/16(木) 01:15:09

>>518
・デメリット = たくさん考えられたフューザネイザン等のコピペが意味を成さなくなる。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/16(木) 14:39:21

>>520
それは過去の遺物として残ったりして良いんじゃないのかな･･･?

**root▲ ★** · NG

Perlのできない私が（りゃ。
とりあえず、LAとれそうなことはわかった。

#! /usr/local/bin/perl

use strict;

sub mumumuGetLA
{
use Sys::CpuLoad;

my ($GB) = @_;
my @load;

@load = Sys::CpuLoad::load();
$GB->{LOADAVG} = $load[0];
}

my $GBX = {};
$GBX->{LOADAVG} = 0.0;

mumumuGetLA($GBX);
print $GBX->{LOADAVG}, "\n";

exit 0;

**root▲ ★** · NG

#! /usr/local/bin/perl

use strict;

sub mumumuGetMaxLA
{
my ($GB) = @_;
my $servertype = "";

if($servertype = /cobra/) { $GB->{MAXLOADAVG} = 30.0; } # cobra
elsif($servertype = /tiger/) { $GB->{MAXLOADAVG} = 20.0; } # tiger
elsif($servertype = /banana/) { $GB->{MAXLOADAVG} = 4.0; } # banana
else { $GB->{MAXLOADAVG} = 4.0; } # unknown
}

sub mumumuGetServerType
{
use Sys::Hostname;
my $hostname = "";

$hostname = hostname();
if($hostname =~ /cobra/ ||
$hostname =~ /oyster/) { return "cobra"; }
elsif($hostname =~ /tiger/) { return "tiger"; }
elsif($hostname =~ /banana/) { return "banana"; }
else { return "unknown"; }
}

# main

my $GBX = {};
$GBX->{MAXLOADAVG} = 0.0;

&mumumuGetMaxLA($GBX);
print $GBX->{MAXLOADAVG}, "\n";

exit 0;

**root▲ ★** · NG

あ、呼ぶところを入れてないね。

**root▲ ★** · NG

こんな感じか。
サーバタイプとってくるところは、外出ししといたほうがよさそうだから、
ちょっと冗長だけど、こうしておこう。

#! /usr/local/bin/perl

use strict;

sub mumumuGetMaxLA
{
my ($GB) = @_;
my $servertype = "";

$servertype = &mumumuGetServerType;
if($servertype =~ /cobra/) { $GB->{MAXLOADAVG} = 30.0; } # cobra
elsif($servertype =~ /tiger/) { $GB->{MAXLOADAVG} = 20.0; } # tiger
elsif($servertype =~ /banana/) { $GB->{MAXLOADAVG} = 4.0; } # banana
else { $GB->{MAXLOADAVG} = 4.0; } # unknown
}

sub mumumuGetServerType
{
use Sys::Hostname;
my $hostname = "";

$hostname = hostname();
if($hostname =~ /cobra/ ||
$hostname =~ /oyster/) { return "cobra"; }
elsif($hostname =~ /tiger/) { return "tiger"; }
elsif($hostname =~ /banana/) { return "banana"; }
else { return "unknown"; }
}

# main

my $GBX = {};
$GBX->{MAXLOADAVG} = 0.0;

&mumumuGetMaxLA($GBX);
print $GBX->{MAXLOADAVG}, "\n";

exit 0;

**動け動けウゴウゴ２ちゃんねる** · 2005/06/17(金) 16:35:12

>>525
乙です。

全体に言えることなんだけど、$GBみたいなグローバル変数的な参照変数を
あちこちの関数で持ちまわるよりも、関数はLoadAve. だけ返すようにして、
呼び出し元で明示的に$GB->[MAXLOADAVG]などに格納してやる方が
トレースはしやすいかと思います。

&mumumuGetMaxLA($GBX);

だと、$GBXのどこをどういじられたのか見当つかないわけでして、

$GBX->[MAXLOADAVG] = &mumumuGetMaxLA();

の方が明示的かな、と。それから

if($servertype =~ /cobra/) { $GB->{MAXLOADAVG} = 30.0; } # cobra
elsif($servertype =~ /tiger/) { $GB->{MAXLOADAVG} = 20.0; } # tiger
elsif($servertype =~ /banana/) { $GB->{MAXLOADAVG} = 4.0; } # banana
else { $GB->{MAXLOADAVG} = 4.0; } # unknown

おせっかいだとは思うんだけど、こういう書き方はタイプミスで泣きやすいです。
連想配列のキーの場合、綴りが間違っていてもwarningが出ないので。

perl5であることが前提だけど、理想的には$GBのようなものは用途別に分けて
それぞれblessしてやって、getMaxLAのような関連関数はパッケージに全部突っ込んで、
new関数でイニシャル時にガツガツ値を入れていく方がすっきりするとは思うんだけど、
1から作り直しになるやね。んでもそろそろClassの概念を入れる時期には来てるかと。あと

mumumuGetMaxLA
mumumuGetServerType
mumumuGetLA

こういう命名規則に頼るならpackage宣言しちゃった方が早いんではないかと思います。

**root▲ ★** · NG

MAXLOADAVGは1回だけ調べればいいので、ぐろーばるー(FOX)のほうに入れよう。

**root▲ ★** · NG

>>526
うわあ。ありがとうです。

Perlって、ぜんぜんやったことないんですよ。
shで暮らしていたので。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/17(金) 16:41:23

>>528
つか、場合によってはshでも十分でしょう・・・

**動け動けウゴウゴ２ちゃんねる** · 2005/06/17(金) 16:47:02

>>528
Perlの前はawk使いだったのでshは苦手ですｗ
参加できるのか分からないけど、できることがあればやりますよ。言い出しっぺの法則ですし。
全体のソースは見てないのですが、グローバル変数をあちこちに引きずる方式で
拡張を続けるといずれ破綻するような気がします。

**root▲ ★** · NG

$FOX->{MAXLOADAVG} = &mumumuGetMaxLA();

にしました。
これは、船が出港する時に1回だけ実行。

で、$GB->{LOADAVG} (こっちは毎回調査)と $FOX->{MAXLOADAVG} を比較して、
$GB->{LOADAVG} 以上だったら、特殊処理っていうかんじで。

**root▲ ★** · NG

で、
$GBX->{LOADAVG} = &mumumuGetLA();

にした。
確かにこのほうが、わかりやすいですね。

**root▲ ★** · NG

で、mumumuMaxLACheckを作った。

sub mumumuMaxLACheck
{
my ($GB) = @_;

if($GB->{LOADAVG} ge $FOX->{MAXLOADAVG}) { return 1; }
else { return 0; }
}

これで、処理部分からこれを呼んでチェック。

**root▲ ★** · NG

基本的に、$FOX が船が出航する時に1度だけ作られて、
$GB が船に乗る客ごとに作られているようです。

何せ、ドキュメントも仕様書も何にもないので(そういうもんらしいです)、
ソースからおじさんの心を、読み取っていくしかないわけで。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/17(金) 17:56:52

>>533
> if($GB->{LOADAVG} ge $FOX->{MAXLOADAVG}) { return 1; }

数値比較なら

if($GB->{LOADAVG} >= $FOX->{MAXLOADAVG}) { return 1; }

にしないとマズいんではないかと。

>>534
なるほど。ソースは基本的に非公開なんでしょうか？