X



bbs.cgi再開発プロジェクト6

■ このスレッドは過去ログ倉庫に格納されています
2005/04/10(日) 16:15:47ID:a6rtBqIi0
peko鯖の稼動によりボトルネックの一つである事がより明らかになった
bbs.cgi作り直しプロジェクトです。

【開発環境の工事現場】
また挑戦。@2ch掲示板  http://dso.2ch.net/myanmar/
また挑戦2。@2ch掲示板 http://dso.2ch.net/yangon/

関連スレなどは >>2-5 くらい
NGNG
>>302
と、書いてみたものの、、、
→1. 全角カナ→全角カナ+半角カナにしてor設定(ex.がんばる→(が|ガ|(ガ))(ん|ン|ン)(ば|バ|(バ))(る|ル|ル)
こんなことしてたら、ますます負荷が「お互いに(Rock54基地でも各鯖でも)」掛かるよなぁ。。。

やっぱりいっそのこと、リストには半角英数記号以外禁止にしちゃおうよ♪
305root▲ ★
垢版 |
NGNG
2. と 3. は、それで問題ないとおもうです。
306ピロリ
垢版 |
2005/06/05(日) 00:38:32ID:hV/aUjEj0
#banana238から追い出されそうな悪寒(苦笑)@負荷増大


この部部が理解できなかったり、
投稿毎に(bananaで 5万/day) 処理していることが
どうして出来ないのかがわからないのだ。
307root▲ ★
垢版 |
NGNG
>>304
あ、かぶったですね。
全角と半角をそこまでやらなくても、正規表現パターンが減るだけで、
かなり負荷下がるような予感。
NGNG
>>303
荒らす人は徹底的に荒らしたいらしいので、もっといろんな描き方をしてくるですです(苦笑)
がんばる
ガんばる
がンばる


が ん ば  る

(わはは)

URIとmailアドレスと思しきもの、電話番号と思しきものに限定しちゃって、無差別コピペは別管轄にしちゃうとかとか。
2005/06/05(日) 00:44:56ID:b15c92rk0
マルチバイト文字非対応でいいなら、それが一番楽そうですね
310ピロリ
垢版 |
2005/06/05(日) 00:45:32ID:hV/aUjEj0
Rock54 はあらし撃退にも使えるけど
広告爆撃対策が本業かと、
311root▲ ★
垢版 |
NGNG
>>308
まぁ、>>310 すね。
あとは、正規表現の高速なやつを入れてみるぐらいか。

いずれにせよ、なるはやで>>298にしたいなと思うです。
NGNG
>>306
banana238さんではRock54以外にもBBXやBBR、別プロセスとなるf22baseや、headline、itadaki、statsが同居していますから、
多少不安があったりもしまして。
単純にbbs処理とは異質なものでもありますし。

>>310
本来の本業に専念した方が、問題を切り分けるのには適しているですよね。
荒らしさんには、専属の特殊部隊を結成してみるとか。
2005/06/05(日) 01:07:04ID:10zmJNsO0
>>308
それはログで実証されていますか?
Rockに限らず「これこれこういう方法で回避できるから無駄だ」とやりもせずに
決めつける人大杉ですが実際に「これこれこういう方法」を使う人は意外と少ないものです。
そして「これこれこういう方法」を実際に使われてくると破綻します(例: 山田)
314ピロリ
垢版 |
2005/06/05(日) 01:34:15ID:hV/aUjEj0
うーん
一所懸命考えたけど、やっぱりわからん

現在は 240万投稿 x 2700 回 変換しているですよね、
それを bbs.cgi 船進水時にやるとして
どれくらいになるかな、10万 x 2700 回くらい?
それを配布元でやれば、データが一日に100回更新されたとして
100 x 2700 回だけで済むようになると思うんだが

何が違うんだろう・・・
NGNG
>>314
bbs.cgiが動いている鯖での変換「以外」の負荷の掛かり具合がよく判っていないので、
ただ単にbanana238でも大丈夫なのかな?と危惧しているところです。
(bbs.cgiが動いている鯖でのpsやtopコマンドの値は知りうることが出来ませんから)

ひとまず「案ずるより産むが易し」ってことで、変換作業をしているですですm(_ _)m
316root▲ ★
垢版 |
NGNG
>>315
最終行に、同意っすね。
うむ、うむ。

# ちと、今日はおねむかも。
# ちょっと別のスレで別のじっけんしてくるです。
NGNG
基地の方では、切り替える準備が出来ました。

>>278 を以下のようにスキーリさせることができるかと♪
#################################################################################################
#罠、罠、罠、罠、罠に
#入力:
#IsKoukoku(対象文字列[Shift_JIS],Rock54のファイル名) 現状は無し。sub で定義中。
#返り血ぶしゅー:
#OK ならば 空文字列(偽)
#NG ならば (規制文字列(真)[Shift_JIS], MD5値, フラグ)のリストへのリファレンス
sub IsKoukoku
{
my ($GB) = @_;
my $In_Strings = $GB->{FORM}->{'MESSAGE'}; # 長いので代入

# 読み込む。。。
# my @Rock_word = @FOX_Ro54; # メモリの無駄なので省略してみました。

# では NG ワードのチェック。
foreach my $NG_word_ref (@FOX_Ro54){
if (my $matched = eval{$In_Strings =~ m<$NG_word_ref->[0]>}) { return $NG_word_ref } # 合致したらリファレンスを返す。
# 不正 NG ワードがあったり引っかからなければスキップ
}
return '';
}

配布が始まりましたら、基地の方でもリスタートを掛けていきますです。
(多少のタイムラグは致し方ないですよね(苦笑)@しばらくは文字コードの違いでスルーされる現象)
318ピロリ
垢版 |
2005/06/05(日) 02:29:46ID:hV/aUjEj0
おっ

qb6 に早速入れてみます。
319root▲ ★
垢版 |
NGNG
おぉ。

>>318
おまかせするです。わくわく。
320ピロリ
垢版 |
2005/06/05(日) 02:34:41ID:hV/aUjEj0
if (my $matched = eval{$In_Strings =~ m<$NG_word_ref->[0]>}) { return $NG_word_ref } # 合致したらリファレンスを返す。

 ここで 500 error になるっす
2005/06/05(日) 02:34:48ID:???0
おー。
NGNG
>>318
あ、、、
丁稚どんがそのままなので、全鯖に配布されちゃうです(汗)

ので、qb6用の丁稚どんも用意しましょうか?
323ピロリ
垢版 |
2005/06/05(日) 02:37:06ID:hV/aUjEj0
いやいや
まず動くかどうかでして、

324ピロリ
垢版 |
2005/06/05(日) 02:38:07ID:hV/aUjEj0
つまり 正しく動くかどうかじゃなくて
動くかどうかの確認をしたいと、 @qb6
325ピロリ
垢版 |
2005/06/05(日) 02:38:52ID:hV/aUjEj0
>>320 の行をコメントアウトすると動く(書き込める)です
NGNG
おー
2005/06/05(日) 02:44:49ID:VDikHqT00
アローがデリミタと被っているのでは…
NGNG
>>320
if (my $matched = eval{$In_Strings =~ m<$NG_word_ref->[0]>}) { return $NG_word_ref } # 合致したらリファレンスを返す。
を、以下の2行に。。。m(_ _)m深謝
my $NG_word = $NG_word_ref->[0]; # リファレンスから取り出し。
if (my $matched = eval{$In_Strings =~ m<$NG_word>}) { return $NG_word_ref } # 合致したらリファレンスを返す。

>>324
そのままですと、全部の鯖にいる丁稚どんを呼び出してしまいますので(汗)
ひとまず基地からはqb6の丁稚どんだけを呼び出すようにしますですです。
329ピロリ
垢版 |
2005/06/05(日) 02:50:32ID:hV/aUjEj0
>>327
うごいたー @qb6

全サーバに配布していいですか?
NGNG
>>328
→ひとまず基地からはqb6の丁稚どんだけを呼び出すようにしますですです。
スタンバイ出来ました。
331ピロリ
垢版 |
2005/06/05(日) 02:53:17ID:hV/aUjEj0
んじゃ 配布しまーす
NGNG
ひとまずqb6「だけ」配布完了した模様です。@新ファイル
333ピロリ
垢版 |
2005/06/05(日) 02:55:05ID:hV/aUjEj0
指示にしたがいますー

まだ全サーバ配布はやってません
NGNG
ちょと様子見しています。
船が自爆しないからかな?
NGNG
qb5.2ch.net<>200 OK<>Sat, 04 Jun 2005 17:34:18 GMT<>236589<>
qb6.2ch.net<>200 OK<>Sat, 04 Jun 2005 17:59:09 GMT<>236544<>

リストは行き渡っています。。。
2005/06/05(日) 03:05:17ID:dBvuVsfA0
rockテストやってきて吸い込まれるのは確認しましたがエラーメッセーが出ないですね。
337ピロリ
垢版 |
2005/06/05(日) 03:06:03ID:hV/aUjEj0
どんな時にどんなメッセージが出るんでしたっけ?
338root▲ ★
垢版 |
NGNG
>>336
花が咲くとき以外は、エラー出ないはず。
339root▲ ★
垢版 |
NGNG
>>338
× エラー
○ エラーメッセージ

>>337
通常 ただ吸い込まれる
いっぱつもの さくらが咲いてますよ
NGNG
普通の書き込みがずっと吸収されてる…
341ピロリ
垢版 |
2005/06/05(日) 03:09:00ID:hV/aUjEj0
あと三発で「Rockは人生だ」でしたっけ?
NGNG
了解しますた。
さくらが咲くurlはわからないのでそっちの検証は無理ですけど無事に稼働しているよう
です。
あとはコストの削減具合の観察ですね。
NGNG
BBX チェック(2ちゃんねるで広告爆撃したホストなどが、登録されています。)

La ROCA es la vida.(-_-)

;; ANSWER SECTION (1 record)
227.33.105.220.bbx.2ch.net.2048INTXT"shutouted by BBX: 220.105.33.227"

ひっかかりました(照)
NGNG
あれれ
普通の書き込みも吸い込まれてる(滝汗
345root▲ ★
垢版 |
NGNG
>>341
今は、それコメントアウトされてたような。
346ピロリ
垢版 |
2005/06/05(日) 03:15:03ID:hV/aUjEj0
>>345
ほんとだ、吸い込まれる仕様ですね
2005/06/05(日) 03:15:37ID:10zmJNsO0
肝心の負荷は?
348root▲ ★
垢版 |
NGNG
>>347
配布が終わったら、animeサーバあたりの様子と、
qb6 でのプロファイリングを再度やってみるです。
NGNG
もしかして、qb6ではIsKoukokuを呼び出しているところが他のとはちょと違うのかな?
・さくらか咲かない。
・BBRが返ってこない。
という症状が現れています。
350ピロリ
垢版 |
2005/06/05(日) 03:28:54ID:hV/aUjEj0
確認してみますー
351ピロリ
垢版 |
2005/06/05(日) 03:30:18ID:hV/aUjEj0
スルーするかどうかの違いはありますが
他には制御に違いはないようです
NGNG
>>351
了解ですー

とりあえずやっちゃてみます?@全鯖配布
353ピロリ
垢版 |
2005/06/05(日) 03:33:54ID:hV/aUjEj0
りょうかいですー

配布しますー
354ピロリ
垢版 |
2005/06/05(日) 03:35:02ID:hV/aUjEj0
あっ anime が IsKoukoku するーになってる

配布しなおしますー
355root▲ ★
垢版 |
NGNG
animeサーバの船を爆破しました。

なんか、うそみたいに軽いかも。
一桁数値が低くなった、、、。

PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU CPU COMMAND
22033 ch2anime 96 0 10508K 9796K select 3 0:01 1.03% 0.83% speedy_back
22031 ch2anime 96 0 10740K 9992K select 0 0:01 0.48% 0.39% speedy_back
356root▲ ★
垢版 |
NGNG
な、なんだ。
もう1回。
357root▲ ★
垢版 |
NGNG
animeサーバ、IsKoukokuが有効になったやつが入ったのを確認しました。
確認中。
NGNG
ではでは、全鯖開始ONにしますですー@リスト
359root▲ ★
垢版 |
NGNG
いいかんじみたい。

時間帯を比較しないとわからないけど、
やはり、一桁負荷が低くなったようです。

コード変換って、すごく重いのね。
360root▲ ★
垢版 |
NGNG
>>358
OKです。観察を継続。
361root▲ ★
垢版 |
NGNG
animeサーバ、SJISバージョンに切り替わったようです。
362root▲ ★
垢版 |
NGNG
んでは、qb6でプロファイリングしてみるです。
メインのほうではなく、もとの1行目をさわるです。とお知らせ。
363root▲ ★
垢版 |
NGNG
わーい。

%dprofpp tmon.out
Total Elapsed Time = 0.773049 Seconds
User+System Time = 0.242963 Seconds
Exclusive Times
%Time ExclSec CumulS #Calls sec/call Csec/c Name
12.7 0.031 0.045 11 0.0028 0.0041 Net::DNS::Resolver::Base::BEGIN
9.47 0.023 0.107 1 0.0234 0.1069 main::bbs_entryXXX
9.47 0.023 0.030 10 0.0023 0.0030 LWP::UserAgent::BEGIN
9.47 0.023 0.041 1 0.0233 0.0411 main::bbs_main
6.59 0.016 0.128 19 0.0008 0.0067 main::BEGIN
6.59 0.016 0.015 1 0.0156 0.0154 LWP::Protocol::implementor
3.29 0.008 0.008 49 0.0002 0.0002 Exporter::import
3.29 0.008 0.008 6 0.0013 0.0013 Exporter::heavy_export
3.29 0.008 0.008 1 0.0078 0.0078 main::initFOX
3.29 0.008 0.008 1 0.0078 0.0078 main::MakeWorkFile
3.29 0.008 0.008 1 0.0078 0.0078 vars::BEGIN
3.29 0.008 0.008 4 0.0019 0.0019 HTTP::Response::BEGIN
3.29 0.008 0.060 6 0.0013 0.0101 Net::DNS::Resolver::BEGIN
3.29 0.008 0.007 6 0.0013 0.0012 CGI::BEGIN
3.29 0.008 0.008 1 0.0078 0.0077 BSDPAN::Override::import
364root▲ ★
垢版 |
NGNG
で、>>362 は元に戻しました。

>>26 と比較すると、効果は明白ですね。
コストが 1/10 以下になったんではないかと。
NGNG
>26と>363の簡単な比較データ(何故か円換算)

>26のコスト 14330円
>363のコスト 118円


※ここまで下がれば大成功ですね。
2005/06/05(日) 04:09:59ID:Vv3vrarN0
1/10と言っても1が0.1になったというよりは10が1になったような感じだけど
367root▲ ★
垢版 |
NGNG
最初、計測したときにIsKoukokuスルーされてるんじゃないかと、心配になりました。
でも、そんなことはないみたいです。
NGNG
ちょっと、ヤバ目の不具合発見
rockに引っかかった時に本来ならばrockワード以外は書けるはずなのに全く書けなく
なってます。
(引っかかった以降全て吸い込まれて書けない)
ケーブルでこれ出ちゃうと該当回線が書けなくなって巻き添えが大量に出てしまいます。
(既に引っかかってるところも出てます。)
369root▲ ★
垢版 |
NGNG
なんか、変かも。
こんなにひっかかるわけないし。

http://mumumu.mu/mrtg/mrtg-rrd.cgi/bbqbbx/
NGNG
>369
多分、>368で巻き添えが大量に出ているかも
改善するまでqb6以外は元に戻した方がいいかも
371root▲ ★
垢版 |
NGNG
# では NG ワードのチェック。
foreach my $NG_word_ref (@FOX_Ro54)
{
my $NG_word = $NG_word_ref->[0]; # リファレンスから取り出し。
if (my $matched = eval{$In_Strings =~ m<$NG_word>}) { return $NG
_word_ref } # 合致したらリファレンスを返す。
# 不正 NG ワードがあったり引っかからなければスキップ
}
return '';

ここが、いまいちな予感。
NGNG
あ、なっとく。。。
373ピロリ
垢版 |
2005/06/05(日) 04:26:40ID:hV/aUjEj0
わーい

まずはヨロ個簿絵
374root▲ ★
垢版 |
NGNG
>>372
どうすればよい?
375ピロリ
垢版 |
2005/06/05(日) 04:26:57ID:hV/aUjEj0
ちとみてきます
376FOX ★
垢版 |
2005/06/05(日) 04:28:50ID:???0
>>372
どうすればよい?
377root▲ ★
垢版 |
NGNG
で、直ったら、
BBXの登録アドレスを1回クリーンアップしないと、いけなそうっすね。

そのへんは、ぼちぼちと。
378FOX ★
垢版 |
2005/06/05(日) 04:29:25ID:???0
うん 書けない。。。
★使うっす
379大佐は疲労困憊φ ◆K76a0xu20c
垢版 |
NGNG
http://qb5.2ch.net/test/read.cgi/sec2chd/1117705579/
ここでかなりの人が報告してますねぇ・・・・

僕も引っ掛かってましたが。
380FOX ★
垢版 |
2005/06/05(日) 04:31:08ID:???0
んじゃ
まず スルー版は配布しまーす
381root▲ ★
垢版 |
NGNG
直し方待ちで。

なんか、本文内にNGワードがなくてもNGワードがあったことにされているみたい。
NGNG
# NG ワードも変換。ついでに NG ワード、MD5値、フラグの 3 要素だけにしてリファレンスにしてして。
@Rock_word = map { [ (split /<>/)[5,6,7] ] } map { &jcode::euc($_, 'euc', 'z') } @Rock_word;
この部分が抜けていました、、、(汗)

でもってこの部分は出航の時だけで桶のはずなので、、、

# Rock54リストを読みこむ
open Rock54_List, "ファイルの場所";
@FOX_Ro54 = map { [ (split /<>/)[5,6,7] ] } <Rock54_List>;
close Rock54_List;

のように入れてもらえればー
383FOX ★
垢版 |
2005/06/05(日) 04:34:02ID:???0
スルー版配布完 10min まつ

qb6 だけ on にします
384root▲ ★
垢版 |
NGNG
>>382
おじさんの間違いを防ぐために、もう1度サブルーチン全体をばさっと貼りましょー。
385FOX ★
垢版 |
2005/06/05(日) 04:35:54ID:???0
qb6 を on 版にした。
386FOX ★
垢版 |
2005/06/05(日) 04:37:00ID:???0
open(ADFILE,"内緒");
@FOX_Ro54 = <ADFILE>;
close(ADFILE);

現在の読み込み部
387FOX ★
垢版 |
2005/06/05(日) 04:38:34ID:???0
open(ADFILE,"内緒");
#@FOX_Ro54 = <ADFILE>;
@FOX_Ro54 = map { [ (split /<>/)[5,6,7] ] } <ADFILE>;
close(ADFILE);

にしてみた @qb6
388root▲ ★
垢版 |
NGNG
>>382 >>387
…ということは、これで OK なのかしら。
NGNG
>>386
open(ADFILE,"内緒");
@FOX_Ro54 = map { [ (split /<>/)[5,6,7] ] } <ADFILE>; # ここで変換
close(ADFILE);

ですー

あー、このあたりもスキーリさせれば良かったのか、、、orz...
NGNG
>>387-388
ですですー
NGNG
さっき、qb6でテストしましたけどまだ吸い込まれてます。
392root▲ ★
垢版 |
NGNG
>>390
ということは、

・いったん BBX の IP アドレスリストをクリアする
・このバージョンを配布する
・ようすをみる

でいいのかな。
393FOX ★
垢版 |
2005/06/05(日) 04:42:08ID:???0
                  落着いて待ってます…

         =≡= ∧_∧
          /   (・∀・ )
        〆   ┌  |    | .∈≡∋
         ||  γ ⌒ヽヽコノ   ||
         || .|   |:::|∪〓  ||
        ./|\人 _.ノノ _||_. /|\
394root▲ ★
垢版 |
NGNG
>>392
> ・いったん BBX の IP アドレスリストをクリアする

を、やってきます。
NGNG
>>392
はい。そうなるですm(_ _)m
2005/06/05(日) 04:44:37ID:Eclfk4XM0
てst
2005/06/05(日) 04:44:46ID:CusxkNZG0
いっぷくしつつ10分まつとか
398動け動けウゴウゴ2ちゃんねる
垢版 |
2005/06/05(日) 04:45:23ID:dSP9Z3eN0
なんとなくまんこ
2005/06/05(日) 04:46:00ID:C31UvYa30
直りました。 お疲れ様
400root▲ ★
垢版 |
NGNG
クリアできたはず。< BBX
401root▲ ★
垢版 |
NGNG
で、
> ・このバージョンを配布する

お願いします。>FOXさん
402FOX ★
垢版 |
2005/06/05(日) 04:47:42ID:???0
>>391 が気になるのじゃがいも
NGNG
また書けなくなりそうのでキャップ使うか


>402
クリアした状態でもう一度テストしてきます。
(わざとrockされてからの通常書き込み)
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。

ニューススポーツなんでも実況