bbs.cgi再開発プロジェクト6

◆CPUinDOop. · 2007/04/11(水) 21:48:35

peko鯖の稼動によりﾎﾞﾄﾙﾈｯｸの一つである事がより明らかになった
bbs.cgi作り直しプロジェクトです。

【開発環境の工事現場】
また挑戦。＠2ch掲示板　　http://dso.2ch.net/myanmar/
また挑戦２。＠2ch掲示板　http://dso.2ch.net/yangon/

関連スレなどは >>2-5 くらい

◆TWARamEjuA · 2007/09/11(火) 21:04:51

>>136
率直に具体的に云いますと、Rock54登録所では、いわゆる「さくら」がリストの最初に来るように番頭はんがソートしていまして、それを丁稚どんに取りに来て貰っています。
それをもしかしたらbbs.cgi船が出る時に再ソートしていないかなぁと思いましてして。

株価【888】 △△ ◆cZfSunOs.U · 2007/09/11(火) 23:28:53

>>137 こんな感じなんで，bbs.cgi 側ではソートはしてないような......

if(open(ADFILE, 'Rock54DataFile'))
{
# @FOX_Ro54 = <ADFILE> ;
@FOX_Ro54 = map { eval {
no warnings;
my @a = (split /<>/)[5..7];
[qr/$a[0]/, @a[1..2]];
}; } <ADFILE>;
close(ADFILE) ;
}

◆TWARamEjuA · 2007/09/12(水) 00:15:11

>>138
なぁるほど。。。
ってことは、evalで引っかかっちゃってる（qr//でミスコンパイル）のかぁ。。。
でもって鯖によって5.6系と5.8系が混在しているのも何かありそうな。perlreでもよく読んでみよう。。。

**あぼーん** · NG

あぼーん

**あぼーん** · NG

あぼーん

**あぼーん** · NG

あぼーん

**あぼーん** · NG

あぼーん

**あぼーん** · NG

あぼーん

**あぼーん** · NG

あぼーん

**あぼーん** · NG

あぼーん

**あぼーん** · NG

あぼーん

**あぼーん** · NG

あぼーん

**あぼーん** · NG

あぼーん

**あぼーん** · NG

あぼーん

**あぼーん** · NG

あぼーん

**あぼーん** · NG

あぼーん

**あぼーん** · NG

あぼーん

**あぼーん** · NG

あぼーん

**動け動けウゴウゴ２ちゃんねる** · 2007/10/19(金) 05:25:59

！？

**あぼーん** · NG

あぼーん

**usname** · 2007/11/23(金) 11:32:33

FF11 (株式会社iimy)
http://www.playonlanei.com/game

**動け動けウゴウゴ２ちゃんねる** · 2007/11/24(土) 07:51:53

既に忘れ去られている「関連ページ」。
随分前に、管理人の指示でread.cgiからはリンクが外され、
http://info.2ch.net/test/tb.cgi も既に消滅しているわけですが、
index.htmlには未だにリンクが残っていたりします。
通常鯖、bbsd鯖共に。
外しましょう外しましょうー。

**root▲▲ ★** · 2007/11/26(月) 15:11:07

>>158
なるほど。のちほど。

◆MIPS.kHN86 · 2007/12/01(土) 21:48:06

サルベージ

**近藤奈香** · 2007/12/03(月) 10:29:48

FF11攻略情報 www.rmtfcne.com/f11

**山本恵子** · 2007/12/03(月) 11:01:06

FF11攻略情報 www.rmtfcne.com/f11

**動け動けウゴウゴ２ちゃんねる** · 2007/12/03(月) 13:09:29

はいはいトロイトロイ

**root▲▲ ★** · 2007/12/08(土) 13:21:18

>>158
済。

**動け動けウゴウゴ２ちゃんねる** · 2007/12/10(月) 15:53:24

http://qb5.2ch.net/test/read.cgi/operate/1132068132/587-589
この↑まほまほが指摘してるエラーって、bbs.cgiの変更とかと関係あるの？

**動け動けウゴウゴ２ちゃんねる** · 2007/12/10(月) 16:46:32

"を"にエスケープするようになったのはhana=mogera導入された頃だった気がする

**root▲▲ ★** · 2007/12/10(月) 17:37:06

どうするのがいいんですかね。 >>165-166

単に、1行の長さをもう少し許容するようにする、だけでいいものなのかどうか。

◆TWARamEjuA · 2007/12/10(月) 21:27:36

そもそも1行の長さを判定しない。
と言うのもあるかな♪

**stream** ◆PNstream2s · 2007/12/10(月) 21:32:29

そもそも1行の長さを制限するのって何で？
改行するのは段落を変えるときだけのほうがいいと思う

**動け動けウゴウゴ２ちゃんねる** · 2007/12/10(月) 22:08:34

1行に"aaaaaaaaaaaaaaaaaaaa...と "a"を4096文字並べることによって
topページ見たときに、横幅が物凄く広くなる荒らし方が出来るし。

今の2chで出来るかはどうか知らんけど

◆TWARamEjuA · 2007/12/10(月) 22:33:37

width: 64em;
で解決♪

[´・ω・｀] p1110-ipbf204gifu.gifu.ocn.ne.jp · 2007/12/10(月) 22:35:22

２ちゃんねるstrict化計画発動か

**動け動けウゴウゴ２ちゃんねる** · 2007/12/10(月) 22:36:36

エスケープする前に文字数チェックをすればいい

**stream** ◆PNstream2s · 2007/12/10(月) 22:38:32

画面幅に合わせて見る側のブラウザが改行するのが本来でしょ

**動け動けウゴウゴ２ちゃんねる** · 2007/12/10(月) 22:55:39

>>174
それも違うでしょ。
画面幅に合わせる事が絶対では無い。

CSSでの明示指定やブラウザ機能での明示設定ならまだしも、
そうでない場合に強制改行するのは全くの誤り。

株価【857】 △△ ◆cZfSunOs.U · 2007/12/11(火) 04:43:55

>>158,164 bbsd でも変更しますた．で，とりあえず ex21 に反映しますた．
他に news21, news22, wwwww, live25, anime2 あたりにも入ってたかと思いますが，
そのあたりのは一連のリフレッシュ作業により稼働中の板はなくなったようなので，省略．
リフレッシュ後の鯖で入れた方が良さそうなのがあれば，改めて入れましょう，ってことで．

live23b, live24b, snow あたりのはむむむさんにおながいします，ということで．

あと " については，普通の本文中などにある限りはあえて " に
変換する必要もないんでしょうが，確認画面で input タグの中に入ると
問題があったので一律に変換するようになったんですよね．なので，
変換が必要なケース（input タグ中に入る場合とメール欄）と
不要なケースを峻別して，そのあたりの処理を見直すというのも
一つの方法かもですが......

**root▲▲ ★** · 2007/12/12(水) 00:21:42

>>176
snow のは root 権限なくても更新できるようになっているです。
移行の際にそうしますた。

といってもいま、落ちてますが、、、。(´･ω･｀)

株価【939】 △△ ◆cZfSunOs.U · 2007/12/12(水) 00:35:07

>>177 なるほど，そうですたか．では snow のは復旧したらこちらでやっておきます．

株価【880】 △△ ◆cZfSunOs.U · 2007/12/12(水) 21:06:06

>>178 snow の更新しますた．

**root▲▲ ★** · 2007/12/12(水) 22:41:31

>>179
おつでした。

live23, live24 の bbsd 更新しました。

**動け動けウゴウゴ２ちゃんねる** · 2007/12/13(木) 09:54:56

http://qb5.2ch.net/test/read.cgi/operate/1196560836/714,716
だそうです

株価【851】 △△ ◆cZfSunOs.U · 2007/12/17(月) 10:40:44

・ qb5 で詰まる原因を探りやすくすべくログを取るようにする
・いつぞやのように規制リスト配布がバグっても 500 エラーにならないようにする
・ >>176 の後半

あたりをやってみようかと......

株価【851】 △△ ◆cZfSunOs.U · 2007/12/17(月) 12:01:34

ってことで "done." >>182

**動け動けウゴウゴ２ちゃんねる** · 2007/12/17(月) 19:38:10

＆quot; ではなく
＆quot と書いても " に変換されてるみたいだけど正常なのかな？

全角　→　半角
ｑｕｏｔ　→　quot
＆ｑｕｏｔ　→　"
＆ｑｕｏｔ；　→　"

**動け動けウゴウゴ２ちゃんねる** · 2007/12/17(月) 19:40:46

それは2chと関係ねえよ

**動け動けウゴウゴ２ちゃんねる** · 2007/12/17(月) 19:44:31

>>185
ありがとう。

**stream** ◆PNstream2s · 2007/12/17(月) 19:51:59

いや関係あるのでは？

▲ ◆garnetGnNk · 2007/12/17(月) 19:58:38

http://who.sakura.ne.jp/img/test.html

ブラウザ依存じゃね？

**stream** ◆PNstream2s · 2007/12/17(月) 20:00:48

おー、それは知らなかった

株価【850】 △△ ◆cZfSunOs.U · 2007/12/17(月) 22:07:29

dat 中（というか HTML ドキュメント中）の &quot が
ブラウザでどう表示されるか，という話ならブラウザ依存でしょうね．

で，とりあえず今のところログに残ってるのは

[2007-12-17 16:26:18] &foxSetHost($GB) ; #　ホストの判定: took 23s
[2007-12-17 17:22:31] &foxSetHost($GB) ; #　ホストの判定: took 22s
[2007-12-17 18:32:17] &foxSetHost($GB) ; #　ホストの判定: took 23s

てな感じですが（DNS 問い合わせで詰まってる？），
これはいつも qb5 で詰まる時のパターンなんですかね？
ともあれ，bbs.cgi の実行時間が長くなった時に
ログに記録する仕組みは動くことが確認できたので，
さらにもうしばらく観察......

**root▲▲ ★** · 2007/12/18(火) 01:02:20

>>190
qb5 ですが、なんか、qb6 で動くものと動機しているっぽい気がしました。
アクセスログと見比べてみるといいかも。

株価【880】 △△ ◆cZfSunOs.U · 2007/12/18(火) 02:29:24

>>191 なるほど．っていうか >>190 のログと 500 エラーのタイミングも一致してませんね．
これは，bbs.cgi 実行に入る前の SpeedyCGI そのものの実行段階で詰まってるってことかな......

**root▲▲ ★** · 2007/12/18(火) 02:40:43

あと、ほとんどの場合は 500 エラーが出ても書けているんですよね、、、。
つまり、少なくとも dat に追記するところまでは処理が動いていると。

株価【858】 △△ ◆cZfSunOs.U · 2007/12/18(火) 05:07:09

当てずっぽうで書きますが......現状で 512 になってる kern.maxusers を
さらに増やしてみてはどうでしょう，とか......

**FOX ★** · 2007/12/18(火) 05:42:52

酔っ払いの私にはわかんですー

**動け動けウゴウゴ２ちゃんねる** · 2007/12/18(火) 05:50:21

もっと飲んで。

**root▲▲ ★** · 2007/12/18(火) 10:50:23

>>194
資源系ですか。

何か、資源系で足りないものがあるような、というのには、
私も同意。

株価【858】 △△ ◆cZfSunOs.U · 2007/12/18(火) 11:52:56

あくまで推測ですが，speedy <-> speedy_backend 間の通信（Unix ドメインソケット経由）が
qb5 / qb6 の環境ではエラーになりやすいということかも知れないのではないかなぁ，と．
SpeedyCGI のソースを見てみると
----------------------------------------------------------------------
http://speedycgi.cvs.sourceforge.net/speedycgi/2.x/src/speedy_frontend.c?view=markup
388 /* Create sockets in preparation for connect. This may take a while,
389 * esp on FreeBSD, when it's out of sockets.
390 */
391 if (!sockets_open++)
392 speedy_ipc_connect_prepare(socks);

http://speedycgi.cvs.sourceforge.net/speedycgi/2.x/src/speedy_ipc.c?view=markup
22 #ifdef ENOBUFS
23 # define NO_BUFSPC(e) ((e) == ENOBUFS || (e) == ENOMEM)
24 #else
25 # define NO_BUFSPC(e) ((e) == ENOMEM)
26 #endif

48 static int make_sock(void) {
49 int i, fd;
50
51 for (i = 0; i < 300; ++i) {
52 fd = socket(AF_UNIX, SOCK_STREAM, 0);
53 if (fd != -1)
54 return fd;
55 else if (NO_BUFSPC(errno)) {
56 sleep(1);
57 speedy_util_time_invalidate();
58 }
59 else
60 break;
61 }
62 speedy_util_die("cannot create socket");
63 return -1;
64 }

180 void speedy_ipc_connect_prepare(int socks[NUMFDS]) {
181 int i;
182 for (i = 0; i < NUMFDS; ++i)
183 socks[i] = make_sock();
184 }
----------------------------------------------------------------------
FreeBSD では socket(AF_UNIX, SOCK_STREAM, 0) が ENOBUFS になりやすいということかも？
そこで，ENOBUFS になりにくいようにするにはどうしたらいいか，というのがポイントかも知れないんじゃないかと......

あと，こんなのもあるようですが......

UNIX domain sockets MFC's
http://unix.derkeiler.com/Mailing-Lists/FreeBSD/stable/2007-05/msg00206.html

**動け動けウゴウゴ２ちゃんねる** · 2007/12/18(火) 13:44:09

SpeedyCGI で speedy_backendを使わないoptionったないんでしたっけ?
もしあったら少しの間それで援用してみるとか、

**FOX ★** · 2007/12/18(火) 13:44:42

援用じゃなかった運用

株価【851】 △△ ◆cZfSunOs.U · 2007/12/18(火) 14:40:51

>>199-200 http://daemoninc.com/SpeedyCGI/ でそういうオプションは見あたりませんが，
普通の Perl スクリプトとして動かせばそういう形にはなるかもですね．

株価【851】 △△ ◆cZfSunOs.U · 2007/12/19(水) 05:01:24

>>201
>普通の Perl スクリプトとして動か

すようにしてみました． @qb5

**FOX ★** · 2007/12/19(水) 05:03:31

おおー
さてどうなるか、、、

株価【851】 △△ ◆cZfSunOs.U · 2007/12/19(水) 06:49:42

普通の Perl スクリプトにしてからは 500 エラーは出てないようですが，しかし......
bbs.cgi の実行時間が異常に長くなってたくさんたまってしまうことが相変わらずあるようで......
今ログを取るようにしてるメインルーチンより前の段階で詰まってるってことかな？
そっちでもログを取るようにしてみるか......

last pid: 80866; load averages: 0.08, 0.07, 0.02 up 63+17:39:52 06:41:07
18 processes: 1 running, 17 sleeping

Mem: 519M Active, 1110M Inact, 210M Wired, 63M Cache, 112M Buf, 74M Free
Swap: 4096M Total, 116K Used, 4096M Free

USER PID %CPU %MEM VSZ RSS TT STAT STARTED TIME COMMAND
ch2qb5 80773 0.0 0.7 15700 14792 ?? I 6:39AM 0:00.28 /usr/bin/perl bbs.cgi (perl5.8.8)
ch2qb5 80774 0.0 0.7 15700 14792 ?? I 6:39AM 0:00.28 /usr/bin/perl bbs.cgi (perl5.8.8)
ch2qb5 80775 0.0 0.7 15700 14792 ?? I 6:39AM 0:00.28 /usr/bin/perl bbs.cgi (perl5.8.8)
ch2qb5 80776 0.0 0.7 15700 14792 ?? I 6:39AM 0:00.28 /usr/bin/perl bbs.cgi (perl5.8.8)
ch2qb5 80778 0.0 0.7 15700 14792 ?? I 6:39AM 0:00.28 /usr/bin/perl bbs.cgi (perl5.8.8)
ch2qb5 80780 0.0 0.7 15700 14792 ?? I 6:39AM 0:00.28 /usr/bin/perl bbs.cgi (perl5.8.8)
ch2qb5 80781 0.0 0.7 15700 14792 ?? I 6:39AM 0:00.28 /usr/bin/perl bbs.cgi (perl5.8.8)
ch2qb5 80782 0.0 0.7 15700 14792 ?? I 6:39AM 0:00.28 /usr/bin/perl bbs.cgi (perl5.8.8)
ch2qb5 80783 0.0 0.7 15700 14792 ?? I 6:39AM 0:00.28 /usr/bin/perl bbs.cgi (perl5.8.8)
ch2qb5 80785 0.0 0.7 15700 14792 ?? I 6:39AM 0:00.28 /usr/bin/perl bbs.cgi (perl5.8.8)
ch2qb5 80788 0.0 0.7 15700 14792 ?? I 6:39AM 0:00.28 /usr/bin/perl bbs.cgi (perl5.8.8)
ch2qb5 80791 0.0 0.7 15700 14792 ?? I 6:39AM 0:00.28 /usr/bin/perl bbs.cgi (perl5.8.8)
ch2qb5 80792 0.0 0.7 15700 14792 ?? I 6:39AM 0:00.28 /usr/bin/perl bbs.cgi (perl5.8.8)
ch2qb5 80794 0.0 0.7 15700 14792 ?? I 6:39AM 0:00.28 /usr/bin/perl bbs.cgi (perl5.8.8)
ch2qb5 80809 0.0 0.7 15700 14792 ?? I 6:39AM 0:00.28 /usr/bin/perl bbs.cgi (perl5.8.8)

**root▲▲ ★** · 2007/12/19(水) 10:25:39

>>204
普通のPerlでも詰まりますか。

# 逆に、原因究明がやりやすいのかも。

株価【851】 △△ ◆cZfSunOs.U · 2007/12/19(水) 11:17:42

再び SpeedyCGI モードに戻して様子見てみます......

株価【851】 △△ ◆cZfSunOs.U · 2007/12/19(水) 12:21:29

どうにか，SpeedyCGI モードにしても 500 エラーにならないようにできたようです．

さて，500 エラーになっていた原因ですが...... FreeBSD の Unix ドメインソケット問題とかではなく，
なんと人為的な要因（POST データの送信に時間をかける DoS 攻撃により
speedy_backend のスロットがふさがってしまっていた）だったようです．
実行時間のかかるルーチンのログをメインルーチンに入る前の段階で取るようにしたら，
フォームデータ読込のところで時間がかかっていることから判明しました．
で，それへの対策を取りました，ということで．

**動け動けウゴウゴ２ちゃんねる** · 2007/12/19(水) 12:23:01

攻撃だったのか・・・

**動け動けウゴウゴ２ちゃんねる** · 2007/12/19(水) 12:23:58

どこからそんな攻撃を受けてたんだろう。

**動け動けウゴウゴ２ちゃんねる** · 2007/12/19(水) 12:53:07

ええーそれちょっと興味あるなー

**動け動けウゴウゴ２ちゃんねる** · 2007/12/19(水) 12:54:18

それやると投稿時間ずらせるんだよ
だからさ

**動け動けウゴウゴ２ちゃんねる** · 2007/12/19(水) 13:01:39

スーパータイムスリッパーか・・・

株価【851】 △△ ◆cZfSunOs.U · 2007/12/19(水) 13:01:43

まぁ，攻撃元等のログも取ってあるんですが（/var/tmp の下にあります），
海外串をランダムに使ってる感じですね......

**動け動けウゴウゴ２ちゃんねる** · 2007/12/19(水) 14:40:41

あれどうやって対処すればいいんだろ
自分の掲示板も海外SPAMみたいなのでたまにやられてる
cgiがなかなか終わってくれないんでレン鯖の同時実行数制限がかかって困るんだよな

**動け動けウゴウゴ２ちゃんねる** · 2007/12/19(水) 14:48:14

全鯖でbbs.cgiが止まった予感。

**動け動けウゴウゴ２ちゃんねる** · 2007/12/19(水) 14:49:41

それは全発言統計システムの方のBBSではないかと
bbs.cgiが止まったらここにも書けません

**動け動けウゴウゴ２ちゃんねる** · 2007/12/19(水) 14:52:16

たぶん、そうかも・・・グラフ取得出来てないよう。

http://ch2.ath.cx/science6.html

**動け動けウゴウゴ２ちゃんねる** · 2007/12/19(水) 14:52:54

本当に止まってるなら鯖落ちスレがあんな少人数で済むわけがないだろ
あそこのテンプレにこう書いてるだろ

◆鯖落ち報告者が少ない時は自分の環境を疑ってみましょう。

**動け動けウゴウゴ２ちゃんねる** · 2007/12/19(水) 14:56:54

>>214
うちは海外ホストがCGI踏んだらdenyリストに追加する仕掛けにしてる

**動け動けウゴウゴ２ちゃんねる** · 2007/12/19(水) 14:57:37

うは、運用情報板でなんか詰まるなぁの件は攻撃だったのか・・・
修正お疲れ様でした。

**動け動けウゴウゴ２ちゃんねる** · 2007/12/19(水) 15:04:00

>>219
それくらいしないとだめみたいだね。毎分何回も叩かれたりするし
国内ISP以外弾くようなことも考えておくか

それ以外の対策としては、どこかにタイムアウトの仕掛けでも入れるのかな

**動け動けウゴウゴ２ちゃんねる** · 2007/12/19(水) 15:12:33

>218
ごめんね。

**動け動けウゴウゴ２ちゃんねる** · 2007/12/19(水) 15:13:30

>>213
海外串を禁止にするしかありませんね
今の現状では

**root▲▲ ★** · 2007/12/19(水) 15:27:11

変更部分の diff を縦読みしました。なるほど。

DoSというか、例の「たまにここにもスレ立ったりするやつ」
とかとも関係あるのかも。

# これからかいぎ。

**動け動けウゴウゴ２ちゃんねる** · 2007/12/19(水) 17:44:44

参考のために、どんな対策をしたか簡単に教えてもらえませんか

**root▲▲ ★** · 2007/12/19(水) 18:17:11

詳細は、企業秘密じゃないかなと。>>225
企業じゃなくて個人サイトだけど。

普通に考えれば、
例えば指定されたデートの時間に3時間遅れてもけなげに待っていたのを、
1時間たったら「わたし…きらわれちゃったのね、ごめんなさい。さよなら」って言って、
なきながらその場を立ち去るとか、たぶんそんなことなんじゃないかなと。

**動け動けウゴウゴ２ちゃんねる** · 2007/12/19(水) 18:52:26

いやいや
1時間たったら「おまえきらわれちゃったから、首吊って死ぬる！」って言って、
警備員のおじさんに追い出されるとか。

**動け動けウゴウゴ２ちゃんねる** · 2007/12/19(水) 20:58:36

そんなヒドイ警備員はクビにしてください。

**動け動けウゴウゴ２ちゃんねる** · 2007/12/19(水) 22:39:31

ひとりクビにしたくらいじゃ意味ないぜ
余剰人員がたくさんいる
っ自宅警備員

**動け動けウゴウゴ２ちゃんねる** · 2007/12/21(金) 18:16:56

また重い希ガス

株価【860】 △△ ◆cZfSunOs.U · 2007/12/27(木) 01:29:39

一応今後のために...... Perl モジュールについてのドキュメントは perldoc で表示されます．
例えば，今回のように「LWP モジュールで POST するにはどうすればいいか？」なら
perldoc LWP をコマンドラインから実行すればドキュメントが表示されて，その中に書いてあります．

株価【850】 · 2007/12/27(木) 12:40:14

TATESUGI厳し杉
IP群を18ビットで丸めないで下位８ビットだけにしてくれよ

**動け動けウゴウゴ２ちゃんねる** · 2007/12/28(金) 11:35:43

新規一転。

気分を変えて新しいブログ書く事にしました。

まあ　つまらないブログでしょうが（笑）

あ　不定期更新ですから　あしからず。
http://webmastei.com/weeb

**動け動けウゴウゴ２ちゃんねる** · 2007/12/28(金) 13:51:21

>>233
トロイ

**Sweta-Zinok** · 2008/01/11(金) 20:10:49

Hi. Sorry for my english. Happy New Year!!!!! ？Good Luck!

**Sweta-Zinok** · 2008/01/11(金) 20:27:24

Hi. Sorry for my english. Happy New Year!!!!! ？Good Luck!