read.cgi再開発スレ

**ｒｅｆｆｉ@報告人 ★** · 04/06/14 16:48

稼働させると問題が多発しているread.cgiを再開発等を話しあうスレッド
です。
アイデア等がありましたらこちらへどうぞ

**動け動けウゴウゴ２ちゃんねる** · 04/06/14 16:48

★現状の問題点
　・tiger鯖ではread.cgiを稼働させると高負荷になる。
　・peko鯖の場合は負荷に関係なく落ちる確率が上がる。

★解決策
　・tiger鯖用の低負荷なread.cgiの再開発
　・peko鯖用のAMD64特化版read.cgiの再開発

**ｒｅｆｆｉ@報告人 ★** · 04/06/14 16:49

関連発言
http://qb5.2ch.net/test/read.cgi/operate/1087192862/22
22 名前： ◆Reffi/bQ.c [sage] 投稿日：04/06/14(月) 16:02 ID:pmCliEFX
>21
peko鯖はだいぶ安定運用し始めているのであとはread.cgiの低負荷化さえ
出来ればいいんじゃないかと思ったり
read.cgiの低負荷版の開発は次の世代の若者に全て任せるという事で（ぉ

http://qb5.2ch.net/test/read.cgi/operate/1087192862/26
26 名前： ◆BDFCNV1.to [sage] 投稿日：04/06/14(月) 16:05 ID:MdNpKY8r
>>22
私が見るに、
read.cgi をpeko で動かしていると良く落ちるということは
負荷が問題じゃなく、相性の問題と、
つまり read.cgi にpeko だと顕在化する bug があるのか、

そんなとこだと思う。

read.cgi の書き直しは、そっすね次代の方々に譲るということで、

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/06/14 17:16

Wikiつくっときますた。

http://info.2ch.net/wiki/pukiwiki.php?read.cgi%BA%C6%B3%AB%C8%AF%A5%D7%A5%ED%A5%B8%A5%A7%A5%AF%A5%C8

◆Reffi/bQ.c · 04/06/14 17:27

>4
サンクスです。
そういえば、今read.cgiのソースは公開しても問題はないんでしょうか？

**動け動けウゴウゴ２ちゃんねる** · 04/06/14 17:27

C++だったっけ？

**動け動けウゴウゴ２ちゃんねる** · 04/06/14 17:30

tiger?

◆Reffi/bQ.c · 04/06/14 17:34

>7
ありゃ
banana鯖でした（汗
というわけでwiki修正もよろしくお願いします。

◆BDFCNV1.to · 04/06/14 17:35

banana では何も起ってないでしょ

◆Reffi/bQ.c · 04/06/14 17:40

>9
人大杉スレ見たらbananaで止まっているのはbanana227だけであとはpeko鯖
ばっかりですね。

04/06/14 17:40

とりあえずは無駄な機能をバッサリ切っちゃうだけでも違うと思うな。＞read.cgi

◆BDFCNV1.to · 04/06/14 17:47

>>11
わかいのぉ

もっとドラスティックな変化が必要かと、

三回目は時間&お金&いろいろかけたところで
売るものは大したこと無いよ

04/06/14 17:55

>>12
1から見直しって事ですか？

◆HETAREzfq. · 04/06/14 17:55

なんかよくわかりませんが
ここに資料っぽいブツを置いておきますね？

http://www.amd.com/us-en/assets/content_type/white_papers_and_tech_docs/25759.pdf

**root ★** · 04/06/14 20:09

個人的にはmmap()まわりが頻繁に呼ばれるところあたりかなぁと思っていたり。

**root ★** · 04/06/14 20:10

で、今のread.cgiではmmap()を使うか使わないかはは#defineで簡単に制御できるので、
そのうちmmap()を使わない版を入れてみようかなとは思っていたり。

**root ★** · 04/06/14 20:11

ということで、再度仕事にもどり。柿逃げスマソ。

**考えるお馬●さん** ◆paperNoNNo · 04/06/14 21:24

あ、面白そうなのが始まった。
こういうの興味あったんでコツコツ勉強してたんだよな。

Perlを。

**7M.** ◆dq7M./4Uw. · 04/06/14 22:48

readはCで書かれてますからねぇ、、、

**動け動けウゴウゴ２ちゃんねる** · 04/06/14 22:50

>>18
残念だな、若いの
read.cgiはCで書かれているから君の専門外だ

**動け動けウゴウゴ２ちゃんねる** · 04/06/14 22:53

>>19
うぉ、ｹｺｰﾝ（ｗ

**動け動けウゴウゴ２ちゃんねる** · 04/06/14 23:07

C言語なら毎日使ってるから少しは役に立てるかな？

組み込みの仕事だから標準関数なんて全然使ってないけど。

**サザン ★** · 04/06/14 23:08

おっ、おもしろそう、

RDT板を残しとけばよかった

**7M.** ◆dq7M./4Uw. · 04/06/14 23:11

実験室復活させよう実験室。(何
kusoしすてむの実験もかねちゃえ。(ゅ

**考えるお馬●さん** ◆paperNoNNo · 04/06/14 23:31

Cは大学時代の講義で基本的なこと覚えただけなんだよなぁ、、
でもCは覚えて絶対に損はしないから、なんとかついて行こう
と、思うだけ思ってみる。

**ヾ●ﾉ゛** ◆NATTOSpTC2 · 04/06/14 23:35

よし！俺も暇になったら>25さんの後をついていこう！
俺だってCの基礎の基礎くらいは覚えてるし
この機会に勉強するぞ！
とか意気込んでみるテスト(｡Ａ｡ )

**動け動けウゴウゴ２ちゃんねる** · 04/06/14 23:43

Cのディープな世界へご案内～。

64bit環境のプログラミングは未知の領域なので、ちょっと面白そう。

**ヽ( ・∀・)ﾉ● ｳﾝｺｰ** · 04/06/14 23:43

某大学の情報工学科の首席なんで暇があったらお手伝いします

**動け動けウゴウゴ２ちゃんねる** · 04/06/14 23:46

包装大学ですか？

**動け動けウゴウゴ２ちゃんねる** · 04/06/15 00:15

新しいread.cgiも、呼ばれる度にdatを見に行って、ｼｺｼｺHTMLに変換するﾀｲﾌﾟにするの？

辰星 ◆Merc69tMT. · 04/06/15 04:52

C++やろうかな……いいかげんPHPオンリーを脱出せねば笑

辰星 ◆Merc69tMT. · 04/06/15 04:55

あ、++じゃなくてCか。

**動け動けウゴウゴ２ちゃんねる** · 04/06/15 09:14

ひまだから、64bit版read.cgiつーのつくってみるわ
pekoネイティブな、ちょっとまちなー

**動け動けウゴウゴ２ちゃんねる** · 04/06/15 09:26

現行のread.cgiがどのような動作をしているのか、どこかで解説されてないかな？

現在の動作が分からないと、設計もできないんでないかい？

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/06/15 11:51

>>33
改造コピペネタでつか？
>>8
なおしときますた。

**考えるお馬●さん** ◆paperNoNNo · 04/06/15 22:29

>>30
dat読み込みから見直すんならbbs.cgiの方まで見直さなきゃいけないと思うんだけど
そこまで大改造はしないと思う。

banana鯖用のスリム化は別にやらなくても大丈夫らしい（>>9-10）だから
やることはAMD64特化版read.cgiってやつだけかな？

**考えるお馬●さん** ◆paperNoNNo · 04/06/15 23:07

>>34
Perlで似せてread.cgi作った時は大体こんな感じの処理が必要だったけど。

各種設定
　背景色等の設定用にSETTING>TXT読込
　クッキーの読込

エラー判定
　datファイル読込・存在するかの判定
　無い場合は過去ログ倉庫に存在するかの判定

ヘッダ部出力
　datファイルのレス数を取得
　レス番の指定がある場合は出力範囲を算出
　ヘッダ部の100レス単位リンクの出力範囲を算出

レス部出力
　>1を表示するかの判定
　レスの[ここ壊れてます]判定
　メール欄がある場合の名前欄リンク化
　URL文字列のリンク化
　外部サイトのime.nuリンク補正
　レスアンカの補正
　長文省略判定

フッタ部出力
　datファイルのサイズを取得
　新着レスの表示／続きを読む判定
　前100、後100 表示判定

フォーム編集
　timeパラメータ用に時刻取得

**動け動けウゴウゴ２ちゃんねる** · 04/06/15 23:13

>37
解説ありがとん。なるほど、結構単純なようでややこしそうな処理だねぇ。

**動け動けウゴウゴ２ちゃんねる** · 04/06/16 07:29

>>36
#ifdef amd64
なんちゃら
#endif

#ifdef ia32
どんちゃら
#endif

とでもできませんかね。コンパイルがmakeを使用するようになっていればの話ですが。

**動け動けウゴウゴ２ちゃんねる** · 04/06/16 13:25

２ちゃんねるはガリガリに最適化されたmod_2chで動いてると思い込んでいただけに
ショックだ

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/06/16 14:05

>>40
apache moduleの話は出てきては立ち消えになっているんですがねぇ。
どうなることやら。

**未承諾広告※** ◆TWARamEjuA · 04/06/16 14:47

mod_isp2ch なんてのはあるみたいですけどねぇ。
ひとまず、AMD64 でも安定して動く read.cgi でしょうか。
それ以上のことは、掲示板システム全体の再構築が必要かと思いますので。

**動け動けウゴウゴ２ちゃんねる** · 04/06/16 14:54

#include <stdio.h>
#include <stdlib.h>

int main(int argc, char *argv[])
{
printf(
"Content-Type: text/html; charset=Shift_JIS\n\n"
"<html><head><title>もうずっと人大杉</title></head>"
"<body><h1>もうずっと人大杉</h1></body></html>\n"
);
return EXIT_SUCCESS;
}

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/06/16 15:26

>>42
では関連で。

bbs.cgi再開発プロジェクト 3
http://qb5.2ch.net/test/read.cgi/operate/1076666901/l50

**動け動けウゴウゴ２ちゃんねる** · 04/06/16 22:35

昔、UNIX板の有志が書いてたread.cgiのソースって、今も公開されてるんだっけ？

**動け動けウゴウゴ２ちゃんねる** · 04/06/16 23:39

だいぶVerが古くない？ソレ

**7M.** ◆dq7M./4Uw. · 04/06/17 00:49

古かったと思う、>45-46
最新のは未公開、多分、

**考えるお馬●さん** ◆paperNoNNo · 04/06/17 01:08

とりあえずborlandのコンパイラを落として、暇を見つけつつ
基本構造のおさらいから始めてて、ふと思った。

これ、それなりの形が作れるようになった頃には
とっくに開発終了してるんじゃなかろうか。。

頑張れ、俺。

**root ★** · 04/06/17 12:04

>>16 で言及した、
mmap()を使用しないread.cgiをgame6サーバに実験的に入れてみた。
これでしばらく実験してみるということで。

**動け動けウゴウゴ２ちゃんねる** · 04/06/17 21:32

とりあえず乙

◆cZfSunOs.U · 04/06/17 23:45

32-bit 環境と 64-bit 環境での違いっていっても，変数サイズの違いぐらいで，
そんなに変わるわけでもないけど．って，それがこける原因じゃないよな......？
long とかポインタのサイズに依存するような処理って入ってたかな......？

**root ★** · 04/06/18 03:43

20日以上動いていたgame6が、read.cgiを上げたら半日で死にました。
mmap()ではなかったと。

ということで、
live8(read.cgiを動かしている)とcomic4(携帯の負荷に耐えている)で実績のある、
以下の設定を追加してみた。

(従来)
<IfModule prefork.c>
StartServers 64
MinSpareServers 5
MaxSpareServers 32
ServerLimit 256
MaxClients 256
MaxRequestsPerChild 0
</IfModule>

(現在)
<IfModule prefork.c>
StartServers 64
MinSpareServers 5
MaxSpareServers 32
ServerLimit 256
MaxClients 256
MaxRequestsPerChild 100000 <= 変更
MaxMemFree 2048 <= 追加
</IfModule>

◆cZfSunOs.U · 04/06/18 07:04

Re: huge memory leak in 2.0.x
http://www.mail-archive.com/dev@httpd.apache.org/msg21175.html

ということで，2.0.x には CGI を呼んだ際にメモリリークする問題があるそうで，
とりあえずは MaxRequestsPerChild / MaxMemFree での対処は
妥当なところなんでしょうけど，AMD64 以外ではこけるというところまでは
行ってなかったんですよね......？

**root ★** · 04/06/18 12:15

>>53
どうもです。CGIを呼ぶとメモリリークするのですか。

かつてのumaサーバ(Xeon 2.4G dual/メモリ2G/FreeBSD 4.x)では特に問題なかったですね。
FreeBSD 4.xと5.xの違いか、amd64とi386の違いか。

**root ★** · 04/06/18 12:21

ということで、read.cgiの現在のソースを
出来る範囲でもうすこしまじめにあたってみるか。

**root ★** · 04/06/18 12:24

…ということで、いったん退却。

【Project peko】2ch特化型サーバ構築作戦 Part13
http://qb5.2ch.net/test/read.cgi/operate/1085678587/963
963 名前：root ★[sage] 投稿日：04/06/18 11:54 ID:???
ということで、リモートからデバッガに落とせない状態なので、
いったんgame6のread.cgiを止めます。

**動け動けウゴウゴ２ちゃんねる** · 04/06/18 15:51

既出？
ttp://qb5.2ch.net/test/read.cgi/operate/1081010089/631

◆HETAREzfq. · 04/06/18 16:24

>>57
hardをどうにかする、というのは基本的にあきらめたみたいだよ。
（これから新規に買うときは発注条件をなんとかする等で気をつけて欲しいけどね）
OSもどうなんだろう？live8は今の所問題ないし。。。

今は、opteron・apache・OS等の禁忌事項にread.cgiの処理が当てはまってるかどうかとか
そういうのを調べてみる時期なんじゃないのかなぁ？？
（ソフトのことはよくわかりませんが）

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/06/18 16:28

>>58
ていうか、現状何が問題なんでしょ。
read.cgiに限らず。

◆HETAREzfq. · 04/06/18 16:56

>>59
わかる人が見ないことにはそのへんすらわからないだろうね。
ちなみに漏れは見てもわからんのは確実。がはは。

◆cZfSunOs.U · 04/06/18 20:07

オープンソースで改良作業が行われていた当時の read.cgi ソースはこちら．
http://gedoh.org/aki/2ch/current/bbs/

どこかで地雷を踏んでるのかねぇ......

**root ★** · 04/06/18 21:53

今まで「これをやると落ちる or 落ちる確率が間違いなくアップする」ものとしては、

・read.cgi
・fox.cgi

かなと。

**動け動けウゴウゴ２ちゃんねる** · 04/06/18 23:43

つーか、言語なんすか？perl?
Cなら協力できそうにないなぁ。。

**みなわ** ◆oiktGSoBlQ · 04/06/19 02:10

>61
うがー。malloc/free/memmset/memcpy/memcmp/memchrが。

**動け動けウゴウゴ２ちゃんねる** · 04/06/19 02:22

もうずっと人大杉へ飛ばされる板のスレを見たいのですけど、
.datファイルのレスX番から50個のレスを読み込むにはどうしたらいいのでしょうか？
全部読み込まないと駄目なのですか？

**動け動けウゴウゴ２ちゃんねる** · 04/06/19 02:33

>>65
質問・雑談スレ43＠運用情報板
http://qb5.2ch.net/test/read.cgi/operate/1087488419/

**動け動けウゴウゴ２ちゃんねる** · 04/06/19 18:02

ここ見れ
http://makimo.to

**動け動けウゴウゴ２ちゃんねる** · 04/06/20 19:22

なーんで負荷が高いsports8とかで問題無く動いているread.cgiが
game6になった途端くたばるん？
最新型マザーボードが狂ってるんか？

**動け動けウゴウゴ２ちゃんねる** · 04/06/21 19:15

面白い話題を発見しますた。
http://lists.freebsd.org/pipermail/freebsd-current/2004-June/029521.html

◆cZfSunOs.U · 04/06/22 07:32

公開版ソースでは MAP_PRIVATE で mmap() してるみたいですが......
見たところ，マッピングされた領域に書き込みを行っていないようなので，
MAP_SHARED でいいのではないかと．mmap() 本来の仕様では
マッピングされた領域に書き込みを行わない限り MAP_SHARED も
MAP_PRIVATE も同じ挙動を示すはずですが，このあたりに地雷があるとすると
どうなるかわからないので．ちなみに，Apache(APR) では MAP_SHARED
で mmap() が実行されます．

>>69 ふむ，予想に反して mmap() が意外に遅いと......で，mmap() に
改善の余地があるのかないのか......という話のようですね．
とはいえ，カーネル時間の消費は mmap() の方が圧倒的に少ないので，
単一のプロセスをぶん回すような用途ならともかく，多数のプロセスを
同時実行するような用途ならその状況でも mmap() に利があるかとは思いますが．

**動け動けウゴウゴ２ちゃんねる** · 04/07/10 23:55

あい

**動け動けウゴウゴ２ちゃんねる** · 04/07/11 00:41

あげ

**キッコーマソ系スレ支持者** · 04/07/11 12:41

スレ立て時に強制sageを指定できるようにきぼんぬ。
そうしてread.cgi ver8.00はこれで決まり。

**名無しさん＠そうだ選挙に行こう** · 04/07/11 12:44

自分で書いてこんなのどうですかって持ってこないと話にならんでしょ

**7M.** ◆dq7M./4Uw. · 04/07/11 16:01

大体それreadじゃなくってbbsの方の範疇だし。

**ヒロヒロ** · 04/07/25 03:09

ちょっとCをかじってたので協力できたら…
なんて考えていましたがはっきりいってわかんね～（笑

mmap()って何なんでしょうか？
mallocとかまでしか着いていけませんでした

http://www.ebimemo.net/diary/?date=200303

**動け動けウゴウゴ２ちゃんねる** · 04/07/25 04:29

mmap()の意味も見つけられない人は、「ちょっとCをかじってた」とは言わない
ttp://www.google.com/search?lr=lang_ja&ie=Shift_JIS&oe=Shift_JIS&q=mmap

**動け動けウゴウゴ２ちゃんねる** · 04/07/25 06:57

ていうかこの期に及んで
「必要なのはC言語の知識というよりは高負荷環境を捌く知恵と経験」
ということに気づけなかった時点でｲﾗﾈ

**動け動けウゴウゴ２ちゃんねる** · 04/07/26 15:44

前live5鯖でやってた
h ttp://鯖.2ch.net/板/read/dat.html
例)http://live5.2ch.net/livetbs/read/1074855449.html
あれはどうなった？

**▲:/usr/local/bin/ch2 -o i686** ◆P8fXJj6wwo · 04/07/26 16:19

>>78
C版の開発はチューン次第ではメモリ不足の解消にもつながるでしょう
一般的に

size(perllccバイナリ)>>size(Cコードバイナリ)

だし

**動け動けウゴウゴ２ちゃんねる** · 04/07/26 17:49

>>78はCを否定しているのではないと思われ

◆cZfSunOs.U · 04/07/30 19:00

ちょいとネタ振り．

mod_cgidso http://jbbs.livedoor.com/bbs/read.cgi/computer/2095/1051177958/129
　　　　外部 CGI を実行ファイルではなく共有オブジェクトで作成し，fork(),exec() の
　　　　オーバヘッドを解消するもの．CGI そのものをモジュール化すると，
　　　　プログラム変更のたびにモジュール入れ替えのため Apache を再起動しなければ
　　　　ならないが，これなら単に外部 CGI の共有オブジェクトの入れ替えだけで済む．

で，以前ソースをうpしていた鯖は現在亡くなってしまっていますが，

　　　　mod_cgidso.c　　（モジュールソース）
　　　　dso-example.c　　（これを利用した共有オブジェクト型 CGI のサンプル）
　　　　read.tar.bz2　　（>>61 のソースを基にこのモジュールに対応させたもの）

どこか適当な場所があればうpします......

**root ★** · 04/07/30 20:31

>>82
お、そっか、これ、改めていいかも。
どこかにうｐしてほしいなと。

◆cZfSunOs.U · 04/07/30 21:35

>>83 とりあえず臨時自宅鯖でうpしますた．

http://203.205.158.203/jikken/mod_cgidso.c　　（モジュールソース）
http://203.205.158.203/jikken/dso-example.c　　（これを利用した共有オブジェクト型 CGI のサンプル）
http://203.205.158.203/jikken/read.tar.bz2　　（>>61 のソースを基にこのモジュールに対応させたもの）

DHCP の上 Dynamic DNS 使うほど本格運用するつもりもないんで，
IP 変わったりした際はご容赦を......

**root ★** · 04/07/31 01:09

>>84
ping とおらなくて、port 80も応答しないっす。

**root ★** · 04/07/31 01:23

再度やったらとれたです。どうも。

◆cZfSunOs.U · 04/08/20 06:58

【Project peko】スレの方は OS の話が進んでいるようなので，こちらで．

http://qb5.2ch.net/test/read.cgi/operate/1087666806/914n
>で、どうも、プロセスが多く起動・終了されるマシンで、落ちる可能性が上がるように見える。

ということなら，mod_cgidso で何とかなるのかな，という気もしますが......

**動け動けウゴウゴ２ちゃんねる** · 04/09/02 12:34

みゅ

**test** · 04/09/12 18:10:58

aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa

04/09/29 16:27:06

**動け動けウゴウゴ２ちゃんねる** · 04/10/07 16:10:45

保守

**動け動けウゴウゴ２ちゃんねる** · 04/10/12 19:48:41

http://piza.2ch.net/sakud/kako/957/957785425.html
↑このスレをread.cgiでみると全レス[ここ壊れています]になる

http://piza.2ch.net/test/read.cgi/sakud/957785425/

**動け動けウゴウゴ２ちゃんねる** · 04/10/13 13:05:22

html化されているログをread.cgiで読めることは
もともと保証されていないのだから「仕様」でしょう

**ひろゆき＠どうやら管理人 ★** · 04/10/29 18:08:44

なにか問題あったら教えてくださいー。

**外野ｧｧﾝ** · 04/10/29 18:14:20

read.cgi ver7.31p (04/10/29)

**動け動けウゴウゴ２ちゃんねる** · 04/10/29 18:24:32

お、広告（？）が入ってる。

**root▲ ★** · 04/10/29 18:29:34

>>94
live8 (AMD64)のread.cgiを7.31pに更新しました。
これから memories 上の各バーチャルホストのも更新します。

**動け動けウゴウゴ２ちゃんねる** · 04/10/29 18:29:43

■掲示板に戻る■ 関連ページ全部 1- 最新50 [PR] 新潟ガンバレ. [PR]

**外野ｧｧﾝ** · 04/10/29 18:30:48

sports2
read.cgi ver6.01p (02/04/12)

（つД｀）

**動け動けウゴウゴ２ちゃんねる** · 04/10/29 18:32:22

ﾜﾛﾀ

**ひろゆき＠どうやら管理人 ★** · 04/10/29 18:54:41

あ、7.33にかわりましたー。