read.cgi再開発スレ Part2
■ このスレッドは過去ログ倉庫に格納されています
◆cZfSunOs.Uさん作成のmod_cgidsoにより、大きな負荷軽減が図られたread.cgi。
このスレでは、そんなread.cgiの(再)開発・実装すべき機能について取り扱います。
前スレより:
574 名前:FOX ★[sage] 投稿日:05/01/05 15:54:28 ID:???
全てのサーバ cobra/toger/banana で read.cgi の dso化が完了。
これから href の置き換え ime.nu 対応を行い
それが終了したら第一ステップは完。
第2ステップは
2-1) bug つぶし
2-2) 仕様の変なところは変更
2-3) 時代背景にあわせたデコレーション
こんなとこかと、
前スレ:
read.cgi再開発スレ
http://qb5.2ch.net/test/read.cgi/operate/1087199303/ >>472 malloc() だと明示的な解放が必要ですが,apr_palloc() ではプールの寿命が尽きた時点で自動解放されます.
例えばリクエストプール (r->pool) で確保すれば,リクエスト処理が完了した時点で自動解放されます. >>473
了解です。安心していいってことですね。 【きりたんぽ】雪だるま作戦に思いを馳せながら雑談するスレッド Part28
http://aa5.2ch.net/test/read.cgi/nanmin/1133468879/739-740
739 名前: ◆MUMUMUhnYI [sage] 投稿日:2005/12/07(水) 12:05:52 ?###
過去ログにいったやつが、うまく出ないみたい。< フロント版read.cgi
だめな例: 基本的にdat落ちしたやつ全部
http://live22x.2ch.net/test/read.cgi/dancesite/1115133136/
あとで、みてみるということで。
740 名前: ◆MUMUMUhnYI [sage] 投稿日:2005/12/07(水) 12:24:56 ?###
>>739
なおした。
read.cgi ver 05.0.2.1 2005/12/07
ライブなdatじゃない場合は、通常と同じ方法でディスクを参照。 >>475 乙です.
----------------------------------------------------------------------
以前 worker MPM を試してみたら SIGBUS になってしまったことがありましたが,
http://aa5.2ch.net/test/read.cgi/nanmin/1118138260/278-279n
これは >>471 の要因でスタック領域からはみ出てしまってたのかも知れませんね. >>476
なるほど、ありえますね。
# worker MPMはSpeedyCGIがそのままでは動かないかもという話も。 >>477 そのあたりはこういうことで.
# これを受けての worker MPM 挑戦だったわけで......
http://aa5.2ch.net/test/read.cgi/nanmin/1118138260/147
>そういえば...... 今 SpeedyCGI は speedy プロセス呼び出しの形で使ってますか?
>mod_speedycgi だとマルチスレッド非対応ですが,speedy プロセス呼び出しなら無関係なんで
>マルチスレッド化も可能ではあるんですが...... >>478
そっか、そうでしたね。
ってことは、再チャレンジすることもありうるのか。 でも、再チャレンジする場合、read.cgi で使用している外部関数が、
全部MT-safeじゃないと、いまいちなわけか。 >>480 APR 関数は基本的に,内部では Unsafe な関数の使用を避け (MT-)Safe になるよう
配慮されているため,APR 関数を使っているのならおおかた大丈夫かと思います.
ただ,呼び出す関数が (MT-)Safe であっても,処理の流れなどに起因して
マルチスレッド環境で問題が起こることもあり得るので(今回出てきた
スタック上の巨大変数もしかり),その点が要注意ではありますが. #include <pthread.h>
#include <stdio.h>
int main()
{
size_t size;
pthread_attr_t attr;
pthread_attr_init(&attr);
pthread_attr_getstacksize(&attr, &size);
printf("%lu\n", (unsigned long)size);
return 0;
}
----------------------------------------------------------------------
ってのを tiger (FreeBSD 5.3R) 上でやってみたら,libpthread / libthr ともに
65536 (64kB) だそうです.そりゃはみ出しますね...... /* datを読むバッファ領域を、apr_pallocで動的に確保する */
ch2->BigBuffer = apr_palloc(r->pool, SZ_BIGBUF);
にしたバージョンを、live22x2で試しました。
問題なさげ。
dso.2ch.netでも問題なければ、これで。 >>484
read.cgi ver 05.0.2.2 2005/12/10 ということで配布して20分ほど経ちましたが、
read.cgi が多い news19 / life7 / hobby あたりでも、問題なさげすね。 read.cの
#defineLINK_URL_MAXLEN256
これ。なんか大きすぎない?
普通200以上超えるURLは無いと思うんだが。 ミスorz
#define LINK_URL_MAXLEN 256
タブは無視されるのを忘れてたよママン で、今のソースもちと見てみましたが、
もっと大きな値になっているようです。 >>490そうだな・・・CGIがあったよな・・・ぬるぽ
>>491手元にあるソースは狐の人が書き換える以前のものだからね・・・bbs.cgiスレも見たけどソースは非公開っぽいし。
公開すればもっと質の高い物になると思うよひろゆきタン >>488
まれにAAでも使う
それより15個規制はテンプレ作るとき結構きついので可能な範囲で緩和して欲しい ■>>410みたいに鯖移転前のスレは鯖移転だってことがわかるように書いたほうがいいんじゃないの
移転先で生きてるわけだし
これだと普通の過去スレと見分けがつかない ■>>2-のようにアンカーにハイフンがつきそのあとに数字がないと
アンカーそのものが無効になる不具合 何と2ちゃんねるのbbs.cgiで公式にサポートされているのは、
つまり、書き込み時に dat 内にリンクとして埋め込まれるのは、
>>mmm
と、
>>mmm-nnn
の2パターンだけなのです。
bbs.cgi は、わざわざそのように書かれています。
つまり右側に数字がないのは、アンカーではないことになります。
昨年 bbs.cgi をきっちり読むまで、
実は私もこのことは知りませんでした。はい。 read.cgi っていつまで test フォルダに入ってるの? >>500
たぶん、ずーーーっと。
あらゆるプログラムがtestだと思い込んでいるです。
datのフォーマット同様、もう変えるのは(りゃ。 >>489
前は>>2-は>>2のアンカーとして機能してなかったっけ(ハイフンが黒になる) >>501
今日も実験、明日も、そしてあさっても(りゃ。むぎゅ。
一応書くと、アンカーは bbs.cgi だから。。 >>502
んーむ。
いずれにせよこれは、bbs.cgi の問題ですね(>>503 のとおり)。
そっちにリンク入れておくです。 >>501
逆に言えば、新スキームを導入することができたら
配置を変えられるって考えていいかな?
板名.2ch.net/read.cgi/スレ/ とか >逆に言えば、新スキームを導入することができたら
めんどくさがって実行しない、に一票。 >>506
現に困ってる人は(あまり)いないし、うrlがカコワルイ程度だからねー
個人的には、板移転時のキレイさを鑑みて、板毎virtual host化
してほしいな〜と。DNS更新もメンドくさくなくなったようですし
そこんところどうなんでしょう? 理想は、
板トップ
http://2ch.net/board/
スレは
http://2ch.net/board/key/
雪だるまサーバ+read.cgiにPATH_INFOを使えばいいんだ!
(かなり面倒くさいでしょうが >雪だるまサーバ+read.cgiにPATH_INFOを使えばいいんだ!
>(かなり面倒くさいでしょうが
めんどk(ry 見た目はともかくURL短くすればかなり資源の節約になるんでは ソースorファイル自体を公開。
まずはそれからだ。 そうそう、gz圧縮されてない9桁keyの過去ログを、read.cgiが
探せなくなってるんだよね。
全体的に。 read.cgi ver 05.0.2.6
live22x 系(雪だるま)で、read.cgi 動作ホストを部分的にするための準備工事。
具体的にはリンクに使用するホスト名を、live22xN.2ch.net のどれで指定しても、
live22x.2ch.net になるようにするコードを追加。
これで、mod_proxy で read.cgi 動作ホストを限定させることが可能になるはず。
こうすれば、全フロントに dat を rsync する必要がなくなるはず。
というもくろみで。
# offlaw.cgi も、mod_proxy で同じ設定をする必要あり。 で、なぜ >>518 の工事が必要になるかというと、
ProxyPass /test/read.cgi/ http://live22x2.2ch.net/test/read.cgi/
ProxyPassReverse /test/read.cgi/ http://live22x2.2ch.net/test/read.cgi/
といった指定をして、live22x2 に read.cgi を集めようとした場合、
read.cgi に渡されるホスト名が live22x2.2ch.net になってしまい、
上のほうの
■掲示板に戻る■ 全部 1- 最新50
のリンクに入るホスト名も、そのままだと live22x2 になってしまうため。 …というか、ここにホスト名って、ほんとは要らない、、、のかな。
ま、いっか。
今は考えないでおこうっと。
おふろ入ってきます。 あとは、rsync の仕組みを変える(多段化)とかかなぁ。
過去ログをみつけるところが問題なわけだから。 ということで >>518 はあまり意味がないので、
追加したところを #if 0 〜 #endif で囲んでおこう。 http://qb5.2ch.net/test/read.cgi/operate/1145615267/443-453n
get.cgi の処理を 2ch 各鯖でやる部分(フロントエンド)と
p.2ch.io でやる部分(バックエンド)に分けるのも一案かな.
あるいは,もっと単純に mod_proxy + mod_cache などで
get.cgi の出力をキャッシュさせるって手も. 「関連キーワード」を上部ではなく本文中でリンクさせるとか.
----------------------------------------------------------------------
var keywords = ["麻", "豆腐", "婆", "operate", "感じ", "讃岐", "板"],
dds = document.getElementsByTagName("dd");
for (var i = 0; i < dds.length; i++)
for (var text = dds[i].firstChild; text; text = text.nextSibling) {
if (!text.data)
continue;
for (var j = 0, k; j < keywords.length; j++)
if ((k = text.data.indexOf(keywords[j])) >= 0) {
var a = document.createElement("a"), word = text.splitText(k);
word.splitText(keywords[j].length);
a.href = "http://find.2ch.net/?BBS=ALL&TYPE=TITLE&ENCODING=UTF-8&STR=" + encodeURIComponent(keywords[j]);
a.target = "_blank";
a.title = "関連キーワード";
a.style.borderBottom = "1px dotted black";
a.style.color = "black";
a.style.textDecoration = "none";
a.appendChild(document.createTextNode(word.data));
dds[i].replaceChild(a, word);
}
}
----------------------------------------------------------------------
この場合,JavaScript を入れるのは一番下に.それによる副次的効果として,
p.2ch.io が重くても表示への影響を軽減できる,ということも. read.cgi ver 05.0.4.1 2006/06/07
bbs.cgi再開発プロジェクト7
http://qb5.2ch.net/test/read.cgi/operate/1130918407/970
に対応。 で、例の機能をオンにしないといかんのか。< 管理人指定のやつだけ >>534 は既に対応済みだった模様。私がいじる前の状態に戻した。 この時間帯でもつぶれるようなので、
if 文を一つ入れて、キーワードを表示するサーバを制限した。
基本的に、管理人がオンにしたサーバだけになったはず。 read.cgiでNFSマウントしているディレクトリ配下に
アクセスしている部分を、mod_proxy化できれば、雪だるまの
フロントが詰まる現象はなくなるのかな?
なあ、俺になんか手伝えることないか?みんなのがんばり見てたら自分も何かしたくなってきた。 とりあえず、前スレ読んだら言語はCで開発みたいだけど、コンパイラは何使ってるの? 警察や自衛隊以外は 銃を持たせるなという法律がほしい
まじ 何考えてんだろ今の条約って sageやfusianaの判定は1バイト単位で良いけどread.cgiの変換は2バイト文字対応じゃないと困るな
JaneDoeは自前で処理できるから良いけど ぁ・・・ぁのう・・・SEX!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! http://sunos.saita.ma/mod_cgidso.html
dso-example.cを見るに、Last-ModifiedとかETagとか304の実装は簡単そう。 http://qb5.2ch.net/test/read.cgi/operate/1149664022/81-n あたりの話.
例えば read.cgi 出力を mod_cache でキャッシュするとかいうことをやるとなれば,
Last-Mod 吐かないとキャッシュは正常に機能しないかと. 利用者側としては、Last-Modifiedが役立つ環境があって、
2ch側としては、入れたら困る理由がないのであれば、
入れちゃえばいいじゃん、と単純に思うのであった。 おお、途中送信
負荷が高くなると人大杉が発動するってことは、read.cgiが呼ばれること自体だけじゃなくて
read.cgiの処理そのものが負荷になるということなんでしょ。
そこで If-Modified-Sinceとか読み取って304を返せば負荷軽減になるってことだよな。
Last-Modifiedを返すだけで、そもそもリクエストが少なくなったり、途中のなんらかの
プロキシとかのキャッシュに正常に蓄えられるようになるし、>>549みたいなこともあるし、いいことだらけ。 >>553 それは bbs.cgi が生成する index.html の問題ですね.
例えば /BE:(\d+)-(\S*)/ のような regex で BE のデータを抽出した場合
<font color=...> 内のスペースのところでちょん切れるのが原因なんだろうけど,
まぁいずれにせよ,最低限 <font> タグ直接埋め込みはやめた方がいいような.
カラフルに修飾するのは be.js が受け持ちますよ,ってことで...... ここじゃ騒ぎが大きくなりすぎや! ガッツ石松がかぎつける前に場所を変えるで!おめぇらついて来い! ここじゃ騒ぎが大きくなりすぎや! ガッツ石松がかぎつける前に場所を変えるで!おめぇらついて来い!
>>553-554
ふむ、、、。
bbs.cgi 側でごにょごにょってかんじで。 2chブラウザに付けたいのですが
2chのread.cgiのソースは公開していないのですよね?
read.cgiってC言語で書かれているんですね
知らなかった… http://pc8.2ch.net/test/read.cgi/mysv/1141810775/951
ap_rputs() を使ってるとこをちょっと工夫すると
約1.4倍高速化するらしいですよ。(ソースコード有り) read.cgi の場合その前に最適化すべき所があるような気がしますけど... ■ このスレッドは過去ログ倉庫に格納されています