X

bbs.cgi再開発プロジェクト5

レス数が1000を超えています。これ以上書き込みはできません。
04/12/20 07:38:07ID:KYFJjC4V
peko鯖の稼動によりボトルネックの一つである事がより明らかになった
bbs.cgi作り直しプロジェクトです。

【開発環境の工事現場】
また挑戦。@2ch掲示板  http://dso.2ch.net/myanmar/
また挑戦2。@2ch掲示板 http://dso.2ch.net/yangon/

関連スレなどは >>2-5 くらい
NGNG
>>900
それ公開したら、書き込む前にID分かるようになるんだっけ?
902動け動けウゴウゴ2ちゃんねる
垢版 |
NGNG
っていうかIDの算出方法そのものも教えて下さい><
2005/04/02(土) 14:27:57ID:pMcvTIuz0
>>900
そこはだめよん 見ちゃ駄目えっちぃ
904動け動けウゴウゴ2ちゃんねる
垢版 |
2005/04/02(土) 14:31:26ID:Ocdke76A0
ついでに彼女の作り方も教えてください
905FOX ★
垢版 |
2005/04/02(土) 14:32:25ID:???0
>>902
そんなの公開されてるでしょ
というかスレ上で公開でみんなでわいわいやったんだから
2005/04/02(土) 14:33:25ID:pNLZJZ+30
>>904
ヒント:http://ex10.2ch.net/news4vip/
2005/04/02(土) 14:33:35ID:SO0VkQYZ0
>>899
故意と言っても数分程度しかずらすことは出来ないのですが、先ほどの内容で説明しますと・・・

まず、サーバに接続して、HTTPのヘッダ情報を送ります↓

POST /test/bbs.cgi HTTP/1.0
Host: qb5.2ch.net
Content-length: 129
Referer: http://qb5.2ch.net/operate/
User-Agent: Monazilla/1.00
Cookie: PON=****.***.co.jp; expires=Friday, 01-Jan-2010 00:00:00 GMT; path=/
Connection: close


↑ここまで送ると書き込み時間が決定します。
その後、↓の内容を時間をかけて送信すると、その時間差が生じて書き込まれてしまう。

bbs=operate&key=1111551639&time=1104688508&submit=%8f%91%82%ab%8d%9e%82%de&FROM=&mail=sage&MESSAGE=%82%b1%82%f1%82%c8%8a%b4%82%b6

ただ、↑の情報を送信している間に誰かが書きこまないと、時間がずれているか分からないです。
とりあえず、これだけのことなんですが。
908動け動けウゴウゴ2ちゃんねる
垢版 |
2005/04/02(土) 14:33:51ID:iH9/6ZL10
ひろゆきおすすめのエロゲ
909ひろゆき@どうやら管理人 ★
垢版 |
NGNG
コネクションを引っ張るんですかぁ。
910桶屋
垢版 |
2005/04/02(土) 14:36:22ID:0teWHclu0
>>907
低速回線環境(PHSなど)と高速回線環境(FTTHなど)が混じったときの
タイムマシーン現象に似せているわけですね。
少なくともこの現象は、もう何年も前からありました。
911桶屋
垢版 |
2005/04/02(土) 14:38:10ID:0teWHclu0
TCPのパケットを故意に分割して、タイムアウトするまで引っ張るという感じですね。
2005/04/02(土) 14:42:57ID:SO0VkQYZ0
>>909-911
そうです。ただ、これによって著しく不利益が生じるわけではないと
思うので、特に問題ではないですよね。

実際、この方法でコネクションを引っ張り過ぎるとエラーで
切断/書き込まれないようなので最高でも数十分?くらいかな。
913root▲ ★
垢版 |
2005/04/02(土) 14:53:05ID:???0
コネクション引っ張る(= 受付嬢を占有する)のはサーバにとっては、コスト高いですね。
だって、受付の人数って決まっているし。

遅い携帯が受付を占領してhttpdがまずしくなるのと、おなじりくつかと。

というかそうか、こういう場合に遠慮なく切っちゃうようにタイムアウト入れるのは、
効果あるのか。
914動け動けウゴウゴ2ちゃんねる
垢版 |
2005/04/02(土) 14:53:54ID:eTnuj2dr0
>>913
今からやって遊ぼうと思ってたのに
NGNG
切っちゃっていいんじゃないですか?
数十分も引っ張って迷惑するのは投票所w
916root▲ ★
垢版 |
NGNG
ちなみに、携帯系サーバは既にTimeout 5にしてあります。
相当効果あったと、記憶しています。

#
# Timeout: The number of seconds before receives and sends time out.
#
#Timeout 300
Timeout 5
917桶屋
垢版 |
2005/04/02(土) 14:58:03ID:0teWHclu0
(知っている人は気付いていたのだろうけど)この方法が公になったので、
同じ事を利用してリソースを食いつぶそうという愉快犯が出てくるかもしれない。

タイムアウトを設定する手段は準備しておいた方がいいと思われます。
918桶屋
垢版 |
2005/04/02(土) 14:59:30ID:0teWHclu0
失礼。いつでもコーイということでしたか。(;^ ^
919root▲ ★
垢版 |
NGNG
>>917
まぁ、ステータスログは逐次的にとっているので、
問題になるようなら、ぼちぼち >>916 を掲示板サーバにも入れるってことで。
2005/04/02(土) 15:02:57ID:3Li1OIZq0
重くなると十分単位で書き込みがずれたり
入れ替わったりするですね
921動け動けウゴウゴ2ちゃんねる
垢版 |
2005/04/02(土) 15:32:23ID:eTnuj2dr0
テスト
2005/04/02(土) 18:33:01ID:QzKCtFzJ0
自作PC板の日付表示、ず〜っと、あのままですか?
いゃ、自分はアムダーなんで今のままで良いんですけどね。
2005/04/02(土) 21:20:35ID:tusx0sm10
>>917
時間ずらしは前にもテストスレで(◆MIPS.kHN86さんが?)実験してたから
知っている人は多そう。(少なくとも、自分はそれを見て気付いた。)
2005/04/02(土) 22:06:27ID:SO0VkQYZ0
>>923
2週間くらい前のでしたらきっと自分です。テストスレで試していました。
実況では時間がずれることはよくあるので、この現象自体は皆さん
知っていると思います。
しかし、実際のところ、これには少し準備が必要なわりに反応が鈍いせいか
やってる人を見たことないですね。
NGNG
sage
2005/04/04(月) 22:26:14ID:M3OteeGL0
低負荷時にindex更新頻度を上げるってのはできないんだろうか?
NGNG
ってゆうか、
「3分以上古かったらindex更新」とかにしたら?
index生成って結構処理おっきいと思うんだけど。
NGNG
index作成はbbs.cgiから切り離して、index作成cgiをcronで動かす。
2005/04/05(火) 00:21:52ID:oilIE2a90
cronでもコストが大きいからdaemonにしちゃうとか。
タイマとキューを使って細かく制御できればベター
2005/04/07(木) 11:15:48ID:lCPZLnn30
index と subject.txt はどう違うのでしょうか?
2005/04/07(木) 13:53:31ID:KD+yhJ8u0
>>930
http://qb5.2ch.net/operate/index.html
http://qb5.2ch.net/operate/subject.txt
みたままですけど。
2005/04/07(木) 18:06:21ID:wAvc+1hz0
>>898

2) 各種パラメータ取得

3) パラメータチェック(この処理超巨大) → byebye

これを順番を適切にするだけでかなり違うような希ガス

・軽くて重要なチェック(たとえばBBQ)を前に
・重くてあまりはねる確率の少ないものを真ん中に
・統計用を最後に

といったかんじで。
で、ぜんぶOKになってはじめてdatをひらく、と(もっともこれは既にやっていると思いますが)。
NGNG
1) 適切ってのが具体的にわからない。
2) わかったとしても、順番を並び替えるとたぶん動かないだろう。。。

という二重苦だったりします

BASIC (80年代初頭) で組んであると思ってください。
NGNG
BASIC......ですか、なにもかもなつかしい。
2005/04/07(木) 19:00:07ID:Ji76zELC0
ベーマガ
2005/04/07(木) 19:17:44ID:iL5f+QSR0
1から書き直した方が早かったりするんだろうな
937動け動けウゴウゴ2ちゃんねる
垢版 |
2005/04/08(金) 04:15:58ID:osk4Ld7X0
Fortran77
C(78年)
ADA(79年)
2005/04/08(金) 04:27:25ID:pGOw/V+90
Gmen 75
Carmen 77
NGNG
Konnichiwa 70
940動け動けウゴウゴ2ちゃんねる
垢版 |
2005/04/08(金) 04:35:04ID:w82M2zah0
FOX★風邪治った?
NGNG
歌いまくったら
また喉が・・・
2005/04/08(金) 04:39:35ID:hyNjrlD30
>>939
三波春夫ですかー!
943動け動けウゴウゴ2ちゃんねる
垢版 |
2005/04/08(金) 04:41:07ID:w82M2zah0
じゃあプロフ直しておけよw

2005/04/08(金) 11:12:51ID:kewcw1IJ0
>>940
やべ、「風俗治った」に見えた。
2005/04/08(金) 12:01:14ID:TtyT++Tv0
彼の風俗は直りません。。。
946930
垢版 |
2005/04/08(金) 13:22:31ID:a0Y6OuW80
>>931

subject.txt は、更新順(sage考慮)に並べてある。
index.html はその上位 10 個を HTML 化した、トップのページと。

bbs.cgi は Perl で書かれている。

こんなところであっていますか?
NGNG
全部白紙に戻すような話だけど、
xmlで全掲示板を構成すれば、鯖の負担も少ないし(2ch程度の大規模サーバーだからの話ですが・・・)、容量も負担しない。
上手くいけば、今のdatの3/4の容量削減が出来ると思われ。
read.cgiの再開発プロジェクトの住民に悪いが、read.cgiもいらなくなる。
WebProg板とWeb製作板の住民に協力を依頼すれば、たくさんの住民が食いついてくるし・・・
ひろゆき・root両氏の降臨キボンヌ
>946多分あってる。
2005/04/08(金) 17:46:04ID:AQwRoo140
その論理はちょっとおかしい気が
xmldb(?)で〜
ならまだわかるけど
2005/04/08(金) 17:51:04ID:+8zeIhpi0
高度なネタですね
NGNG
まぁdatや、subject.txtにある、<>が必要なくなるのでw
subject.txtのsubject.csvに変えて<>→,にすれば無問題。
>949氏等へ
専門的な話をしてスマソ。

root氏やFOX氏なら直ぐに話が分かるような気がしますが・・・
とりあえず、管理団の回答を待ってます。
2005/04/08(金) 18:57:32ID:Zqzne5VM0
ひろゆきが理解できなくて没な悪寒
NGNG
>951
ひろゆき氏になんとか説得してみますよ。
2005/04/08(金) 19:30:35ID:AQwRoo140
<dat>
  <res name="動け動けウゴウゴ2ちゃんねる" mail="sage" date="2005/04/08(金) 17:46:04 ID:AQwRoo140">
    その論理はちょっとおかしい気が &lt;br&gt; xmldb(?)で〜 &lt;br&gt; ならまだわかるけど
  </res>
  
<res name="動け動けウゴウゴ2ちゃんねる" mail="sage" date="2005/04/08(金) 17:51:04 ID:+8zeIhpi0">
    高度なネタですね
  </res>

</dat>
954讃岐 ◆IamaVIPdCI
垢版 |
2005/04/08(金) 19:33:01ID:w82M2zah0
>>952
がんばれ
2005/04/08(金) 19:40:35ID:HW4goVuA0
>953そんなかんじで
修正を加えると
<log>
<res num="948" name="動け動けウゴウゴ2ちゃんねる" mail="sage" date="2005/04/08(金)" time="17:46:04" ID="AQwRoo140">
その論理はちょっとおかしい気が <br> xmldb(?)で〜 <br> ならまだわかるけど
</res>

<res num="949" name="動け動けウゴウゴ2ちゃんねる" mail="sage" date="2005/04/08(金)" time="17:51:04" ID="+8zeIhpi0">
高度なネタですね
</res>

</dat>
相談:このような場合、レスアンカーはどのようにすれば 指定したレスに飛ぶんでしょうかね?/スレ番.xml?num="レスNo."でOKでしょうか?
>954あり
言い忘れたけど、HTML化も不要だな。
HTML同然だし。
2005/04/08(金) 19:41:12ID:HW4goVuA0
スマソ修正
</dat>→</log>
957root▲ ★
垢版 |
NGNG
XMLは、いろいろなところで流行りだったりして、
各種フォーマットをそれにするというのは、センスとしてはむろんありえます。

で、もし2ちゃんねるのようなものを一から作るとしたら、
XMLベースでいくというのはかなりありえますが、
既に動いている2ちゃんねるに導入するからには、
「作るに足る大きなメリット」言い換えれば「XML化によって見える果実」が
必要な気がします。

後ろにDBを置きやすいとか、標準形式だからブラウザ作ったりする人が対応しやすいとか、
将来の拡張が容易とか、そのへんのもの*以外*に、何かあるといいかもです。

より、実利的な何かがいいかも。
例えば、10倍負荷に強くなるとか、かける工数に対してメリットが目に見える形で存在するなら、
その気にさせる動機になるかもです。

ここの掲示板は「非互換な形にいきなり内部形式を変える」ことには、かなり軽く動くところがあるので、
果実が甘くておいしいなら「いきなりバサっと導入」は、常にありえるかと。
2005/04/08(金) 19:56:41ID:OO38/7ip0
大幅な仕様変更で専ブラ使えなくなったら困るぞ
2005/04/08(金) 20:11:29ID:Zqzne5VM0
メリット無くてもデメリットさえあってもひろゆきがやるといったらやる悪寒
960讃岐 ◆IamaVIPdCI
垢版 |
2005/04/08(金) 20:21:54ID:w82M2zah0
html同然ってことは●の販売数落ちるかな?
NGNG
常に全レス読み込みか、
2005/04/08(金) 21:10:37ID:AQwRoo140
そうか、Ajaxか…。だがしかし、、、
2005/04/08(金) 21:24:59ID:T5JbhzTr0
>>961
転送量を考えれば XML にしたって
read.cgi かなんかでの行数制限読み込みは必要だろう
2005/04/08(金) 22:58:20ID:WaiFUNZP0
2ちゃんの負荷分散は専ブラによるところが多い。
現在はIEや携帯の負荷を分散させる作戦中。
100%htmlベースの通常の掲示板というのはシステムの増強なしには無理でしょう。
有料化など収益があれば別ですけど。
2005/04/08(金) 23:30:02ID:OLl7UjV20
「bbs.cgiスレでXML化を言い出す奴=Java屋の会社に入った新入社員」
「bbs.cgiスレでMySQL化を言い出す奴=オープンソースWebASPを聞きかじった新入社員」
2005/04/08(金) 23:38:56ID:Ipg27SqJ0
XML化してもハードウエアには優しいかも知れんけど、トラフィック的にはそうでも無いんじゃないの?
967動け動けウゴウゴ2ちゃんねる
垢版 |
2005/04/08(金) 23:51:03ID:YS6rh79X0
XMLの構文解析処理って結構重いんじゃないの?
2005/04/09(土) 01:49:25ID:CXyVIsIc0
libxml2をincludeしてソース書いたことあるか?
2005/04/09(土) 02:06:28ID:UcGzyk1Y0
parser自体まともじゃないのもあるけどな
2005/04/09(土) 04:25:16ID:sHSGqgHa0
>>955
ちょっと要領を得ないのだけど、XML化したとして、そのparseはクライアント側が
やるんでしょうか?XMLをブラウザに丸投げしてブラウザが解釈?
だとするとクライアントの互換性が問題になってくると思う。

サーバーがparseするんであれば、その負荷が馬鹿にならないと思うし、
(Parser作ったことある人なら分かると思うけど、複雑な構文を殻に使った
入れ子のparserってかなり負荷大きい)結局read.cgiがベタデータをparseするのと
何も変わらんので、むしろ負荷は大きくなると思う。

あと、datの容量が減るというのが良く分からないのはどうして?
>>953の形式の方がディスクのリソース食いそうだけど。

ちとXMLについてはほとんど無知なのでおかしな事言ってたらスマソ。
971ひろゆき@どうやら管理人 ★
垢版 |
NGNG
>>965
同意。
2005/04/09(土) 06:00:38ID:ngy7/MVn0
>>950
ネタじゃなくてマジだったのかよw。レスついてるしネタにしとけばいいのに
2005/04/09(土) 08:56:08ID:8Fam87cE0
>971
ひろゆきキタ━━━━━(゚∀゚)━━━━━!!
>957=root氏
今のスレは現在のbbs.cgiを使用して、
新スレは新しいbbs.cgiを使用すれば大丈夫だと思われ。
そして今のスレが全部落ちれば、XMLを本格運用すれば(・∀・)イイ!!と思います。
他のメリット・デメリットにに関して・・・現在調査中。
>970全てクライアント。
互換性:デザインはCSSを使用してるので互換性は問題なし!!
datに付いてる<>←これが不要になる。
<a href="">〜</a>とかHTMLでは必要だけど、XMLは<mail>〜</mail>形式でGJ。
ログも読みやすくなる。(正直、今のDATは見にくい。)
read.cgiの容量も軽くなる。→鯖の負担も軽くなる。
専ブラがどうとかこうとか→実施の一ヶ月ぐらい前に、専ブラの作者にメールで通告。
>967重くなるのはクライアント側。けど体感速度は変わらない。
以上です。
2005/04/09(土) 09:41:18ID:ngy7/MVn0
なんか真性くさいなあ。
> datに付いてる<>←これが不要になる。
これチョトワラタ
2005/04/09(土) 09:45:21ID:rQNkFGbA0
>>973
>>他のメリット・デメリットにに関して・・・現在調査中。
そういうのを調べた上で提案するんだろアホか
つかプレゼンした時あるの?
2005/04/09(土) 09:50:47ID:MlhcJQX70
本気で言ってんですかねぇ。
実際に>955の例とDATのサイズを比較してみたことがあるんかな?
XMLやCSSに対応していないブラウザとか持ち出したら「主要ブラウザで
見れれば問題なし!」とか言うんだろうな…。
2005/04/09(土) 10:39:54ID:+6f1Gyzy0
本7?
2005/04/09(土) 10:54:09ID:8Fam87cE0
>975
DATより軽い等
既出のメリットだけで良いかなぁと思ってやった。
今は反省している。
>976基本的にHTMLと同じだっつーの。
2005/04/09(土) 11:13:41ID:sagvRhrx0
XMLにすると、一般ブラウザ利用者が多ければメリットになりそうな気がするが、2chブラウザにとってはデメリットしかないんじゃないのか。
とにかく、datのファイルサイズが増えるのは確かだと思う。
2005/04/09(土) 11:48:17ID:8Fam87cE0
>979その辺を何とかしてみようかと。
2005/04/09(土) 13:25:40ID:c2mmG4tB0
>>977
ワロタ
2005/04/09(土) 13:43:41ID:MlhcJQX70
>>978 若いねぇ。
>955 のXML部分を拡張子htmlで保存してWebブラウザで開いてみなされ。
その表示でおまいさんが満足できるなら何も言うまい。
で、DATよりディスク容量をくうのは理解できた?
2005/04/09(土) 13:49:34ID:UcGzyk1Y0
クライアント側でparseプラットフォーム汎用って言うとJava2のXercesに落ち着いてしまうわけだがどうよ。重いんじゃね?
2005/04/09(土) 15:46:29ID:KdlBXUSS0
いっそ全部preタグでくくってテキスト出しという手もあるなぁ。
文中のURLとか意味のありそうなとこは専用ブラウザが上手に解釈してあげると。

んでもAAがボロボロになっちゃいそうな予感w
2005/04/09(土) 16:15:23ID:Vqu0krPm0
>>984
preタグだけはやめてくだされー
by au使用者
NGNG
あのさぁ
すでにクッキーの仕様がIE以外無視でしょ?
主要ブラウザとか以前の問題じゃないかしら。

上で出てるけど俺も個人的にXMLに移行する理由がないと思います。。
NGNG
まずはこのスレッドや運用情報板のスナップショットをXML化してどっかにアップしてみるとか・・・
サイズの比較とかもそれで一目瞭然と思うわけだが(^_^;)

ま、XML化する必要があるとは思えんけどね(^_^;)
988(^_^;)
垢版 |
2005/04/09(土) 22:56:03ID:W6DhWZFC0
(^_^;)
2005/04/10(日) 01:25:01ID:hZT4vIn/0
>987
壷が使えなくなるのが嫌だってキッパリ言えばいいのに
2005/04/10(日) 03:17:47ID:0TRD47O20
XMLのデメリットはサイズの肥大化だよ?
2chみたいにフォーマットが決まっている場合、
データ項目の変更も無いし、datで十分だよ
2005/04/10(日) 03:29:20ID:OAZ/pU7d0
>>990
あと、XMLは構文解釈が面倒だしコストかかるから、datの汎用性がなくなると想う。
今の形式はPerlなんかでもさらっといじくれるのが魅力なわけで。

やはりdatの場合は<>SVが効力を発揮する場面でしょ。最近のエンジニアは何でもRDBに
突っ込んだりXML化するのが好きな人多いけど、結局コストが掛かって固定長や
CSVの方がよっぽどマシだったってケースも存在するんだよな。ちょっと愚痴。
2005/04/10(日) 04:10:44ID:W64hpyvp0
テンプレでつ(建てた方がいいのかな?

peko鯖の稼動によりボトルネックの一つである事がより明らかになった
bbs.cgi作り直しプロジェクトです。

【開発環境の工事現場】
また挑戦。@2ch掲示板  http://dso.2ch.net/myanmar/
また挑戦2。@2ch掲示板 http://dso.2ch.net/yangon/

関連スレなどは >>2-5 くらい

【関連スレ】
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17
http://qb5.2ch.net/test/read.cgi/operate/1107376477/
read.cgi再開発スレ Part2
http://qb5.2ch.net/test/read.cgi/operate/1105909861/
◆ 全サーバトリップ統一作戦
http://qb3.2ch.net/test/read.cgi/operate/1067245837/
bby -- スレッド情報一元管理システム構築スレ2
http://qb5.2ch.net/test/read.cgi/operate/1086868799/
【広告・宣伝】Rock54【自動排除】 4
http://qb5.2ch.net/test/read.cgi/operate/1083063122/

【前スレ】
bbs.cgi 再開発プロジェクト
http://qb3.2ch.net/operate/kako/1053/10530/1053067870.html
bbs.cgi再開発プロジェクト2
http://qb3.2ch.net/operate/kako/1069/10691/1069144193.html
bbs.cgi再開発プロジェクト3
http://qb5.2ch.net/operate/kako/1076/10766/1076666901.html
bbs.cgi再開発プロジェクト4
http://qb5.2ch.net/operate/kako/1101/11019/1101984763.html
bbs.cgi再開発プロジェクト5
http://qb5.2ch.net/test/read.cgi/operate/1103495887/
2005/04/10(日) 04:18:17ID:k8/TEzrI0
サイズを気にしてるなら今のdatも作り直したほうがいいんでない?
このスレのdatを適当に削ったら一割以上サイズ減らせたし。
2005/04/10(日) 06:36:02ID:4d8k3TQK0
現行のサイズを気にしてるんじゃなくて、現行よりサイズが増えるのを気にしてるんでしょ。
rootが書いてるように作業量に対してメリットが大きければやるでしょ。
1割減らすメリットが充分大きければやるかと。
NGNG
とりあえずアンカーにリンクつける必要ないんじゃない?
↓これ生成するときにつけたらいいのでは?
http://qb5.2ch.net/operate/html/1103495887.html
どうせread.cgiでは変換するんだから
2005/04/10(日) 14:56:26ID:MhWlPROB0
名前がデフォルト名無しさんの場合はDATに書き込まず、
表示するときにSETTING.TXTから読んで付けるようにしたら?
結構削減されるような気がスルですが。
2005/04/10(日) 16:06:49ID:/RL5lHUA0
それ言うなら日付を元に戻すのが先決かと
2005/04/10(日) 16:13:18ID:a6rtBqIi0
そろそろ次スレか
立ててみるかな
2005/04/10(日) 16:20:35ID:a6rtBqIi0
次スレ
bbs.cgi再開発プロジェクト6
http://qb5.2ch.net/test/read.cgi/operate/1113117347/
2005/04/10(日) 16:27:47ID:XYD7Brtu0
↑乙。そして1000。
レス数が1000を超えています。これ以上書き込みはできません。
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。

ニューススポーツなんでも実況