【Project peko】2ch特化型サーバ構築作戦 Part13
レス数が950を超えています。1000を超えると書き込みができなくなります。
>>869
おっ。
で、とりあえずわかったことは、
mod_mem_cacheの効果は、静的コンテンツに対しては「絶大」だということすね。< c/comic4 >859
つまりミスターの奥さんの副社(長)か
ああ、ローカルネタだって分かってるさ( ｀Д´)ﾉ 【PC】インテルのPCI Express対応チップセット「915、925」は6月21日登場
http://money3.2ch.net/test/read.cgi/bizplus/1086268956/
来年の今ごろ、安い鯖でU320SCSI-2chなんてのが使えるようになってればええですねー
（グラボ用の穴に速いSCSIカードを挿せるようになったりとか） end of he.net
Dear Guys,
As far as I can tell he.net is completely shut down now.
中略
We have moved successfully, and our future is entirely up to us.
Otsu deshita
Jim > We have moved successfully, and our future is entirely up to us.
何となく重いお言葉。。。
ほんにおつですおつです y ¡Ánimo muchacho! otsuする前にmnazilla.orgの移転も頼んでくださいよう Jim (17:10) :
Suma-san has a problem though disc 4 has an error. >>876
<Fri Jun 4 18:21:42 2004>
Slot4 Drive ALERT: Bad Block Encountered - 1CE604B1 (311)
LG:0 NOTICE: Slot4 Starting Media Scan
<Fri Jun 4 21:58:29 2004>
LG:0 NOTICE: Media Scan of Slot4 Completed
<Fri Jun 4 21:58:29 2004>
Slot4 NOTICE:Media Scan Bad Block Recovered-0x1CE604B1
>>878 がログです。
不良ブロックがみつかったためメディアスキャンがかかり、
不良ブロックは一応リカバーされている模様です。
現在Suma側からはすべてのディスクが正常に見えます。
すぐの対応は必要なさそうですが、要注意かと。 すごい数のアクセス、
ごっそり持っていかれてるようで sumaさん、かしこいー
うちも家庭用にsumaほしー
ディスク2台くらいで最低構成だといくら位で買えるの？ヾ('-')ﾉ oyster901(live8,9) の影響を受けているのかな？とも勘ぐってみたり。（その逆かも？） oyster901のLA、185.98ってすごいな oyster902は何かしらの対策必須ですかね・・・？
ディスク耐障害性があるとはいえ、
このままだとドミノ(ry Suma の #4 ディスクで再度エラーが上がった模様。
ホットスペアのディスクに切り替えるオペレーションをこれからやります。 >>889
壊れるの早いですね・・・IDEってこんなものですか？
それともメーカーとかロットとかのアレですか？
保障期間とかあるのかなヾ('-')ﾉ RAID5ってハードウェア的な障害には強くなりますけど
「pc2間違って消しちゃいました」みたいな事故には無力ですよね #4 => #3 (以前交換してhot spareになっていたもの)へのデータコピー完了。
902を立ち上げてもらうよう手配します。 >>892
お疲れです。( ´･ω･`)_且~~ お茶おいておきます JimさんとQしましたが、どうも素直に立ち上がらないようなので、
現地の明日以降に対応の見込みです。
Sumaそのものは正常なので、データは大丈夫なはず。
ところで、live8ば >>895
おつですー
httpd は立ち上がったような(^-^) 大丈夫みたいすね。
#4 ドライブを交換してもらうように、Jimさんに手配しました。 【漫画アニメ系】comic4が重い重い重い重い重い重い×５
http://qb5.2ch.net/test/read.cgi/operate/1086507653/136
136 名前：root ★[sage] 投稿日：04/06/06 19:22 ID:???
どうも、そういう例はたまにあるようで。
http://ns1.php.gr.jp/pipermail/php-users/2004-May/022181.html
ということで、Apache+PHPの問題もあるのか。< c/comic4
で、特に携帯サイトの場合swap outさせちゃいかんということらしい。
自分で自分の首を絞めることになる模様。
【漫画アニメ系】comic4が重い重い重い重い重い重い×５
http://qb5.2ch.net/test/read.cgi/operate/1086507653/395-416 つーか(ﾟOﾟ)あ！パッチに拘る理由が知りたいなぐへへ、 さて、無碍にswapさせないだけではうまくないと。
今の戦力では、やっぱり限界なのかな。 httpdを定期的にリブートして、メモリ開放させるって荒業はどうかな？ >>905
それはつまり、MaxRequestsPerChildをすごく少なくするということかしら。
(一時期試して確かに効果あったけど、、、) i.i2ch.netは、毎時 httpdをrestartさせている。
激重になった時に、それで復活したので、多少は効果あるのかな〜と思って。 MemTotal: 1550360 kB
MemFree: 73548 kB
/usr/sbin/apachectl graceful をした後
MemTotal: 1550360 kB
MemFree: 217156 kB ありそうすね。
【漫画アニメ系】comic4が重い重い重い重い重い重い×５
http://qb5.2ch.net/test/read.cgi/operate/1086507653/590
590 名前：root ★[sage] 投稿日：04/06/07 01:12 ID:???
サーバ数: 384 => 256
MaxRequestsPerChild 1000 => 100
にしてみた。
swapは相変わらず禁止のまま。 うまくいってそうな予感。
>>900 のリンク先にもそんな話があるような。 そういえば、 oyster243.peko.2ch.net (oyster243.maido3.com) では、現状 uptime 計測は行っていませんですよね？ 902 が止まってたみたいですね（過去形）Mon Jun 7 16:42:13 - Mon Jun 7 17:06:04(JST)
LA もちょと高かったみたい。
またぶっこ抜きだったのかな？ >>915
kernel panicして、自力で立ち上がったもより。 >>916
AMD64とFreeBSDは、現状では相性悪いのですか？ヾ('-')ﾉ さて、不安定な原因がhardだと仮定して、Jimさんが忙しくそちら方面であまり動けない、ということなら
Jimさんをさしおいてこちらがおせっかいを焼いてもひょっとしていいのかなぁ？と考えてしまう。。。
Polyの日本語サイトのメアドが日本語可だったら
「完成品の2200A、2201S及びEasy Orderの2200Sの中身のマザボはどれよ？」
「それらにマザボメーカで出しているBIOSを突っ込んでも平気か？」
と訊くだけなら訊いておいたほうがあとでいろいろやりやすいと思うけど、どうかなぁ？？ /usr/ports/dns/djbdnsでWITH_PERSISTENT_MMAPなんていうknobが出来ていたんだね。
参照
http://marc.theaimsgroup.com/?l=djbdns&m=108229203212517&w=2
tinydnsでいろいろとサービスしている2chだったら結構効くかも >>920
おもしろいすね。これだけで、こんなに限界上がるですか。 oyster902 また墜ちちゃったみたいですね。
リブート要請はしておくべきでしょうか？ こちらでいいのかな？
news10がoyster902ではなく、he.netを向いてるんですが‥‥。
$ dig news10.2ch.net a
;; ANSWER SECTION:
news10.2ch.net. 3m6s IN A 65.19.155.154
>>924
君が行くべき場所は、ＩＳＰのサポート窓口 さすがに ISP では何も出来ないかと思われ（ｗ
$ dig @ns1.maido3.com news10.2ch.net a
; <<>> DiG 8.3 <<>> @ns1.maido3.com news10.2ch.net a
; (1 server found)
;; res options: init recurs defnam dnsrch
;; got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 4
;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 2, ADDITIONAL: 2
;; QUERY SECTION:
;; news10.2ch.net, type = A, class = IN
;; ANSWER SECTION:
news10.2ch.net. 5M IN A 65.19.155.154
;; AUTHORITY SECTION:
2ch.net. 5M IN NS ns1.maido3.com.
2ch.net. 5M IN NS ns2.maido3.com.
;; ADDITIONAL SECTION:
ns1.maido3.com. 3D IN A 206.223.148.254
ns2.maido3.com. 3D IN A 206.223.147.254
news10.peko.2ch.net も未設定なのでいずれは変更されるでしょう(^-^) >>926
え… あ、うわぁ、恥ずかすぃ。脊髄反射レスしてもうた。
Ｏｕｔ Ｏｆ 眼中って言われそうやな。 >>927
Do not disturb. ちゃうちゃう
Do not mind. (^-^) >>930
OS変えたり、裏で極秘裏にやってますヾ('-')ﾉ
いま2chはTRONで動いてますよ('-')b
rootさんガンバ >>924-927
tv5の追加とともに、DNSの変更を依頼しておくです。
いずれもmemoriesをポイントします。
以下、よろしくお願いします。
(旧)
+news10.2ch.net:65.19.155.154
(新)
+news10.2ch.net:38.114.137.227
+tv5.2ch.net:38.114.137.227 >>933
tv5につながるようになりました。ところで、
http://tv5.2ch.net/morningcoffee/dat/
liveなdat残しておくんですか？ >>932
rootさん無理しないで下さいね〜ヾ('-')ﾉ
2chの鯖が落ち様がいずれFOXesさんが治すでしょうが、
rootさんはお一人なので… >>936
同じ顔文字使ってる人が居る・・・ヾ('-')ﾉ ぜひ rootさんこんばんはーヾ('-')ﾉ の人にトリップをつけてもらいたいとか思ったり キャップ持ちが言うのならともかく名無しのトリップなしが
人に対してそんなことゆうてもなあ >>940
彼の正式名称はつばさﾀﾝだよ。
吸収新幹線のつばさに似てるのでつばさﾀﾝ。 >>942
「つばさ」かな
「つばさ」じゃないよ、「つばめ」だよ 無理に保守せんでもよろし
海門が新製品投入と見出しだけ見たが何かいいネタありましたか？ ns1.maido3.comとns2.maido3.comって両方ともPIEだよね。
PIEが落ちるとsports2にも繋がらないってのはアレだから、
もう一個コンテンツサーバ設置できないかなー NSレコードとAレコードのTTLを長くすれば
そこまでしなくても良いかも。
dig @ns1.maido3.com 2ch.net ns
;; ANSWER SECTION:
2ch.net. 5M IN NS ns1.maido3.com.
2ch.net. 5M IN NS ns2.maido3.com. >>950
これ(2ch.netのNSのTTL)が300secなのはたしかにいまいちすね。
maido3.comのNS(下記)のように、glueと同じ259200がいいと思われ。
$ dig +norec -t ns maido3.com @ns1.maido3.com.
; <<>> DiG 9.3.0beta4 <<>> +norec -t ns maido3.com @ns1.maido3.com.
;; global options: printcmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 52168
;; flags: qr aa; QUERY: 1, ANSWER: 2, AUTHORITY: 0, ADDITIONAL: 2
;; QUESTION SECTION:
;maido3.com. IN NS
;; ANSWER SECTION:
maido3.com. 259200 IN NS ns1.maido3.com.
maido3.com. 259200 IN NS ns2.maido3.com.
;; ADDITIONAL SECTION:
ns1.maido3.com. 259200 IN A 206.223.148.254
ns2.maido3.com. 259200 IN A 206.223.147.254
;; Query time: 218 msec
;; SERVER: 206.223.148.254#53(ns1.maido3.com.)
;; WHEN: Thu Jun 17 12:12:17 2004
;; MSG SIZE rcvd: 96 ここにも貼っておこうと。
read.cgi再開発スレ
http://qb5.2ch.net/test/read.cgi/operate/1087199303/49
49 名前：root ★[] 投稿日：04/06/17 12:04 ID:???
>>16 で言及した、
mmap()を使用しないread.cgiをgame6サーバに実験的に入れてみた。
これでしばらく実験してみるということで。 もうご存じでしたらスマソ
http://qb5.2ch.net/test/read.cgi/operate/1087192862/745,762
745 名前：あいとまこと [sage] 投稿日：04/06/17(木) 02:06 ID:RkTSpuVo
sports2.2ch.netのDNSのTTLを増やしたほうがいい気がする。
762 名前： ◆BDFCNV1.to [sage] 投稿日：04/06/17(木) 02:19 ID:OxK2wp5V
>>745
86400 にしてみた。 >>952
というわけで、以下を入れてみた。
read.cgi再開発スレ
http://qb5.2ch.net/test/read.cgi/operate/1087199303/52
52 名前：root ★[] 投稿日：04/06/18 03:43 ID:???
20日以上動いていたgame6が、read.cgiを上げたら半日で死にました。
mmap()ではなかったと。
ということで、
live8(read.cgiを動かしている)とcomic4(携帯の負荷に耐えている)で実績のある、
以下の設定を追加してみた。
(従来)
<IfModule prefork.c>
StartServers 64
MinSpareServers 5
MaxSpareServers 32
ServerLimit 256
MaxClients 256
MaxRequestsPerChild 0
</IfModule>
(現在)
<IfModule prefork.c>
StartServers 64
MinSpareServers 5
MaxSpareServers 32
ServerLimit 256
MaxClients 256
MaxRequestsPerChild 100000 <= 変更
MaxMemFree 2048 <= 追加
</IfModule> >>954
そこを追加したり変更したりすると
どんな期待が持てたりするんですか? >>955
MaxRequestsPerChild は、ここで書いた回数だけリクエストを処理すると、
httpdプロセスが再起動します。これで、メモリが開放されることが期待できます。
c.2ch.netではこれを入れたおかげで、異常なスワップ消費によるハングアップ
(例のswap_pagerエラー)が出なくなりました。
MaxMemFreeは、Apacheのメモリアロケータが保持することができる
メモリを制限するものです。これで、httpdがどんどんメモリをつかんでしまうことを
抑制します。これもc.2ch.netのチューニングでわかったノウハウです。
これを入れた上で、read.cgiを動かしはじめたです。< live8/live9
参考: http://ns1.php.gr.jp/pipermail/php-users/2004-May/022181.html ちなみに、c/comic4についてはこれの131あたりから。
【漫画アニメ系】comic4が重い重い重い重い重い重い×５
http://qb5.2ch.net/test/read.cgi/operate/1086507653/ (dat落ち) >>958
乙です。
昨日(今朝)のgame6突然死ですが、例の901-244シリアル直結
作戦でも歯が立たなかったんでしょうか？
http://qb5.2ch.net/test/read.cgi/operate/1084429098/444 まだハードのせいにしてごまかそうとしているとは恐れ入った。
Jimさんも「日本人ってこんなんばっかし」とあきれ顔。 comic4は、/home (掲示板システム)のディスクI/Oの詰まりが原因でした。
datキャッシュと携帯との遅いI/Oの影響がもろに出たかんじ。
できるだけこうならないようにチューニングはしているのですが、
何らかのタイミングで詰まった模様。
ということで、掲示板以外のI/O処理(バックアップ等)を一時的にとめます。 >>959
そういえばと思い出して、tipコマンドでつないでいざDDBに落とそうとしたら、
options DDBとoptions BREAK_TO_DEBUGGERが
game6で有効になっていなかったことに気づきました。
仕方なく通常のリブート要請して改めてチェックしてみたところ、通常の
ログインプロンプトも来ないようです(gettyは動かしている)。
シリアルケーブルが抜けている状態かもしれません。
別途確認してみます。 ということで、リモートからデバッガに落とせない状態なので、
いったんgame6のread.cgiを止めます。 なんとなくなんですが、不具合の原因で
BBQなどの管理システムとの衝突の可能性(いわゆる相性)ってありえますかね。 なんか自分で>>964を読んでいてもわけわかめですわ。スマソ。
いわゆる2chが投入している複数鯖を介している各種システムが
システムクラッシュを起こすような悪さをしていないか、ということ。
read.cgiをとめている状態ならば安定していることを考慮すると、
read,cgiでコールしていてdat直読みでコールしていない関数の
いづれかが犯人かもしれないってことです。 >>966
とはいえ、read.cgiにシステムクラッシュを引き起こす
致命的なバグが潜んでいる可能性もありえますがね。
その説でいくとわかっていることは
「mmap()は犯人ではなかった」ということだけ。 >>967
今明らかになっているのは、
http://qb5.2ch.net/test/read.cgi/operate/1087199303/53
にあるように、apache-2.0.xのCGI周りにメモりリークの問題がある
ということだけ。この問題は、最悪のケースで、CGIの出力4096バ
イトごとに32バイトずつのメモリがリークするというもの。
なので、apacheの設定変更で改善の兆しが見えるということは、
メモりリークの影響がシステム陥落の引き金の一つになっている
らしいことはうっすらと見えてきた。
read.cgiを有効にしていると、これまたシステム全体が落ちやすくなる。
ということは、read.cgiも引き金の一つのようだ。ただし、read.cgiを
動かしただけで落ちるわけじゃないので、read.cgiが直接システムを
落としているわけではない。古いread.cgiのソースを見る限り、
read.cgiはDATファイルをmmap()し、要求された部分をhtmlソースと
して出力するCGIプログラムで、特徴としては、実行終了までDAT
ファイルをmmap()し続けるというあたり。つまり、プロセス終了まで
の間、仮想メモリをDATファイルサイズ以上握りっぱなしになる。
なので、処理中のread.cgiプロセスが溜まると、仮想メモリの消費
量が増える。
fox.cgiもたしか仮想メモリを消費しまくるものだったように記憶している。
以上から乱暴に予想すると、FreeBSDの仮想メモリ周りにバグが
いるんじゃないかな。実メモリが不足し始めるあたりで落ちている
のかも。……とすると、mmap()版と非mmap()版のread.cgiの影響
はシステムへの負荷のかけ具合という点でやや違いがある可能
性はある。 >実メモリが不足し始めるあたりで落ちている
これは肌で感じました。 レス数が950を超えています。1000を超えると書き込みができなくなります。
