【Project peko】2ch特化型サーバ構築作戦 Part13
レス数が950を超えています。1000を超えると書き込みができなくなります。
>>889
壊れるの早いですね・・・IDEってこんなものですか?
それともメーカーとかロットとかのアレですか?
保障期間とかあるのかなヾ('-')ノ RAID5ってハードウェア的な障害には強くなりますけど
「pc2間違って消しちゃいました」みたいな事故には無力ですよね #4 => #3 (以前交換してhot spareになっていたもの)へのデータコピー完了。
902を立ち上げてもらうよう手配します。 >>892
お疲れです。( ´・ω・`)_且~~ お茶おいておきます JimさんとQしましたが、どうも素直に立ち上がらないようなので、
現地の明日以降に対応の見込みです。
Sumaそのものは正常なので、データは大丈夫なはず。
ところで、live8ば >>895
おつですー
httpd は立ち上がったような(^-^) 大丈夫みたいすね。
#4 ドライブを交換してもらうように、Jimさんに手配しました。 【漫画アニメ系】comic4が重い重い重い重い重い重い×5
http://qb5.2ch.net/test/read.cgi/operate/1086507653/136
136 名前:root ★[sage] 投稿日:04/06/06 19:22 ID:???
どうも、そういう例はたまにあるようで。
http://ns1.php.gr.jp/pipermail/php-users/2004-May/022181.html
ということで、Apache+PHPの問題もあるのか。< c/comic4
で、特に携帯サイトの場合swap outさせちゃいかんということらしい。
自分で自分の首を絞めることになる模様。
【漫画アニメ系】comic4が重い重い重い重い重い重い×5
http://qb5.2ch.net/test/read.cgi/operate/1086507653/395-416 つーか(゚O゚)あ!パッチに拘る理由が知りたいなぐへへ、 さて、無碍にswapさせないだけではうまくないと。
今の戦力では、やっぱり限界なのかな。 httpdを定期的にリブートして、メモリ開放させるって荒業はどうかな? >>905
それはつまり、MaxRequestsPerChildをすごく少なくするということかしら。
(一時期試して確かに効果あったけど、、、) i.i2ch.netは、毎時 httpdをrestartさせている。
激重になった時に、それで復活したので、多少は効果あるのかな〜と思って。 MemTotal: 1550360 kB
MemFree: 73548 kB
/usr/sbin/apachectl graceful をした後
MemTotal: 1550360 kB
MemFree: 217156 kB ありそうすね。
【漫画アニメ系】comic4が重い重い重い重い重い重い×5
http://qb5.2ch.net/test/read.cgi/operate/1086507653/590
590 名前:root ★[sage] 投稿日:04/06/07 01:12 ID:???
サーバ数: 384 => 256
MaxRequestsPerChild 1000 => 100
にしてみた。
swapは相変わらず禁止のまま。 うまくいってそうな予感。
>>900 のリンク先にもそんな話があるような。 そういえば、 oyster243.peko.2ch.net (oyster243.maido3.com) では、現状 uptime 計測は行っていませんですよね? 902 が止まってたみたいですね(過去形)Mon Jun 7 16:42:13 - Mon Jun 7 17:06:04(JST)
LA もちょと高かったみたい。
またぶっこ抜きだったのかな? >>915
kernel panicして、自力で立ち上がったもより。 >>916
AMD64とFreeBSDは、現状では相性悪いのですか?ヾ('-')ノ さて、不安定な原因がhardだと仮定して、Jimさんが忙しくそちら方面であまり動けない、ということなら
Jimさんをさしおいてこちらがおせっかいを焼いてもひょっとしていいのかなぁ?と考えてしまう。。。
Polyの日本語サイトのメアドが日本語可だったら
「完成品の2200A、2201S及びEasy Orderの2200Sの中身のマザボはどれよ?」
「それらにマザボメーカで出しているBIOSを突っ込んでも平気か?」
と訊くだけなら訊いておいたほうがあとでいろいろやりやすいと思うけど、どうかなぁ?? /usr/ports/dns/djbdnsでWITH_PERSISTENT_MMAPなんていうknobが出来ていたんだね。
参照
http://marc.theaimsgroup.com/?l=djbdns&m=108229203212517&w=2
tinydnsでいろいろとサービスしている2chだったら結構効くかも >>920
おもしろいすね。これだけで、こんなに限界上がるですか。 oyster902 また墜ちちゃったみたいですね。
リブート要請はしておくべきでしょうか? こちらでいいのかな?
news10がoyster902ではなく、he.netを向いてるんですが‥‥。
$ dig news10.2ch.net a
;; ANSWER SECTION:
news10.2ch.net. 3m6s IN A 65.19.155.154
>>924
君が行くべき場所は、ISPのサポート窓口 さすがに ISP では何も出来ないかと思われ(w
$ dig @ns1.maido3.com news10.2ch.net a
; <<>> DiG 8.3 <<>> @ns1.maido3.com news10.2ch.net a
; (1 server found)
;; res options: init recurs defnam dnsrch
;; got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 4
;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 2, ADDITIONAL: 2
;; QUERY SECTION:
;; news10.2ch.net, type = A, class = IN
;; ANSWER SECTION:
news10.2ch.net. 5M IN A 65.19.155.154
;; AUTHORITY SECTION:
2ch.net. 5M IN NS ns1.maido3.com.
2ch.net. 5M IN NS ns2.maido3.com.
;; ADDITIONAL SECTION:
ns1.maido3.com. 3D IN A 206.223.148.254
ns2.maido3.com. 3D IN A 206.223.147.254
news10.peko.2ch.net も未設定なのでいずれは変更されるでしょう(^-^) >>926
え… あ、うわぁ、恥ずかすぃ。脊髄反射レスしてもうた。
Out Of 眼中って言われそうやな。 >>927
Do not disturb. ちゃうちゃう
Do not mind. (^-^) >>930
OS変えたり、裏で極秘裏にやってますヾ('-')ノ
いま2chはTRONで動いてますよ('-')b
rootさんガンバ >>924-927
tv5の追加とともに、DNSの変更を依頼しておくです。
いずれもmemoriesをポイントします。
以下、よろしくお願いします。
(旧)
+news10.2ch.net:65.19.155.154
(新)
+news10.2ch.net:38.114.137.227
+tv5.2ch.net:38.114.137.227 >>933
tv5につながるようになりました。ところで、
http://tv5.2ch.net/morningcoffee/dat/
liveなdat残しておくんですか? >>932
rootさん無理しないで下さいね〜ヾ('-')ノ
2chの鯖が落ち様がいずれFOXesさんが治すでしょうが、
rootさんはお一人なので… >>936
同じ顔文字使ってる人が居る・・・ヾ('-')ノ ぜひ rootさんこんばんはーヾ('-')ノ の人にトリップをつけてもらいたいとか思ったり キャップ持ちが言うのならともかく名無しのトリップなしが
人に対してそんなことゆうてもなあ >>940
彼の正式名称はつばさタンだよ。
吸収新幹線のつばさに似てるのでつばさタン。 >>942
「つばさ」かな
「つばさ」じゃないよ、「つばめ」だよ 無理に保守せんでもよろし
海門が新製品投入と見出しだけ見たが何かいいネタありましたか? ns1.maido3.comとns2.maido3.comって両方ともPIEだよね。
PIEが落ちるとsports2にも繋がらないってのはアレだから、
もう一個コンテンツサーバ設置できないかなー NSレコードとAレコードのTTLを長くすれば
そこまでしなくても良いかも。
dig @ns1.maido3.com 2ch.net ns
;; ANSWER SECTION:
2ch.net. 5M IN NS ns1.maido3.com.
2ch.net. 5M IN NS ns2.maido3.com. >>950
これ(2ch.netのNSのTTL)が300secなのはたしかにいまいちすね。
maido3.comのNS(下記)のように、glueと同じ259200がいいと思われ。
$ dig +norec -t ns maido3.com @ns1.maido3.com.
; <<>> DiG 9.3.0beta4 <<>> +norec -t ns maido3.com @ns1.maido3.com.
;; global options: printcmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 52168
;; flags: qr aa; QUERY: 1, ANSWER: 2, AUTHORITY: 0, ADDITIONAL: 2
;; QUESTION SECTION:
;maido3.com. IN NS
;; ANSWER SECTION:
maido3.com. 259200 IN NS ns1.maido3.com.
maido3.com. 259200 IN NS ns2.maido3.com.
;; ADDITIONAL SECTION:
ns1.maido3.com. 259200 IN A 206.223.148.254
ns2.maido3.com. 259200 IN A 206.223.147.254
;; Query time: 218 msec
;; SERVER: 206.223.148.254#53(ns1.maido3.com.)
;; WHEN: Thu Jun 17 12:12:17 2004
;; MSG SIZE rcvd: 96 ここにも貼っておこうと。
read.cgi再開発スレ
http://qb5.2ch.net/test/read.cgi/operate/1087199303/49
49 名前:root ★[] 投稿日:04/06/17 12:04 ID:???
>>16 で言及した、
mmap()を使用しないread.cgiをgame6サーバに実験的に入れてみた。
これでしばらく実験してみるということで。 もうご存じでしたらスマソ
http://qb5.2ch.net/test/read.cgi/operate/1087192862/745,762
745 名前:あいとまこと [sage] 投稿日:04/06/17(木) 02:06 ID:RkTSpuVo
sports2.2ch.netのDNSのTTLを増やしたほうがいい気がする。
762 名前: ◆BDFCNV1.to [sage] 投稿日:04/06/17(木) 02:19 ID:OxK2wp5V
>>745
86400 にしてみた。 >>952
というわけで、以下を入れてみた。
read.cgi再開発スレ
http://qb5.2ch.net/test/read.cgi/operate/1087199303/52
52 名前:root ★[] 投稿日:04/06/18 03:43 ID:???
20日以上動いていたgame6が、read.cgiを上げたら半日で死にました。
mmap()ではなかったと。
ということで、
live8(read.cgiを動かしている)とcomic4(携帯の負荷に耐えている)で実績のある、
以下の設定を追加してみた。
(従来)
<IfModule prefork.c>
StartServers 64
MinSpareServers 5
MaxSpareServers 32
ServerLimit 256
MaxClients 256
MaxRequestsPerChild 0
</IfModule>
(現在)
<IfModule prefork.c>
StartServers 64
MinSpareServers 5
MaxSpareServers 32
ServerLimit 256
MaxClients 256
MaxRequestsPerChild 100000 <= 変更
MaxMemFree 2048 <= 追加
</IfModule> >>954
そこを追加したり変更したりすると
どんな期待が持てたりするんですか? >>955
MaxRequestsPerChild は、ここで書いた回数だけリクエストを処理すると、
httpdプロセスが再起動します。これで、メモリが開放されることが期待できます。
c.2ch.netではこれを入れたおかげで、異常なスワップ消費によるハングアップ
(例のswap_pagerエラー)が出なくなりました。
MaxMemFreeは、Apacheのメモリアロケータが保持することができる
メモリを制限するものです。これで、httpdがどんどんメモリをつかんでしまうことを
抑制します。これもc.2ch.netのチューニングでわかったノウハウです。
これを入れた上で、read.cgiを動かしはじめたです。< live8/live9
参考: http://ns1.php.gr.jp/pipermail/php-users/2004-May/022181.html ちなみに、c/comic4についてはこれの131あたりから。
【漫画アニメ系】comic4が重い重い重い重い重い重い×5
http://qb5.2ch.net/test/read.cgi/operate/1086507653/ (dat落ち) >>958
乙です。
昨日(今朝)のgame6突然死ですが、例の901-244シリアル直結
作戦でも歯が立たなかったんでしょうか?
http://qb5.2ch.net/test/read.cgi/operate/1084429098/444 まだハードのせいにしてごまかそうとしているとは恐れ入った。
Jimさんも「日本人ってこんなんばっかし」とあきれ顔。 comic4は、/home (掲示板システム)のディスクI/Oの詰まりが原因でした。
datキャッシュと携帯との遅いI/Oの影響がもろに出たかんじ。
できるだけこうならないようにチューニングはしているのですが、
何らかのタイミングで詰まった模様。
ということで、掲示板以外のI/O処理(バックアップ等)を一時的にとめます。 >>959
そういえばと思い出して、tipコマンドでつないでいざDDBに落とそうとしたら、
options DDBとoptions BREAK_TO_DEBUGGERが
game6で有効になっていなかったことに気づきました。
仕方なく通常のリブート要請して改めてチェックしてみたところ、通常の
ログインプロンプトも来ないようです(gettyは動かしている)。
シリアルケーブルが抜けている状態かもしれません。
別途確認してみます。 ということで、リモートからデバッガに落とせない状態なので、
いったんgame6のread.cgiを止めます。 なんとなくなんですが、不具合の原因で
BBQなどの管理システムとの衝突の可能性(いわゆる相性)ってありえますかね。 なんか自分で>>964を読んでいてもわけわかめですわ。スマソ。
いわゆる2chが投入している複数鯖を介している各種システムが
システムクラッシュを起こすような悪さをしていないか、ということ。
read.cgiをとめている状態ならば安定していることを考慮すると、
read,cgiでコールしていてdat直読みでコールしていない関数の
いづれかが犯人かもしれないってことです。 >>966
とはいえ、read.cgiにシステムクラッシュを引き起こす
致命的なバグが潜んでいる可能性もありえますがね。
その説でいくとわかっていることは
「mmap()は犯人ではなかった」ということだけ。 >>967
今明らかになっているのは、
http://qb5.2ch.net/test/read.cgi/operate/1087199303/53
にあるように、apache-2.0.xのCGI周りにメモりリークの問題がある
ということだけ。この問題は、最悪のケースで、CGIの出力4096バ
イトごとに32バイトずつのメモリがリークするというもの。
なので、apacheの設定変更で改善の兆しが見えるということは、
メモりリークの影響がシステム陥落の引き金の一つになっている
らしいことはうっすらと見えてきた。
read.cgiを有効にしていると、これまたシステム全体が落ちやすくなる。
ということは、read.cgiも引き金の一つのようだ。ただし、read.cgiを
動かしただけで落ちるわけじゃないので、read.cgiが直接システムを
落としているわけではない。古いread.cgiのソースを見る限り、
read.cgiはDATファイルをmmap()し、要求された部分をhtmlソースと
して出力するCGIプログラムで、特徴としては、実行終了までDAT
ファイルをmmap()し続けるというあたり。つまり、プロセス終了まで
の間、仮想メモリをDATファイルサイズ以上握りっぱなしになる。
なので、処理中のread.cgiプロセスが溜まると、仮想メモリの消費
量が増える。
fox.cgiもたしか仮想メモリを消費しまくるものだったように記憶している。
以上から乱暴に予想すると、FreeBSDの仮想メモリ周りにバグが
いるんじゃないかな。実メモリが不足し始めるあたりで落ちている
のかも。……とすると、mmap()版と非mmap()版のread.cgiの影響
はシステムへの負荷のかけ具合という点でやや違いがある可能
性はある。 >実メモリが不足し始めるあたりで落ちている
これは肌で感じました。 >969
>969
オフィシャル見ると今月だけもで重要な修正かなり入ってるようですね。
ttp://www.freebsd.org/cgi/query-pr-summary.cgi >>968
なるほど。この線は「本筋」である気がします。
i386(banana)は同じ5.2.1Rでも概ね安定に動いているので、
amd64版で特に顕在化する問題であるということは考えられます。
メモリ2Gや3Gのマシンが、4Gのマシンより不安定になるというのも、
> 実メモリが不足し始めるあたりで落ちている
というのを裏付けている気がします。 >>968
なるほど。
実を言うと最近はうっすらとしか状況を見ていなかったので
よくわかっていなかったんですが・・・・w
FreeBSDとapache両方でパッチあての必要がある悪寒。
というわけで>>968を某スレへ投げておきます。 短期的に取れそうな対策としては、
- メモり不足に陥らないためにapacheの設定をつめる。
- read.cgiが暴走してたりしないかチェックする。
- read.cgiを、なるべく早めにmunmap()するように書き換える。
- 敗北感が漂うけれど、シングルプロセッサ設定を試して見る。
comic4の場合、重くなっても最終的に立ち直ることが多いあたりに
何かヒントがありそう。 - TimeOutのデフォルト300秒は多分長すぎるので、思い切って短縮。
- KeepAlive Off。
あたりも効くかも。 >>976
#
# Timeout: The number of seconds before receives and sends time out.
#
Timeout 300
なるほど、これを短くするのは意味がありそうですね。
特に携帯相手とかだと。
KeepAlive Offは既に全pekoサーバで実施済みです。 >>977
さっそく、c.2ch.netでTimeoutを300 => 30にしてみた。
【漫画アニメ系】comic4が重い重い重い重い重い×6【もうダメぽ】
http://qb5.2ch.net/test/read.cgi/operate/1087641975/80-91 ということで、c/comic4のTimeoutを20に再設定。
【漫画アニメ系】comic4が重い重い重い重い重い×6【もうダメぽ】
http://qb5.2ch.net/test/read.cgi/operate/1087641975/105-110
105 名前:root ★[sage] 投稿日:04/06/19 23:13 ID:???
詰まってきたので、Timeoutを30=>20にしてみた。
これ以上短くすると、ちょっと副作用がありそうだなぁ。
110 名前:root ★[sage] 投稿日:04/06/19 23:27 ID:???
今日はこれでしばらく様子見してみようかなと。< c
このTimeoutは、
・クライアントがつながってからGET要求を受け取るまで待機する時間
・POSTまたはPUT要求時にTCPパケットを受け取るまで待機する時間
・TCPパケットに応答するACKを受け取るまで待機する時間
だから、携帯がいくら遅いといっても、10秒ぐらいにまではしてもいいかも。 あぼーん過去ログ再構成プロジェクト
http://qb5.2ch.net/test/read.cgi/operate/1080237257/177-180
ということで、memoriesの全ホストについて
残っていたライブdatを全部dat落ちさせました。(174124スレッド)
また、>>954 の設定を追加しました。 >>980
乙でーす。
240 名前: ◆BFzK/mtqM2 投稿日:04/06/12 15:32 ID:4m0m2MQA
すみません。
移転した鯖の携帯用ページが生きています。
確認できたのは、
【etc】
http://etc.2ch.net/utu/i/
【comic2】
http://comic2.2ch.net/rcomic/i/
その他の旧鯖(現在はmemories上)も同様な気がします。。。。
この辺もそのうち直してほしいな。。。 >>979 続き。
それでもピーク時間には詰まってしまい、LAが3ぐらいなのに全然つながらない状態となったため、
(newsplus/mnewsplus等のニュース系は携帯読者が多い)
思い切ってTimeoutを5秒にしてみた。
>>981
これは具体的にどうすればいいのかしら。 >>982
PCと同様に新しい鯖へのリダイレクトがよいです。
>>985
了解です。
いよいよ、あれに対応するのかな。 レス数が950を超えています。1000を超えると書き込みができなくなります。