X

【Project peko】2ch特化型サーバ構築作戦 Part13

レス数が1000を超えています。これ以上書き込みはできません。
04/05/28 02:23ID:???
uma作戦とpeko作戦について語るスレです。
サーバの新ロケーション、PIEに関する話題もこちらで。

現在の主要なテーマは
・he.net上のoyster鯖のPIEへの移転（ほぼ完了）
・各種バグフィックス
となります。

MRTGによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html

PINKちゃんねるで現在進行中のama作戦については、こちらで。

【Project ama】PINKちゃんねる特化型ｻｰﾊﾞ構築作戦 Part2
http://qb3.2ch.net/test/read.cgi/operate/1082721809/l50

前スレ
【Project peko】2ch特化型サーバ構築作戦 Part12
http://qb5.2ch.net/test/read.cgi/operate/1084429098/

過去ログ一覧
Part1 http://qb3.2ch.net/operate/kako/1052/10529/1052923573.html
Part2 http://qb3.2ch.net/operate/kako/1062/10621/1062137886.html
Part3 http://qb3.2ch.net/operate/kako/1068/10680/1068017802.html
Part4 http://qb3.2ch.net/operate/kako/1074/10741/1074124767.html
Part5 http://qb3.2ch.net/operate/kako/1076/10761/1076162131.html
Part6 http://qb3.2ch.net/operate/kako/1076/10764/1076413123.html
Part7 http://qb3.2ch.net/operate/kako/1076/10767/1076733846.html
Part8 http://qb3.2ch.net/test/read.cgi/operate/1078972549/l50
Part9 http://qb3.2ch.net/test/read.cgi/operate/1080298357/l50
Part10 http://qb3.2ch.net/test/read.cgi/operate/1082125059/l50
Part11 http://qb5.2ch.net/test/read.cgi/operate/1084429098/
923未承諾広告 ◆TWARamEjuA
垢版 |
04/06/10 19:58ID:bT8MK52F
>>922
ひとまず要請出してみます、
04/06/10 21:42ID:OEGVyCcm
こちらでいいのかな？
news10がoyster902ではなく、he.netを向いてるんですが‥‥。

$ dig news10.2ch.net a

;; ANSWER SECTION:
news10.2ch.net. 3m6s IN A 65.19.155.154

04/06/10 23:33ID:aHwMz6Jb
>>924
君が行くべき場所は、ＩＳＰのサポート窓口
926未承諾広告 ◆TWARamEjuA
垢版 |
04/06/10 23:39ID:bT8MK52F
さすがに ISP では何も出来ないかと思われ（ｗ

$ dig @ns1.maido3.com news10.2ch.net a

; <<>> DiG 8.3 <<>> @ns1.maido3.com news10.2ch.net a
; (1 server found)
;; res options: init recurs defnam dnsrch
;; got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 4
;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 2, ADDITIONAL: 2
;; QUERY SECTION:
;; news10.2ch.net, type = A, class = IN

;; ANSWER SECTION:
news10.2ch.net. 5M IN A 65.19.155.154

;; AUTHORITY SECTION:
2ch.net. 5M IN NS ns1.maido3.com.
2ch.net. 5M IN NS ns2.maido3.com.

;; ADDITIONAL SECTION:
ns1.maido3.com. 3D IN A 206.223.148.254
ns2.maido3.com. 3D IN A 206.223.147.254

news10.peko.2ch.net も未設定なのでいずれは変更されるでしょう(^-^)
04/06/10 23:44ID:aHwMz6Jb
>>926
え… あ、うわぁ、恥ずかすぃ。脊髄反射レスしてもうた。
Ｏｕｔ Ｏｆ 眼中って言われそうやな。
928未承諾広告 ◆TWARamEjuA
垢版 |
04/06/10 23:50ID:bT8MK52F
>>927
Do not disturb. ちゃうちゃう
Do not mind. (^-^)
04/06/11 00:21ID:Giet9RDi
どぉっとミミタブ
04/06/11 10:08ID:0CHFTi2T
project pekoは停滞中？
04/06/11 20:40ID:g7RQ6E4W
>>930
OS変えたり、裏で極秘裏にやってますヾ('-')ﾉ

いま2chはTRONで動いてますよ('-')b

rootさんガンバ
932root ★
垢版 |
04/06/11 23:32ID:???
>>924-927
tv5の追加とともに、DNSの変更を依頼しておくです。
いずれもmemoriesをポイントします。

以下、よろしくお願いします。

(旧)
+news10.2ch.net:65.19.155.154

(新)
+news10.2ch.net:38.114.137.227
+tv5.2ch.net:38.114.137.227
04/06/12 16:27ID:???
>>932

done
04/06/12 17:49ID:oDh6/AVT
>>933
tv5につながるようになりました。ところで、
http://tv5.2ch.net/morningcoffee/dat/
liveなdat残しておくんですか？
04/06/13 22:13ID:5BEvRKjm
超漢字対応になったりするのかね
04/06/14 00:10ID:6dutmkYq
>>932
rootさん無理しないで下さいね〜ヾ('-')ﾉ
2chの鯖が落ち様がいずれFOXesさんが治すでしょうが、
rootさんはお一人なので…
04/06/14 01:14ID:QxLxTS+u
>>936
同じ顔文字使ってる人が居る・・・ヾ('-')ﾉ
04/06/14 11:02ID:eOb672mD
（＾_＾;）←(^^;)
04/06/14 20:23ID:E5E3QAzU
ぜひ　rootさんこんばんはーヾ('-')ﾉ　の人にトリップをつけてもらいたいとか思ったり
04/06/14 20:31ID:TfnG0ovx
通称、小顔さんにはトリップがあってもいいね。
04/06/15 13:18ID:HLcGmPLu
キャップ持ちが言うのならともかく名無しのトリップなしが
人に対してそんなことゆうてもなあ
04/06/15 18:37ID:P4t0D/5K
>>940
彼の正式名称はつばさﾀﾝだよ。

吸収新幹線のつばさに似てるのでつばさﾀﾝ。
04/06/15 18:54ID:mSbOzPTa
>>942
「つばさ」かな
「つばさ」じゃないよ、「つばめ」だよ
04/06/16 00:37ID:Dtecayee
絵描き歌？
04/06/16 02:09ID:c9dlZXIp
無理に保守せんでもよろし

海門が新製品投入と見出しだけ見たが何かいいネタありましたか？
04/06/16 08:30ID:GFHxMVrR
>>945
コレだねー。出荷開始はいつなんだろーね？

米Seagate、5GB 1インチHDDなどを含む12製品を発表
http://pcweb.mycom.co.jp/news/2004/06/15/010.html

http://www.seagate.com/cda/newsinfo/newsroom/releases/article/0,1121,2168,00.html
http://www.seagate.com/docs/pdf/marketing/Seagate_Cheetah_15K-4.pdf
04/06/16 10:42ID:1v7Tl2LJ
鯖にとっては海門ｻﾏｻﾏで砂。(−人−)
04/06/17 02:16ID:hqtyTdp2
http://lists.freebsd.org/pipermail/freebsd-alpha/2004-June/001576.html
Demotion of alpha to Tier 2

だって。
04/06/17 02:21ID:4Ye//vy1
ns1.maido3.comとns2.maido3.comって両方ともPIEだよね。
PIEが落ちるとsports2にも繋がらないってのはアレだから、
もう一個コンテンツサーバ設置できないかなー
04/06/17 11:59ID:hiBznBU7
NSレコードとAレコードのTTLを長くすれば
そこまでしなくても良いかも。

dig @ns1.maido3.com 2ch.net ns

;; ANSWER SECTION:
2ch.net.　　5M IN NS　　ns1.maido3.com.
2ch.net.　　5M IN NS　　ns2.maido3.com.
951root ★
垢版 |
04/06/17 12:13ID:???
>>950
これ(2ch.netのNSのTTL)が300secなのはたしかにいまいちすね。
maido3.comのNS(下記)のように、glueと同じ259200がいいと思われ。

$ dig +norec -t ns maido3.com @ns1.maido3.com.

; <<>> DiG 9.3.0beta4 <<>> +norec -t ns maido3.com @ns1.maido3.com.
;; global options: printcmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 52168
;; flags: qr aa; QUERY: 1, ANSWER: 2, AUTHORITY: 0, ADDITIONAL: 2

;; QUESTION SECTION:
;maido3.com. IN NS

;; ANSWER SECTION:
maido3.com. 259200 IN NS ns1.maido3.com.
maido3.com. 259200 IN NS ns2.maido3.com.

;; ADDITIONAL SECTION:
ns1.maido3.com. 259200 IN A 206.223.148.254
ns2.maido3.com. 259200 IN A 206.223.147.254

;; Query time: 218 msec
;; SERVER: 206.223.148.254#53(ns1.maido3.com.)
;; WHEN: Thu Jun 17 12:12:17 2004
;; MSG SIZE rcvd: 96
952root ★
垢版 |
04/06/17 12:14ID:???
ここにも貼っておこうと。

read.cgi再開発スレ
http://qb5.2ch.net/test/read.cgi/operate/1087199303/49
49 名前：root ★[] 投稿日：04/06/17 12:04 ID:???
>>16 で言及した、
mmap()を使用しないread.cgiをgame6サーバに実験的に入れてみた。
これでしばらく実験してみるということで。
04/06/17 12:17ID:RkTSpuVo
もうご存じでしたらスマソ

http://qb5.2ch.net/test/read.cgi/operate/1087192862/745,762

745 名前：あいとまこと [sage] 投稿日：04/06/17(木) 02:06 ID:RkTSpuVo
sports2.2ch.netのDNSのTTLを増やしたほうがいい気がする。

762 名前： ◆BDFCNV1.to [sage] 投稿日：04/06/17(木) 02:19 ID:OxK2wp5V
>>745

86400 にしてみた。
954root ★
垢版 |
04/06/18 03:44ID:???
>>952
というわけで、以下を入れてみた。

read.cgi再開発スレ
http://qb5.2ch.net/test/read.cgi/operate/1087199303/52

52 名前：root ★[] 投稿日：04/06/18 03:43 ID:???
20日以上動いていたgame6が、read.cgiを上げたら半日で死にました。
mmap()ではなかったと。

ということで、
live8(read.cgiを動かしている)とcomic4(携帯の負荷に耐えている)で実績のある、
以下の設定を追加してみた。

(従来)
<IfModule prefork.c>
StartServers 64
MinSpareServers 5
MaxSpareServers 32
ServerLimit 256
MaxClients 256
MaxRequestsPerChild 0
</IfModule>

(現在)
<IfModule prefork.c>
StartServers 64
MinSpareServers 5
MaxSpareServers 32
ServerLimit 256
MaxClients 256
MaxRequestsPerChild 100000 <= 変更
MaxMemFree 2048 <= 追加
</IfModule>
04/06/18 03:46ID:???
>>954
そこを追加したり変更したりすると
どんな期待が持てたりするんですか?
956root ★
垢版 |
04/06/18 03:54ID:???
>>955
MaxRequestsPerChild は、ここで書いた回数だけリクエストを処理すると、
httpdプロセスが再起動します。これで、メモリが開放されることが期待できます。
c.2ch.netではこれを入れたおかげで、異常なスワップ消費によるハングアップ
(例のswap_pagerエラー)が出なくなりました。

MaxMemFreeは、Apacheのメモリアロケータが保持することができる
メモリを制限するものです。これで、httpdがどんどんメモリをつかんでしまうことを
抑制します。これもc.2ch.netのチューニングでわかったノウハウです。

これを入れた上で、read.cgiを動かしはじめたです。< live8/live9

参考: http://ns1.php.gr.jp/pipermail/php-users/2004-May/022181.html
04/06/18 03:57ID:???
にゃるほど
958root ★
垢版 |
04/06/18 03:58ID:???
ちなみに、c/comic4についてはこれの131あたりから。

【漫画アニメ系】comic4が重い重い重い重い重い重い×５
http://qb5.2ch.net/test/read.cgi/operate/1086507653/ (dat落ち)
04/06/18 07:21ID:0JsM06ki
>>958
乙です。

昨日(今朝)のgame6突然死ですが、例の901-244シリアル直結
作戦でも歯が立たなかったんでしょうか？

http://qb5.2ch.net/test/read.cgi/operate/1084429098/444
04/06/18 11:01ID:z4OarPbl
まだハードのせいにしてごまかそうとしているとは恐れ入った。
Jimさんも「日本人ってこんなんばっかし」とあきれ顔。
961root ★
垢版 |
04/06/18 11:39ID:???
comic4は、/home (掲示板システム)のディスクI/Oの詰まりが原因でした。
datキャッシュと携帯との遅いI/Oの影響がもろに出たかんじ。

できるだけこうならないようにチューニングはしているのですが、
何らかのタイミングで詰まった模様。
ということで、掲示板以外のI/O処理(バックアップ等)を一時的にとめます。
962root ★
垢版 |
04/06/18 11:53ID:???
>>959
そういえばと思い出して、tipコマンドでつないでいざDDBに落とそうとしたら、
options DDBとoptions BREAK_TO_DEBUGGERが
game6で有効になっていなかったことに気づきました。

仕方なく通常のリブート要請して改めてチェックしてみたところ、通常の
ログインプロンプトも来ないようです(gettyは動かしている)。

シリアルケーブルが抜けている状態かもしれません。
別途確認してみます。
963root ★
垢版 |
04/06/18 11:54ID:???
ということで、リモートからデバッガに落とせない状態なので、
いったんgame6のread.cgiを止めます。
04/06/19 12:56ID:GKr3D8q3
なんとなくなんですが、不具合の原因で
BBQなどの管理システムとの衝突の可能性(いわゆる相性)ってありえますかね。
04/06/19 12:59ID:tpgU5b3Q
意味がわからない
04/06/19 14:42ID:GKr3D8q3
なんか自分で>>964を読んでいてもわけわかめですわ。スマソ。

いわゆる2chが投入している複数鯖を介している各種システムが
システムクラッシュを起こすような悪さをしていないか、ということ。

read.cgiをとめている状態ならば安定していることを考慮すると、
read,cgiでコールしていてdat直読みでコールしていない関数の
いづれかが犯人かもしれないってことです。
04/06/19 14:45ID:GKr3D8q3
>>966
とはいえ、read.cgiにシステムクラッシュを引き起こす
致命的なバグが潜んでいる可能性もありえますがね。

その説でいくとわかっていることは
「mmap()は犯人ではなかった」ということだけ。
04/06/19 16:31ID:XtAKxDb2
>>967
今明らかになっているのは、
http://qb5.2ch.net/test/read.cgi/operate/1087199303/53
にあるように、apache-2.0.xのCGI周りにメモりリークの問題がある
ということだけ。この問題は、最悪のケースで、CGIの出力4096バ
イトごとに32バイトずつのメモリがリークするというもの。

なので、apacheの設定変更で改善の兆しが見えるということは、
メモりリークの影響がシステム陥落の引き金の一つになっている
らしいことはうっすらと見えてきた。

read.cgiを有効にしていると、これまたシステム全体が落ちやすくなる。
ということは、read.cgiも引き金の一つのようだ。ただし、read.cgiを
動かしただけで落ちるわけじゃないので、read.cgiが直接システムを
落としているわけではない。古いread.cgiのソースを見る限り、
read.cgiはDATファイルをmmap()し、要求された部分をhtmlソースと
して出力するCGIプログラムで、特徴としては、実行終了までDAT
ファイルをmmap()し続けるというあたり。つまり、プロセス終了まで
の間、仮想メモリをDATファイルサイズ以上握りっぱなしになる。
なので、処理中のread.cgiプロセスが溜まると、仮想メモリの消費
量が増える。

fox.cgiもたしか仮想メモリを消費しまくるものだったように記憶している。

以上から乱暴に予想すると、FreeBSDの仮想メモリ周りにバグが
いるんじゃないかな。実メモリが不足し始めるあたりで落ちている
のかも。……とすると、mmap()版と非mmap()版のread.cgiの影響
はシステムへの負荷のかけ具合という点でやや違いがある可能
性はある。
04/06/19 16:49ID:???
>実メモリが不足し始めるあたりで落ちている

これは肌で感じました。
04/06/19 16:53ID:I2NaBcZ3
>>969
>>969
>>969
04/06/19 17:02ID:MA/ZDyPD
>969
>969

オフィシャル見ると今月だけもで重要な修正かなり入ってるようですね。

ttp://www.freebsd.org/cgi/query-pr-summary.cgi
972root ★
垢版 |
04/06/19 17:03ID:???
>>968
なるほど。この線は「本筋」である気がします。
i386(banana)は同じ5.2.1Rでも概ね安定に動いているので、
amd64版で特に顕在化する問題であるということは考えられます。

メモリ2Gや3Gのマシンが、4Gのマシンより不安定になるというのも、
> 実メモリが不足し始めるあたりで落ちている
というのを裏付けている気がします。
973▲:/usr/local/bin/ch2 -o i686 ◆P8fXJj6wwo
垢版 |
04/06/19 17:40ID:GKr3D8q3
>>968
なるほど。
実を言うと最近はうっすらとしか状況を見ていなかったので
よくわかっていなかったんですが・・・・w

FreeBSDとapache両方でパッチあての必要がある悪寒。
というわけで>>968を某スレへ投げておきます。
04/06/19 17:48ID:XtAKxDb2
短期的に取れそうな対策としては、
- メモり不足に陥らないためにapacheの設定をつめる。
- read.cgiが暴走してたりしないかチェックする。
- read.cgiを、なるべく早めにmunmap()するように書き換える。
- 敗北感が漂うけれど、シングルプロセッサ設定を試して見る。

comic4の場合、重くなっても最終的に立ち直ることが多いあたりに
何かヒントがありそう。
04/06/19 17:57ID:v3J5idN/
−落ち着いてラーメンを食べてみる。
04/06/19 19:03ID:XtAKxDb2
- TimeOutのデフォルト300秒は多分長すぎるので、思い切って短縮。
- KeepAlive Off。
あたりも効くかも。
977root ★
垢版 |
04/06/19 21:09ID:???
>>976
#
# Timeout: The number of seconds before receives and sends time out.
#
Timeout 300

なるほど、これを短くするのは意味がありそうですね。
特に携帯相手とかだと。

KeepAlive Offは既に全pekoサーバで実施済みです。
978root ★
垢版 |
04/06/19 21:41ID:???
>>977
さっそく、c.2ch.netでTimeoutを300 => 30にしてみた。

【漫画アニメ系】comic4が重い重い重い重い重い×６【もうダメぽ】
http://qb5.2ch.net/test/read.cgi/operate/1087641975/80-91
979root ★
垢版 |
04/06/19 23:29ID:???
ということで、c/comic4のTimeoutを20に再設定。

【漫画アニメ系】comic4が重い重い重い重い重い×６【もうダメぽ】
http://qb5.2ch.net/test/read.cgi/operate/1087641975/105-110

105 名前：root ★[sage] 投稿日：04/06/19 23:13 ID:???
詰まってきたので、Timeoutを30=>20にしてみた。
これ以上短くすると、ちょっと副作用がありそうだなぁ。

110 名前：root ★[sage] 投稿日：04/06/19 23:27 ID:???
今日はこれでしばらく様子見してみようかなと。< c

このTimeoutは、

・クライアントがつながってからGET要求を受け取るまで待機する時間
・POSTまたはPUT要求時にTCPパケットを受け取るまで待機する時間
・TCPパケットに応答するACKを受け取るまで待機する時間

だから、携帯がいくら遅いといっても、10秒ぐらいにまではしてもいいかも。
980root ★
垢版 |
04/06/20 00:44ID:???
あぼーん過去ログ再構成プロジェクト
http://qb5.2ch.net/test/read.cgi/operate/1080237257/177-180

ということで、memoriesの全ホストについて
残っていたライブdatを全部dat落ちさせました。(174124スレッド)

また、>>954 の設定を追加しました。
04/06/20 01:00ID:XrklObC3
>>980
乙でーす。
240 名前： ◆BFzK/mtqM2 投稿日：04/06/12 15:32 ID:4m0m2MQA
すみません。
移転した鯖の携帯用ページが生きています。
確認できたのは、
【etc】
http://etc.2ch.net/utu/i/
【comic2】
http://comic2.2ch.net/rcomic/i/

その他の旧鯖（現在はmemories上）も同様な気がします。。。。

この辺もそのうち直してほしいな。。。
982root ★
垢版 |
04/06/20 01:25ID:???
>>979 続き。
それでもピーク時間には詰まってしまい、LAが3ぐらいなのに全然つながらない状態となったため、
(newsplus/mnewsplus等のニュース系は携帯読者が多い)
思い切ってTimeoutを5秒にしてみた。

>>981
これは具体的にどうすればいいのかしら。
04/06/20 01:38ID:XrklObC3
>>982
PCと同様に新しい鯖へのリダイレクトがよいです。
984動け動けウゴウゴ２ちゃんねる
垢版 |
04/06/20 02:24ID:zzEQduwV
またルータですか??
04/06/20 02:25ID:???
作業中。。。

ちょっと断続的に途絶えます。
986動け動けウゴウゴ２ちゃんねる
垢版 |
04/06/20 02:25ID:WVMDjpya
うえええん
04/06/20 02:26ID:NEbku600
>>985
了解・・・
988root ★
垢版 |
04/06/20 02:27ID:???
>>985
了解です。

いよいよ、あれに対応するのかな。
989動け動けウゴウゴ２ちゃんねる
垢版 |
04/06/20 02:30ID:zUYl15US
>>988
あれって何？
990動け動けウゴウゴ２ちゃんねる
垢版 |
04/06/20 02:31ID:WVMDjpya
コードネーム：ぬるぽ
04/06/20 02:31ID:OO/L96tc
あれか！ついに！
04/06/20 02:34ID:DtXew2C0
やっちまうのか、俺はしらねーぞ。
993root ★
垢版 |
04/06/20 02:35ID:???
なんだか対策本部になるかもしれないので、次スレ立ててきます。
994r113188.ap.plala.or.jp
垢版 |
04/06/20 02:36ID:/frnFlYR
あれあれ、あれだよアレ!
ところで、付き合ってる奴を孕ませちゃって、
おろしたいんだけど、金が足りないんだよ。
かねかしてくんねーかなー。
今から口座番号教えるからー
04/06/20 02:37ID:BW3MRQUQ
>>993
乙
04/06/20 02:37ID:G+t64DTc
>>989
長州語録です＞アレ
04/06/20 02:38ID:cUvxZ19Q
乙です。

いよいよアレですか。
微力ながら協力いたします。
998root ★
垢版 |
04/06/20 02:41ID:???
立てました。タイトルをちょっと変更。

【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part14
http://qb5.2ch.net/test/read.cgi/operate/1087666806/
04/06/20 02:42ID:vXTotnHO
>>998
乙！
04/06/20 02:42ID:DtXew2C0
1000なら2chは世界の中心で馬鹿を叫ぶ
1001１００１
垢版 |
Over 1000Thread
このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
レス数が1000を超えています。これ以上書き込みはできません。