2ch特化型サーバ・ロケーション構築作戦 Part21

**root▲ ★** · NG

2ch特化型サーバ・ロケーション構築作戦のスレッドです。

・２ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更関連の各種作業や調整事項
・２ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携

等を取り扱います。

現在、複数サーバによる連携により、
サーバ能力のさらなるスケールアップをめざすための「雪だるま作戦」が進行中です。
しかし、問題はあらゆる意味で山積の状態です。

また「２ちゃんねる証券取引所」をはじめとする「株」関連や「Be」の機能強化、
あるいは、次世代の携帯アクセス環境をめざした「べっかんこ作戦」の状況など、
気候も暖かくなり、そろそろ気になりだす季節にさしかかりつつある今日この頃、
あいかわらず２ちゃんねるは、刻一刻と確実に変化し続けています。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 04:37:17

kern.dflssiz, kern.maxssiz, kern.sgrowsiz は、
これらを設定した方が良いという意味ではなくて、
設定することにより動きが変わってくるので、確認の意味で書きました。
特に、kern.sgrowsizは、上記の最初の128kというサイズに影響を与えます。

kern.dflssiz, kern.maxssiz は、limit などで表示されるスレッドの制限に
影響を与えますが、これは最初の main スレッドの制限なので、
worker の場合はあまり関係ありません。

◆SSu.zv/rvs · 2006/05/05(金) 04:38:00

ちなみに、今話しているのはPentinumなマシンなんですよね?

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 04:51:09

>>393
そうですね。
FreeBSDはi386(32bit)だと、デフォルトのサイズは1MBなので、
デフォルトでは2500弱のスレッドしか作れないです。
よって、ThreadsPerChildもそのあたりが限界。
もし、ThreadsPerChildを3000とかにすると、pthread_create()が失敗するので、
Apacheが起動できません。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 04:55:53

>>395
それは、amd64(64bit)ではなくて、i386(32bit)の話という意味でしょうか?

◆SSu.zv/rvs · 2006/05/05(金) 04:56:31

x86といったほうがいいのだろか、

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 05:01:22

設定うんぬんということならば、
同じFreeBSDである限り、i386でもamd64でも変わらないでしょうが、
amd64だとVMのアドレス空間が莫大になるので、
アドレス空間の枯渇の問題は、ほぼ起こらないと思っていいでしょう。

**root▲ ★** · NG

おふろを出ると、話が進んでいるですね。

>>392
ふむふむ。

>>393
なるほど、わかってきました。

>>394
そういうことでしたか。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 05:07:55

なんか「おいでよどうぶつの森」の博物館の
フクロウさんを思い出したのは内緒です。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 05:10:59

あと、kern.sgrowsizを設定しているかどうかにより、
Red Zone が作成されるかどうかにも影響を与えます。

FreeBSDは Thread A のスタックと Thread B のスタックの間に
Red Zone と呼ばれるアクセス読み書き不可の領域をわざとつくり、
Thread A が Thread B のスタックを破壊するのを防ごうとします。
ただ、grow stack のせいで、デフォルトの設定だと
Red Zone が作成されないんですね。

kern.sgrowsizの設定を尋ねたのは、Red Zone が作成される設定になっているか
確認する意味もありました。

**root▲ ★** · NG

>>402
なるほど、
ということは、Red Zone を作る設定にすると、grow stack ではなくなる、
ということですか。

>>401
そのこころは、、、。

◆SSu.zv/rvs · 2006/05/05(金) 05:15:07

なんか　何十年たっても結局同じ話をしているんだなぁ
面白いっすね、

これからプログラムを書こうという人は是非ここを学んで欲しいと思ったりなんかして、
hehehe

**root▲ ★** · NG

>>404
> hehehe

表情が思い浮かんだですよ。

で、live22x3 HDD 交換完了とのこと。
これは明日以降、たんたんと。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 05:22:26

>>403
これは仕様というか、まあバグに近いものだと思いますが、、、

1) Thread Library (libpthread or libthr)は、1MB + 4k(Red Zone)の領域を
mmap()を使用して作成する。
2) カーネルは、grow stack を使用するので、実際には 128k の領域しか作らない。
3) Thread Library は、最後の 4k の領域を、mprotect()を使用して、
読み書き不可に設定する。
4) カーネルは、最後の 4k は実際にマッピングしてないので、何もしない

ということで、デフォルトでは Red Zone は作られないんですね。
なので、Red Zone を作成するためには、デフォルトの1MBという大きさを
128kより小さくするか、kern.sgrowsiz を大きく設定して、最初から大きな
領域をスタックとして割り当てるかどちらかをする必要があります。

ちなみに、これも動きの説明で、kern.sgrowsiz を設定した方が良いという
意味ではないです。

**root▲ ★** · NG

cobra2247 ですが、oyster901 = ex14 でコンパイルした
GENERIC カーネルでブートしたところ、make buildworld buildkernel 通りました。

# -j 4 つけると 1 error になり、
# /usr/obj の下にひとつ usr -> var なシンボリックリンクが必要だった。

**root▲ ★** · NG

live22x3 6.1-RC2 で復活。
これで、フロントはとりあえずの完成形に。

cobra2247 をやるか。

**root▲ ★** · NG

>>408
いや、live22x1 のバージョンアップがありますね。
live22 もか。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 16:31:02

>>409
姉（live22）のバージョンアップ作業ですが今日の深夜が無難な時間帯です。
明日はＦ１にダイバスターとサッカー、明後日はＦ１とサッカーがあります。

**root▲ ★** · NG

>>410
んじゃ、そうしますかね。

2時間程度、全部止める必要があるので。

**root▲ ★** · NG

【実況】　live22x　Part18
http://qb5.2ch.net/test/read.cgi/operate/1145623625/253

スケジュールしました。
準備しておくか。

**root▲ ★** · NG

-i 2 -I 60 → -i 10 -I 120 にした。 < bbsd

**root▲ ★** · NG

signal 10 で落ちる症状は変わらない模様ですね。

バージョンアップ前に、
いったん、 ThreadStackSize 262144 を元に戻すか。
他もいったん、設定の棚卸というかんじで。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 22:49:20

>>322の
> esp 0xb858aa3c 0xb858aa3c
> ebp 0xb858aa58 0xb858aa58
ってのは、スタックオーバーフローなんですかね？

まあ、スタック領域がこの辺にあってもおかしくは無いのですが
むしろ、バッファオーバーフローで変な領域にspが設定されている気もします。
(ebpの退避されている領域にゴミが書かれると、espにも伝播して壊れるはず)

実行環境(FreeBSD/amd64)での、スタック/ヒープ/コード(リテラル)/静的データ(bssが別ならそれも)の
それぞれのおよその配置と比べてみて
esp/ebpに設定されているのがどの領域なのかは
確認してみたいところですが。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 22:55:44

それと、
関連スレは全然チェックしてないのですが

Signal10の原因はOSかApacheのコアだというのは間違いないのですかね？
SpeedyCGIとmod_cgidso、及びdso版read.cgiが原因という可能性は？

というのは、もし単純なバッファオーバーフローがapacheのコア部分にあったら
簡単に発見されて修正されそうな気がするので
もしバッファオーバーフローであれば、追加モジュールに原因があるのではと。

**root▲ ★** · NG

<IfModule mpm_worker_module>
StartServers 64
ServerLimit 80
MaxClients 640
ThreadLimit 16 <= 8
ThreadsPerChild 16 <= 8
MinSpareThreads 64
MaxSpareThreads 512
MaxRequestsPerChild 1000000
MaxMemFree 16000
</IfModule>

こうしてみた。 < www/menu

**root▲ ★** · NG

>>416
live22 は read.cgi 動かしてないので read.cgi (cgidso) 動いてないです。

**root▲ ★** · NG

cobra2247 準備が整いました。
あと、www2 の4号機と5号機の登録も。

まずは DNS 登録依頼いきます。

以下の追加登録をお願いします。

+live22-2.2ch.net:206.223.150.52:300
+www2f4.2ch.net:206.223.150.110:300
+www2f5.2ch.net:206.223.150.42:300

**root▲ ★** · NG

で、live22-2 を動かすには、
read.cgi と bbs.cgi を更新する必要があるですね。

もちろん、掲示板システムの入れ込みとか F22 (F15?) の起動とか、
そのへんも必要で。

◆SSu.zv/rvs · 2006/05/05(金) 23:44:55

なんでなんで?

前回その話になったとき、 live22x? を使うんじゃなく
別のvirtualをどんどん追加していくと言っていたような、

**root▲ ★** · NG

>>421
なるほどなるほど。

live22x っていう名前、変えてもいいんだった。
うっかりしていました。

news20 でよいですかね。

**root▲ ★** · NG

つまり、

cobra2247 = news20
tiger2523, 2524, 2525, 503, 507 = news20x1 ～ news20x5

**root▲ ★** · NG

というわけで >>419 はとりさげて、申請出しなおしますです。

**root▲ ★** · NG

というわけで、

live22x という名前で、複数バックエンドにする

もんだと、勘違いしていました。すんません。
news20(x) のつもりで、設定ごにょごにょしてくるです。

◆TWARamEjuA · NG

なんだか様子が変ですー
http://sv2ch.baila6.jp/server.cgi?server=memories.2ch.net

**root▲ ★** · NG

>>426
んーむ、httpd の暴走ですね。
これも原因つきとめないとなぁ。

**root▲ ★** · NG

ということで、改めて DNS 登録申請いきます。

以下の追加をお願いします。

+www2f4.2ch.net:206.223.150.110
+www2f5.2ch.net:206.223.150.42
+news20b.2ch.net:206.223.150.52
+news20f1.2ch.net:206.223.150.64
+news20f2.2ch.net:206.223.150.74
+news20f3.2ch.net:206.223.150.84
+news20f4.2ch.net:206.223.150.110
+news20f5.2ch.net:206.223.150.42
+news20.2ch.net:206.223.150.96

**root▲ ★** · NG

>>390
○live22x3 復活 & フロントに再投入(済)
○live22 OS バージョンアップ(済)

・news20 構築 DNS 変更依頼中、DNS 登録完了後作業継続予定
・live22x1 OS バージョンアップ + Apache 更新これから

**root▲ ★** · NG

#!/bin/sh
exec 2>&1
exec env - TZ="JST-9" PATH="/usr/sbin:/usr/bin:/bin:/usr/local/bin" \
LANG="ja_JP.SJIS" \
setuidgid ch2live22 /usr/local/sbin/bbsd -f \
-c -b 192.168.100.1 -d /home/ch2live22/public_html \
-i 10 -I 120 -n 8 -p 2222 -s live22x.2ch.net

bbsd の nice 値 -20 をやめてみた。(きりわけのため)

現在、PREEMPTION なし以外は、概ね通常のサーバ設定。

**root▲ ★** · NG

寝る前に、news20 関連のアカウント情報をメールしておくです。

**root▲ ★** · NG

私の環境では見えるみたい。
http://news20.2ch.net/

そのうち、done. が来るかなと。

# 掲示板システムは、news20b に作ることになるです。 > かっこいいおにいさん

▲ ◆SANUKI/VII · NG

news20ﾐｴﾀ＼(^o^)／

**動け動けウゴウゴ２ちゃんねる** · 2006/05/06(土) 14:19:28

(ﾟ∀ﾟ)

**動け動けウゴウゴ２ちゃんねる** · 2006/05/06(土) 15:29:27

おらわくわくするぞ

**動け動けウゴウゴ２ちゃんねる** · 2006/05/06(土) 18:23:49

6.1-RELEASE タグ来てますね。
ちょっとだけ遅かった?

む P061198250186.ppp.prin.ne.jp · 2006/05/06(土) 18:56:17

きましたか。
ということは今週中にはアナウンス出る感じかしら。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/06(土) 19:00:14

>>437
むむむさん、memoriesが例によって例の調子です。

◆TWARamEjuA · NG

uptimeをみるとクローラさんがどかどかとかっさらっている最中にhttpdがあっぷっぷしたみたいな。。。
＠牡蛎902

**root▲ ★** · NG

news20b は最初から 6.1R でいけるのかな。

memories は OS 更新したいところだけど、
センシティブな構成だから、リモートコンソールがないと微妙かも。
まずは Apache とか更新しておくか。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/06(土) 22:37:56

そろそろ削除呪文系も対応しないと、バックエンドが
2つ(以上?)になるともっと大変になるかも。

おじさんのいう勝ちに行くっていうのは、やっぱり
WCUPに対してなんですよね。
サーバ群(7台)の機能分担が鍵ですよね。今のところ、
単機能のフロント側の負けはないようなので、mod_cacheを
導入しない場合は、正直フロントは3台で十分のような。
live22x1のbbsdを単独サーバにしたほうがよいのかも。

**root▲ ★** · NG

>>441
呪文は、例のとりあえずmod_proxyでフォワードするというのを、
ちと試してみるです。

で、news20 がうまく稼動したら、たぶん news19 を空けることできて、
news19 は既に XO ロケーションに、、、とか、いろいろと。

**root▲ ★** · NG

cobra2247 を 6.1R にすべく、make buildworld を流していたら、
突然ハングアップしました。

ううむ、、、。

**root▲ ★** · NG

・ping かからない
・KVM で見ると画面が出たまま凍っている

…とりあえず、リブート要請出します。ううむ。

**root▲ ★** · NG

とりあえず、Apache2.0 と PHP4 をそれぞれ最新にしてみた。 < memories

**root▲ ★** · NG

本日準備できたら、live22x1 のバージョンアップ作業する予定。
規制系 DB 用の bbsd は、一時的に live22 へと(作業済)。

**root▲ ★** · NG

%uname -a
FreeBSD banana273.maido3.com 6.1-RELEASE FreeBSD 6.1-RELEASE #0: Sat May 6 08:05:11 PDT 2006 root@banana273.maido3.com:/usr/obj/var/src/sys/I386_BANANA_61 i386

cvsup.peko.2ch.net、特に問題なく。

**root▲ ★** · NG

>>444
リブートしてもらいましたが、
ログインして操作しているうちに、またハングアップしました。

ちと、まじめに調べてみます。 < cobra2247

**root▲ ★** · NG

リモートコンソールで操作中。

一世代前のカーネルに戻してみる。

**root▲ ★** · NG

一世代前のカーネルだと、ちゃんと動くようだ。
微妙だ、、、。

**root▲ ★** · NG

もう1回 make buildworld buildkernel からじっくりやろう。

**root▲ ★** · NG

>>445
改善しないっすね。

apache2limits_args="-e -t 600"

にしてみた。< 前は 1800 だった。

**root▲ ★** · NG

bbs.cgi 等配布リストに、live22x4/live22x5 を追加した。

**root▲ ★** · NG

もう1回、教科書どおりのほうほうでカーネルとユーザランドを更新しなおしてみた。
普通に 6.1R になったところで、SMP ありのカーネルに差し替え。 < cobra2247

**root▲ ★** · NG

無事に上がったので、make -j 4 buildworld (負荷試験のかわり)を実施中。

**root▲ ★** · NG

死にました、、、。

SMP なカーネルに問題があるのか。
あるいは CPU が片方いまいちなのか。

**root▲ ★** · NG

このカーネル config は、ex14 のと同じなので、
問題があるとはちと考えにくいが、、、。ううむ。

リブート要請と、調査依頼を出しておくです。

**root▲ ★** · NG

>>429
○live22x1 OS バージョンアップ + Apache 更新 … 済 6.1R
・news20 システム構築 … DNS 登録 done 後作業継続予定、ただしトラブル解決後
・news20b = cobra2247 トラブル中、調査依頼中 … 土曜日なので週明けからか
・memories = oyster902 httpd が暴走する問題 … とりあえずその場しのぎを入れてみた
・削除の呪文の mod_proxy でのフォワード … 別途すすめる

**root▲ ★** · NG

違うとは思えないけど、
config ...; make cleandepend; make depend; make で作ったカーネルと、
make buildkernel KERNCONF=... で作ったカーネルでやってみた。

しかし、やはりだめだった。

リブート依頼と調査依頼(一時的に作業依頼止めていた)出します。

# 今日は、ここまでで、、、。ううむ。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/07(日) 03:49:17

>459
お疲れ様でした～
原因は指摘してるＣＰＵ１発あぼ～ん説に一票
ＳＭＰ無しで動くのに有りにするとこけるなんて１発壊れてるとしか思えない

**root▲ ★** · NG

>>460
前の謎のパニックメッセージ (>>175) とかを見てみると、
その可能性は高いかもしれないですね。

現地に、その旨もメールして置きました。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/07(日) 04:11:52

乙です。

live22のOS version up後もsignal 10で
落ちていますか？

**root▲ ★** · NG

>>462
まだ一度も落ちていません。
負荷がかかっていなくてもたまーに落ちてたんですが。

いずれにせよ、このまま観察します。

**root▲ ★** · NG

6.0R の頃は >>463

**root▲ ★** · NG

フロントエンド5台も、signal 10 は現在まで一つも観測していない模様。

**root▲ ★** · NG

今見てみましたが、signal 10 がひとつもありませんね。< live22/live22x1

これは、バージョンアップが有効だったということなのかしら。

**root▲ ★** · NG

6.1R にして、全体的に明らかに軽くなった気がするんだけど、
何が変わったんだろう。

5.4R → 6.0R の時は、ファイルシステム周りが劇的に軽くなった気がしたんですが、
6.0R → 6.1R では、全体になんとなくっていう感じ。

**root▲ ★** · 2006/05/07(日) 22:48:05

ぢぇんぬさんに教えてもらった削除系標準呪文セットを、
mod_proxy で live22 にとばすようにしてみた。

これで、うまくいくといいけど。

**root▲ ★** · NG

そういえばいただきオンラインって、
live22x => live22 という処理入れていたんでしたっけ。

もし入れていたら、解除をお願いしますです。 > いただきさん

**root▲ ★** · NG

お知らせしてきました。

☆ 連絡＆報告 6 ☆
http://qb5.2ch.net/test/read.cgi/saku/1127100825/940

>>469 をいただきさんに知らせるには、
どうすればよいのかしら。

◆SSu.zv/rvs · 2006/05/07(日) 23:03:17

>>428
done

**動け動けウゴウゴ２ちゃんねる** · NG

>>470
たもんくんのスレで告知してる人がいらっしゃいました。

**root▲ ★** · NG

>>471
どもです。

>>472
どもです。

**root▲ ★** · NG

>>458
・news20 システム構築 … DNS 登録済、ただしトラブル解決後
・news20b = cobra2247 トラブル中、調査依頼中 … 週明けからの見込み
○memories = oyster902 httpd が暴走する問題 … その場しのぎはとりあえず機能している模様(後述)
○削除の呪文の mod_proxy でのフォワード … 設定済、異常報告があれば対応
・なにやら大きな引越しがあるとかなんとか … 動きが決まってきたらということで

**root▲ ★** · NG

こんなかんじ @ oyster902

May 7 07:05:00 <0.3> oyster902 kernel: pid 11511 (httpd), uid 80, was killed: exceeded maximum CPU limit
May 7 07:30:46 <0.3> oyster902 kernel: pid 11593 (httpd), uid 80, was killed: exceeded maximum CPU limit
May 7 07:33:31 <0.3> oyster902 kernel: pid 11414 (httpd), uid 80, was killed: exceeded maximum CPU limit
May 7 07:46:34 <0.3> oyster902 kernel: pid 11506 (httpd), uid 80, was killed: exceeded maximum CPU limit
May 7 09:03:30 <0.3> oyster902 kernel: pid 11604 (httpd), uid 80, was killed: exceeded maximum CPU limit

**Itadaki ★** · NG

>>470 修正しました。

**root▲ ★** · NG

>>476
ありがとうございました。

**root▲ ★** · NG

>>474
> ・なにやら大きな引越しがあるとかなんとか … 動きが決まってきたらということで

【365Main】回線増速(ニュー速とかお引越しのご案内)
http://qb5.2ch.net/test/read.cgi/operate/1147078648/

はてさてふふ～ん♪ ってかんじで。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/08(月) 18:32:35

でっきるかなー。

**root▲ ★** · NG

FreeBSD 6.1 Released
http://lists.freebsd.org/pipermail/freebsd-announce/2006-May/001064.html

ということで、正式アナウンス出ました。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/09(火) 15:41:23

>>480
おお。さっそくex14(ry

**root▲ ★** · NG

news20b が退院したという情報が入りました。
負荷テスト後問題なければ、news20 本格稼動へと。

**root▲ ★** · NG

負荷テスト(make -j 4 buildworld) を流して数分もたずにハングアップしました、、、。
中の人と調整中。

◆BFzK/mtqM2 · 2006/05/09(火) 16:32:18

冷却ファンが動いていないとか言うオチはないですよね。

**root▲ ★** · NG

今回の修理は、ファンの交換だったと聞いているです。

**root▲ ★** · NG

…しかし、CPUの温度は確かに高いです。

ファン交換前は CPU #0 が52℃、CPU #1 が58℃でした。
今は CPU #0 が49℃、CPU #1 が53℃のようです。

ううむ。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/09(火) 16:41:16

センターうんこじゃないとか

**root▲ ★** · NG

ちょっと、他の cobra サーバの様子をみてみるか。

**root▲ ★** · NG

ちょっと BBQ サーバ、リブートします。
BBQ2 があるので、システム自体は止まらないはず。

**root▲ ★** · NG

BBQ = cobra2245 は、#0 #1 とも 55℃ ですね。

でも、数ヶ月以上問題なく動いていました。
つまり、CPU ファンの異常とは思えない。

**root▲ ★** · NG

BIOS のスクリーンショットを保存して、立ち上げなおし中。
…これは、原因は温度上昇ではないですね。

**root▲ ★** · NG

BBQ ブートアップしました。

**root▲ ★** · NG

…まさか、とは思うものの、
ex14 から /boot/kernel/kernel だけ抜いてきて、
その環境で動かして、負荷テストしてみることにした。

amd64 な FreeBSD 6.1R は初体験のはずなので。

**root▲ ★** · NG

なんか、止まらないや、、、。
うーむうーむ。