2ch特化型サーバ・ロケーション構築作戦 Part21

**root▲ ★** · NG

2ch特化型サーバ・ロケーション構築作戦のスレッドです。

・２ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更関連の各種作業や調整事項
・２ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携

等を取り扱います。

現在、複数サーバによる連携により、
サーバ能力のさらなるスケールアップをめざすための「雪だるま作戦」が進行中です。
しかし、問題はあらゆる意味で山積の状態です。

また「２ちゃんねる証券取引所」をはじめとする「株」関連や「Be」の機能強化、
あるいは、次世代の携帯アクセス環境をめざした「べっかんこ作戦」の状況など、
気候も暖かくなり、そろそろ気になりだす季節にさしかかりつつある今日この頃、
あいかわらず２ちゃんねるは、刻一刻と確実に変化し続けています。

▲ ◆SANUKI/VII · NG

はなもげらぷろきしいれなよ

**root▲ ★** · NG

>>771
ちょっともっさり目だと思ったんで、
私は View に戻してしまいました。

View も既に対応版になっているです。

**root▲ ★** · NG

ただ、もし 64bit (amd64) で発生する虫がいるとすると、
爆弾をかかえているようなものなので、
しばらくは、常にどきどきしますね。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/30(火) 00:47:14

それでもだめならコーラック

**ピロリ** · 2006/05/30(火) 01:08:01

viewに戻した、
快調だ

**動け動けウゴウゴ２ちゃんねる** · 2006/05/30(火) 02:48:29

なんだよｗ
朝顔の種とかいってやろうとおもったのにｗ

**動け動けウゴウゴ２ちゃんねる** · 2006/05/31(水) 04:37:17

あれ？

**動け動けウゴウゴ２ちゃんねる** · NG

>>762
http://aas.u.la/c.cgi/-/operate/1145114275/762

**動け動けウゴウゴ２ちゃんねる** · 2006/06/01(木) 00:51:00

Nidaからのアクセスは全て弾くようにしたらよくね？

**動け動けウゴウゴ２ちゃんねる** · 2006/06/01(木) 12:06:14

style厨うざ

**動け動けウゴウゴ２ちゃんねる** · 2006/06/01(木) 13:11:34

View厨うざ

**動け動けウゴウゴ２ちゃんねる** · 2006/06/01(木) 16:02:12

>>780-782
池沼

**root▲ ★** · NG

ところで ex14 って、どういうシチュエーションで落ちたのかしら。
ping もかからなくなったのかな、、、。

◆BFzK/mtqM2 · 2006/06/04(日) 06:21:42

>>784
pingはかかった
sshは繋がった
Apacheだけがしんでいたっぽい

[―{}@{}@{}-] **root▲ ★** · NG

>>785
なるほど、先日来と同じ症状ですね。
それになると、ログインもできなくなるんだよなぁ。

**root▲ ★** · NG

カーネルパニックしてリブート入った模様。 < news19
amd64 だと、FreeBSD 6.1R は微妙な挙動があるのかも。

cat info.5
Dump header from device /dev/da0s1b
Architecture: amd64
Architecture Version: 2
Dump Length: 4226842624B (4031 MB)
Blocksize: 512
Dumptime: Sun Jun 4 13:08:30 2006
Hostname: cobra2247.maido3.com
Magic: FreeBSD Kernel Dump
Version String: FreeBSD 6.1-RELEASE #0: Tue May 9 01:41:03 PDT 2006
root@cobra2247.maido3.com:/var/src/sys/amd64/compile/AMD64_COBRA_61_NOKBDMUX_NOPREEMPTION
Panic String: spin lock held too long
Dump Parity: 3586994136
Bounds: 5
Dump Status: good

**root▲ ★** · NG

>>787
kgdb の結果:

(no debugging symbols found)...Attempt to extract a component of a value that is not a structure pointer.
(kgdb) where
#0 0xffffffff802696ad in doadump ()
#1 0xffffffff802696d4 in doadump ()
#2 0x0000000000000004 in ?? ()
#3 0xffffffff80269ce7 in boot ()
#4 0xffffffff805fadc0 in enumerators ()
#5 0xffffffff80458267 in __func__.0 ()
#6 0x000000000000002f in ?? ()
#7 0x000000003ab59a70 in ?? ()
#8 0x0000000000000004 in ?? ()
#9 0xffffff00cf854720 in ?? ()
#10 0x0000000000000104 in ?? ()
#11 0x0000000000000000 in ?? ()
Previous frame identical to this frame (corrupt stack?)

あまり参考にならないかも。

● ◆ANGLERlqvM · NG

kernel Panicですか。
うーん。。

**動け動けウゴウゴ２ちゃんねる** · 2006/06/05(月) 19:09:09

終わりなきバグとの戦い

**動け動けウゴウゴ２ちゃんねる** · 2006/06/05(月) 19:35:34

終わり無き自分との戦い

**root▲ ★** · NG

あんまり虫虫ゆっていると、
「ちゃんと send-pr してくんないと、直せるものも直せません」って、
FreeBSD の中のエロい人に怒られそうなようかんだなぁ。

しなきゃなぁと思ってはいるんだけど。

**動け動けウゴウゴ２ちゃんねる** · 2006/06/05(月) 23:35:22

そこで、「黙れ小僧！お前に(ry」と言い返すのですよ。

**動け動けウゴウゴ２ちゃんねる** · 2006/06/06(火) 07:45:25

Solarisはダメですか
商用利用も無料になったんですが

**動け動けウゴウゴ２ちゃんねる** · 2006/06/06(火) 07:48:34

いくら無料になったって。ｿﾗﾘｽの鯖管出来る人がいないなら無意味。

**動け動けウゴウゴ２ちゃんねる** · NG

Solaris = SunOSに詳しい人はいるので、鯖管やってくれるかどうかの問題かとｗ

**動け動けウゴウゴ２ちゃんねる** · 2006/06/06(火) 14:43:06

Solaris10 は Solaris8/9 までのノウハウとは全く別のものが要求されますよ

**動け動けウゴウゴ２ちゃんねる** · 2006/06/06(火) 15:27:07

Solaris10 なんかより FreeBSD のがぜんぜんいいと思うけど・・・

**動け動けウゴウゴ２ちゃんねる** · 2006/06/06(火) 15:37:06

次ぎ乗り換えるときとか、大きな問題解決が必要になったときに選択肢になるんじゃない？

**動け動けウゴウゴ２ちゃんねる** · 2006/06/06(火) 16:09:36

問題があったとき2chでバグバグいってるだけなら、どのOSを利用しても
最終的には一緒かと。

というわけで、rootさんにはsend-prおねがいしたいです。

**動け動けウゴウゴ２ちゃんねる** · 2006/06/06(火) 19:30:11

Solaris(i386)は、ちょっとした高負荷をかけたとたん死亡したことがあるなぁ。
Linux(FC i386)とFreeBSDでは、まだLinuxのほうが耐えてくれたけど。
PenDでLinux(x86-64)でたったら不明なメモリーリークでフリーズ。

Solarisは重杉で使い物になからなかったなぁ。

**動け動けウゴウゴ２ちゃんねる** · 2006/06/06(火) 20:12:16

OSから2ch仕様で作ればいいんじゃね？

**動け動けウゴウゴ２ちゃんねる** · NG

略称・OS/2でどうか。

**む＠出先** · 2006/06/06(火) 20:54:32

>>801
バージョンが明確じゃないと、なんとも。

FreeBSDだって、5.2.1Rと6.1Rとでは、安定性も性能も全く違うです。

>>800
がんがります、、、。

**動け動けウゴウゴ２ちゃんねる** · 2006/06/06(火) 23:07:53

send-pr しても >>788 みたいのだと、よくわからない気もしますが。
kernel.debug は作ってないですか?

**root▲ ★** · 2006/06/06(火) 23:35:50

>>805
作ってないです。

#makeoptions DEBUG=-g # Build kernel with gdb(1) debug symbols

パフォーマンスが（りゃという話はあるけど、
news20b あたりは余裕しゃくしゃくだから、
やってみるとよさげかしら。

株価【800】 ▲ ◆cZfSunOs.U · 2006/06/06(火) 23:46:03

どの OS を使うかは技術的問題以外に政治的問題ってのもあるでしょうしね．
ホスティング会社側のこともあるし，2ch 側だけで決められるものではないでしょうし．

んで，確かに Solaris 10 では 9 までとは様相の異なる部分も少なからずあって，
例えば SMF とか．まぁ慣れの問題でしょうけど．ただ，ZFS なんかはメリットありそうですね．
過去ログの膨張による HDD 圧迫も問題になってますが，compression=on にすると
容量節約できそうですし．個人的には Express (Nevada) ですでに使ってますが，
/usr なんかも普通なら 3GB ぐらい食うところが 2GB ぐらいで済んでますし，
テキストデータの dat なら圧縮も結構効くでしょうしね．
もっとも，ライブな dat まで圧縮すると CPU 的にはきつくなるでしょうけど，
そのあたりはマウントポイント単位で設定可能ですし，それに CPU に余力があるなら
I/O データ量の削減により速度向上も図れるようですし．

**root▲ ★** · NG

bbs.cgi再開発プロジェクト7
http://qb5.2ch.net/test/read.cgi/operate/1130918407/980

www2 のファイルを置いてある Directory のところににこれ入れてみたけど、
なんかうまくいかないっぽい。

同じ ETag: になるべきなんですよね、たぶん。

**stream** ◆PNstream2s · 2006/06/07(水) 16:06:34

mtimeが微妙に異なるんですかね

**root▲ ★** · NG

>>809
rsync でやってはいますが、、、。
これから外出なので、あとで試してみるです。

**stream** ◆PNstream2s · 2006/06/07(水) 16:15:21

HEAD /snow/index.js HTTP/1.0
Host: www2.2ch.net

www2f1→411963-664-c5aa2540
www2f2→2c0fb1-664-c5aa2540
www2f3→23f603-664-c5aa2540
www2f4→4006a2-664-c5aa2540
www2f5→41cf89-664-c5aa2540

Last-Modified(つまりmtime)は秒単位では全部同じでしたね。

**stream** ◆PNstream2s · 2006/06/07(水) 16:25:38

手元のApache2.2で試しましたが、
FileETag -INode
だとinodeが含まれますね。
FileETag Size MTime
だと含まれないみたいです。

株価【900】 ▲ ◆cZfSunOs.U · 2006/06/07(水) 17:34:13

http://httpd.apache.org/docs/2.2/mod/core.html#fileetag
>デフォルト:FileETag INode MTime Size
>　　　　:
>INode, MTime, Size キーワードには + や - を前に付けて
>指定することもできます。この場合は、より広い範囲から継承された
>デフォルトの設定に変更を加えるようになります。そのような接頭辞の
>無いキーワードを指定すると、即座に継承した設定を無効にします。

ってなってるのにナゼだ......と思ってソース見てみたら，
内部的にはデフォルトが ETAG_UNSET (!= ETAG_ALL) なんですね．
で，ETag 生成時に ETAG_UNSET -> ETAG_BACKWORD (== ETAG_ALL) として扱ってると．
なんかドキュメントの書き方このままだと......って感じですが，
それはともかく >>812 のようにするか，あるいは

FileETag All -INode

のようにするか，で i-node が外れますね．

**root▲ ★** · 2006/06/07(水) 19:01:54

>>812-813
なんと、、、。

あとで、やってみるです。

**動け動けウゴウゴ２ちゃんねる** · NG

VIPPERどうにかなりませんか。

○●【ex14】VIP運用情報104●○
http://qb5.2ch.net/test/read.cgi/operate/1149683567/

**root▲ ★** · 2006/06/08(木) 00:53:41

BG3 はカーネルパニックか。
最近、BG3/BG4 は負荷試験状態かも。

**ｒｅｆｆｉ@報告人 ★** · 2006/06/08(木) 00:56:11

>816
カーネルパニックですか・・・
そろそろ6.1Rにして凌ぐことも検討しないといけない時期かもしれませんね
（一時凌ぎにしかならないけどやらないよりマシだし）

**動け動けウゴウゴ２ちゃんねる** · 2006/06/08(木) 01:09:43

道頓堀川の奴はちゃんと供養されたのかね

株価【900】 ▲ ◆cZfSunOs.U · 2006/06/08(木) 01:16:03

キャッシュファイルを /md に，とか．

● · 2006/06/08(木) 01:18:20

>>818
浚っても発見されなかったそうだよ＞サンダース

**root▲ ★** · NG

>>819
6.1R にしたら、って感じですかね。

/md をすごい勢いでアクセスすると、何か起こるという噂も、
ありやなしや。

**root▲ ★** · NG

ううむ、

FileETag Size MTime

だとうまくいって、

FileETag All -INode

だと、うまくいきませんでした。

謎が多いですが、うまくいく方でやるということで、、、。

株価【900】 ▲ ◆cZfSunOs.U · 2006/06/08(木) 02:36:27

>>822 乙です．ホント FileETag 周辺の内部処理は謎が多いですが......

**動け動けウゴウゴ２ちゃんねる** · 2006/06/10(土) 03:04:41

そういえば、どうでもいい話、mod_expiresなんかでExpiresヘッダとかCache-Controlヘッダを
送ってやると、IEとかGeckoなんかはその期限が来るまで一切リクエストを送らなくなるっぽい。
304を返すだけのリクエストが減るかも。DNSのTTLみたいな延滞が許されるならありかなーとか。

**root▲ ★** · NG

>>824
なるほど。

逆に TTL みたいな形にできる、ということですか。

**動け動けウゴウゴ２ちゃんねる** · 2006/06/10(土) 22:46:32

DNSのキャッシュみたいに期限が切れてなければキャッシュから、切れてたら
更新されてるか問い合わせるみたいな動作になるらしい。

んで、ブラウザの方にキャッシュの更新の仕方の設定があって、GeckoもIEも
どちらも毎回更新を確認するような設定が存在するんだけど、
GeckoのMozilla 1.7.13では文字通り毎回更新のリクエストを発するようになるが、
IE 6.0 SP1は毎回更新の設定でも、なぜか期限付きのページは期限までは
キャッシュの方を優先して使うっぽい。

**root▲ ★** · NG

以下の DNS 登録をお願いします。

(新規追加)
+ex15.2ch.net:206.223.150.42

**ピロリ** · 2006/06/10(土) 23:23:13

>>827
done

株価【760】 ▲ ◆cZfSunOs.U · 2006/06/10(土) 23:26:17

Header set Cache-Control max-age=600

で10分間とか．www2 のスタティックコンテンツとかならいいかもですね．
dat とかの板のデータに使うと雪だるまの mod_cache 問題と同様に
BG への影響が問題になるかも知れませんが（u.la が稼働して BG が
不要になればその問題も解消しますが）．

**動け動けウゴウゴ２ちゃんねる** · 2006/06/11(日) 00:21:24

mod_expiresなら修正時刻基準にもアクセス時刻基準にも出来るので
Cache-Controlのmax-ageとかExpiresの日付を動的に変更してくれますよん。

**root▲ ★** · NG

ex14 の memories への収容作業、完了しました。

DNS サーバの設定変更をお願いします。

(現在)
+ex14.2ch.net:206.223.151.225

(変更後)
+ex14.2ch.net:206.223.151.230

**ピロリ** · 2006/06/11(日) 02:48:19

>>831
done

**root▲ ★** · NG

確認しました。>>832

これで、今回の移転作業は終了かと。
oyster901 のハードウェア手当てについては、雪だるまスレあたりでわいわいと。

**ピロリ** · 2006/06/11(日) 02:58:53

はいー

**動け動けウゴウゴ２ちゃんねる** · 2006/06/11(日) 03:57:12

お疲れ様でし

**動け動けウゴウゴ２ちゃんねる** · 2006/06/11(日) 05:14:16

ど疲れさーん。。

株価【860】 ▲ ◆cZfSunOs.U · 2006/06/11(日) 09:17:18

http://qb5.2ch.net/test/read.cgi/operate/1149952652/34
live23b -> 当面は保守的に 32-bit カーネル
news20b -> デバッグシンボル付き 64-bit カーネルで様子見

とか......

● ◆ANGLERlqvM · NG

とりあえず、live23bの鯖落ちの原因は、logを見ないと分かりませんから
まずは状況を把握してから、考えてもいいかも。。

**root▲ ★** · NG

>>838
ログが残らないんですよね。いきなりガッと止まってしまって
強制リブート入れるのって。

前に FreeBSD 5.2.1R (例のgame6とかがちゃんと動かなかった時)にも
ちょっと調べたんですが、
カーネルデバッガ機能ありのカーネル作って、
リモートコンソールから強制的にカーネルデバッガに落とすとかいう
操作が必要になるです。

また、試行錯誤する日々か。
あるいは、最新の stable に上げてみるとか。

● ◆ANGLERlqvM · NG

>>839
そういうことですか。。
うーむ。。

株価【860】 ▲ ◆cZfSunOs.U · 2006/06/11(日) 11:34:35

ひょっとすると，NFS の soft mount での timeout はデフォルトでは infinite になってて，
-s オプション指定しても -x とかも併せて指定しないと無意味になってるとか......

**root▲ ★** · NG

>>841
ありえますね。

あとは、フロントの自動切り離しと自動再接続か。
うーむ、まだまだすることが多いなと。

**root▲ ★** · NG

で、/etc/fstab に書くパターンでは -x とかは指定できない気がするので、
/md の mount と同じで、mount のためのスクリプトを別に書く必要がありそうですね。
これはそんなに難しくなさそうだけど。

**root▲ ★** · NG

FreeBSD/amd64 なバックエンドは2台あるので、
1台をとりあえず現在の stable にしてみる方向で。

**root▲ ★** · NG

うーむ。
make -j 4 buildworld で死ぬとは。

というかたぶん、負荷は関係ないっぽいですね。
踏むか踏まないかというか。

**root▲ ★** · NG

%uname -a
FreeBSD cobra2244.maido3.com 6.1-STABLE FreeBSD 6.1-STABLE #1: Sat Jun 10 20:14:59 PDT 2006 root@cobra2244.maido3.com:/var/src/sys/amd64/compile/AMD64_COBRA_61_NOKBDMUX_NOPREEMPTION amd64

live23b カーネル更新。

これで live23b がしばらくハングしなければ、news20b も同じのに更新の方向で。

**root▲ ★** · NG

6.1R (news20b)
-mpt0: MPI Version=1.2.9.0
-mpt0: Unhandled Event Notify Frame. Event 0xa.

6.1-STABLE (live23b)
+mpt0: MPI Version=1.2.12.0
+mpt0: Capabilities: ( RAID-1E RAID-1 SAFTE )
+mpt0: 0 Active Volumes (1 Max)
+mpt0: 0 Hidden Drive Members (6 Max)

SCSI コントローラのドライバが更新されているですね。

**root▲ ★** · NG

>>847

うーん、でも、
私の記憶に間違いがなければ、この更新って 6.0R で入ったもののような気が
しないでもなかったり。

**root▲ ★** · NG

…いや、>>847 はかんちがいっぽいですね。

SCSI コントローラ側のバージョンだった。
もう1回比較してみるか。

**root▲ ★** · NG

dmesg 的には変化ない模様。< 6.1R と 6.1-STABLE

**root▲ ★** · NG

とりあえず新カーネルで make -j4 buildworld 完走。

一度、リブート入れる予定。

**root▲ ★** · NG

ユーザランドも 6.1-STABLE にした。< live23b (cobra2244)

NFS の設定の詰めは、急務ということで。

**root▲ ★** · NG

mount_nfs -R 1 -D 1 -x 1 -s -a 4 -b -i -o ro,nosuid live22:/path /path

こうかな。

株価【860】 ▲ ◆cZfSunOs.U · 2006/06/11(日) 14:38:13

>>853 timeout は秒なのか別の単位なのかはわかりませんが，秒だとすればそんなところですかね．
まぁとりあえずじっk(ryで．

**root▲ ★** · NG

フロント5台の NFS を、>>853 の設定に全面的に変更した。

株価【800】 ▲ ◆cZfSunOs.U · 2006/06/11(日) 14:51:57

つうか，秒ってより回数ですね＜-R, -x

マウント時に -R 回リトライして，その後の NFS リクエストでは -x 回再送信すると．
で，再送信の間隔はデフォルトでは自動決定されるらしい（けれどもデフォルト値は不明）．

株価【800】 ▲ ◆cZfSunOs.U · 2006/06/11(日) 15:35:51

まだ read.cgi へのアクセスが固まる（NFS が刺さる）みたいですね......

>　　　　 mount retries the request up to the count specified in the
>　　　　 retry=n option. (Note that the default value　for　retry
>　　　　 differs between mount and automount. See the description
>　　　　 of retry, above.) Once the file system is mounted,　each
>　　　　 NFS request made in the kernel waits timeo=n tenths of a
>　　　　 second for a response.　 If　no　response　arrives,　the
>　　　　 time-out　 is　 multiplied　by　2　and　the　request　is
>　　　　 retransmitted. When the number　of　retransmissions　has
>　　　　 reached　the number specified in the retrans=n option, a
>　　　　 file system mounted with　the　soft　option　returns　an
>　　　　 error　on　the request; one mounted with the hard option
>　　　　 prints a warning message and continues to retry the request.

↑は Solaris での解説ですが

>　　 mount_nfs [-23NPTUbcdiLls] [-D deadthresh] [-I readdirsize] [-R retrycnt]
>　　　　　　　 [-a maxreadahead] [-g maxgroups] [-o options] [-r readsize]
>　　　　　　　 [-t timeout] [-w writesize] [-x retrans] rhost:path node

という FreeBSD のオプションを当てはめると↓でいいのかなぁ......

retry=n -> -R retrycnt
timeo=n -> -t timeout
retrans=n -> -x retrans

**root▲ ★** · NG

うーむ、

原因切り分けのため、
SMP やめて、single CPU モードにしてみる予定。< live23b/news20b

株価【800】 ▲ ◆cZfSunOs.U · 2006/06/11(日) 15:51:21

http://qb5.2ch.net/test/read.cgi/operate/1149989815/221
1 CPU で 64-bit と，SMP で 32-bit と，どっちがいいか......

**root▲ ★** · NG

フロント強制リブート中。

いったん NFS はずします。

**root▲ ★** · NG

>>859
32bit にするのは、OS の再インストールとか
各種設定しなおしとか、ちと面倒かなと。

それよりは、原因究明したいですね。
将来を考えた場合。

**root▲ ★** · NG

tiger507 上がってこない。

NFS が影響を受けて止まっていて(フロントのF22がささっていた)、
強制リブートで上がってこなくなった。

例の KVM との相性(tiger5xx はリブート時にたまに止まることがある)、
による影響か。

**root▲ ★** · NG

負荷で落ちてるんじゃないってのがなぁ。

5.2.1R の時の悪夢再びか。

株価【800】 ▲ ◆cZfSunOs.U · 2006/06/11(日) 16:22:35

NFS は，どこかで localhost 上でマウントしてじっk(ryするとか．

**root▲ ★** · NG

>>864
家の環境でやってみようかなと。

**root▲ ★** · NG

amd64 問題は、手元に amd64 なサーバが1台もないので、
ちと、苦しいですね。

リブートしたら、作業の運びで。

**root▲ ★** · NG

…しかし Google してもヒットする事例がないっぽい、というのも、
5.2.1R の時とよく似ている、とは言えるんだが。

今度は i386 では問題ない、というのも、どうも。

**root▲ ★** · NG

優先度の高い、解決すべき問題は2つ:

1) NFS の設定を詰める

これは、テスト環境を自宅に確保する方向で。

2) FreeBSD 6.1R/amd64 の不安定動作(突然のハングアップ)の原因究明と解消

最新のstableにするも効果なし。
まずは SMP をやめてみる方向で。

◆BFzK/mtqM2 · 2006/06/11(日) 16:54:41

>>868
うちのFreeBSD＋amd64は特に不安定になること無いですよ。
負荷のかかり方が違うからなんともいえませんが。。。

**root▲ ★** · NG

1台自宅に確保して、 FreeBSD 6.1R を入れた。

CPU: Intel Pentium III (754.71-MHz 686-class CPU)

これで、自宅に環境作れそうなので、NFS の試験と詰めを急ぎ実施予定。

**root▲ ★** · NG

>>869
構成を教えてもらえると、助かります。

motherboard
CPU
OS Version
memory
HDD

特に、
・dual CPUかどうか
・ディスクがSCSIかどうか

あたり。