X

2ch特化型サーバ・ロケーション構築作戦 Part22

■ このスレッドは過去ログ倉庫に格納されています
1root▲ ★
垢版 |
NGNG
2ch特化型サーバ・ロケーション構築作戦のスレッドです。

・２ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更関連の各種作業や調整事項
・２ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携

等を取り扱います。

現在、複数サーバによる連携により、
サーバ能力のさらなるスケールアップをめざすための「雪だるま作戦」が進行中です。
しかし、問題はあらゆる意味で山積の状態です。

特に、成熟度を高めたリリースであるはずの FreeBSD 6.1R において、
amd64 アーキテクチャでの突然のハングアップの不具合が、深刻な問題となっています。
2006/06/17(土) 23:39:29ID:Z6ZJTGKT0
>>102 ExpiresActive も必要か．

<Files index.js>
    ExpiresActive On
    ExpiresDefault "access 1 hour"
</Files>
2006/06/17(土) 23:42:05ID:???0
>>103
業務連絡
すみませーん
BG3また落ちました
106root▲ ★
垢版 |
NGNG
>>105
先に >>105 をば。
107root▲ ★
垢版 |
NGNG
これから見ますが、、、。

そろそろ、個別に squid 動かすモードに移行する時期かもですね。
tiny tiger は IDE ディスクですが、squid っていうぐらいでなんとか。

で、うまくいけば BG3 / BG4 はフロントに投入とか。
108root▲ ★
垢版 |
NGNG
同じ症状っすね。< BG3

リブート中、、、。
109root▲ ★
垢版 |
NGNG
em のドライバが TX overrun とか RX overrun とかにならないようにするのは、
どうすりゃいいのかなと。

PREEMPTION をごにょごにょするとかか。
2006/06/17(土) 23:46:42ID:???0
>>108
ところで、転送量のグラフを見ると、BG3が落ちると同時にBG4のプライベート側の転送量が落ちているんですけど
何か関係あるんですかね？
111root▲ ★
垢版 |
NGNG
>>110
フロントが詰まっているっぽいような。
112root▲ ★
垢版 |
NGNG
PREEMPTION 切ってるのか。< BG3

実験的に再度、ありにしてみるか。
2006/06/17(土) 23:50:11ID:???0
単純にBG3のタイムアウト分でフロントが詰まって転送量が減ったって事かな？
114root▲ ★
垢版 |
NGNG
>>112 は別途かな。(様子見ながら)
6.1R に上げるほうがいいかもですね。

www2 の作業に戻るので、
やばくなったらまた連絡ください。
115root▲ ★
垢版 |
NGNG
>>113
そんな気がしますね。
2006/06/17(土) 23:52:36ID:Z6ZJTGKT0
PHP 出力をキャッシュ (by mod_cache) すれば Squid もちょっと楽になるかな......
117root▲ ★
垢版 |
NGNG
>>104
Cache-Control: max-age=3600
Expires: Sat, 17 Jun 2006 16:03:12 GMT

が、つくのかな。
2006/06/18(日) 00:07:17ID:lQUZdvGc0
>>117 ですね．
119root▲ ★
垢版 |
NGNG
フロントに投入。>>104
120root▲ ★
垢版 |
NGNG
段々、効いてきてるのかな。
http://mumumu.mu/bremen/live22x_total.html
121root▲ ★
垢版 |
NGNG
明らかに効きましたね。
これなら、read.cgi にインラインで入れる必要はなさげかな。
2006/06/18(日) 00:23:14ID:lQUZdvGc0
>>119-120 乙です．入れた時間あたりからスーッと下がってる感じですね．
123root▲ ★
垢版 |
NGNG
またひとつ、勉強しました。

スタティックな部分にうまくこれを適用すれば、
各サーバも負荷が下がるのかな(flash.txt とか head.txt とか)。
2006/06/18(日) 00:28:54ID:lQUZdvGc0
>>123 壁紙やロゴ・バナーの類なら効きそうですね．ただ，flash.txt や head.txt は
基本的にブラウザが取得するよりもむしろ bbs.cgi / bbsd が index.html に
埋め込むために用いるものかと......
125root▲ ★
垢版 |
NGNG
>>124
あ、そですね。> flash.txt とか。

ba.gif に適用してみよう。そうしよう。
126root▲ ★
垢版 |
NGNG
>>125
done.

トップページだけだから、index.js ほどではないかも。
127root▲ ★
垢版 |
NGNG
激しくは効かなそうかな。

壁紙は、変えることもある気がするのと、
板トップだけだから、とりあえず無効に戻しておくか。
2006/06/18(日) 01:15:45ID:ktkgUyP70
一応効いてるみたいですね。1:00過ぎのこぶは期限切れの再取得かな？ｗ

まぁうちでは実験の邪魔になるくらい効いてくれてたから、
ひょっとしてとか思ってよかったですよ。
129root▲ ★
垢版 |
NGNG
>>128
どもでした。

こぶは、だんだん滑らかになっていくはずなのかなと。
2006/06/18(日) 02:44:29ID:ktkgUyP70
一度睡眠時間が入れば分散するかと。
131ピロリ
垢版 |
2006/06/18(日) 05:20:54ID:kAh/Klv40
とりあえず寝るということで、
2006/06/18(日) 10:41:07ID:PjN7eu2AO
∧旦∧ ∧旦∧ ∧旦∧
(^ω^ )(^ω^ )(^ω^ )
おっおっおっ ﾟ○-Jﾟ ﾟ○-Jﾟ ﾟ○-Jﾟ ,,
2006/06/18(日) 12:16:46ID:taSctuZ40
>>109
>em のドライバが TX overrun とか RX overrun とかにならないようにするのは、
>どうすりゃいいのかなと。

これって、6.1のサーバでもなりますか?
うちだと、6.1にしてから出なくなった気がするんですが。
134root▲ ★
垢版 |
NGNG
>>133
ええ、6.1R で em のドライバが再度よくなったらしいというのは、
知っているです。

ということで、バージョンアップでしのげるのかもなと。
135root▲ ★
垢版 |
NGNG
フロントの負荷が超でかくなると、httpd が signal 11 で死にますね。
で、起動しなおす負荷が、つらいかんじみたい。

ちなみに signal 11 で死ぬのは、普段でもぱらぱらは起きている模様。
136root▲ ★
垢版 |
NGNG
で、今 1 process 16 threads ですが、
もっとでかい時は、いきなりボンと死ぬのが、つらいと。

16 でも高負荷時には、つらいわけですが。
137root▲ ★
垢版 |
NGNG
でもフロントは基本的には「増やして乗り切る」方向性なので、
現状なら、こんなかんじなのかなと。
2006/06/18(日) 23:40:56ID:lQUZdvGc0
SEGV は......core 解析したりして原因をつぶすのが正攻法ですが，
（Solaris でいうところの）0@0.so.1 という邪悪な手も......
139root▲ ★
垢版 |
NGNG
read.cgi の人大杉装置(LA=20 で発動 @ tiger サーバ)を発動させたら、
(デバッグ用に雪だるまだけ切っていた設定が残っていた)
だいぶ楽になりましたが、やはり signal 11 で落ちる状況は、
変わっていないみたいです。
140root▲ ★
垢版 |
NGNG
>>138
それは、どういう手法かしら。
2006/06/19(月) 00:17:23ID:ZHeaF6an0
>>140 0@0.so.1 っていうライブラリを LD_PRELOAD すると NULL ポインタ踏んでも
コケないようになる，と．中身ではこんなことやってるようですが．

-> 0@0:_init()
  -> 0@0:__zero_at_zero()
open("/dev/zero", O_RDWR)                       = 3
mmap(0x00000000, 1, PROT_READ, MAP_PRIVATE|MAP_FIXED, 3, 0) = 0x00000000
close(3)                                        = 0
  <- 0@0:__zero_at_zero() = 0
<- 0@0:_init() = 0

まぁ SEGV になる原因を取り除いてるわけではないので，邪道そのものですが．
142root▲ ★
垢版 |
NGNG
>>141
うひゃー。

なるほどです。
ぬるぽしてもｶﾞｯされないようにしてると。
2006/06/20(火) 22:34:26ID:lGYwc5jc0
ふむ......
http://meta.wikimedia.org/wiki/Squid_performance_tuning
144root▲ ★
垢版 |
NGNG
>>143
おっ。

で、これ読もうと思うんだけど、今日はもう頭がまわらないや。

Dual Opteron system will not run SMP
http://lists.freebsd.org/pipermail/freebsd-stable/2006-June/026003.html
145root▲ ★
垢版 |
NGNG
そう言いながらも、、、。

dwhite はこんなことを言っているわけだけど、
BIOS かぁ。

http://lists.freebsd.org/pipermail/freebsd-stable/2006-June/026148.html

PIE で BIOS 更新したのは、2004年の9月だったかな。
最新の BIOS が出てるかどうか、もう1度確認してみるか(あとで)。
2006/06/20(火) 23:46:50ID:???0
今はVer2.13ですね。

ttp://www.rioworks.co.jp/bios/hdama.html
147root▲ ★
垢版 |
NGNG
>>146
当時の作業メモを見ると、私は当時、
２ちゃんねるで使っている cobra サーバ全部、Ver.1.89 にバージョンアップしています。

やる意味はあるのかも。
2006/06/20(火) 23:57:22ID:???0
BIOSアップの実験台は実際に落ちた実績のあるlive23が無難ですか
（SMPで落ちてる鯖でないと再現できないだろうし）
149root▲ ★
垢版 |
NGNG
>>148
同じバージョン・同じハードウェア構成の news20b も落ちまくりでした。
他のサーバは 6.1R ではないので、未確認と。
2006/06/21(水) 00:01:40ID:???0
>149
と言うことはこの2台のどちらかが人柱確定ですね
どっち落ちても祭りになりそうだけど
2006/06/21(水) 07:42:13ID:seKTsci80
WC を考えれば消去法で news20b でしょうけど，WC が落ち着いたらむしろ live23b かな......
152root▲ ★
垢版 |
NGNG
前にも書きましたが、
5F→2F の引越しが無事終わるまでは、
ウルトラ技がない限り、なしかなと。
2006/06/24(土) 23:57:22ID:0/C79yGR0
bbsd.c 更新しますた．

・ -m64 でのコンパイル時の warning 潰し（処理そのものには影響はないと思いますが）．
・ race condition 潰し（久々にローカル環境で bbs_load.pl ブン回して遊んでみたら
　 顕在化して気付いた）．
・ autopurge（sage 復帰）で ENOENT 以外のエラーが発生した際に syslog に記録
　 （これで syslog 見てもらえれば sage 復帰の際の問題の手がかりが得られるかも）．
154root▲ ★
垢版 |
NGNG
>>153
live22, live23b, news20b, live22x1, snow 更新しました。

race condition が起こると、どうなる、、、のかしら。
# recvok がなんたらかんたら、、、みたい。
2006/06/25(日) 08:06:25ID:bzKMRvNX0
>>154 乙です．

>race condition が起こると、どうなる、、、のかしら。

まぁ，Solaris 9 の時は気付かず Nevada にしてから気付いたんですが，
worker スレッドが条件変数待ちにならず mutex をホールドしたまま recvfrom()
でパケット待ちする状態になっちゃうことがある，ってことですね．その状態でも
パケットは受け付けて一応動きはするんで致命的な問題ではないかも知れませんが，
SIGTERM 送っても終了してくれなかったりします......
2006/06/28(水) 23:13:00ID:???0
いつもお疲れ様です。

>>153-154
それで、今日もlive23で何度かsage復帰を失敗していましたが、何か記録されていましたでしょうか？
2006/06/28(水) 23:56:56ID:df/O7cub0
>>156 乙です．“多分”記録されてると思います．むむむさん待ちってことで．

で，原因がわかったら対策へ，と......
158ピロリ
垢版 |
2006/06/29(木) 15:38:13ID:RwVnEDS40
oyster901 完成いたしました。


・OSはご指示通り以下のバージョンをインストールしています。
FreeBSD 6.0-RELEASE (amd64)

・APCによる遠隔リブートテストは今回実施しておりません。
　(後日APCに接続します。)

・HDDは発注通りのSCSIドライブが２つ搭載されています。
　搭載されているHDDのスペックは以下の通りです。

　製品名：Seagate Cheetah 15K.4
　型番：ST373454LW
　容量：73 GB
　回転数：15K rpm
　シークタイム：3.5 ms avg
　インターフェース：Ultra320 SCSI

・NIC(bge0、bge1)２枚のうち、一方(bge0)がスイッチと
　接続されています。
　転送速度は 100Mbps full-duplex に設定しています。
　(速度チェック実施済です。)
159root▲ ★
垢版 |
NGNG
>>156-157
みてみます。

>>158
ログイン情報は、本日直接渡しかしら。
160root▲ ★
垢版 |
NGNG
うーん、syslog に何もないということは、
bbsd に行く前に何かまずいところがあるのか、、、。

ちと今アクセス事情が良くないので、あとで落ち着いて見てみます。
2006/06/29(木) 21:35:27ID:5bvbZVQc0
>>158 戦線復帰ですか．

>>160 bbsd 側のロジックを見直してみたら，「スレの残骸が subject.txt 上で
連続して存在している場合，一度で消し切れない」って虫がいたのを発見したので
（これはこちらのミスですね，すみません），その点は修正しますた．
ただ，スレの残骸が1個だけでも sage 復帰失敗するってのはその虫では
説明できないので，まだ別に問題がありそうですね......

syslog.conf で user.err が記録されないようになってるか
（別の部分では warning や info もありますが），
あるいは bbsd の呼び出し自体が正常に行われていないのか，
果てまた別の何かか......
162root▲ ★
垢版 |
NGNG
>>158
ログイン情報を受け取りました。

概ね問題なさげなので、たんたんと設定へと。
163root▲ ★
垢版 |
NGNG
>>158
ひとつ質問です。

> ・APCによる遠隔リブートテストは今回実施しておりません。
> 　(後日APCに接続します。)

これですが、APC に接続する際に電源が一度落ちるような気がしますが、
どうなんでしょうか。
164root▲ ★
垢版 |
NGNG
>>163 の件について、連絡をもらいました。

必要なのは、PIE 側でのソフトウェア設定の作業のみになるようです。
私のほうでは、たんたんと作業継続するということで。

# もしいったん電源断が必要になるなら、その場合は別途対応というかんじかなと。
165root▲ ★
垢版 |
NGNG
oyster901.peko.2ch.net = ex16.2ch.net
DNS 登録いきます。

以下の登録をよろしくです。

(新規登録)
+ex16.2ch.net:206.223.151.225
2006/07/01(土) 21:42:45ID:IWCIcvgv0
bbsd の更新もお願いします(>>161)．
sage 復帰の問題，完全解決まで至らずとも部分的には改善されるかと思うんで．

# 自分で仕込んだ虫以外では，ローカルで試しても再現しないんですが......
167御法川将貴
垢版 |
2006/07/01(土) 22:05:17ID:M62Hz3ID0
内容がごちゃごちゃ　数日後につぶれるな　ザコスレが
168ピロリ
垢版 |
NGNG
>>165
done
169root▲ ★
垢版 |
NGNG
>>166
live22, live22x1, live23b, news20b, snow 更新済み。
170root▲ ★
垢版 |
NGNG
>>168
確認しました。

アカウント情報は別送で。
2006/07/01(土) 22:42:17ID:RPOnd9jp0
>>168
夜勤さん
http://qb5.2ch.net/test/read.cgi/sakukb/1151635877/
に来てくらさいな
2006/07/01(土) 22:47:30ID:IWCIcvgv0
>>169 乙です．


http://aa5.2ch.net/test/read.cgi/nanmin/1150886750/989
# ノンブロック逆引き

use Net::DNS;

sub gethostbyaddr_nb {
    my $res = Net::DNS::Resolver->new(tcp_timeout => $_[1], udp_timeout => $_[1]);
    my $ans = $res->send($_[0]);
    return undef if (!$ans);
    foreach ($ans->answer) {
        return $_->ptrdname if ($_->type eq 'PTR');
    }
    undef;
}

# my $name = gethostbyaddr_nb($addr, 2);
173root▲ ★
垢版 |
NGNG
>>172
おぉー、仕込んでみるか。

しくったら、undef が返るですか。
このへんは適当に改変で。
174ピロリ
垢版 |
NGNG
>>171
あっしにはかかわりのねーことでござんす。

I will go my own way.
2006/07/01(土) 23:12:33ID:n3bixt2Z0
>>174
まってっからねー？
削除ガイドライン変更に伴って、わいわいがやがや話し合うスレ
http://qb5.2ch.net/test/read.cgi/sakukb/1151635877/
2006/07/01(土) 23:18:12ID:InHpuzAM0
>>174
かかわらないんだったらかかわりたい人を募集してください。
2006/07/01(土) 23:18:55ID:2gsQUJHy0
>174

"ピンク丼"さん、1名ご招待〜♪
2006/07/01(土) 23:21:48ID:dBMtxw2f0
>>175-177
2ch特化型サーバー・ロケーションと関係ない話を持ち出すな
179root▲ ★
垢版 |
NGNG
>>168
ex16 で動作する read.cgi と offlaw.cgi は、私のほうで作成して、
ログインディレクトリに置いてありますです。
180ピロリ
垢版 |
NGNG
>>179
はいー
181root▲ ★
垢版 |
NGNG
>>179 補足
(offlaw.cgi はソースのありかが（りゃ なので、ex13 のを単にコピりました)
182root▲ ★
垢版 |
NGNG
HDD 交換前と全く同じ症状でダウン。

/home を触ったプロセスが、軒並みハングアップ。
ハードかソフトかは、別途検証で。
2006/07/02(日) 07:41:12ID:???0
6.1絡みですが嫌なレポートが

Problem Report amd64/99561 : system hangs in FreeBSD AMD64 when writting ext2fs
ttp://www.freebsd.org/cgi/query-pr.cgi?pr=amd64/99561

Problem Report kern/99588 : UFS2 filesystems hang when doing "fsck -B" or "dump -L" or "mksnapffs" in a moderated I/O filesystem with many file locks/unlocks
ttp://www.freebsd.org/cgi/query-pr.cgi?pr=kern/99588
2006/07/02(日) 09:29:54ID:8qElqrJX0
>>183 ext2fs はとりあえず無視できるとして，UFS2 云々がﾏｽﾞｰ？
185root▲ ★
垢版 |
NGNG
>>183
> Release
> FreeBSD 5.4p12

ですね。< 下のやつ

ex13 は 5.4 ですが、今日で 402 日連続稼動です。
ex13 って、決して負荷低くないはず。
186root▲ ★
垢版 |
NGNG
っていうか、これ、既知の問題ですね。

深夜の定期バックアップでハングしてたのは、これです。
dump -L で dump するのをやめてからは、定期バックアップでハングしたことはないです。
187root▲ ★
垢版 |
NGNG
あと、fsck -B も確かにたまに挙動不審になったので、

# for fsck customizing
background_fsck="NO"

って、やってあるです。これももう、設定して1年以上にはなると思う。
2006/07/02(日) 16:35:55ID:8qElqrJX0
>>185-187 なるほど，ってか確かにそんな話あったような．
で，上の方で mpsafenet 云々って話もありましたが，5F->2F の引っ越しも
終わったんで，news20b か live23b のどちらかを人b(ryってのもそろそろ......

あと，スペシャルデータセンタ（仮称）のめどが立つのなら，
oyster901 は別の用途を考えてもいいのかも？
189御法川将貴
垢版 |
2006/07/02(日) 21:15:49ID:qQErDhIX0
俺が言った途端　復活しやがったか
190root▲ ★
垢版 |
NGNG
oyster901、負荷試験中。

%jobs
[1] + Running ./du.sh
[2] - Running ./du.sh
[3] Running ./du.sh
[4] Running ./du.sh
[5] Running ./du.sh
[6] Running ./du.sh
[7] Running ./du.sh
[8] Running ./du.sh
[9] Running ./du.sh
[10] Running ./du.sh
[11] Running ./du.sh
[12] Running ./du.sh
[13] Running ./du.sh
[14] Running ./du.sh
[15] Running ./du.sh
[16] Running ./du.sh
[17] Running ./du.sh
[18] Running ./du.sh
[19] Running ./du.sh
[20] Running ./du.sh
[21] Running ./du.sh
[22] Running ./du.sh
[23] Running ./du.sh
[24] Running ./du.sh
[25] Running ./du.sh
[26] Running ./du.sh
[27] Running ./du.sh
[28] Running ./du.sh
[29] Running ./du.sh
[30] Running ./du.sh
[31] Running ./du.sh
[32] Running ./du.sh
191root▲ ★
垢版 |
NGNG
du -a /home 無限ループ中。

22:00 まで、この状態で動かす予定。
192root▲ ★
垢版 |
NGNG
>>191 の後は、書き込み系のテスト。

/md と /home で実施予定。
193root▲ ★
垢版 |
NGNG
22:00 まで問題なし。

書き込みテストへと。
194root▲ ★
垢版 |
NGNG
書き込みテスト中。

何か、書き込み中に ^C した時の「戻り」が、なんか微妙におかしいかも。
195root▲ ★
垢版 |
NGNG
>>194 は、気のせいかも。

いずれにせよ、調べ中。
196root▲ ★
垢版 |
NGNG
/home/.snap を rm -rf して、umount / mount してテスト中。
197root▲ ★
垢版 |
NGNG
さっきのテストしながら、dd で bs=512 なファイル作っては消し、
作っては消すのを 10 多重で動かし中。

23:00 まで。
2006/07/02(日) 22:47:38ID:8qElqrJX0
HDD の負荷試験なら sync もバシバシかけた方がいいのかしらん？
199root▲ ★
垢版 |
NGNG
>>198
bufdaemon さんが sync することになっているけど、
確かに、それはありですね。
200root▲ ★
垢版 |
NGNG
ううむ、/home/.snap がないと、
動作が普通っぽくなるみたい。^C に対する反応とか。

rm する前と後で sync するようにして、再度動かす予定。
201root▲ ★
垢版 |
NGNG
>>200
再度動かし始めた。
概ねこんなのを。

dd if=/dev/random of=$$.dat count=512 2> /dev/null
sync
rm -f $$.dat
sync
202root▲ ★
垢版 |
NGNG
もうしばらくやって問題なかったら、、、。

次は、vipper の人にでも協力してもらうかな。
2006/07/02(日) 23:10:45ID:8qElqrJX0
>>202 最速1000ですか．まぁ HDD だけじゃなくネットワーク I/O との相互作用ってのもありえますし．
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況