2ch特化型サーバ・ロケーション構築作戦 Part21

**root▲ ★** · NG

2ch特化型サーバ・ロケーション構築作戦のスレッドです。

・２ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更関連の各種作業や調整事項
・２ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携

等を取り扱います。

現在、複数サーバによる連携により、
サーバ能力のさらなるスケールアップをめざすための「雪だるま作戦」が進行中です。
しかし、問題はあらゆる意味で山積の状態です。

また「２ちゃんねる証券取引所」をはじめとする「株」関連や「Be」の機能強化、
あるいは、次世代の携帯アクセス環境をめざした「べっかんこ作戦」の状況など、
気候も暖かくなり、そろそろ気になりだす季節にさしかかりつつある今日この頃、
あいかわらず２ちゃんねるは、刻一刻と確実に変化し続けています。

**root▲ ★** · NG

>>476
ありがとうございました。

**root▲ ★** · NG

>>474
> ・なにやら大きな引越しがあるとかなんとか … 動きが決まってきたらということで

【365Main】回線増速(ニュー速とかお引越しのご案内)
http://qb5.2ch.net/test/read.cgi/operate/1147078648/

はてさてふふ～ん♪ ってかんじで。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/08(月) 18:32:35

でっきるかなー。

**root▲ ★** · NG

FreeBSD 6.1 Released
http://lists.freebsd.org/pipermail/freebsd-announce/2006-May/001064.html

ということで、正式アナウンス出ました。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/09(火) 15:41:23

>>480
おお。さっそくex14(ry

**root▲ ★** · NG

news20b が退院したという情報が入りました。
負荷テスト後問題なければ、news20 本格稼動へと。

**root▲ ★** · NG

負荷テスト(make -j 4 buildworld) を流して数分もたずにハングアップしました、、、。
中の人と調整中。

◆BFzK/mtqM2 · 2006/05/09(火) 16:32:18

冷却ファンが動いていないとか言うオチはないですよね。

**root▲ ★** · NG

今回の修理は、ファンの交換だったと聞いているです。

**root▲ ★** · NG

…しかし、CPUの温度は確かに高いです。

ファン交換前は CPU #0 が52℃、CPU #1 が58℃でした。
今は CPU #0 が49℃、CPU #1 が53℃のようです。

ううむ。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/09(火) 16:41:16

センターうんこじゃないとか

**root▲ ★** · NG

ちょっと、他の cobra サーバの様子をみてみるか。

**root▲ ★** · NG

ちょっと BBQ サーバ、リブートします。
BBQ2 があるので、システム自体は止まらないはず。

**root▲ ★** · NG

BBQ = cobra2245 は、#0 #1 とも 55℃ ですね。

でも、数ヶ月以上問題なく動いていました。
つまり、CPU ファンの異常とは思えない。

**root▲ ★** · NG

BIOS のスクリーンショットを保存して、立ち上げなおし中。
…これは、原因は温度上昇ではないですね。

**root▲ ★** · NG

BBQ ブートアップしました。

**root▲ ★** · NG

…まさか、とは思うものの、
ex14 から /boot/kernel/kernel だけ抜いてきて、
その環境で動かして、負荷テストしてみることにした。

amd64 な FreeBSD 6.1R は初体験のはずなので。

**root▲ ★** · NG

なんか、止まらないや、、、。
うーむうーむ。

**root▲ ★** · NG

FreeBSD for AMD64(and for oyster901)
http://pc8.2ch.net/test/read.cgi/unix/1075691732/804

804 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2006/03/15(水) 09:50:47
X2 4200+ 6.1-PRERELEASE だけど、
options SCHED_ULE
options ADAPTIVE_GIANT
を共に有効にしたカーネルのとき、/をマウントするところで凍ったことはある。
どちらか一方なら平気だけど。

今は ADAPTIVE_GIANT を切って様子見ているけど。

**root▲ ★** · NG

SCHED_ULE は有効にしていないので、大丈夫だとは思うんですが、
ううむ。

**root▲ ★** · NG

6.1R で入った機能というと、kbdmux か。
はずしてみます。

**root▲ ★** · NG

ばりばり make 流してますが、落ちる気配ないですね。

これは、何らかのソフトウェア上の問題で確定かなと(まじかよ)。
>>497 を試すべく、準備中。

**root▲ ★** · NG

あるいは、これだとちといやだなぁ、、、。

http://www.freebsd.org/releases/6.1R/todo.html
UFS deadlocks on amd64
Needs testing
Tor Egge Seen by Kris Kennaway. This problem seems MI.

**root▲ ★** · NG

kbdmux を外したカーネルにして、make -j 4 buildworld を実行。

**root▲ ★** · NG

動いてます、、、。

**root▲ ★** · NG

make は好調に続いています。

#device kbdmux # keyboard multiplexer

これをカーネル設定ファイルから外したら、動きました。

この設定(キーボードマルチプレクサ)は 6.1R から、
i386 と amd64 では、標準で有効になっています。

i386 では、これまで問題は起こりませんでした。
banana, 旧tiger, 新tiger いずれも。

amd64 (cobra) で、かつデュアルCPU有効のカーネルの場合にのみ、
このオプションがあると、ちょっと負荷をかけると、ハングアップするようです。

で、この機能は２ちゃんねるのサーバでは使用していないので、
無効にしても、特に問題はないです。

# はまった、ってことか。

**root▲ ★** · NG

…ということで make -j 4 buildworld が完走したら、
問題解決ということでよいと思います。

あとはたんたんと構築して、第二の雪だるまデビューということで。

◆BFzK/mtqM2 · 2006/05/09(火) 18:20:25

kbdmux ってキーボードの抜き刺しが出来るってやつ？
コンソールと相性が悪いのかな？

**root▲ ★** · NG

>>504
BIOS かもしれないし、ACPI かもしれないし、
KVM との相性なのかもしれないし、他の問題かもしれないですね。

デュアルCPUの時だけ再現するというあたりが、なんとも。

**root▲ ★** · NG

再現 → 発現

**動け動けウゴウゴ２ちゃんねる** · 2006/05/09(火) 18:27:08

http://pc8.2ch.net/test/read.cgi/hosting/1123324035/
ネタだと思いますがrootたんのフルネームばらすとかなんとか言ってるので一応反応お願いします。

**root▲ ★** · NG

make -j 4 完走しました。
原因確定・問題解決ということで。

セッティング作業の続きは、帰宅後にでも。
かっこいいおにいさんとタイミングが合えば、
今日明日にも本格稼動可能と思います。 < news20

**root▲ ★** · NG

>>507
反応

**動け動けウゴウゴ２ちゃんねる** · 2006/05/09(火) 18:50:07

>>495
のわっ、このスレまだ1000いってなかったのか・・・・

>>507
なにこのネタスレと反応してみる

**動け動けウゴウゴ２ちゃんねる** · 2006/05/09(火) 18:56:11

ネタスレに見えますがこのスレがGW中に規制された●+公開p2の発祥地です。

**root▲ ★** · 2006/05/09(火) 22:16:31

bbsd の nice -20 を復活。< live22, news20b

**root▲ ★** · 2006/05/09(火) 22:18:51

続いて、

# StartServers 96
# ServerLimit 96
# ThreadLimit 32
# ThreadsPerChild 32

を、

StartServers 192
ServerLimit 192
ThreadLimit 16
ThreadsPerChild 16

に変更。< @live22

**動け動けウゴウゴ２ちゃんねる** · 2006/05/09(火) 23:42:04

今日のサッカーでは、2回しか落ちなかったそうですが、
やっぱり今までと同じsignal 10でcoreも同じところを
さしているんですかね。

**root▲ ★** · 2006/05/10(水) 00:06:28

>>514
2回目の時に httpd が二つ落ちました。
今 news20 のフロント作っているので、それができたら解析をば。

**root▲ ★** · 2006/05/10(水) 00:27:13

news20 フロント側、準備できたはず。

バックエンドを、かっこいいおにいさんに作ってもらおうと。

◆Reffiz2Zh. · 2006/05/10(水) 00:35:31

いよいよニュースな雪だるま本格始動ですか
予定としてはnew18と19ついでにlive22からnewsを移転させる形になるんでしょうか？

**root▲ ★** · NG

>>517
私の皮算用はそんなかんじですが、さて、どうなることやら。
まずは「勝ちに行く」ために、news を移転するかんじかなと。

◆Reffiz2Zh. · 2006/05/10(水) 00:49:11

>518
昨日のデータ

live22x　513,616
news　78,380

※約１５％程度減るのでかなり楽になるんじゃないかと思います。

**root▲ ★** · NG

>>514
(gdb) thread 31
[Switching to thread 31 (Thread 0x809d700 (LWP 100452))]#0 0x282fc363 in kill
() from /lib/libc.so.6
(gdb) where
#0 0x282fc363 in kill () from /lib/libc.so.6
Cannot access memory at address 0xbf6fba0c
(gdb) info frame
Stack level 0, frame at 0xbf6fba10:
eip = 0x282fc363 in kill; saved eip Cannot access memory at address 0xbf6fba0c
(gdb) info registers
eax 0x0 0
ecx 0x1be42ad0 467938000
edx 0x691 1681
ebx 0xa 10
esp 0xbf6fba0c 0xbf6fba0c
ebp 0xbf6fba28 0xbf6fba28
esi 0x285d9000 677220352
edi 0x5af 1455
eip 0x282fc363 0x282fc363
eflags 0x296 662
cs 0x33 51
ss 0x3b 59
ds 0x3b 59
es 0x3b 59
fs 0x3b 59
gs 0x1b 27
(gdb)

**root▲ ★** · NG

>>519
15% もさることながら、
やっぱりでっかい subject.txt と subback.html と index.html の作成コストですね。
このへんは bbsd になっても、根本的には変わらないところだから。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/10(水) 01:13:26

>>520 乙です。

>>325-327 の手順で解析できればもう少し何かわかるんですかね。

ちなみに落ちたときのbbsdのインターバルは10秒のままなんですか。

**root▲ ★** · NG

>>522
>ちなみに落ちたときのbbsdのインターバルは10秒のままなんですか。

5秒ですね。

◆SSu.zv/rvs · 2006/05/10(水) 04:41:59

たまたま
はげしく酔っ払いなんで、明日の昼にでも。。。

株価【650】 ▲ ◆cZfSunOs.U · 2006/05/10(水) 07:13:51

>>521 ドバッっと来た時にやっぱ苦しそうですか？＜bbsd　それともディスク I/O かな？
subject.txt は内部的に linked list で持ってるんで，並べ替えはスレ保持数にかかわらず
ポインタ3つ変更するだけなんで，配列をごっそり動かすのに比べれば軽いかとは思うんですが......

**root▲ ★** · NG

>>524
了解です。

>>525
ディスクI/Oかなとみています。

あと bbs.cgi における経験的には、index.html と subback.html のコストがでかいかなと。
今 ex14 ではピーク時に 1000res/min ぐらい問題なくさばけているようですが、
これは Saborin (index.html と subback.html の更新をまばらにする)が、でかいようです。

で、ここまで書いていて思ったのは、
subject.txt とそれ以外の動的更新ファイルの更新インターバルを
bbsd で個別に指定できるようになると、うれしいかもですね。

**root▲ ★** · NG

で、live22は既にHDDを54%も使用しているので、
先日別処で話題にしたように、news20 と同じネーミングルールで live23 を作って、
そのうちそっちにごっそり移動する感じで。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/10(水) 17:35:48

やるにしても物の怪のあとにしませう

**動け動けウゴウゴ２ちゃんねる** · 2006/05/10(水) 18:18:49

たぶん、物の怪に備えて、だと思います。

**root▲ ★** · NG

>>170
thttpd
http://www.acme.com/software/thttpd/

ここにすごいことがいろいろ書いてあるですね。
非圧縮の dat のところだけ、これにしてみるとかありなのか。

別途、試すということで。

**root▲ ★** · NG

cobra2244 が上がったら、プライベート側の IP アドレス振ってきます。
(さっきやればよかったんですが、落としてしまってから気がついた)

ping 待ち中。

**root▲ ★** · NG

…って、○○○したっぽいすね。

◆OSfanJsSVc · 2006/05/10(水) 21:54:21

頑張って下さい。

◆hikArinCL2 · 2006/05/11(木) 00:28:04

>>530
lighttpdが忘れ去られているような気もしなくもない。

あと、一時注目された日本製のサーバーソフトのesehttpdぐらいかな。
http://esehttpd.sourceforge.jp/doc/ja/index.html

**動け動けウゴウゴ２ちゃんねる** · 2006/05/11(木) 01:17:29

FreeBSDにはカーネルで動くhttpdは無いのかな。
あればそっち系が最強なんだろうけど。行儀のよさはともかく。

**root▲ ★** · NG

>>534
・読み出しのパフォーマンスが高くて
・gzip 圧縮が動作して
・できれば、cgi が動作する

そんなものがあると、とてもうれしかったりして。

**動け動けウゴウゴ２ちゃんねる** · NG

>>536
lighttpdは一応，下の二つに関してはできるようです．
mod_compressとmod_cgiを使えば．

パフォーマンスはどうなんでしょうねぇ
早いとは聞きますけど，実際どうなのかはイマイチ
わかりませぬ……

**root▲ ★** · NG

>>537
おー。

落ち着いたら試してみよう、そうしよう。

**動け動けウゴウゴ２ちゃんねる** · NG

>>537
が，動的コンテンツに大しての圧縮に関しては，
PHPはできるようですがそれ以外は　？？
静的なものは出来ますね．

**root▲ ★** · NG

>>539
バックエンドというぐらいで、性的なものだけで十分です。
ようは、datとsubject.txtですね。

read.cgi の場合、フロントが圧縮してくれると。

**root▲ ★** · NG

性的 → 静的

**動け動けウゴウゴ２ちゃんねる** · 2006/05/11(木) 02:16:54

　　_, ._
（　ﾟ Дﾟ）

**動け動けウゴウゴ２ちゃんねる** · NG

>>540
なるほろ．

ttp://www.lighttpd.net/documentation/compress.html
とりあえず参考までに．

株価【700】 ▲ ◆cZfSunOs.U · 2006/05/11(木) 08:57:48

>>526 最終段落のを反映してみますた．
　　　　-i subject_txt_interval[:subject_html_interval]: subject ファイル更新間隔(秒) [デフォルト: txt = 5, html = txt に同じ]

で，mod_proxy でフロント側に渡すコンテンツについてはバック側の httpd は
ポート 80 にこだわらなくてもよい，つまり呪文 CGI 等は普通に Apache 使って，
一方 dat や subject.txt 等は軽量版 httpd を別ポートで走らせる，ってことでも
いいのではないかと．圧縮もフロント側にやらせればバック側は sendfile() 一発ですね．
プライベートネットワークのトラフィック削減は mod_cache の仕事ってことで．

**動け動けウゴウゴ２ちゃんねる** · 2006/05/11(木) 09:26:49

>>535
OpenKeta というのが一応ある。
http://openketa.sourceforge.net/
使ったことないし、6.1でもそのまま動くかどうかはわからない。

**root▲ ★** · NG

>>544
どもです。

#!/bin/sh
exec 2>&1
exec env - TZ="JST-9" PATH="/usr/sbin:/usr/bin:/bin:/usr/local/bin" \
LANG="ja_JP.SJIS" \
/usr/bin/nice -n -20 setuidgid ch2live22 /usr/local/sbin/bbsd -f \
-c -b 192.168.100.1 -d /home/ch2live22/public_html \
-i 5:30 -I 120 -n 8 -p 2222 -s live22x.2ch.net

live22 こうしてみました。
txt は5秒、html は 30秒間隔。

**root▲ ★** · NG

なお、64bit 環境でコンパイルすると、

bbsd.c: In function `workerloop':
bbsd.c:2958: warning: cast to pointer from integer of different size

となる様子。

**root▲ ★** · NG

>>544
mod_proxy って、こういうのどう動くんでしたっけ。

・back =mod_proxy= front <= dat 直どり、gzip圧縮をリクエスト

このとき、
back で圧縮
front で圧縮

どっちかなと。

# back が圧縮している気がする。

**root▲ ★** · NG

>>548
あ、でも見ていると、ちゃんと倍ぐらい転送量出ているから、
圧縮はフロントでしているのかな。

# ちと寝不足なんで、ぼけてるかな。

株価【700】 ▲ ◆cZfSunOs.U · 2006/05/11(木) 12:09:44

>>547 そうか......LP64 だから sizeof(int) < sizeof(void *) と．修正しますた．

>>548 バックの httpd で mod_deflate が働いてればバックが圧縮し，
バックで mod_deflate が働いてなければフロントが圧縮します．

**root▲ ★** · NG

>>550
おー、それって、mod_deflate ないほうがいいのね、バックには。
やるやる。

**root▲ ★** · NG

負荷が下がった♪ @ live22

**root▲ ★** · NG

更新しました。 bbsd @ live22, news20b

▲ ◆SANUKI/VII · NG

おめでとうー。

**root▲ ★** · NG

mod_deflate オフは、live22 と news20b で実施。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/11(木) 18:38:55

>>551-555
麦茶をどうそー

つ　旦

株価【720】 ▲ ◆cZfSunOs.U · 2006/05/11(木) 19:47:10

>>551-553 >>555 乙です．が......ひょっとして mod_deflate に AddOutputFilterByType 使ってますか？
コンテンツが圧縮されてないようなんで...... reverse proxy の場合 AddOutputFilterByType は効かないので，
mod_filter 使った方がいいかと． http://httpd.apache.org/docs-2.2/mod/mod_filter.html

FilterDeclare deflate CONTENT_SET
FilterProvider deflate DEFLATE Content-Type $text/
FilterChain deflate

**root▲ ★** · NG

>>557
なるほど。

ばっちり、AddOutputByType 使っているです。

AddOutputFilterByType DEFLATE text/html text/plain text/css text/xml application/x-javascript

上記と等価にするためには、

FilterDeclare deflate CONTENT_SET
FilterProvider deflate DEFLATE Content-Type text/html text/plain text/css text/xml application/x-javascript
FilterChain deflate

これでいいのかしら。

**root▲ ★** · NG

あともうひとつ心配があって、
Apache 2.0 なサーバと .htaccess は共有していたりするわけですが、
2.0 なサーバに悪影響出ないのかなと。

# 出るようなら、とりあえず httpd.conf でやろうかと。

**root▲ ★** · NG

<IfModule ...> </IfModule> で囲めばいいのかな。

いずれにせよ、到着してからということで。

株価【700】 ▲ ◆cZfSunOs.U · 2006/05/12(金) 09:32:47

>>558-560 FilterProvider では単純列挙ってのはないので，同じようにやるとしたら regex でやることになるかと．
あと，mod_filter は 2.1 以降しかないんで IfModule で囲めば Ok ですね．

# mod_filter がない 2.0 まで用
<IfModule !filter_module>
AddOutputFilterByType DEFLATE text/html text/plain text/css text/xml application/x-javascript
</IfModule>

# mod_filter がある 2.1 以降用
<IfModule filter_module>
FilterDeclare deflate CONTENT_SET
FilterProvider deflate DEFLATE Content-Type /text\x2F(html|plain|css|xml)|application\x2Fx-javascript/
# FilterProvider の regex 中の / は \ でエスケープしてもダメポなんで \x2F で......
# というか text/.... は個別に列挙しなくてもいいかも？
# FilterProvider deflate DEFLATE Content-Type /text\x2F\w+|application\x2Fx-javascript/
FilterChain deflate
</IfModule>

**動け動けウゴウゴ２ちゃんねる** · 2006/05/12(金) 10:13:39

<IfModule filter_module>で2.0って誤爆しないの？

**動け動けウゴウゴ２ちゃんねる** · 2006/05/12(金) 10:19:17

あ、そもそも一致しないから誤爆するわけないですね。すんません。

◆Reffiz2Zh. · 2006/05/12(金) 19:48:21

サポート切れるとなると5.5か6へのリプレース計画を立てる必要があるかも

ttp://lists.freebsd.org/pipermail/freebsd-security/2006-May/003695.html

**動け動けウゴウゴ２ちゃんねる** · 2006/05/12(金) 20:13:41

4.10の鯖なんてあったっけ？

◆Reffiz2Zh. · 2006/05/12(金) 20:16:13

>565
問題になってくるのは5.4Rのサポートが１０月で切れちゃうこと
（5.4R使用マシンは多い）

**root▲ ★** · NG

ネットワークトラフィックが多くて、bbsd が通信できなかったのかな。
だとすると、ちと微妙だなぁ。

**root▲ ★** · NG

でも、ピークは「だまれなんたら」じゃないのか。

だとすると、bbsd のスレッド数を最初から多くしておくといいのかな。

【蕨】負荷監視所_20060511
http://live14.2ch.net/test/read.cgi/liveplus/1147326099/230

**root▲ ★** · NG

…やはり「だまれなんたら」らしいみたいですね。

**root▲ ★** · 2006/05/13(土) 04:42:23

ニュース速報運用情報 4
http://qb5.2ch.net/test/read.cgi/operate/1144597637/947

うーむ、とりあえず後でみてみることにしよう。

**root▲ ★** · 2006/05/13(土) 06:04:45

liveb1 関連
ex12 削除
news20 追加済。

>>561- を後で処理する (ちらしのうら)。

**root▲ ★** · 2006/05/13(土) 12:38:52

>>561
うーん、なんか入れても動かないです。

mod_deflate を httpd.conf 的に mod_filter よりも先に読まないといけないのかと思って、
変えてみたりもしたのですが。

もうちょっと調べてみます。

**root▲ ★** · NG

うーむ、

# for Apache 2.0 (original mod_deflate)
<IfModule !filter_module>
AddOutputFilterByType DEFLATE text/html text/plain text/css text/xml application/x-javascript
</IfModule>

# for Apache 2.2 (emulating mod_deflate for Snowman front-end servers)
<IfModule filter_module>
FilterDeclare deflate CONTENT_SET
FilterProvider deflate DEFLATE Content-Type /text\x2F\w+|application\x2Fx-javascript/
FilterChain deflate
</IfModule>

で、
GET /index.html HTTP/1.1
Accept-Encoding: gzip

は圧縮されるけど、
GET /livecx/index.html HTTP/1.1
Accept-Encoding: gzip

は、圧縮されないみたい。

**root▲ ★** · NG

>>573
# for Apache 2.2 (emulating mod_deflate for Snowman front-end servers)
<IfModule filter_module>
FilterDeclare deflate CONTENT_SET
FilterProvider deflate DEFLATE Content-Type /text\x2F\w+|application\x2Fx-javascript/
FilterChain deflate
</IfModule>

ここをコメントアウトすると、

GET /index.html HTTP/1.1
Accept-Encoding: gzip

も圧縮されなくなるから、上記が効いていることは間違いなさそうだけど、、、。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/13(土) 13:29:10

ローカル？

**root▲ ★** · NG

mod_filter が mod_deflate の上の行で読まれていても大丈夫みたい。
順番は関係ないと。

でも、状況は変わらないなぁ。