X
トップページ⇒運用情報
1001コメント326KB

【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17

■ このスレッドは過去ログ倉庫に格納されています
0001root▲ ★
垢版 |
05/02/03 05:34:37ID:???0
peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。

＜現在の主要なテーマ＞
・oyster243(BBQ/dnscache)の突然死対策&cobra2245セットアップによる2台体制化
・oytser902(memories)のFreeBSD 5.3化
・「雪だるま作戦」による、スケーラブルなサーバ群構築
・read.cgi/bbs.cgiの細かな調整・詰め
・携帯サーバのプライベート側スイッチのグレードアップ検討
・各種作戦・プロジェクトとの連携
・FreeBSDのさらなるチューニング詰め

＜関連スレッド＞
■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1
http://qb5.2ch.net/test/read.cgi/operate/1105035540/
■ 自動地震速報＠2ch をつくろう
http://qb5.2ch.net/test/read.cgi/operate/1106583619/
■ テレビ番組欄＠2ch をつくろう 第2話
http://qb5.2ch.net/test/read.cgi/operate/1107366393/

＜関連サイト＞
レンタルサーバー maido3.com ２ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html

＜前スレ＞
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16
http://qb5.2ch.net/test/read.cgi/operate/1102087698/
0301root▲ ★
垢版 |
2005/03/22(火) 15:21:56ID:???0
http://qb5.2ch.net/test/read.cgi/operate/1105645765/206 について。
とりあえず、以下が見つかったのでおれさまメモ。
ex10とかlive系とかでは、使えるかも。

http://www.geocrawler.com/mail/msg.php3?msg_id=5151086
(Google cache)
http://64.233.179.104/search?q=cache:B6qawydJdgIJ:www.geocrawler.com/mail/msg.php3%3Fmsg_id%3D5151086+kern.filedelay%3D240&hl=ja

FROM: Tony FinchDATE: 02/12/2001 13:13:51SUBJECT: RE: Any ideas on keeping the disk spun down on laptop Kevin Oberman <<EMAIL: PROTECTED>> wrote:
>
>Has anyone looked into making update(4) not do any disk IO when there
>have been no changes to metadata? And, is there a way to extend the
>update period? Or am I completely off base in my belief that update(4)
>is the source of the continuing disk accesses.

There is a simple patch to extend the time between syncer runs: see
PR#21859. I've been running with this for months now and it works
nicely. In /etc/sysctl.conf I have

kern.syncdelay=250
kern.filedelay=240
kern.dirdelay=230
kern.metadelay=220

and in my kernel configuration file I have

options SYNCER_MAXDELAY=1024# allow up to 17 minutes between syncs
0302root▲ ★
垢版 |
2005/03/22(火) 16:06:05ID:???0
BBS/BBX/BBY/BBR/BBMの許可リストにbanana313(= pc8)のIPアドレスを登録しました。

F22の起動は、動き出してから。
0304FOX ★
垢版 |
2005/03/22(火) 23:46:19ID:???0
oyster901 の性能の件について

重いのは、当然アクセスが多いからではあるが、
それはおいて置いて、

ボトルネックは何? (HD? or RAM? or others?)

HD であるなら ２ちゃんねるの動作仕様を変えるしか手が無いと思う
RAM であるから、増設して実験してみたい。
others であるなら何?
0305 ◆Reffi/bQ.c
垢版 |
2005/03/23(水) 00:17:24ID:z/dOlnBm0
この調子ですと４月中には正式版出るかも


ttp://www.freebsd.org/releases/5.4R/schedule.html
0306FOX ★
垢版 |
2005/03/23(水) 00:23:06ID:???0
本日の実験の結果から言うと

1) httpd は増やしてもメモリばっかり食っていまいち。
2) -M を増やすと 投稿/min は伸びる(まだ天井は見ていない)
3) deflate は結構重い
4) read.cgi はこのサーバではゴミのようだ
5) 現在の資源での極大値は　-M増加、httpd増やさない、defalteカットででるらしい
0307root▲ ★
垢版 |
NGNG
>>306
ですね。
補足すると、

1)tigerサーバの場合ですが、read.cgiが多いサーバは、httpdがたくさん必要な傾向があるようです。
芸スポのあびる優祭りの際には、httpdが売り切れる現象を目撃しました。
あと、マツケンサンバの時は、必ず売り切れてしまうようです(泣。
あと、ex10はROMが少ないというのも、影響しているように思います。

2)他の原因をとっぱらってやると伸びるということは(read.cgi止めるとかdefleteを切るとか)、
書き込み数はまだ裁ける可能性があるということですね。
これは、夜の実況が投稿数の割に軽いとか、ドスペよりも海老沢会長の方がレス数が多くなるとかの、
統計的事実や私の感覚とも一致しています。

3)帯域に余裕があるなら、deflete止めたほうがいいのかもですね。

4)read.cgi起動数は、news18と同じぐらいです。直読み数は数倍違いますが。

5)この方針で明日以降も、ごにょごにょしてみるということで。
ex10だけデフォルトでdeflete止めるように、.htaccessを設定してみるか。
0308FOX ★
垢版 |
2005/03/23(水) 00:41:32ID:???0
私は index.html subject.txt 更新を
適当にサボるように bbs.cgi を改造してみるか、
0309root▲ ★
垢版 |
NGNG
>>308
マニラで話してた例のやつですね。subject.txtを非同期にすると。

路線としては、
・3回に1回にする
・ランダムに手を抜く
・subject.txt/subback.html/index.html生成を別プロセスにして、たまに動かす

とかか。

ということでこの話題は、bbs.cgiスレで。
0311root▲ ★
垢版 |
NGNG
ex10だけ、圧縮を切る設定を入れた。
.htaccess で以下を設定。

# for test: disable gzip on ex10 -- mumumu, 2005/3/23
SetEnvIf Host ex10 no-gzip
0312root▲ ★
垢版 |
NGNG
さて、live20の状況を気にしつつ、そろそろおやすみ。
0313root▲
垢版 |
2005/03/23(水) 09:32:18ID:WF1A5/r50
クリトリス
0314動け動けウゴウゴ２ちゃんねる
垢版 |
2005/03/23(水) 11:02:12ID:ebPFAWpB0


>>313
0321ピロリ
垢版 |
2005/03/23(水) 15:11:26ID:aRP3hPq80
Tiger503 has had HD0 replaced with new 37gb SCSI disk.
It has been re-installed and is back online.
Please login via SSH, mount /home partition and check.
-Sean

と言っているが、
0322Exciteさんから
垢版 |
2005/03/23(水) 15:20:06ID:V/MhJCGZ0
Tiger503はHD0を新しい37gb SCSIディスクに取り替えさせました。
それは、再インストールされて、オンラインで戻っています。
SSH、マウント/家のパーティションでログインして、チェックしてください。
-ショーン
0325root▲ ★
垢版 |
2005/03/23(水) 17:16:33ID:???0
>>321
ログインできました。状況確認。

・/home (#2 disk、掲示板システム)は中身も含めて無事
・システムディスク (#1 disk) は、FreeBSD 5.3Rが入った状態

ということで、これからシステム側をもみもみします。
今夜には復活できる予定。
0330root▲ ★
垢版 |
NGNG
>>329

lang/perl5 has been updated to 5.6.2, and lang/perl5.8 has been updated to 5.8.6.
you should update everything depending on perl, that is:

というわけで、Perlの更新をする時は、Perlに依存したソフトを全部更新する必要があると。
5.4Rにする時には、工事が必要になるわけか。
0332root▲ ★
垢版 |
NGNG
>>331
問題の先送りってやつですね。
たぶん大丈夫なんでしょうけど、どうせ入れ替えると割り切って
流れに身を任せるほうが、あとで禍根を残さないかも。
0334root▲ ★
垢版 |
NGNG
最終段階に入ったのですが、、、。
最後にApache起動テストをしたら、黙ってしまいました。なぜだろう。

リブート依頼します。
0335root▲ ★
垢版 |
NGNG
リブート待ち中。

…とてもいやな落ち方なので、
メモリとか、そういう問題かも。
0336 ◆UFUFUbWUSk
垢版 |
2005/03/23(水) 21:53:08ID:1FFBI2sg0
おつです

(；・∀・)ﾄﾞｷﾄﾞｷ…
0338root▲ ★
垢版 |
NGNG
>>337
仕込みは概ね終わっています。
(bbs.cgiの更新等も含む)

最終テストをしていたところで、謎のハングアップ。
現在リブート待ち中です。

現時点では、メモリ等の別のハードウェア障害がないことを祈るしかなく。
0339 ◆MIPS.kHN86
垢版 |
2005/03/24(木) 00:18:58ID:NhkGMhfU0
>>338
お疲れ様です。とりあえず自分も祈っておきます。（-人-）
0340動け動けウゴウゴ２ちゃんねる
垢版 |
2005/03/24(木) 00:28:13ID:1Vp/ZGx70
>>338

　　　　　　　　　　　　　／￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣
　　 　　,＿＿　　　　　| 　無事に復活しますように
　 　 ／　　.／＼ 　　　＼＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
　 ／　　.／( ゜ ).＼ 　　　　　　o〇　 　 　　ヾ!;;;::iii|//"
／_____／ .( ・ω・）,＼　　ﾍ⌒ヽﾌ　　　　　 　|;;;;::iii|/ﾞ
￣|| || || ||. |っ¢..||￣　　（,,　　）　ﾅﾓﾅﾓ　 　|;;;;::iii|
　 || || || ||./,,,　|ゝ iii~ 　　⊂　ヾｗｗｗｊｊｒｊｗw!;;;;::iii|ｊｗｊｊｒｊｗw〃
　 |￣￣￣|~~凸（￣）凸　（　　,,）〜　ｗｊｗｊｊｒｊ从ｊｗｗｊｗｊｊｒｊ从ｊｒ
0341名無し募集中。。。
垢版 |
2005/03/24(木) 00:38:19ID:p127zQgn0
愛しのtiger503ｶﾞﾝｶﾞﾚ
寂しくなったら戻っておいで〜ｗ
0344root▲ ★
垢版 |
2005/03/24(木) 10:50:20ID:???0
tiger503 をリブートいただいたのですが、数個パケットが来るようになった後、すぐに黙ってしまいます。
再度リブートしてもらっても同じでした。

Apacheを起こしたとたんにおかしくなったので、
Apacheを自動起動しているところで止まっているのかもしれません。

困りました。
特に変な設定は、していないはずなのですが。

シングルユーザで立ち上げて、Apacheを起動しないようにして立ち上げなおす必要ありか。
その旨、お願いしておきます。

%ping live20.2ch.net
PING live20.2ch.net (206.223.150.110): 56 data bytes
(pingきはじめる)
64 bytes from 206.223.150.110: icmp_seq=673 ttl=63 time=4.623 ms
64 bytes from 206.223.150.110: icmp_seq=674 ttl=63 time=4.572 ms
64 bytes from 206.223.150.110: icmp_seq=675 ttl=63 time=0.805 ms
64 bytes from 206.223.150.110: icmp_seq=676 ttl=63 time=4.761 ms
64 bytes from 206.223.150.110: icmp_seq=677 ttl=63 time=0.784 ms
64 bytes from 206.223.150.110: icmp_seq=678 ttl=63 time=5.525 ms
64 bytes from 206.223.150.110: icmp_seq=679 ttl=63 time=4.690 ms
(ここで黙る)
^C
--- live20.2ch.net ping statistics ---
724 packets transmitted, 7 packets received, 99% packet loss
round-trip min/avg/max/stddev = 0.784/3.680/5.525/1.849 ms
0345root▲ ★
垢版 |
2005/03/24(木) 10:59:28ID:???0
中の人と対策を相談中、、、。
0346動け動けウゴウゴ２ちゃんねる
垢版 |
2005/03/24(木) 12:46:20ID:fCKWTdLK0
さてどうなるか
1)OSからインストールしなおす
2)別のマシンを調達
3)しみじみと設定に変な所がないかを見直し

いずれにしても時間かかりそうだなあ
0347 ◆MIPS.kHN86
垢版 |
2005/03/24(木) 13:07:31ID:NhkGMhfU0
4)なかったことにする

しかし、何やら本当に深刻なようで・・・
0353リボルバーさん ◆LoWvdc0uhQ
垢版 |
2005/03/24(木) 18:03:13ID:oJsp0WZl0
>>350
（私調べ）
liveサーバは14,15,16,19,20が稼動中。
よって退役サーバは15？
0355リボルバーさん ◆LoWvdc0uhQ
垢版 |
2005/03/24(木) 18:16:56ID:oJsp0WZl0
>>350
live14…ニュース実況＋＋
live15…なんでも実況(ビーナス)、実況せんかいｺﾞﾙｧ！＠実況ch、番組ch、BS実況ch(NHK)、BS実況ch(民放)、実況スカパー、ラジオ実況、実況せんかいｺﾞﾙｧ！＠スポーツch、お祭り会場
live16…なんでも実況(サターン)、番組ch(NHK)、番組ch(NTV)、番組ch(TV東京)、オリンピック実況(女)
live19…市況実況2
live20…なんでも実況(ジュピター)、実況(NHK教育)、番組ch(TBS)、番組ch(フジ)、番組ch(朝日)、実況せんかいｺﾞﾙｧ！＠やきうch、実況せんかいｺﾞﾙｧ！＠芸能ch
0356▲ 某ソレ511
垢版 |
2005/03/24(木) 19:38:38ID:jAflViFV0
live18・・・臨時地震、臨時地震2 もね。
あとlive19には株式、投資一般、ネトゲ速報、ネトゲ質問、ネトゲ実況、2、3
live14にはニュース二軍+、大河ドラマもあります
0357動け動けウゴウゴ２ちゃんねる
垢版 |
2005/03/24(木) 20:10:10ID:2xqYW0W30
ハードウェアトラブル？
0358ピロリ
垢版 |
2005/03/24(木) 20:11:53ID:vNTaqkB+0
まんこ舐めたい・・・・・
0360FlashLight♦­....... ◆f.lightAf6
垢版 |
2005/03/24(木) 20:15:46ID:NWv3WqfI0
エエエエエ（´Д｀）エエエエエ
0362 ◆MIPS.kHN86
垢版 |
2005/03/24(木) 20:17:18ID:NhkGMhfU0
ぁゃιぃ・・・　どうなっても知らんぞ
0363讃岐 ◆IamaVIPdCI
垢版 |
2005/03/24(木) 20:18:22ID:y50yTTY90
ﾜﾛｽｗｗｗ
0371root▲ ★
垢版 |
2005/03/24(木) 21:34:29ID:???0
まずは切り分けのために、Apacheの起動をやめることにしよう。
(Apache起動のとたんに死んだので)

ということで、今夜もし私がオンラインでない時にPIEで対応、ということになった場合、
以下のオペレーションをお願いしてもらえると、とても助かります。

(同じ文面をJimさんとSeanさんにメールしておきます)

Jim-san, Sean-san,

I want to determine the cause of the trouble of tiger503.
I suspect that the cause of trouble is my bad apache configuration
because when I started apache manually, the system has been down.

So, if you can, please do the following operations.
It disables Apache server autostarting.

1) Reboot tiger503 as single user mode.

2) Remove Apache startup file, as follows.

rm -f /usr/local/etc/rc.d/apache2.sh

3) Then, reboot the system.

After the system has been up, I will fix the problem remotely.

Regards,
0372ピロリ
垢版 |
2005/03/24(木) 22:05:35ID:vNTaqkB+0
>>371
了解


それにしてもクンニしたい・・・・・・
0373【沈黙-ω-】 ◆.0e0wEv5W6
垢版 |
NGNG
>>372
エッチなのはよくないと思います（＞＜）
0379讃岐 ◆IamaVIPdCI
垢版 |
2005/03/24(木) 22:16:44ID:y50yTTY90
ﾜﾛｽｗｗｗ
0384FOX ★
垢版 |
2005/03/25(金) 00:19:20ID:???0
軽くなった原因をdeflateを止めたからだと「結論つける」ならば、
すでにCPUの能力が限界であると結論づける事になると思う。
ということはこれ以上の容量(キャパシティー)増加は見込めない。
費用対効果では Tiger の方が上である。
0386動け動けウゴウゴ２ちゃんねる
垢版 |
2005/03/25(金) 00:38:15ID:d4ZGrRgJ0
転送量で騒いでた時期もあったけど、
最近は負担のほうが問題ですかあ。
2ちゃんねる君も成長したものです。
0387じじぃ　その４ ◆HETAREzfq.
垢版 |
2005/03/25(金) 00:39:43ID:+EtwiaUg0
http://homepage3.nifty.com/aona/archive/modelnumber_table.html

モデルナンバから考えるに、opteron242は2800〜3000相当じゃろうから
こんなもんなんじゃろうのぅ
セールストークに出てくる電気代云々はこの場合関係なさそうじゃし、

メモリコントローラ直付けはかなり効いておるようじゃが、それならば
安いSempron（32bit）でも効果は同じように（比較対象がPen4になるが）
出てくるはずじゃ　　高いopteronを使う必要はないのう
0388FOX ★
垢版 |
2005/03/25(金) 00:40:14ID:???0
負荷の一種かも知れないけど、
最近ボトルネックというかコストが一番高いのは

「電気代」の事態になりつつあるように思える。
0389動け動けウゴウゴ２ちゃんねる
垢版 |
2005/03/25(金) 00:40:48ID:0TpS8m1q0
CPU負荷の最大の原因がmod_deflateにあるのならば
圧縮率を下げることで、
mod_deflateによる負荷は1/2-1/3程度まで下げられるはず
0390FOX ★
垢版 |
2005/03/25(金) 00:42:01ID:???0
×　事態
○　時代
0391 ◆MIPS.kHN86
垢版 |
2005/03/25(金) 00:43:14ID:2ApxEl1o0
スピードステップ技術を投入すれば多少は減るのかな
0392動け動けウゴウゴ２ちゃんねる
垢版 |
2005/03/25(金) 00:46:53ID:0TpS8m1q0
で、
.datの差分取得をするクライアントは、
Accept-Encoding:gzipを送らないので、mod_deflateは関係ない。

問題は、各種HTMLを取得するクライアント(汎用ブラウザ)、及び
subject.txtを取得する時
.datを全取得する時
に、mod_deflate経由の圧縮が有効になること。

まさかc.2chが.datを取得する時に圧縮することはないだろうし
とりあえずsubject.txtかな。

あと、確かsquidはVary:Accept-Encodingに対応しているはずなので
squidが圧縮後のデータをキャッシュしてくれているのなら効果あるかも。
0393じじぃ　その４ ◆HETAREzfq.
垢版 |
2005/03/25(金) 00:56:32ID:+EtwiaUg0
>>388
AMDのHammar系列はIntelのNetBurst系列よりは
消費電力が低いはずだす

…なんか現状は、ディーゼル車がガソリン車より値段が高いようなもんなのかのう、、
0394FOX ★
垢版 |
2005/03/25(金) 01:22:05ID:???0
>>393
電気代と比べるのは
場所代とか回線代とかです

つまり総コストに占める割合のはなし、
0395root▲ ★
垢版 |
2005/03/25(金) 01:28:32ID:???0
>>384
費用対効果ですか。

oyster901は現在メモリ4Gなわけですが、これのメモリを8Gに増やして
真の力(仮)をしぼり出させるより、玉数を増やす(例えばメモリ2Gのtigerを2つ入れるとか)の
ほうがいいかもとか、そういう話も含めて、考慮することになりますかね。

あとOpteron242(2004年1月当時としても相当下の方のOpteron)は、
Xeonのいくつぐらいに相当するのか、とか。
最近のOpteronなら、もっといけるのかどうか、とか。

あとは、amd64版のコンパイラの出来とかも、ありえるのか?
あるいはamd64は、圧縮・展開が実は不得意だったとか。
0396root▲ ★
垢版 |
2005/03/25(金) 01:34:11ID:???0
>>388
電気代の件

そういえば、4月に出る(遅れているようですが)FreeBSD 5.4Rから、cpufreqという機能が入るみたい。

20050225:
The cpufreq framework has been merged. As part of this, the sysctls
for acpi(4) throttling have been removed. See cpufreq(4) for the
new sysctl interface. The power_profile script has also been updated,
so you can use performance/economy_cpu_freq in rc.conf(5) to set AC
on/offline cpu frequencies. No new cpufreq drivers have been brought
in with this import but drivers from -current can now be built and run
on -stable.
0397FOX ★
垢版 |
2005/03/25(金) 01:35:02ID:???0
電気はCPUが消費しているんじゃなく
たきさん着いているFANのような・・・
0398root▲ ★
垢版 |
2005/03/25(金) 01:36:02ID:???0
>>392
で、これ面白いので、やってみるです。

今日寝る前に、subject.txtだけ圧縮しないようにしてみます。< ex10
ex10 は専用ブラウザ率が高いし祭り率も高いから、subject.txt 読まれ率が異常に高いと推測。
0399FOX ★
垢版 |
2005/03/25(金) 01:36:03ID:???0
>>384
の一行目は皆さん肯定しているんですか?
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況