X
トップページ⇒運用情報
1001コメント326KB

【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17

■ このスレッドは過去ログ倉庫に格納されています
0001root▲ ★
垢版 |
05/02/03 05:34:37ID:???0
peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。

＜現在の主要なテーマ＞
・oyster243(BBQ/dnscache)の突然死対策&cobra2245セットアップによる2台体制化
・oytser902(memories)のFreeBSD 5.3化
・「雪だるま作戦」による、スケーラブルなサーバ群構築
・read.cgi/bbs.cgiの細かな調整・詰め
・携帯サーバのプライベート側スイッチのグレードアップ検討
・各種作戦・プロジェクトとの連携
・FreeBSDのさらなるチューニング詰め

＜関連スレッド＞
■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1
http://qb5.2ch.net/test/read.cgi/operate/1105035540/
■ 自動地震速報＠2ch をつくろう
http://qb5.2ch.net/test/read.cgi/operate/1106583619/
■ テレビ番組欄＠2ch をつくろう 第2話
http://qb5.2ch.net/test/read.cgi/operate/1107366393/

＜関連サイト＞
レンタルサーバー maido3.com ２ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html

＜前スレ＞
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16
http://qb5.2ch.net/test/read.cgi/operate/1102087698/
0217root▲ ★
垢版 |
05/03/15 02:24:04ID:???0
もう、5.4-PRERELEASE ぐらいのはず。
こんどのはかなり安定度上げる方向みたいですね。
個人的には、ひそかに期待していたりします。
0220root▲ ★
垢版 |
05/03/15 03:23:06ID:???0
ということで、DNS登録依頼いきます。

まずは第一段階、ex10とlive20の追加。

(新規追加)
+ex10.2ch.net:206.223.151.225
+live20.2ch.net:206.223.150.110

土地作りはできています。
0221root▲ ★
垢版 |
05/03/15 03:39:45ID:???0
ex10 と live20 に、fox.cgi のしくみを入れました。cron設定済み。

この後の流れ:

1) DNS登録 (>>220) by maido3.comの中の人
2) ex10とlive20に掲示板システム入れ込み
3) ex7の板をex10に、live8の板をlive20に全部移転
4) ex7とlive8の中身を全部memoriesに.退避
5) ex7とlive8のDNSの変更
6) ex10とlive20のF22のへの登録 by 受験生さん
7) 同、配布スクリプトとかへの登録(バーボンとか、ファイル配布関連とか)
8) 必要ならbbyliveの更新とか
9) memories内のread.cgi配布プログラムへの登録とか、ひ）りゃが作ったやつへの登録とか
10) httpdの数やら-M値やらを再設定・調整しなおすとか
11) 禁断の果実・SuExec・read.cgiのリミッターを調整しなおすとか
0222root▲ ★
垢版 |
05/03/15 03:54:03ID:???0
あと、私のほうでは稼動後に、

某MRTGの更新
某serverlist.htmlの更新
監視所の中の人たちに、例のやつをお願いする
0225 ◆BDFCNV1.to
垢版 |
05/03/15 14:21:33ID:bwghQ/T00
ほいほーい

もうすぐ出発だから、本格的には今晩かな、、、

一旦止めてざっくりやる方式の予感。

本日深夜or明朝 live8 , ex7 全部止まります
0226root▲ ★
垢版 |
05/03/15 14:24:24ID:???0
>>225
了解です。ざっくり方式すか。
そのつもりで
0228root▲ ★
垢版 |
05/03/15 14:26:29ID:???0
あら、暴発(なんか最近多いな)。

そのつもりでいます。
で、単独スレ立てといたほうがよさげなんで、そのへん、やっときます。
0229動け動けウゴウゴ２ちゃんねる
垢版 |
05/03/15 14:34:27ID:nsOaIrVP0
>224
DTI見えました。
0230動け動けウゴウゴ２ちゃんねる
垢版 |
05/03/15 14:35:37ID:253FQpUO0
>>224
DION見えました。
0234動け動けウゴウゴ２ちゃんねる
垢版 |
05/03/15 14:58:02ID:nsOaIrVP0
【Project　Peko】　ついに再発動おめでとうございます。

oyster901の真の実力が明らかになるときがｷﾀ━━━━━(ﾟ∀ﾟ)━━━━━!!!!
0235root▲ ★
垢版 |
05/03/15 15:02:20ID:???0
さて、どうなることやら。>>234

ex7(= tiger503)は、300投稿まではゆとりでこなしました。
でも、400投稿はふうふうでした。500はもうだめぽでした。

HDDはtiger503と同じしろものなので、実際には同じところで止まるかもしれません。
メモリは、倍載っています。これがうまく効く事を期待していますが、さて、どうなるか。

もちろん、OSが64bitでメモリアクセスが高速なことは、プラスに働くと信じています。
0236動け動けウゴウゴ２ちゃんねる
垢版 |
05/03/15 16:50:29ID:yZe9hT+n0
つか、関係スレを読まずに質問ですが、901を雪だるまに使う、ということでせうか？
そのへんがようわかりませんが。
0237root▲ ★
垢版 |
05/03/15 16:59:16ID:???0
雪だるまはいろいろな局面ですね。
まずは、live15 + liveb1 あたりかなと。

ネットワーク工事はさすがに今週中には終わるだろうから、
来週あたりからそっち方面は、ぼちぼちと。
0239root▲ ★
垢版 |
05/03/15 17:17:14ID:???0
>>238
今後ex10やlive20で関連する実験をするかもしれませんが、
直接関係するわけではないですね。

単に、サーバの限界値をみたいということで。
0241root▲ ★
垢版 |
NGNG
>>221
1) 2) 3) 6) 7) 8) 9) 完了
4) live8 完了 ex7 進行中
10) 11) 明日以降、動かしながら
0243root▲ ★
垢版 |
NGNG
5) いきます。

以下のDNSの変更をよろしくお願いします。

(現在)
+ex7.2ch.net:206.223.150.110
+live8.2ch.net:206.223.151.225

(変更後)
+ex7.2ch.net:206.223.151.230
+live8.2ch.net:206.223.151.230
0244root▲ ★
垢版 |
NGNG
ex10, live16, live20 で、禁断の果実(speedy_backend直接起動)を有効にしました。

この影響で、ex7とlive8の過去ログが一時的に見られなくなっています。
>>243 が終わってDNSが浸透すると、復活します。
0245root▲ ★
垢版 |
NGNG
>>244
ex10、speedy_backendの暴走が起こりますね。
結果、speedy_backendがたまっていく。

ex10だけ、一時的にはずしました(元の状態)。
今のex10のセッティングは1280 + -M32。
0246root▲ ★
垢版 |
NGNG
>>245
/usr/local/bin/speedy_backendを以下のシェルスクリプトに変更し、
本物は/usr/local/sbin/speedy_backendに置いて、
ex10の禁断の果実を再度有効にした。

#! /bin/sh -
# speedy_backend with CPU time limit
# created by mumumu, 2005/3/16

ulimit -t 120
exec /usr/local/sbin/speedy_backend $*
0247root▲ ★
垢版 |
NGNG
>>246
今1プロセスspeedy_backendの暴走が起こりましたが、
ちゃんと120sec(2min)になった時点で自爆することを確認しました。

これで、相当耐久力あがったはず。
live16とlive20にも入れてこよう。
0249root▲ ★
垢版 |
NGNG
ex10だけどんどん暴走プロセスがたまっていくので、
-t 30 にした。
0252root▲ ★
垢版 |
05/03/17 02:39:58ID:???0
あと、5分に1回動く統計処理を軽くする必要があるかな、とチラシの裏。< ex10
0253 ◆Reffi/bQ.c
垢版 |
05/03/17 02:56:01ID:TYo8uQLW0
実際に使ってるかわからないけど重要修正のようですので投下しておきます。


[patch] ip_fastfwd.c: fast forward will crash the system in 5.x
ttp://www.freebsd.org/cgi/query-pr.cgi?pr=kern/78893
0254root▲ ★
垢版 |
05/03/17 02:57:29ID:???0
>>253
どもです。
２ちゃんねるのサーバは、net.inet.ip.fastforwarding=0 っすね。
0258 ◆MIPS.kHN86
垢版 |
05/03/17 15:06:47ID:d/ehcWzI0
ex7の方はまだ変わってないな・・・
0259root▲ ★
垢版 |
NGNG
>>257
確認しました。

>>258
TTL = 300 なので、正しく実装されてれば、
おっつけ、かわるはず。

しばらくしたらディスクあけるために、前のところにあるファイルを消します。
0260root▲ ★
垢版 |
05/03/18 04:27:18ID:???0
旧 live8 と 旧 ex7 から古いファイルを消去し、HDDを空けた。
いずれも、memoriesに収容済み。
0261root▲ ★
垢版 |
05/03/18 04:51:47ID:???0
今日は重くならなかった、、、とすると。
投稿数は大幅には変わっていないから、>>251 が効いたのか、
あるいは live8 と ex7 の offlaw.cgi がいなくなったからか。
0262動け動けウゴウゴ２ちゃんねる
垢版 |
05/03/18 09:36:06ID:LYfFRFk60
>>261
ひとつ質問でーす

offlaw.cgiって何かしらの媚薬(speedyとか)を盛ってましたっけ？
# そもそもofflaw.cgiのコール数が少ない罠でしょうけど
0263root▲ ★
垢版 |
NGNG
>>262
なんにも。普通のCGIのはず(C)。

コール数はきちんと見てないけど、直感的には結構ばかにならんかもです。
特に ex7 の過去ログとか、何GBytesもあったりしたし。
0265root▲ ★
垢版 |
NGNG
>>264
「どうしますかねぇ」みたいな話は、既に（りゃ。
0268root▲ ★
垢版 |
05/03/19 15:01:59ID:???0
>>267
ふむ、RINGすか。
米国にあるサーバから使うのはあれですけど、いいんではないかしら。

あと、同じ名前付けてDNSラウンドロビン使うんなら、stratumはそろえた方がいいかもです。
0270root▲ ★
垢版 |
NGNG
>>269
ふうむ、、、。
なら、stratumごとにグループ名を変えるとか。

s1.ntp.ring.gr.jp
s2.ntp.ring.gr.jp
0272root▲ ★
垢版 |
05/03/21 02:24:37ID:???0
どうも、bbs.cgiが暴走するみたいなので、禁断の果実をいったんやめた。< ex10 / live16 / live20

で、そのかわりといってはなんだが、
speedy フロントエンドとバックエンドの間の通信に使う一時ファイルを、ジンギスカン上に作るようにしてみた。
(-T/md/tmp/speedy を追加)

#!/usr/local/bin/speedy -- -M32 -b1048576 -t660 -T/md/tmp/speedy

ex7が重い重い重い重い重い重い重いtiger503
http://qb5.2ch.net/test/read.cgi/operate/1096837151/739-741
0273FOX ★
垢版 |
2005/03/21(月) 20:56:20ID:???0
It appears Tiger503's boot partition is damaged.
I do not know if it is the drive or the files.
Are these SCSI drives setup to mirror?
If so, then I belive it is file damage.
Otherwise, probably the hard drive.
0274動け動けウゴウゴ２ちゃんねる
垢版 |
2005/03/21(月) 21:01:46ID:/gQoS50A0
>>273
（ﾉ∀`）ｱﾁｬｰ
0276 ◆yadoQ//n/E
垢版 |
2005/03/21(月) 21:04:04ID:THdCGAr50
ｶﾞ━━━━ΣΣ(ﾟДﾟ;)━━━━ﾝ
0277動け動けウゴウゴ２ちゃんねる
垢版 |
2005/03/21(月) 21:08:41ID:DqXw0ErL0
Tyger! Tyger! burning bright,
In the forests of the night,
What immortal hand or eye
Could frame thy fearful symmetry?
0279動け動けウゴウゴ２ちゃんねる
垢版 |
2005/03/21(月) 21:15:35ID:BlFT/PM/0
虎よ！　虎よ！　あかあかと燃える
闇くろぐろの　夜の森に
どんな不死の手　または目が
おまえの怖ろしい均整を　つくり得たか？
0281 ◆UFUFUbWUSk
垢版 |
2005/03/21(月) 21:16:36ID:46x5wwV+0
Tyger! Tyger!輝き、Inを燃やす、夜、Whatの不滅の手
または目のCouldの森林が縁どるあなたの恐ろしい対称?
0282 ◆WMaLhm.gkw
垢版 |
2005/03/21(月) 21:17:14ID:zmOVveYT0
無断超訳
　　Tiger503のbootパーティションが逝ったぽ。
　　ハードディスクが逝ったのかファイルが逝くったのかはシラネ。
　　SCSIドライバの設定をミラーしているんなら、ファイルが逝ったと思われ。
　　そうじゃないのなら、ハードディスクがシボンヌ。

……直前のバックアップまで巻き戻るですみますように（-人-）ﾅﾑﾅﾑ
0283動け動けウゴウゴ２ちゃんねる
垢版 |
2005/03/21(月) 21:28:05ID:hXm1+Qk00
3/16まで入ってたex7の分のログは既にSumaディスクのほうに保管済で、
いまtiger503にはいってるのは3/16～のlive20のログだけなはずだから。。
まぁ不幸中の幸いってやつだけどな、
0286動け動けウゴウゴ２ちゃんねる
垢版 |
2005/03/21(月) 22:39:58ID:j4HXNlrE0
boot partitionが㌧だだけなら別システムに繋げば吸い出せるでしょうけど…‥

>284
>273の3行目をよく読んでみよう。RAIDは論理破壊には全くの無力だ。
0287root▲ ★
垢版 |
2005/03/21(月) 22:51:24ID:???0
やはり、HDDですか。

向こうのスタッフと調整する必要ありですね。
すすめます。

システムディスク(disk #1)なら、ディスク交換してOSインストール、
/homeが入っているユーザディスク(disk #2)なら、
システムディスク側にある定時バックアップから戻すということで。

今日6:00の段階の、disk #2 => disk #1へのバックアップは、とれているようです。

DUMP: Date of this level 0 dump: Sun Mar 20 13:00:16 2005
DUMP: Date of last level 0 dump: the epoch
DUMP: Dumping snapshot of /dev/da1s1d (/home) to /var/backup/L0/dumper-home.dump
DUMP: mapping (Pass I) [regular files]
DUMP: Cache 8 MB, blocksize = 65536
DUMP: mapping (Pass II) [directories]
DUMP: estimated 365168 tape blocks.
DUMP: dumping (Pass III) [directories]
DUMP: dumping (Pass IV) [regular files]
DUMP: DUMP: 373993 tape blocks on 1 volume
DUMP: finished in 78 seconds, throughput 4794 KBytes/sec
DUMP: level 0 dump on Sun Mar 20 13:00:16 2005
DUMP: Closing /var/backup/L0/dumper-home.dump
DUMP: DUMP IS DONE
0288動け動けウゴウゴ２ちゃんねる
垢版 |
2005/03/21(月) 23:00:24ID:oxydUfHA0
>>287
ガンバレ
0291root▲ ★
垢版 |
NGNG
TODO: tiger503 トラブル対応
TODO: pc5の土地をmemoriesに造成
0293FOX ★
垢版 |
2005/03/22(火) 02:14:20ID:???0
pc5 固め終わっています

p , t , d
0294root▲ ★
垢版 |
NGNG
memories上に、土地作りできました。
http://pc5.peko.2ch.net/

DNS変更依頼いきます。

(現在)
+pc5.2ch.net:206.223.151.55

(変更後)
+pc5.2ch.net:206.223.151.230
0297 ◆Reffi/bQ.c
垢版 |
2005/03/22(火) 02:34:18ID:r3m2eTKb0
FreeBSD 5.4　Beta1がＦＴＰに来ますた。
0298root▲ ★
垢版 |
NGNG
>>297
4月末～5月初めに修行を兼ねてPIEに行くかもしれないので、
その時にごにょごにょしようかなと。
0301root▲ ★
垢版 |
2005/03/22(火) 15:21:56ID:???0
http://qb5.2ch.net/test/read.cgi/operate/1105645765/206 について。
とりあえず、以下が見つかったのでおれさまメモ。
ex10とかlive系とかでは、使えるかも。

http://www.geocrawler.com/mail/msg.php3?msg_id=5151086
(Google cache)
http://64.233.179.104/search?q=cache:B6qawydJdgIJ:www.geocrawler.com/mail/msg.php3%3Fmsg_id%3D5151086+kern.filedelay%3D240&hl=ja

FROM: Tony FinchDATE: 02/12/2001 13:13:51SUBJECT: RE: Any ideas on keeping the disk spun down on laptop Kevin Oberman <<EMAIL: PROTECTED>> wrote:
>
>Has anyone looked into making update(4) not do any disk IO when there
>have been no changes to metadata? And, is there a way to extend the
>update period? Or am I completely off base in my belief that update(4)
>is the source of the continuing disk accesses.

There is a simple patch to extend the time between syncer runs: see
PR#21859. I've been running with this for months now and it works
nicely. In /etc/sysctl.conf I have

kern.syncdelay=250
kern.filedelay=240
kern.dirdelay=230
kern.metadelay=220

and in my kernel configuration file I have

options SYNCER_MAXDELAY=1024# allow up to 17 minutes between syncs
0302root▲ ★
垢版 |
2005/03/22(火) 16:06:05ID:???0
BBS/BBX/BBY/BBR/BBMの許可リストにbanana313(= pc8)のIPアドレスを登録しました。

F22の起動は、動き出してから。
0304FOX ★
垢版 |
2005/03/22(火) 23:46:19ID:???0
oyster901 の性能の件について

重いのは、当然アクセスが多いからではあるが、
それはおいて置いて、

ボトルネックは何? (HD? or RAM? or others?)

HD であるなら ２ちゃんねるの動作仕様を変えるしか手が無いと思う
RAM であるから、増設して実験してみたい。
others であるなら何?
0305 ◆Reffi/bQ.c
垢版 |
2005/03/23(水) 00:17:24ID:z/dOlnBm0
この調子ですと４月中には正式版出るかも


ttp://www.freebsd.org/releases/5.4R/schedule.html
0306FOX ★
垢版 |
2005/03/23(水) 00:23:06ID:???0
本日の実験の結果から言うと

1) httpd は増やしてもメモリばっかり食っていまいち。
2) -M を増やすと 投稿/min は伸びる(まだ天井は見ていない)
3) deflate は結構重い
4) read.cgi はこのサーバではゴミのようだ
5) 現在の資源での極大値は　-M増加、httpd増やさない、defalteカットででるらしい
0307root▲ ★
垢版 |
NGNG
>>306
ですね。
補足すると、

1)tigerサーバの場合ですが、read.cgiが多いサーバは、httpdがたくさん必要な傾向があるようです。
芸スポのあびる優祭りの際には、httpdが売り切れる現象を目撃しました。
あと、マツケンサンバの時は、必ず売り切れてしまうようです(泣。
あと、ex10はROMが少ないというのも、影響しているように思います。

2)他の原因をとっぱらってやると伸びるということは(read.cgi止めるとかdefleteを切るとか)、
書き込み数はまだ裁ける可能性があるということですね。
これは、夜の実況が投稿数の割に軽いとか、ドスペよりも海老沢会長の方がレス数が多くなるとかの、
統計的事実や私の感覚とも一致しています。

3)帯域に余裕があるなら、deflete止めたほうがいいのかもですね。

4)read.cgi起動数は、news18と同じぐらいです。直読み数は数倍違いますが。

5)この方針で明日以降も、ごにょごにょしてみるということで。
ex10だけデフォルトでdeflete止めるように、.htaccessを設定してみるか。
0308FOX ★
垢版 |
2005/03/23(水) 00:41:32ID:???0
私は index.html subject.txt 更新を
適当にサボるように bbs.cgi を改造してみるか、
0309root▲ ★
垢版 |
NGNG
>>308
マニラで話してた例のやつですね。subject.txtを非同期にすると。

路線としては、
・3回に1回にする
・ランダムに手を抜く
・subject.txt/subback.html/index.html生成を別プロセスにして、たまに動かす

とかか。

ということでこの話題は、bbs.cgiスレで。
0311root▲ ★
垢版 |
NGNG
ex10だけ、圧縮を切る設定を入れた。
.htaccess で以下を設定。

# for test: disable gzip on ex10 -- mumumu, 2005/3/23
SetEnvIf Host ex10 no-gzip
0312root▲ ★
垢版 |
NGNG
さて、live20の状況を気にしつつ、そろそろおやすみ。
0313root▲
垢版 |
2005/03/23(水) 09:32:18ID:WF1A5/r50
クリトリス
0314動け動けウゴウゴ２ちゃんねる
垢版 |
2005/03/23(水) 11:02:12ID:ebPFAWpB0


>>313
■ このスレッドは過去ログ倉庫に格納されています