トップページ⇒運用情報
1001コメント326KB

【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17

■ このスレッドは過去ログ倉庫に格納されています
0001root▲ ★
垢版 |
05/02/03 05:34:37ID:???0
peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。

＜現在の主要なテーマ＞
・oyster243(BBQ/dnscache)の突然死対策&cobra2245セットアップによる2台体制化
・oytser902(memories)のFreeBSD 5.3化
・「雪だるま作戦」による、スケーラブルなサーバ群構築
・read.cgi/bbs.cgiの細かな調整・詰め
・携帯サーバのプライベート側スイッチのグレードアップ検討
・各種作戦・プロジェクトとの連携
・FreeBSDのさらなるチューニング詰め

＜関連スレッド＞
■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1
http://qb5.2ch.net/test/read.cgi/operate/1105035540/
■ 自動地震速報＠2ch をつくろう
http://qb5.2ch.net/test/read.cgi/operate/1106583619/
■ テレビ番組欄＠2ch をつくろう 第2話
http://qb5.2ch.net/test/read.cgi/operate/1107366393/

＜関連サイト＞
レンタルサーバー maido3.com ２ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html

＜前スレ＞
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16
http://qb5.2ch.net/test/read.cgi/operate/1102087698/
0183root▲ ★
垢版 |
05/02/23 01:44:29ID:???0
>>182
あ、ブ（りゃ の中の人だ。
ごぶさたです。
0184nt
垢版 |
05/02/23 02:26:33ID:SBzQRS410
ちわちわ。
色々お手間かけてすみません。
＆ありがとうございます。
0187 ◆BDFCNV1.to
垢版 |
05/03/05 19:19:21ID:is/gzHoR0
物凄い低コストで実行中のプログラムから LA を取る方法ってありますか?
C , Perl
0189 ◆BDFCNV1.to
垢版 |
05/03/06 00:19:48ID:0dqwegBq0
おっ

そりつかって、、、
高LA時のread.cgiの挙動を変えるのに挑戦してみよう。
意味無かったら止めるけどさ、

0190root▲ ★
垢版 |
05/03/06 02:50:35ID:???0
お、これは例の ex9 的対策(半自動で人大杉にするとか)かしら。

LAだけだと、微妙かもですね。
bananaのLA=10は今の状況だと正直もうだめぽだけど、
tiger/cobraのLA=10はまだ余裕とか、そのへんのバランスは考慮したいかも。
(昔なつかしい「お茶飲め」と同じ理屈です)

このへんは、何らかの形でconfigurableにすればいいのかな。
0191root▲ ★
垢版 |
05/03/07 15:42:40ID:???0
ex7で「ミニ雪だるま」の実験をはじめた。

具体的には、port 80にsquidをかましてみた。
squid + mod_rpaf を利用。
httpdは、127.0.0.1経由でアクセス。

どのくらいキャッシュが効くかとか、果たして意味があるのかとかは、未知数。
しばらく観察ということで。
0194root▲ ★
垢版 |
05/03/07 18:00:22ID:???0
というわけで、備忘録。

【ミニ雪だるま作戦】ex7で15:30ごろまで書けたのに急に書けなくなった人はこちらへ
http://qb5.2ch.net/test/read.cgi/operate/1110179194/

で、
117 名前：root▲ ★[sage] 投稿日：05/03/07 16:43:34 ID:???0
今のまとめ:

・YBBから書き込めない、スレ立てできない
・一部２ちゃんねるビューワでスレ取得時に416エラーが出る
・〃スレ取得ができない場合がある(たぶん原因は上と同じか)
・i.i2ch.netとかt2 t3とかから見られない・読めない・書けない、c.2ch.netからは正常

といったところか。
一部.jpなISPからも、書けない人がいたのかも。
0195root▲ ★
垢版 |
05/03/07 18:05:25ID:???0
YBBから書き込めない、スレ立てできない、は、なんとなく理解できたんで、
対策できると思います→設定の問題

416エラーは、Apacheとsquidの相性の問題とか設定の問題がありそう→精査が必要
i2ch.netやt2/t3からだめなのも、たぶん上と同じか。

あと、squidの状況としては、

httpd_accel_with_proxy on
で
cache_dir aufs /usr/local/squid/cache 128 16 256

の方が、
cache_dir null /tmp

の時よりも圧倒的にシステムの負荷が少なかったので、
ローカルキャッシュありの方が、やはりよさげか。

MRTGのほうは、どうだろう。
0197root▲ ★
垢版 |
05/03/07 18:51:51ID:???0
refresh_patternのところの、override-lastmod と reload-into-imsは、
やめたほうがよさげ。< 416 エラー対策
0198root▲ ★
垢版 |
05/03/07 19:19:11ID:???0
negative_ttl 0
にしないといけないっぽい。
0200root▲ ★
垢版 |
05/03/08 05:39:08ID:???0
ミニ雪だるま実験 続き

ex7.2ch.netだけでなく、tiger503.maido3.comや206.223.150.110でもアクセス可能にした。
YBB書けない問題は、mod_rpafにパッチをあてて対応した。
416エラーは、squidをrange_offset_limit -1にしたら出なくなった。
0201root▲ ★
垢版 |
05/03/08 05:42:50ID:???0
これからのチェックポイントと解決すべき課題

・雪だるまのローカルキャッシュが、どのくらい働くのか
・雪だるまのhttpアクセラレーションが、どのくらい働くのか
・i.i2ch.net / t1 t2 t3 が動かない問題の解決
0203root▲ ★
垢版 |
05/03/08 06:09:32ID:???0
残るTODO:

・携帯プライベートネットワーク用スイッチの件
・oyster243の件

本日は、ここまで。
0204 ◆cZfSunOs.U
垢版 |
05/03/08 07:00:39ID:L2HCwbQ70
squid のソースをざっと見てみると，どうやら HTTP/1.0 ベースで作られているようですね．
HTTP/1.0 では，リクエストに Connection ヘッダがない場合のデフォルトが close なのが
http://qb5.2ch.net/test/read.cgi/operate/1109941496/845-847n の原因かと．
また，chunked 転送ができないので Content-Length 指定のない CGI 出力などは
Keep-Alive にはできない，と．HTTP/1.1 利用なら Apache の mod_proxy となりますか．

あと，read.cgi 出力の効果的なキャッシュのためには，やはり Last-Modified 吐いた方がいいのかも......
0205root▲ ★
垢版 |
05/03/08 13:38:15ID:???0
>>202を見ると、ローカルキャッシュのヒット率が30%ぐらいですね。
ディレイ0秒、しかもcgi出力のキャッシュなし(下記)でこの成績なのは、なかなか。

acl QUERY urlpath_regex \.cgi cgi-bin \?
no_cache deny QUERY

確かにHTTP/1.1なら、Apacheのほうがいいかもしれないですね。
Apacheでやるとなると、客の相手するやつはやっぱりworker MPMですかね。
別サーバなら、preforkでもいいのかもですが。

そういえば、Last-Modifiedがないんですね。
だとするとキャッシュさせても、あんまり意味がない予感。

以降は、雪だるま作戦かな。
0208root▲ ★
垢版 |
05/03/09 02:18:32ID:???0
ディスクキャッシュは、掲示板型だと(特にex7やlive系だと)、
逆に重荷になるらしい。

雪だるま作戦のスレでもSunOsさんが書いていたけど、メモリキャッシュにいかに乗せるか、
が、重要なポイントらしい。

あと、後ろに回したhttpdは、KeepAliveをそのままで動かしていると、
Kばっかりになって逆効果になる場合も、どうやらあるらしい。

といったところか。
0209root▲ ★
垢版 |
05/03/09 02:44:44ID:???0
# request_header_max_size 20 KB
# for long URL of offlaw.cgi
request_header_max_size 40 KB

と、

# reply_header_max_size 20 KB
# for long URL of offlaw.cgi
reply_header_max_size 40 KB

を、増やした。下のほうは、念のため。
0210root▲ ★
垢版 |
05/03/09 05:37:03ID:???0
で、

liveb1をフロントエンド化へと。親はlive15で。
0211root▲ ★
垢版 |
05/03/12 22:52:54ID:???0
menu.2ch.net 土地作りしました。
PV計測の仕掛けを導入済み。

とりあえず、これで見えます。
http://menu.peko.2ch.net/

ということで、以下のDNS登録依頼を。

+menu.2ch.net:206.223.151.10
0213root▲ ★
垢版 |
05/03/12 23:38:55ID:???0
>>212
確認したです。

http://menu.2ch.net/

さて、これからアカウント情報発射しておきます。

・ひ（りゃ
・おじさん
・まほらさん
・サザンさん
・ボヤッキーさん
0214root▲ ★
垢版 |
05/03/14 01:31:19ID:???0
今日のメモ:

・swap spaceの使用を全面的にありにした。< tiger/cobra
http://qb5.2ch.net/test/read.cgi/operate/1110638391/273
http://qb5.2ch.net/test/read.cgi/operate/1110686863/483-500 あたり
・httpdの数をいろいろ調整した。設定値↓
http://qb5.2ch.net/test/read.cgi/operate/1110218877/506
・おじさんが「自動人大杉装置」を開発し、read.cgiに組み込んだ。
http://qb5.2ch.net/test/read.cgi/operate/1105909861/196-210
0215 ◆Reffi/bQ.c
垢版 |
05/03/15 01:51:45ID:ugRx3b8I0
こっち向きの話なので
いつの間にか正式リリース予定が近づいていたり


Upload to ftp-master. 2 Apr 2005

ttp://www.freebsd.org/releases/5.4R/schedule.html
0216 ◆Reffi/bQ.c
垢版 |
05/03/15 02:01:52ID:ugRx3b8I0
>215
暇だったのでさらに調べたところ、6.0も今年中に来そうでしかもその際にGCC4.0を
標準搭載する模様です。
0217root▲ ★
垢版 |
05/03/15 02:24:04ID:???0
もう、5.4-PRERELEASE ぐらいのはず。
こんどのはかなり安定度上げる方向みたいですね。
個人的には、ひそかに期待していたりします。
0220root▲ ★
垢版 |
05/03/15 03:23:06ID:???0
ということで、DNS登録依頼いきます。

まずは第一段階、ex10とlive20の追加。

(新規追加)
+ex10.2ch.net:206.223.151.225
+live20.2ch.net:206.223.150.110

土地作りはできています。
0221root▲ ★
垢版 |
05/03/15 03:39:45ID:???0
ex10 と live20 に、fox.cgi のしくみを入れました。cron設定済み。

この後の流れ:

1) DNS登録 (>>220) by maido3.comの中の人
2) ex10とlive20に掲示板システム入れ込み
3) ex7の板をex10に、live8の板をlive20に全部移転
4) ex7とlive8の中身を全部memoriesに.退避
5) ex7とlive8のDNSの変更
6) ex10とlive20のF22のへの登録 by 受験生さん
7) 同、配布スクリプトとかへの登録(バーボンとか、ファイル配布関連とか)
8) 必要ならbbyliveの更新とか
9) memories内のread.cgi配布プログラムへの登録とか、ひ）りゃが作ったやつへの登録とか
10) httpdの数やら-M値やらを再設定・調整しなおすとか
11) 禁断の果実・SuExec・read.cgiのリミッターを調整しなおすとか
0222root▲ ★
垢版 |
05/03/15 03:54:03ID:???0
あと、私のほうでは稼動後に、

某MRTGの更新
某serverlist.htmlの更新
監視所の中の人たちに、例のやつをお願いする
0225 ◆BDFCNV1.to
垢版 |
05/03/15 14:21:33ID:bwghQ/T00
ほいほーい

もうすぐ出発だから、本格的には今晩かな、、、

一旦止めてざっくりやる方式の予感。

本日深夜or明朝 live8 , ex7 全部止まります
0226root▲ ★
垢版 |
05/03/15 14:24:24ID:???0
>>225
了解です。ざっくり方式すか。
そのつもりで
0228root▲ ★
垢版 |
05/03/15 14:26:29ID:???0
あら、暴発(なんか最近多いな)。

そのつもりでいます。
で、単独スレ立てといたほうがよさげなんで、そのへん、やっときます。
0229動け動けウゴウゴ２ちゃんねる
垢版 |
05/03/15 14:34:27ID:nsOaIrVP0
>224
DTI見えました。
0230動け動けウゴウゴ２ちゃんねる
垢版 |
05/03/15 14:35:37ID:253FQpUO0
>>224
DION見えました。
0234動け動けウゴウゴ２ちゃんねる
垢版 |
05/03/15 14:58:02ID:nsOaIrVP0
【Project　Peko】　ついに再発動おめでとうございます。

oyster901の真の実力が明らかになるときがｷﾀ━━━━━(ﾟ∀ﾟ)━━━━━!!!!
0235root▲ ★
垢版 |
05/03/15 15:02:20ID:???0
さて、どうなることやら。>>234

ex7(= tiger503)は、300投稿まではゆとりでこなしました。
でも、400投稿はふうふうでした。500はもうだめぽでした。

HDDはtiger503と同じしろものなので、実際には同じところで止まるかもしれません。
メモリは、倍載っています。これがうまく効く事を期待していますが、さて、どうなるか。

もちろん、OSが64bitでメモリアクセスが高速なことは、プラスに働くと信じています。
0236動け動けウゴウゴ２ちゃんねる
垢版 |
05/03/15 16:50:29ID:yZe9hT+n0
つか、関係スレを読まずに質問ですが、901を雪だるまに使う、ということでせうか？
そのへんがようわかりませんが。
0237root▲ ★
垢版 |
05/03/15 16:59:16ID:???0
雪だるまはいろいろな局面ですね。
まずは、live15 + liveb1 あたりかなと。

ネットワーク工事はさすがに今週中には終わるだろうから、
来週あたりからそっち方面は、ぼちぼちと。
0239root▲ ★
垢版 |
05/03/15 17:17:14ID:???0
>>238
今後ex10やlive20で関連する実験をするかもしれませんが、
直接関係するわけではないですね。

単に、サーバの限界値をみたいということで。
0241root▲ ★
垢版 |
NGNG
>>221
1) 2) 3) 6) 7) 8) 9) 完了
4) live8 完了 ex7 進行中
10) 11) 明日以降、動かしながら
0243root▲ ★
垢版 |
NGNG
5) いきます。

以下のDNSの変更をよろしくお願いします。

(現在)
+ex7.2ch.net:206.223.150.110
+live8.2ch.net:206.223.151.225

(変更後)
+ex7.2ch.net:206.223.151.230
+live8.2ch.net:206.223.151.230
0244root▲ ★
垢版 |
NGNG
ex10, live16, live20 で、禁断の果実(speedy_backend直接起動)を有効にしました。

この影響で、ex7とlive8の過去ログが一時的に見られなくなっています。
>>243 が終わってDNSが浸透すると、復活します。
0245root▲ ★
垢版 |
NGNG
>>244
ex10、speedy_backendの暴走が起こりますね。
結果、speedy_backendがたまっていく。

ex10だけ、一時的にはずしました(元の状態)。
今のex10のセッティングは1280 + -M32。
0246root▲ ★
垢版 |
NGNG
>>245
/usr/local/bin/speedy_backendを以下のシェルスクリプトに変更し、
本物は/usr/local/sbin/speedy_backendに置いて、
ex10の禁断の果実を再度有効にした。

#! /bin/sh -
# speedy_backend with CPU time limit
# created by mumumu, 2005/3/16

ulimit -t 120
exec /usr/local/sbin/speedy_backend $*
0247root▲ ★
垢版 |
NGNG
>>246
今1プロセスspeedy_backendの暴走が起こりましたが、
ちゃんと120sec(2min)になった時点で自爆することを確認しました。

これで、相当耐久力あがったはず。
live16とlive20にも入れてこよう。
0249root▲ ★
垢版 |
NGNG
ex10だけどんどん暴走プロセスがたまっていくので、
-t 30 にした。
0252root▲ ★
垢版 |
05/03/17 02:39:58ID:???0
あと、5分に1回動く統計処理を軽くする必要があるかな、とチラシの裏。< ex10
0253 ◆Reffi/bQ.c
垢版 |
05/03/17 02:56:01ID:TYo8uQLW0
実際に使ってるかわからないけど重要修正のようですので投下しておきます。


[patch] ip_fastfwd.c: fast forward will crash the system in 5.x
ttp://www.freebsd.org/cgi/query-pr.cgi?pr=kern/78893
0254root▲ ★
垢版 |
05/03/17 02:57:29ID:???0
>>253
どもです。
２ちゃんねるのサーバは、net.inet.ip.fastforwarding=0 っすね。
0258 ◆MIPS.kHN86
垢版 |
05/03/17 15:06:47ID:d/ehcWzI0
ex7の方はまだ変わってないな・・・
0259root▲ ★
垢版 |
NGNG
>>257
確認しました。

>>258
TTL = 300 なので、正しく実装されてれば、
おっつけ、かわるはず。

しばらくしたらディスクあけるために、前のところにあるファイルを消します。
0260root▲ ★
垢版 |
05/03/18 04:27:18ID:???0
旧 live8 と 旧 ex7 から古いファイルを消去し、HDDを空けた。
いずれも、memoriesに収容済み。
0261root▲ ★
垢版 |
05/03/18 04:51:47ID:???0
今日は重くならなかった、、、とすると。
投稿数は大幅には変わっていないから、>>251 が効いたのか、
あるいは live8 と ex7 の offlaw.cgi がいなくなったからか。
0262動け動けウゴウゴ２ちゃんねる
垢版 |
05/03/18 09:36:06ID:LYfFRFk60
>>261
ひとつ質問でーす

offlaw.cgiって何かしらの媚薬(speedyとか)を盛ってましたっけ？
# そもそもofflaw.cgiのコール数が少ない罠でしょうけど
0263root▲ ★
垢版 |
NGNG
>>262
なんにも。普通のCGIのはず(C)。

コール数はきちんと見てないけど、直感的には結構ばかにならんかもです。
特に ex7 の過去ログとか、何GBytesもあったりしたし。
0265root▲ ★
垢版 |
NGNG
>>264
「どうしますかねぇ」みたいな話は、既に（りゃ。
0268root▲ ★
垢版 |
05/03/19 15:01:59ID:???0
>>267
ふむ、RINGすか。
米国にあるサーバから使うのはあれですけど、いいんではないかしら。

あと、同じ名前付けてDNSラウンドロビン使うんなら、stratumはそろえた方がいいかもです。
0270root▲ ★
垢版 |
NGNG
>>269
ふうむ、、、。
なら、stratumごとにグループ名を変えるとか。

s1.ntp.ring.gr.jp
s2.ntp.ring.gr.jp
0272root▲ ★
垢版 |
05/03/21 02:24:37ID:???0
どうも、bbs.cgiが暴走するみたいなので、禁断の果実をいったんやめた。< ex10 / live16 / live20

で、そのかわりといってはなんだが、
speedy フロントエンドとバックエンドの間の通信に使う一時ファイルを、ジンギスカン上に作るようにしてみた。
(-T/md/tmp/speedy を追加)

#!/usr/local/bin/speedy -- -M32 -b1048576 -t660 -T/md/tmp/speedy

ex7が重い重い重い重い重い重い重いtiger503
http://qb5.2ch.net/test/read.cgi/operate/1096837151/739-741
0273FOX ★
垢版 |
2005/03/21(月) 20:56:20ID:???0
It appears Tiger503's boot partition is damaged.
I do not know if it is the drive or the files.
Are these SCSI drives setup to mirror?
If so, then I belive it is file damage.
Otherwise, probably the hard drive.
0274動け動けウゴウゴ２ちゃんねる
垢版 |
2005/03/21(月) 21:01:46ID:/gQoS50A0
>>273
（ﾉ∀`）ｱﾁｬｰ
0276 ◆yadoQ//n/E
垢版 |
2005/03/21(月) 21:04:04ID:THdCGAr50
ｶﾞ━━━━ΣΣ(ﾟДﾟ;)━━━━ﾝ
0277動け動けウゴウゴ２ちゃんねる
垢版 |
2005/03/21(月) 21:08:41ID:DqXw0ErL0
Tyger! Tyger! burning bright,
In the forests of the night,
What immortal hand or eye
Could frame thy fearful symmetry?
0279動け動けウゴウゴ２ちゃんねる
垢版 |
2005/03/21(月) 21:15:35ID:BlFT/PM/0
虎よ！　虎よ！　あかあかと燃える
闇くろぐろの　夜の森に
どんな不死の手　または目が
おまえの怖ろしい均整を　つくり得たか？
0281 ◆UFUFUbWUSk
垢版 |
2005/03/21(月) 21:16:36ID:46x5wwV+0
Tyger! Tyger!輝き、Inを燃やす、夜、Whatの不滅の手
または目のCouldの森林が縁どるあなたの恐ろしい対称?
0282 ◆WMaLhm.gkw
垢版 |
2005/03/21(月) 21:17:14ID:zmOVveYT0
無断超訳
　　Tiger503のbootパーティションが逝ったぽ。
　　ハードディスクが逝ったのかファイルが逝くったのかはシラネ。
　　SCSIドライバの設定をミラーしているんなら、ファイルが逝ったと思われ。
　　そうじゃないのなら、ハードディスクがシボンヌ。

……直前のバックアップまで巻き戻るですみますように（-人-）ﾅﾑﾅﾑ
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況