【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17

**root▲ ★** · 05/02/03 05:34:37

peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。

＜現在の主要なテーマ＞
・oyster243(BBQ/dnscache)の突然死対策&cobra2245セットアップによる2台体制化
・oytser902(memories)のFreeBSD 5.3化
・「雪だるま作戦」による、スケーラブルなサーバ群構築
・read.cgi/bbs.cgiの細かな調整・詰め
・携帯サーバのプライベート側スイッチのグレードアップ検討
・各種作戦・プロジェクトとの連携
・FreeBSDのさらなるチューニング詰め

＜関連スレッド＞
■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1
http://qb5.2ch.net/test/read.cgi/operate/1105035540/
■ 自動地震速報＠2ch をつくろう
http://qb5.2ch.net/test/read.cgi/operate/1106583619/
■ テレビ番組欄＠2ch をつくろう第2話
http://qb5.2ch.net/test/read.cgi/operate/1107366393/

＜関連サイト＞
レンタルサーバー maido3.com ２ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねる/PINKちゃんねる稼動中のサーバ一覧: http://mumumu.mu/serverlist.html

＜前スレ＞
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16
http://qb5.2ch.net/test/read.cgi/operate/1102087698/

**動け動けウゴウゴ２ちゃんねる** · 05/02/22 17:29:30

>>168ですけど、

(今)
+find.2ch.net:210.135.97.161

(設定後)
+find.2ch.net:210.135.97.29

になるんでしょうか？
違ったらスマソ＞root先生

◆BDFCNV1.to · 05/02/22 18:13:17

はいー

◆BDFCNV1.to · 05/02/22 18:33:19

find.2ch.net のMXレコードの内容をどの様な
内容に修正すれば良いかご指示下さい。

@find.2ch.net:210.135.97.162:300

修正前の登録情報では、AレコードのIP
アドレスは 210.135.97.161、MXレコード
では1番違いの 210.135.97.162 となって
おりました。

現在Aレコードは指定のIPアドレスに変更
しましたが、MXレコードは未修正のまま
となっております。

**root▲ ★** · 05/02/22 19:20:49

>>169
It's correct.

>>171
これは、ひ（りゃの指示待ちすね。私にはわかんないです。
user@find.2ch.net のメールを、どう扱うか。
今のままでいいのか、あるいは帰るのか。

**root▲ ★** · 05/02/22 19:23:13

あ、帰る => 変えるっすね。

**動け動けウゴウゴ２ちゃんねる** · 05/02/22 20:20:25

ほんとに止まるの？

**動け動けウゴウゴ２ちゃんねる** · 05/02/22 20:24:27

すれ違い

**174** · 05/02/22 20:32:30

こりゃまた失礼。

**ひろゆき＠どうやら管理人 ★** · NG

find.2chのMXは放置でいいですー。

**動け動けウゴウゴ２ちゃんねる** · 05/02/23 01:04:54

>>177
ﾉｼ

工事の明確な時間とかわかればお願いしますです。。。(´･ω･｀)

◆9psNo.754w · NG

いちばん知らなそうなひとにきいても、、

◆raoRiKA85E · 05/02/23 01:08:13

(*´･д･)(･д･`*)ﾈｰ

**動け動けウゴウゴ２ちゃんねる** · 05/02/23 01:12:54

orz

nt · 05/02/23 01:36:24

>>177
local-host-namesにいままでfind.2ch.net無かった‥orz
足しときました。

**root▲ ★** · 05/02/23 01:44:29

>>182
あ、ブ（りゃの中の人だ。
ごぶさたです。

nt · 05/02/23 02:26:33

ちわちわ。
色々お手間かけてすみません。
＆ありがとうございます。

◆BDFCNV1.to · 05/02/23 03:28:13

りょうかいですー

**動け動けウゴウゴ２ちゃんねる** · 05/02/23 19:43:15

>>177
aa5の代わりの新型牡蠣鯖ﾏﾀﾞ―(・∀・)―ン

◆BDFCNV1.to · 05/03/05 19:19:21

物凄い低コストで実行中のプログラムから LA を取る方法ってありますか?
C , Perl

◆cZfSunOs.U · 05/03/05 23:52:25

>>187 こういうのですか？
http://www.freebsd.org/cgi/man.cgi?query=getloadavg

◆BDFCNV1.to · 05/03/06 00:19:48

おっ

そりつかって、、、
高LA時のread.cgiの挙動を変えるのに挑戦してみよう。
意味無かったら止めるけどさ、

**root▲ ★** · 05/03/06 02:50:35

お、これは例の ex9 的対策(半自動で人大杉にするとか)かしら。

LAだけだと、微妙かもですね。
bananaのLA=10は今の状況だと正直もうだめぽだけど、
tiger/cobraのLA=10はまだ余裕とか、そのへんのバランスは考慮したいかも。
(昔なつかしい「お茶飲め」と同じ理屈です)

このへんは、何らかの形でconfigurableにすればいいのかな。

**root▲ ★** · 05/03/07 15:42:40

ex7で「ミニ雪だるま」の実験をはじめた。

具体的には、port 80にsquidをかましてみた。
squid + mod_rpaf を利用。
httpdは、127.0.0.1経由でアクセス。

どのくらいキャッシュが効くかとか、果たして意味があるのかとかは、未知数。
しばらく観察ということで。

**動け動けウゴウゴ２ちゃんねる** · 05/03/07 16:01:11

>>191
mrtgはとってますでしょうか

・・・とおもったけど、既存のex7の統計の変化でわかりますねw

**root▲ ★** · 05/03/07 16:08:06

>>192
…です。

**root▲ ★** · 05/03/07 18:00:22

というわけで、備忘録。

【ミニ雪だるま作戦】ex7で15:30ごろまで書けたのに急に書けなくなった人はこちらへ
http://qb5.2ch.net/test/read.cgi/operate/1110179194/

で、
117 名前：root▲ ★[sage] 投稿日：05/03/07 16:43:34 ID:???0
今のまとめ:

・YBBから書き込めない、スレ立てできない
・一部２ちゃんねるビューワでスレ取得時に416エラーが出る
・〃スレ取得ができない場合がある(たぶん原因は上と同じか)
・i.i2ch.netとかt2 t3とかから見られない・読めない・書けない、c.2ch.netからは正常

といったところか。
一部.jpなISPからも、書けない人がいたのかも。

**root▲ ★** · 05/03/07 18:05:25

YBBから書き込めない、スレ立てできない、は、なんとなく理解できたんで、
対策できると思います→設定の問題

416エラーは、Apacheとsquidの相性の問題とか設定の問題がありそう→精査が必要
i2ch.netやt2/t3からだめなのも、たぶん上と同じか。

あと、squidの状況としては、

httpd_accel_with_proxy on
で
cache_dir aufs /usr/local/squid/cache 128 16 256

の方が、
cache_dir null /tmp

の時よりも圧倒的にシステムの負荷が少なかったので、
ローカルキャッシュありの方が、やはりよさげか。

MRTGのほうは、どうだろう。

**root▲ ★** · 05/03/07 18:12:05

http://mumumu.mu/mrtg/mrtg-rrd.cgi/access/ex7access.html

総アクセス数で、2割～2割弱ぐらい稼げるのかな。
KeepAlive系もさらなるtuneがいるっぽいのかも。

**root▲ ★** · 05/03/07 18:51:51

refresh_patternのところの、override-lastmod と reload-into-imsは、
やめたほうがよさげ。< 416 エラー対策

**root▲ ★** · 05/03/07 19:19:11

negative_ttl 0
にしないといけないっぽい。

**root▲ ★** · 05/03/07 20:00:37

いろいろ検索していたら、こんなの出てきた。5年前か。

2chのサーバとしてFreeBSDを採用してみる例
http://piza.2ch.net/log/unix/0008251/957884791.html

**root▲ ★** · 05/03/08 05:39:08

ミニ雪だるま実験続き

ex7.2ch.netだけでなく、tiger503.maido3.comや206.223.150.110でもアクセス可能にした。
YBB書けない問題は、mod_rpafにパッチをあてて対応した。
416エラーは、squidをrange_offset_limit -1にしたら出なくなった。

**root▲ ★** · 05/03/08 05:42:50

これからのチェックポイントと解決すべき課題

・雪だるまのローカルキャッシュが、どのくらい働くのか
・雪だるまのhttpアクセラレーションが、どのくらい働くのか
・i.i2ch.net / t1 t2 t3 が動かない問題の解決

**root▲ ★** · 05/03/08 06:04:28

ようすをとりはじめた。
http://mumumu.mu/mrtg/mrtg-rrd.cgi/snowman/

**root▲ ★** · 05/03/08 06:09:32

残るTODO:

・携帯プライベートネットワーク用スイッチの件
・oyster243の件

本日は、ここまで。

◆cZfSunOs.U · 05/03/08 07:00:39

squid のソースをざっと見てみると，どうやら HTTP/1.0 ベースで作られているようですね．
HTTP/1.0 では，リクエストに Connection ヘッダがない場合のデフォルトが close なのが
http://qb5.2ch.net/test/read.cgi/operate/1109941496/845-847n の原因かと．
また，chunked 転送ができないので Content-Length 指定のない CGI 出力などは
Keep-Alive にはできない，と．HTTP/1.1 利用なら Apache の mod_proxy となりますか．

あと，read.cgi 出力の効果的なキャッシュのためには，やはり Last-Modified 吐いた方がいいのかも......

**root▲ ★** · 05/03/08 13:38:15

>>202を見ると、ローカルキャッシュのヒット率が30%ぐらいですね。
ディレイ0秒、しかもcgi出力のキャッシュなし(下記)でこの成績なのは、なかなか。

acl QUERY urlpath_regex \.cgi cgi-bin \?
no_cache deny QUERY

確かにHTTP/1.1なら、Apacheのほうがいいかもしれないですね。
Apacheでやるとなると、客の相手するやつはやっぱりworker MPMですかね。
別サーバなら、preforkでもいいのかもですが。

そういえば、Last-Modifiedがないんですね。
だとするとキャッシュさせても、あんまり意味がない予感。

以降は、雪だるま作戦かな。

**root▲ ★** · 05/03/08 17:28:27

TODO: memoriesのアクセスログを1つに出力する
難易度: 楽

★★★　ひさびさにPV(ページビュー)当てクイズでも・・・ Part1
http://qb5.2ch.net/test/read.cgi/operate/1104955745/194-195

**root▲ ★** · 05/03/08 17:55:59

>>206 続きあり。一連の処理で。

**root▲ ★** · 05/03/09 02:18:32

ディスクキャッシュは、掲示板型だと(特にex7やlive系だと)、
逆に重荷になるらしい。

雪だるま作戦のスレでもSunOsさんが書いていたけど、メモリキャッシュにいかに乗せるか、
が、重要なポイントらしい。

あと、後ろに回したhttpdは、KeepAliveをそのままで動かしていると、
Kばっかりになって逆効果になる場合も、どうやらあるらしい。

といったところか。

**root▲ ★** · 05/03/09 02:44:44

# request_header_max_size 20 KB
# for long URL of offlaw.cgi
request_header_max_size 40 KB

と、

# reply_header_max_size 20 KB
# for long URL of offlaw.cgi
reply_header_max_size 40 KB

を、増やした。下のほうは、念のため。

**root▲ ★** · 05/03/09 05:37:03

で、

liveb1をフロントエンド化へと。親はlive15で。

**root▲ ★** · 05/03/12 22:52:54

menu.2ch.net 土地作りしました。
PV計測の仕掛けを導入済み。

とりあえず、これで見えます。
http://menu.peko.2ch.net/

ということで、以下のDNS登録依頼を。

+menu.2ch.net:206.223.151.10

◆BDFCNV1.to · 05/03/12 23:28:55

>>211
done

**root▲ ★** · 05/03/12 23:38:55

>>212
確認したです。

http://menu.2ch.net/

さて、これからアカウント情報発射しておきます。

・ひ（りゃ
・おじさん
・まほらさん
・サザンさん
・ボヤッキーさん

**root▲ ★** · 05/03/14 01:31:19

今日のメモ:

・swap spaceの使用を全面的にありにした。< tiger/cobra
http://qb5.2ch.net/test/read.cgi/operate/1110638391/273
http://qb5.2ch.net/test/read.cgi/operate/1110686863/483-500 あたり
・httpdの数をいろいろ調整した。設定値↓
http://qb5.2ch.net/test/read.cgi/operate/1110218877/506
・おじさんが「自動人大杉装置」を開発し、read.cgiに組み込んだ。
http://qb5.2ch.net/test/read.cgi/operate/1105909861/196-210

◆Reffi/bQ.c · 05/03/15 01:51:45

こっち向きの話なので
いつの間にか正式リリース予定が近づいていたり

Upload to ftp-master. 2 Apr 2005

ttp://www.freebsd.org/releases/5.4R/schedule.html

◆Reffi/bQ.c · 05/03/15 02:01:52

>215
暇だったのでさらに調べたところ、6.0も今年中に来そうでしかもその際にGCC4.0を
標準搭載する模様です。

**root▲ ★** · 05/03/15 02:24:04

もう、5.4-PRERELEASE ぐらいのはず。
こんどのはかなり安定度上げる方向みたいですね。
個人的には、ひそかに期待していたりします。

**動け動けウゴウゴ２ちゃんねる** · 05/03/15 03:12:39

いや5.4Rは4/4の予定だけど、順調に遅れてます。

**root▲ ★** · 05/03/15 03:18:25

>>218
ふむ。いつもどおりで。

**root▲ ★** · 05/03/15 03:23:06

ということで、DNS登録依頼いきます。

まずは第一段階、ex10とlive20の追加。

(新規追加)
+ex10.2ch.net:206.223.151.225
+live20.2ch.net:206.223.150.110

土地作りはできています。

**root▲ ★** · 05/03/15 03:39:45

ex10 と live20 に、fox.cgi のしくみを入れました。cron設定済み。

この後の流れ:

1) DNS登録 (>>220) by maido3.comの中の人
2) ex10とlive20に掲示板システム入れ込み
3) ex7の板をex10に、live8の板をlive20に全部移転
4) ex7とlive8の中身を全部memoriesに.退避
5) ex7とlive8のDNSの変更
6) ex10とlive20のF22のへの登録 by 受験生さん
7) 同、配布スクリプトとかへの登録(バーボンとか、ファイル配布関連とか)
8) 必要ならbbyliveの更新とか
9) memories内のread.cgi配布プログラムへの登録とか、ひ）りゃが作ったやつへの登録とか
10) httpdの数やら-M値やらを再設定・調整しなおすとか
11) 禁断の果実・SuExec・read.cgiのリミッターを調整しなおすとか

**root▲ ★** · 05/03/15 03:54:03

あと、私のほうでは稼動後に、

某MRTGの更新
某serverlist.htmlの更新
監視所の中の人たちに、例のやつをお願いする

◆BDFCNV1.to · 05/03/15 14:10:34

>>220
done

**root▲ ★** · 05/03/15 14:17:27

>>223
みえますかね。
見えるなら、たんたんとやりますか。

http://ex10.2ch.net/
http://live20.2ch.net/

まず、ex7 => ex10 、次に live8 => live20 というかんじで。

◆BDFCNV1.to · 05/03/15 14:21:33

ほいほーい

もうすぐ出発だから、本格的には今晩かな、、、

一旦止めてざっくりやる方式の予感。

本日深夜or明朝 live8 , ex7 全部止まります

**root▲ ★** · 05/03/15 14:24:24

>>225
了解です。ざっくり方式すか。
そのつもりで

**ヾ（ﾟﾊﾟ）ﾉ** ◆f0.zuburi6 · 05/03/15 14:25:52

>>224
niftyみえたー

**root▲ ★** · 05/03/15 14:26:29

あら、暴発(なんか最近多いな)。

そのつもりでいます。
で、単独スレ立てといたほうがよさげなんで、そのへん、やっときます。

**動け動けウゴウゴ２ちゃんねる** · 05/03/15 14:34:27

>224
DTI見えました。

**動け動けウゴウゴ２ちゃんねる** · 05/03/15 14:35:37

>>224
DION見えました。

**動け動けウゴウゴ２ちゃんねる** · 05/03/15 14:35:43

>>224
YBB見えますた

p24020-adsau04yokonib2-acca.kanagawa.ocn.ne.jp · 05/03/15 14:35:56

みえたー

**root▲ ★** · 05/03/15 14:48:18

どうも。大丈夫そうですね。
じゃ、今夜にでも作戦開始で。

【転校生作戦】ex7とlive8の板たちは一時的に全部止まります[3/15]
http://qb5.2ch.net/test/read.cgi/operate/1110865649/

**動け動けウゴウゴ２ちゃんねる** · 05/03/15 14:58:02

【Project　Peko】　ついに再発動おめでとうございます。

oyster901の真の実力が明らかになるときがｷﾀ━━━━━(ﾟ∀ﾟ)━━━━━!!!!

**root▲ ★** · 05/03/15 15:02:20

さて、どうなることやら。>>234

ex7(= tiger503)は、300投稿まではゆとりでこなしました。
でも、400投稿はふうふうでした。500はもうだめぽでした。

HDDはtiger503と同じしろものなので、実際には同じところで止まるかもしれません。
メモリは、倍載っています。これがうまく効く事を期待していますが、さて、どうなるか。

もちろん、OSが64bitでメモリアクセスが高速なことは、プラスに働くと信じています。

**動け動けウゴウゴ２ちゃんねる** · 05/03/15 16:50:29

つか、関係スレを読まずに質問ですが、901を雪だるまに使う、ということでせうか？
そのへんがようわかりませんが。

**root▲ ★** · 05/03/15 16:59:16

雪だるまはいろいろな局面ですね。
まずは、live15 + liveb1 あたりかなと。

ネットワーク工事はさすがに今週中には終わるだろうから、
来週あたりからそっち方面は、ぼちぼちと。

**動け動けウゴウゴ２ちゃんねる** · 05/03/15 17:12:28

>>237
らじゃ　ということは今回の件は雪だるまとは別件？

**root▲ ★** · 05/03/15 17:17:14

>>238
今後ex10やlive20で関連する実験をするかもしれませんが、
直接関係するわけではないですね。

単に、サーバの限界値をみたいということで。

05/03/15 21:03:51

ex10.2ch.net
↓
206.223.151.225
↓
('･c_･` ) ＠ oyster901.peko.2ch.net ですよね？

可能なら逆引きおながいしますーm(_ _)m

**root▲ ★** · NG

>>221
1) 2) 3) 6) 7) 8) 9) 完了
4) live8 完了 ex7 進行中
10) 11) 明日以降、動かしながら

**root▲ ★** · NG

>>222

http://live20.2ch.net/_service/
http://ex10.2ch.net/_service/

よろしくです。

**root▲ ★** · NG

5) いきます。

以下のDNSの変更をよろしくお願いします。

(現在)
+ex7.2ch.net:206.223.150.110
+live8.2ch.net:206.223.151.225

(変更後)
+ex7.2ch.net:206.223.151.230
+live8.2ch.net:206.223.151.230

**root▲ ★** · NG

ex10, live16, live20 で、禁断の果実(speedy_backend直接起動)を有効にしました。

この影響で、ex7とlive8の過去ログが一時的に見られなくなっています。
>>243 が終わってDNSが浸透すると、復活します。

**root▲ ★** · NG

>>244
ex10、speedy_backendの暴走が起こりますね。
結果、speedy_backendがたまっていく。

ex10だけ、一時的にはずしました(元の状態)。
今のex10のセッティングは1280 + -M32。

**root▲ ★** · NG

>>245
/usr/local/bin/speedy_backendを以下のシェルスクリプトに変更し、
本物は/usr/local/sbin/speedy_backendに置いて、
ex10の禁断の果実を再度有効にした。

#! /bin/sh -
# speedy_backend with CPU time limit
# created by mumumu, 2005/3/16

ulimit -t 120
exec /usr/local/sbin/speedy_backend $*

**root▲ ★** · NG

>>246
今1プロセスspeedy_backendの暴走が起こりましたが、
ちゃんと120sec(2min)になった時点で自爆することを確認しました。

これで、相当耐久力あがったはず。
live16とlive20にも入れてこよう。

**root▲ ★** · NG

>>247 done.

落ち着いたら、ex10実験スレを立てるか。

**root▲ ★** · NG

ex10だけどんどん暴走プロセスがたまっていくので、
-t 30 にした。

**root▲ ★** · NG

live16 / live20 も -t30 にした。

**root▲ ★** · 05/03/17 02:35:39

ex10だけ、-t 10 にした。

ex7が重い重い重い重い重い重い重いtiger503
http://qb5.2ch.net/test/read.cgi/operate/1096837151/704-

**root▲ ★** · 05/03/17 02:39:58

あと、5分に1回動く統計処理を軽くする必要があるかな、とチラシの裏。< ex10

◆Reffi/bQ.c · 05/03/17 02:56:01

実際に使ってるかわからないけど重要修正のようですので投下しておきます。

[patch] ip_fastfwd.c: fast forward will crash the system in 5.x
ttp://www.freebsd.org/cgi/query-pr.cgi?pr=kern/78893

**root▲ ★** · 05/03/17 02:57:29

>>253
どもです。
２ちゃんねるのサーバは、net.inet.ip.fastforwarding=0 っすね。

**動け動けウゴウゴ２ちゃんねる** · 05/03/17 11:14:13

http://www.excite.co.jp/
peko作戦サーバ・・・！？

**動け動けウゴウゴ２ちゃんねる** · 05/03/17 11:41:05

>>255
どうみたってsunの鯖つかってますが
peko作戦の鯖は確かtyan系統だったかと（違ったらスマソ）

◆BDFCNV1.to · 05/03/17 15:00:44

>>243
done

◆MIPS.kHN86 · 05/03/17 15:06:47

ex7の方はまだ変わってないな・・・

**root▲ ★** · NG

>>257
確認しました。

>>258
TTL = 300 なので、正しく実装されてれば、
おっつけ、かわるはず。

しばらくしたらディスクあけるために、前のところにあるファイルを消します。

**root▲ ★** · 05/03/18 04:27:18

旧 live8 と旧 ex7 から古いファイルを消去し、HDDを空けた。
いずれも、memoriesに収容済み。

**root▲ ★** · 05/03/18 04:51:47

今日は重くならなかった、、、とすると。
投稿数は大幅には変わっていないから、>>251 が効いたのか、
あるいは live8 と ex7 の offlaw.cgi がいなくなったからか。

**動け動けウゴウゴ２ちゃんねる** · 05/03/18 09:36:06

>>261
ひとつ質問でーす

offlaw.cgiって何かしらの媚薬(speedyとか)を盛ってましたっけ？
# そもそもofflaw.cgiのコール数が少ない罠でしょうけど

**root▲ ★** · NG

>>262
なんにも。普通のCGIのはず(C)。

コール数はきちんと見てないけど、直感的には結構ばかにならんかもです。
特に ex7 の過去ログとか、何GBytesもあったりしたし。

**動け動けウゴウゴ２ちゃんねる** · 05/03/18 17:07:30

>>263
そーなるとDSOいれてもいいかも。。。
狐さんと相談してみては

**root▲ ★** · NG

>>264
「どうしますかねぇ」みたいな話は、既に（りゃ。

**動け動けウゴウゴ２ちゃんねる** · 05/03/18 18:44:38

>>265
（りゃ　していないですよｗ

で、手をつけたらmemoriesの負荷が恐ろしいぐらい軽くなる悪寒

**未承諾広告※** ◆TWARamEjuA · 05/03/19 11:45:10

ここでよかったかしら？
http://www.ring.gr.jp/ring/ntp.html.ja
だそうです♪

**root▲ ★** · 05/03/19 15:01:59

>>267
ふむ、RINGすか。
米国にあるサーバから使うのはあれですけど、いいんではないかしら。

あと、同じ名前付けてDNSラウンドロビン使うんなら、stratumはそろえた方がいいかもです。