X
トップページ⇒運用情報
1001コメント326KB

【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17

■ このスレッドは過去ログ倉庫に格納されています
0001root▲ ★
垢版 |
05/02/03 05:34:37ID:???0
peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。

＜現在の主要なテーマ＞
・oyster243(BBQ/dnscache)の突然死対策&cobra2245セットアップによる2台体制化
・oytser902(memories)のFreeBSD 5.3化
・「雪だるま作戦」による、スケーラブルなサーバ群構築
・read.cgi/bbs.cgiの細かな調整・詰め
・携帯サーバのプライベート側スイッチのグレードアップ検討
・各種作戦・プロジェクトとの連携
・FreeBSDのさらなるチューニング詰め

＜関連スレッド＞
■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1
http://qb5.2ch.net/test/read.cgi/operate/1105035540/
■ 自動地震速報＠2ch をつくろう
http://qb5.2ch.net/test/read.cgi/operate/1106583619/
■ テレビ番組欄＠2ch をつくろう 第2話
http://qb5.2ch.net/test/read.cgi/operate/1107366393/

＜関連サイト＞
レンタルサーバー maido3.com ２ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html

＜前スレ＞
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16
http://qb5.2ch.net/test/read.cgi/operate/1102087698/
0675 ◆Reffi/bQ.c
垢版 |
2005/03/30(水) 04:42:21ID:EbF6akkL0
セキュリティホール情報

ttp://home.jp.freebsd.org/cgi-bin/showmail/announce-jp/1286
0676 ◆Reffi/bQ.c
垢版 |
2005/03/30(水) 08:58:10ID:EbF6akkL0
>675
この修正後にリビルド推奨なのでかなり深刻なバグのようです。
0677動け動けウゴウゴ２ちゃんねる
垢版 |
2005/03/30(水) 09:51:30ID:xdJi6gM20
655 です。

>>668

似たような試みは既にいろいろとされているんですね。
もしかして、邪魔なだけ?

>> 669

655 です。

たぶん今のままでは無理かも知れないです。
設定を見直せばうまくいくかも。

こぴぺ

ttp://squid.robata.org/ReverseProxy_top.html

CGIスクリプトやアクティブサーバページズなどの動的なコンテンツはキャッシュする事ができません。
プロキシは静的なページのコンテンツのみをキャッシュできます。

４つの尤も重要なヘッダーのタグは：

* Last-Modified: プロキシにページの最終更新日を知らせます。
* Expires: キャッシュからいつ削除するかをプロキシに知らせます。
* Cache-Control: いつプロキシにキャッシュされるべきかを指示します。
* Pragma: プロキシにページをキャッシュすべきかどうかを指示します。

http://squid.robata.org/squid2.0-conf.html
TAG: hierarchy_stoplist

このリストに記述されたワードがURLの中に見つかると、隣接キャッシュではなく直接サーバにリクエストを行います。隣接キャッシュを使いたくないオブジェクトのために使ってください。
このオプションは複数回指定できます。デフォルトは、'cgi-bin'と'?'を含むURLの場合に直接オブジェクトを持ってきます。

# hierarchy_stoplist cgi-bin ?
0678動け動けウゴウゴ２ちゃんねる
垢版 |
2005/03/30(水) 19:00:44ID:VanXO3cT0
>676
英語FreeBSD MLのnectarの投稿もよまずにあいまいなこと書くなよー。
スラッシュドットにもストーリーあるよ。
telnet使ってなければ言うほど深刻でもない。
0679root▲ ★
垢版 |
NGNG
>>675
ユーザランド(telnet)のみですね。
ぼちぼちやればいいかなと。
0680root▲ ★
垢版 |
NGNG
>>677
いや、意見・コメント歓迎です。
次の手はそのへんかなと思っているので、とても助かるです。
0681root▲ ★
垢版 |
NGNG
ざっと読んできた。

怪しいところにtelnet なんちゃら 25とかtelnet なんちゃら 80とかいうのは意外とやってるから、
気をつけるに越したことはないってかんじかなと。
0682動け動けウゴウゴ２ちゃんねる
垢版 |
2005/03/31(木) 00:02:59ID:/UKzBozk0
ジンギスカン仕様のサーバが止まったり移転したり飛んだりする度に
設定が飛んでしまうのは何とかならないものでしょうか。

名無しやローカルルールは再依頼してもらえば済みますが、
スレ立て規制のホストリストまでリセットされていつもクソスレが大量に乱立します。
（スレ立て規制値はかなり厳しいのですが、これじゃ意味がない）

書き込みはサーバが飛んでも消えないように、ホストリストも同様にしていただけるとありがたいのですが。
0684元祖FOX ★
垢版 |
2005/03/31(木) 00:10:43ID:???0
>スレ立て規制のホストリスト
これはやってないような・・・

こんどやろう
0685動け動けウゴウゴ２ちゃんねる
垢版 |
2005/03/31(木) 14:46:12ID:vvWhBtTt0
/etc/make.conf はいじってるのかな？

超簡単なベンチマーク・・・
dd if=/dev/zero of=/dev/null bs=1024 count=2000000
0686root▲ ★
垢版 |
NGNG
とりあえず、雪だるまなしの状態のcobraでは
-M64あたりが中庸を得ているみたい。

tigerものびを見ていると、-M48あたりが中庸な値かも。

たぶん雪だるま化した時は、今の-M128とかでもいける可能性も、あるかも。
0687元祖FOX ★
垢版 |
２ちゃんねる07/04/01(金) 01:48:08ID:???0
read.cgi にリミッターつけて 128の方が良いに一票
0689root▲ ★
垢版 |
NGNG
>>687
やっぱ、それでいきますかねぇ。

個人的にread.cgiにはリミッター、入れたくないんですよね。
んじゃ、今日の様子見て、ex10はLA=30、live16/20はLA=20ぐらいでリミッター入れることにしますか。
0690root▲ ★
垢版 |
NGNG
ex10 >>689 にしてきた。
live16 と live20 は、これから変更予定。

で、-M128と-M64に戻してきます。
0691root▲ ★
垢版 |
NGNG
で、ひとつ提案なのですが、今回の負荷試験が終わるまでは、
わたしにめんじて、狼のTYPE2と一連のSamba/timeclose/timecountも一時的に解除しませんか。>>687

どうも、人が多いんじゃなくて、単なる連投板みたいですが、
それでもセッティング出しには、やはりご協力いただきたいのです。
0692元祖FOX ★
垢版 |
２ちゃんねる07/04/01(金) 01:58:59ID:???0
ほかの板集めてきますー
0693root▲ ★
垢版 |
NGNG
live16 / live20 を、LA=20 で人大杉がかかるようにした。
これは他のtigerと同じ値。

>>692
他ですか。
やはり、例によって1ピースを少なくする路線なのかなぁ。

というか、ほんとは人が少ないってわかっちゃった以上、
もう「ブレーメン」という単位が出来た頃の、あなたじゃないってことなのかもね。
0694讃岐 ◆IamaVIPdCI
垢版 |
NGNG
>>691
解除するなら告知してくるよ
0695root▲ ★
垢版 |
NGNG
>>694
>>691
ほんとは人が少ないんだとすると、解除は、、、ないかな。
ちょっと、さみしい気もするけどね。
0697動け動けウゴウゴ２ちゃんねる
垢版 |
２ちゃんねる07/04/01(金) 02:14:40ID:TDKuYLnl0
>>695
単なる連投板じゃないかもしれません
474 名前：動け動けウゴウゴ２ちゃんねる[] 投稿日：2005/03/31(木) 22:16:29 ID:cbsbJk4L0
狼は連投が激しいとかいうけど120秒規制になった時
VIPも狼並みに書き込み数減少した
0698動け動けウゴウゴ２ちゃんねる
垢版 |
２ちゃんねる07/04/01(金) 02:16:01ID:YvA+mE1M0
Apache2はIntel Compilerだとかなり高速化されるそうだ。
でも商用Webサーバーで使っているとライセンス的にはどうなんだろね。
0699root▲ ★
垢版 |
NGNG
>>696
どうも。例のpoundでURL見て振り分けるってやつですか。
考えてみる価値は、あるのかも。

あの頃よりも、だいぶいろいろなことがわかったので、
いろいろ研究してみる価値は、ありそうですね。
0700root▲ ★
垢版 |
NGNG
>>698
iccですか。
FreeBSDは、サポートされてるのかしら。
0701root▲ ★
垢版 |
NGNG
ところで、>>687 は、次のステップも見ているのかなと。
0703655
垢版 |
２ちゃんねる07/04/01(金) 08:36:57ID:u059DgD70
新米のでいまいちつかめていないところが多いです。
どのスレを見ればいいのかわからなかったり、古くて信じればいいのかわからなっかったり。
指摘して頂いたり、ポインタなどを示してくれると助かります。

>> 696

ちょいと返事がおかしいですけど、Linux の noatime は *BSD よりもはずです。
Linux は非同期書き込みしかできないから。
今でも、サーバは全て noatime で運用しているのでしょうか?
softupdate だと noatime よりも遅くなるが、/root を小さくしておくと、
FreeBSD 5 系は fsck を後ろで動かしつつ、システムが動きます。
そのため、起動がとても早い。
noatime では無理じゃないかな。

をを、いかなきゃ!
0704動け動けウゴウゴ２ちゃんねる
垢版 |
２ちゃんねる07/04/01(金) 09:11:14ID:YvA+mE1M0
マルコフ連鎖で自動生成された文章かな？

/rootってのは/のことか？
background fsckとnoatimeの関係性について何を言いたいのか良く理解できん。
0706動け動けウゴウゴ２ちゃんねる
垢版 |
２ちゃんねる07/04/01(金) 11:54:26ID:YvA+mE1M0
いちおうマジ解釈すると、703はasyncとnoatimeを混同しているってことなのかもね。
ext3よりもUFS2(+softupdate)は全然良いFSだと思う。
0708703
垢版 |
２ちゃんねる07/04/01(金) 13:57:24ID:u059DgD70
>>706
の指摘通り async と noatime を間違っていました。

ご指摘ありがとう。
0709root▲ ★
垢版 |
NGNG
KeepAliveTimeout 10 => 5

を、live20とex10で実験開始。
0712ピロリ
垢版 |
２ちゃんねる07/04/01(金) 23:15:19ID:/zSy24Sv0
蒼井そら・・・・・・・・・
0715root▲ ★
垢版 |
NGNG
一時期入れようと思った、mod_dosevasiveあるいは相当品を、
また考えるべきなのかしら。
0720root▲ ★
垢版 |
NGNG
>>719
ちょっと面白そうな雑誌ですね。

さて、RELENG_5_4が出て5.4-RC1になったので、
ぼちぼち、5.4Rへのバージョンアップの準備をすすめようかと。
0721root▲ ★
垢版 |
NGNG
で、今回一番めんどいのは上の方でもちょっと出たけど、これかなぁ。
5.4Rになったこととは直接には関係しないけど、影響でかいし。

20050201:
AFFECTS: users of lang/perl5 and lang/perl5.8
AUTHOR: tobez@FreeBSD.org

lang/perl5 has been updated to 5.6.2, and lang/perl5.8 has been
updated to 5.8.6. you should update everything depending on perl, that
is:

* first, upgrade your perl installation (use either lang/perl5 or
lang/perl5.8, the latter being recommended);
* for FreeBSD 4.X, run "use.perl port", so that the system knows you
have 5.8.6 or 5.6.2; this step is not needed on FreeBSD 5.X and
FreeBSD -CURRENT;
* run some magic incantations to upgrade all ports depending on perl,
that is run something like :
portupgrade -f `(pkg_info -R perl-5\* |tail +4; \
find /usr/local/lib/perl5/site_perl/5.[68].[1245] -type f -print0 \
| xargs -0 pkg_which -fv | sed -e '/: ?/d' -e 's/.*: //')|sort -u`
This is likely to fail for a few ports, you'll have to upgrade them
afterwards by hand.
0723root▲ ★
垢版 |
NGNG
>>722
ども。
認識しているので、ぼちぼちやっていくです。
0724 ◆Reffi/bQ.c
垢版 |
2005/04/04(月) 04:06:09ID:JTSVQxNh0
>720
おおっ
あとはいつものごとくｅｘ１０が（ry
ｐｅｒｌはいつかは通らなきゃいけない道なので今のうちに対策しておいた方がいいですね
0725root▲ ★
垢版 |
NGNG
make buildworld中。

%sysctl debug.mpsafevm
debug.mpsafevm: 1

vmもGiant-freeになったのね。
tigerサーバ/cobraサーバには、朗報かと。
0726root▲ ★
垢版 |
NGNG
おわりそうもないんで、しかけといて、もうねるか。
vfsがmpsafeになるのって、いつごろだろ。
0727root▲ ★
垢版 |
NGNG
cvsup.peko.2ch.net を 5.4-RC1 にしてみた。
カーネルとユーザランドだけで、まだportsは古いまま。

%uname -a
FreeBSD banana273.maido3.com 5.4-RC1 FreeBSD 5.4-RC1 #0: Sun Apr 3 21:32:24 PDT 2005 root@banana273.maido3.com:/usr/obj/var/src/sys/I386_BANANA_54 i386

特に問題にはならず、普通の手順でOKの模様。

0)Apache等の停止(外からのアクセスを止める)
1)rm -rf /usr/obj/* # 念のため
2)supfileを更新
　*default release=cvs tag=RELENG_5_4 # RELENG_5_3から更新
3)cd /usr/src; make update
4)make -j 4 buildkernel
5)make installkernel
6)リブート
7)ブートアップ確認後、dmesgをチェック・保存
8)cd /usr/src/usr.sbin/mergemaster; make -m /usr/src/share/mk all install # 今回は必要なさげ
9)mergemaster -p # 今回は必要なさげ
10)make -j 4 buildworld
11)make installworld
12)mv /etc/rc.d /etc/rc.d.53; mkdir /etc/rc.d
13)mergemaster -i # 12)を省略して、13)をmergemasterでも問題ない
14)リブート
15)ブートアップ確認後 rm -rf /etc/rc.d.53
16)Perl関係とかports関係を更新
0728root▲ ★
垢版 |
2005/04/04(月) 15:56:08ID:???0
ports/packagesも更新した。概ね問題なさげ。
5.2.1R => 5.3R に比べると、面倒さは少なめの模様。
0729root▲ ★
垢版 |
NGNG
ということで、DNS設定依頼出します。

【Project BBBE】共有！？BE規制
http://qb5.2ch.net/test/read.cgi/operate/1112542929/252

(新規追加)
+b.2ch.net:206.223.151.135
&bbe.2ch.net:206.223.151.135:a

これで、作業用の場所 b.2ch.net と、DNS参照用のサブドメイン bbe.2ch.net が使えるようになります。

今日は、ここまで。
0732む P061204003007.ppp.prin.ne.jp
垢版 |
2005/04/05(火) 17:09:55ID:wbwHKFuo0
>>730
b.2ch.netの方にコンテンツを入れて、bbe.2ch.netの方でDNSクエリします。
帰ったら仕様をメールするです。

>>731
要対策すね。
帰ったらたんたんと。
0733root▲ ★
垢版 |
NGNG
仕様を書いたメールを発射しました。

なんだかめまいがするので、>>731 の対策は明日以降、、、。
0734 ◆yadoQ//n/E
垢版 |
2005/04/06(水) 02:30:25ID:ehJVSSoK0
おだいじになさいませ。
0735 ◆Reffi/bQ.c
垢版 |
2005/04/06(水) 02:52:10ID:OpdMk35V0
正式にＲＣ１来ますた。
（ＦＴＰもＲＣ１に差し変わってます。）

First release candidate 2 Apr 2005 5 Apr 2005
0738root▲ ★
垢版 |
NGNG
ということで、ここに保管。

携帯→2ch運用情報スレッド17
http://qb5.2ch.net/test/read.cgi/operate/1109943424/633

633 名前：root▲ ★[sage] 投稿日：2005/04/09(土) 13:40:37 ID:???0 ?##
原因ですが、

APCアクセラレータのportsが更新されて、
extension=apc.so

が、extensions.iniに自動で入るようになったことへの対応漏れでした。
ごめんなさい。

extension=apc.so が extensions.ini に2行入っていると、
httpdがメモリを無限に食い尽くして、最後はシステムが破綻に陥る模様。
0739root▲ ★
垢版 |
NGNG
今 m (BBM) のセキュリティホール対策中ですが、
snmpd が 250M 以上食っていた。で、リスタートしたらシステム全体が軽く。
何か、メモリリークがあるのかも。

これで「BBMが止まっています」の頻度が減るといいなぁと。
0740讃岐 ◆IamaVIPdCI
垢版 |
NGNG
ex10でまだ出てるｗ
0742root▲ ★
垢版 |
NGNG
なんか、確かにだめっすね。
調べるか。
0744root▲ ★
垢版 |
NGNG
一応、いろんな試みについては、それなりにログがとられるってかんじで。

で、BBMの中身のシステムがなんだかいまいちかも。
0745root▲ ★
垢版 |
NGNG
とりあえずリブート直後にbbmがいまいちになるのは、対策しました。
あとは、元データに戻るタイミングの問題か。
これは、サザンさんと共同作業すね。
0746root▲ ★
垢版 |
NGNG
で、確かにnews4vipだけ、BBMが止まっていますが出る可能性が高いみたい。
単に投稿数が多いというだけなのかな。ちょっと謎。
0747讃岐 ◆IamaVIPdCI
垢版 |
NGNG
なんか書き込み規制がかかってる携帯から
リロードしまくったあとに、IEで見ると止まってることが多い気がする
0748root▲ ★
垢版 |
NGNG
bbs.cgi をチェック中、、、。

なんか、BBMで1箇所不思議な処理をしているところがあるので、
それをコメントアウトしてみる。
0749root▲ ★
垢版 |
NGNG
そっか。よく読むと、不思議な処理じゃないみたいですね。
うーむ。
0750root▲ ★
垢版 |
NGNG
で、何が不思議なのかというと、
同じex10なのにmorningcoffeeではならないような気がするんですよね、これが。
0753655
垢版 |
2005/04/10(日) 13:16:26ID:U1RUNgfa0
>>677 の read.cgi の結果をキャッシュの続きです。

Squid が CGI をキャッシュするようにしても、apache+read.cgi がするにしても、
問題はスレが更新されたら、キャッシュも破棄、更新しなければいけないことです。

Squid は dat の更新を知るのは、ほぼ無理です。
read.cgi が stat.2 を使って更新されていなければ、元の提案のようにキャッシュの HTML を送信。
dat が更新されていれば、キャッシュを破棄して、HTML を生成。

stat() も使わないようにするのだったら、bbs.cgi が何らかの方法で、read.cgi に更新の通知をしなければいけないです。
# 試すにしても、工数を考えるとずいぶん後ででしょう。


ちょっと点検したいのですが、read.cgi は C で、bbs.cgi は perl で出来ているのですよね?

後、気になっているところとしては、この方法を取ろうとすると read.cgi は常駐プロセスになる必要が。

時間が取れたら、プロトタイプでも作ってみます。
0754root▲ ★
垢版 |
NGNG
>>752
ももいさん翻訳のやつですか。
http://www.amazon.co.jp/exec/obidos/tg/detail/-/books/4873112184/contents/ref=cm_toc_more/249-8559731-8913944

>>753
> ちょっと点検したいのですが、read.cgi は C で、bbs.cgi は perl で出来ているのですよね?
Yes.

> 後、気になっているところとしては、この方法を取ろうとすると read.cgi は常駐プロセスになる必要が。
mod_cgidso 化までできたものを mod_read にするのは、それほど面倒ではないはず。
0755▲ ◆cZfSunOs.U
垢版 |
2005/04/10(日) 17:54:51ID:jwBggCkI0
ん〜要は read.cgi が dat の mtime を Last-Modified として吐けば，
スタティックな HTML ページと同様にキャッシュ可能なんですけどね．
http://dso.2ch.net/test/read.cgi/myanmar/1101888913/64-68n
では mod_mem_cache にキャッシュさせてたわけですが．

どちらにしろ read.cgi では dat の mmap() の際にサイズ取得のため
fstat() してると思うんで，同時に mtime も知ることができるかと．
0756root▲ ★
垢版 |
NGNG
サーバダウン（鯖落ち）情報Part61
http://qb5.2ch.net/test/read.cgi/operate/1111396436/866-867

867 名前：root▲ ★[sage] 投稿日：2005/04/10(日) 20:48:04 ID:???0 ?##
<IfModule prefork.c>
StartServers 384
MinSpareServers 32
MaxSpareServers 384
ServerLimit 512
MaxClients 512
MaxRequestsPerChild 1000000
</IfModule>

にした。< oyster902
0758root▲ ★
垢版 |
NGNG
>>757
>>756 のことだとすると、メモリ使用量の(少しでも)節約かなと。
必要ないなら、httpdの数は少ないに越したことなさそう。
0759root▲ ★
垢版 |
NGNG
cvsup.peko.2ch.net を 5.4-RC2 にした。

%uname -a
FreeBSD banana273.maido3.com 5.4-RC2 FreeBSD 5.4-RC2 #2: Sun Apr 10 06:10:50 PDT 2005 root@banana273.maido3.com:/usr/obj/var/src/sys/I386_BANANA_54 i386
0760655
垢版 |
2005/04/11(月) 10:38:49ID:7Hxwrf7I0
>> 755

そうですね。
何を考えていたのか、stat/fstat を省略するばかり考えていたので
Squid では、無理だと思ってしまいました。

話によると、動的ページのキャッシュ化もずいぶん少ない工数で実現できそうですね。
0761未承諾広告※ ◆TWARamEjuA
垢版 |
2005/04/11(月) 15:41:25ID:UXDVdjGG0
memories またもや陥落です。。。

Date: Mon Apr 11 14:40:06 2005 JST-9 (Sun Apr 10 22:40:06 2005 PST+8PDT)
Target: oyster902.peko.2ch.net[memories.2ch.net] 206.223.151.230
0765root▲ ★
垢版 |
2005/04/11(月) 17:06:26ID:???0
オンラインになりました。しばらく作業できます。
まず、リブート依頼いきます。
0766root▲ ★
垢版 |
NGNG
リブート入れていただきました。
ブートアップ待ち中。
0767root▲ ★
垢版 |
NGNG
上がってこないですね。fsck中か。

ちと、しばらくオフラインになります。作業は後程。
0768root▲ ★
垢版 |
NGNG
カーネルを前のバージョンに戻して、リブート中。
0769root▲ ★
垢版 |
NGNG
カーネルを前のバージョンに戻しました。

%uname -a
FreeBSD oyster902.peko.2ch.net 5.3-RELEASE-p5 FreeBSD 5.3-RELEASE-p5 #1: Mon Feb 7 21:58:28 PST 2005 root@oyster902.peko.2ch.net:/usr/obj/usr/src/sys/AMD64_COBRA_53_AAC_ISP amd64

で、Sumaにシリアル経由で入れないみたいです。
これは別途Jimさんに確認しておきます。
0770root▲ ★
垢版 |
NGNG
2ｃｈの動作報告はここで。 パート16
http://qb5.2ch.net/test/read.cgi/operate/1103455176/653

operate的には単独スレじゃなくて、とりあえずここを動かすことにするか。
で、方向性がまとまってきたら、単独スレってかんじで。

手段としては、同じIPアドレスからの単位時間あたりの接続回数とか、
datリクエスト数とか、read.cgi起動回数とかをトリガにして、何かにとばすかんじか。
概念的には「バーボンハウスの読み版」ってかんじで。

で、そのためのツールとしては、何が考えられるのかっていうのが議論のターゲットなのかな。
mod_dosevasive を前にちょっと試したことがあるけど、ややいまいちだったかも。
0771FOX ★
垢版 |
2005/04/12(火) 16:11:40ID:???0
私のお勧め(負荷が低い、作るの簡単、不明点無し)

1) 取っているログから解析
2) N分毎におこなう
3) バーボンに突っ込む
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況