X
トップページ⇒運用情報
1001コメント266KB

2ch特化型サーバ・ロケーション構築作戦 Part32

■ このスレッドは過去ログ倉庫に格納されています
0001 ◆4A8q3C5o8xCU
垢版 |
NGNG
2ch特化型サーバ・ロケーション構築作戦のスレッドです。

・２ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更関連の各種作業や調整事項
・２ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携

等を取り扱います。

前スレ:
2ch特化型サーバ・ロケーション構築作戦 Part31
http://qb5.2ch.net/test/read.cgi/operate/1235553306/
0615root▲▲ ★
垢版 |
2009/08/07(金) 02:00:45ID:???0?DIA(102777)
>>613
お酒飲めません。。。
下戸遺伝子ということで。
0620root▲▲ ★
垢版 |
2009/08/07(金) 07:40:15ID:???0?DIA(102777)
高木先生の日記。

高木浩光＠自宅の日記 - やはり退化していた日本のWeb開発者「ニコニコ動画×iPhone OS」の場合
http://takagi-hiromitsu.jp/diary/20090802.html

「蛸壺化」というのはなかなか。
0622動け動けウゴウゴ２ちゃんねる
垢版 |
2009/08/07(金) 09:33:03ID:FiR3aD+E0
>>431
いや、PIEも儲かるのわかってて、コストに見合うと判断すれば帯域を解放するでしょ。
そのへんはパケモンの技術担当兼PIE COOのJimさんの判断になるんだが。
0623動け動けウゴウゴ２ちゃんねる
垢版 |
2009/08/07(金) 09:38:46ID:FiR3aD+E0
>>560
さあ、オレンジ畑で農耕してくるんだ（ぇ

>>564
Releaseになる時点で、今よりはややましにはなりますかね。
所詮観測的希望ってやつですが
0629動け動けウゴウゴ２ちゃんねる
垢版 |
2009/08/07(金) 11:29:08ID:v50wbJnn0
まあ、rootさんで設定できる箇所が限られてる鯖ですんで
全設定を触れる人が根本的に直さないことには
常時こんなことだらけと思ったほうがいいっすね
0631root▲▲ ★
垢版 |
2009/08/07(金) 11:35:41ID:???0?DIA(102777)
こっちに書いておくか。

top すると、

39597 ch2yutor7 1 44 0 79308K 13560K keglim 7 0:00 0.00% httpd
39531 ch2yutor7 1 44 0 80252K 13484K keglim 5 0:00 0.00% httpd
39506 ch2yutor7 1 44 0 78192K 13488K keglim 3 0:00 0.00% httpd
39557 ch2yutor7 1 44 0 79296K 13632K keglim 2 0:00 0.00% httpd

というのがいっぱい並んでいるですね。

状態欄が keglim というのはあまり見かけないけど、
この状態になると、もうだめぽな模様。
0632root▲▲ ★
垢版 |
2009/08/07(金) 11:36:35ID:???0?DIA(102777)
カーネルソース grep してみた。これかな。

%find . -name '*.[ch]' -print | xargs grep keglim
./vm/uma_core.c: msleep(keg, &keg->uk_lock, PVM, "keglimit", 0);
0636root▲▲ ★
垢版 |
2009/08/07(金) 11:44:58ID:???0?DIA(102777)
どうやら ./kern/kern_mbuf.c か。
keg とかこのへんに結構ある。

ということは、ネットワークの鍛えが足りないかんじかも。
mbuf が少ない、というより増やしてないとか。
0638root▲▲ ★
垢版 |
2009/08/07(金) 11:49:05ID:???0?DIA(102777)
これかな。

ソケットのバッファ最大値がデフォルト値のままなのね。< yutori7

・changi namidame anchorage 等

%sysctl kern.ipc.maxsockbuf
kern.ipc.maxsockbuf: 20480000 <= 増やしてある

・yutori7

%sysctl kern.ipc.maxsockbuf
kern.ipc.maxsockbuf: 262144 <= デフォルトのまま
0644root▲▲ ★
垢版 |
2009/08/07(金) 11:53:24ID:???0?DIA(102777)
どくおさんへ:

kern.ipc.maxsockbuf はこのスレでも幾度となく出てきたパラメータです。
kern.ipc.maxsockbuf で Google するといっぱい出てきます。

FreeBSD のデフォルト値は忙しいサーバ向けではないので、
増やしたほうがいいかと。

今の root 権限ありサーバでは、/etc/sysctl.conf にこんな設定を入れています。
何度も痛い目にあって設定したこの値には実績があるです。
このスレの過去ログにも書いてあるはず。

ちなみに # でコメントしてある値は旧 tiger (2G mem)の値です。

---
# increase listen queue
#kern.ipc.somaxconn=8192
kern.ipc.somaxconn=32768
#kern.ipc.maxsockbuf=2097152
kern.ipc.maxsockbuf=20480000
0646root▲▲ ★
垢版 |
2009/08/07(金) 11:55:10ID:???0?DIA(102777)
>>641
デフォルトのままのようです。
0647root▲▲ ★
垢版 |
2009/08/07(金) 11:56:50ID:???0?DIA(102777)
%sysctl kern.ipc.somaxconn
kern.ipc.somaxconn: 128

デフォルト 128 しかないのね(´･ω･｀)。
0650動け動けウゴウゴ２ちゃんねる
垢版 |
2009/08/07(金) 11:57:31ID:6pMbvsFP0
もうだめぽorz
0654root▲▲ ★
垢版 |
2009/08/07(金) 12:03:00ID:???0?DIA(102777)
>>640 >>652
わたし、2003年にはこのパラメータ、いじっていたような気がする。
@ このスレの過去スレで
0658動け動けウゴウゴ２ちゃんねる
垢版 |
2009/08/07(金) 12:06:58ID:Y/wZozFm0
FreeBSD kernel tuning for large siteって奴ですね。

・listen キューを増やす
・大規模サーバの場合 swap 張ったら負け
0661root▲▲ ★
垢版 |
2009/08/07(金) 12:08:05ID:???0?DIA(102777)
久しぶりに今の root 権限あり A-tiger で設定している
/etc/sysctl.conf の主なチューニング内容を上げておくです。
全部が yutori7 に適用可かどうかはわかりませんが、現状ということで。

ちなみに上のほうほど「昔に」設定いじったことのあるパラメータです。

# added for 2ch
# increase maximum file descriptors
kern.maxfiles=131072
kern.maxfilesperproc=65536
# increase listen queue
#kern.ipc.somaxconn=8192
kern.ipc.somaxconn=32768
#kern.ipc.maxsockbuf=2097152
kern.ipc.maxsockbuf=20480000
# see http://qb5.2ch.net/test/read.cgi/operate/1097931665/666-676
net.inet.icmp.icmplim=3000
net.inet.icmp.icmplim_output=0
# XXX
net.inet.tcp.delayed_ack=0
# increase maximum value of ufs directory hash
vfs.ufs.dirhash_maxmem=134217728
# http://qb5.2ch.net/test/read.cgi/operate/1235553306/590
vfs.lookup_shared=1
0662root▲▲ ★
垢版 |
2009/08/07(金) 12:09:33ID:???0?DIA(102777)
>>657
どもです。

HE時代にrootありサーバの1号機(news5.2ch.net)を作る時からやってたですか。
0664root▲▲ ★
垢版 |
2009/08/07(金) 12:11:32ID:???0?DIA(102777)
どくおさんへ その2:

ちなみに変更はリブートしなくてもいけるです。

1) >>644 を /etc/sysctl.conf に追加
2) cd /etc/rc.d
3) sh sysctl restart
0665root▲▲ ★
垢版 |
2009/08/07(金) 12:12:18ID:???0?DIA(102777)
>>663
そのへんの値の調整は
まさに物が来て動かし始めてからの「腕の見せ所」なのではないかと。
0667動け動けウゴウゴ２ちゃんねる
垢版 |
2009/08/07(金) 12:13:24ID:ApBs87Hh0
>>660
何度も落とされたり、何度も落ちそうになったりして・・お客からがんがん言われて・・。
サーバーを分散したりして、そうやって経験を積んできた。
by Google
0669root▲▲ ★
垢版 |
2009/08/07(金) 12:17:59ID:???0?DIA(102777)
>>668
私が現状できることは、

・ここに状況を書く
・私なりの分析と対応の可能性をここに書く

というかんじで。
0674動け動けウゴウゴ２ちゃんねる
垢版 |
2009/08/07(金) 12:21:21ID:xJ71yv8hO
このスレFreeBSDのノウハウ蓄積されてていい感じなんだが
せっかくだからいろんな人が参考になるようにまとめwikiとか作らないか
0675root▲▲ ★
垢版 |
2009/08/07(金) 12:22:06ID:???0?DIA(107777)
>>670
そですね。

というかもう、メモリもCPU処理能力も激しく豊富になったわけで、
そろそろこのへんのデフォルト値をもっと大きめにしてもいい時期なんじゃないのかなぁ、
などと思ってみたり。

# そういえば 8.0-BETA2 では SLIP (pseudo-device sl)がなくなっていて、
# なんだか感慨深いものを感じました。tty 周りの更新によるもののようですが。
0677root▲▲ ★
垢版 |
2009/08/07(金) 12:23:49ID:???0?DIA(107777)
>>674
part32 に至るまでにこういった「チューニング物語」は数多くありました。
そういえば最近そういうのあんまりやってないなぁ。

そんなわけでこのスレの part1 から読んでまとめサイト作っていただけると、
私もとてもうれしいかも。
qb系はhtml化されているので、●なくても読めるし。
0678動け動けウゴウゴ２ちゃんねる
垢版 |
2009/08/07(金) 12:27:07ID:xI3Zg56G0?2BP(5161)
>>675
> ・changi namidame anchorage 等
>
> %sysctl kern.ipc.maxsockbuf
> kern.ipc.maxsockbuf: 20480000 <= 増やしてある
これの値って、yutori7ならどれくらいまで上げても大丈夫なんだろう…
0682動け動けウゴウゴ２ちゃんねる
垢版 |
2009/08/07(金) 12:30:53ID:ApBs87Hh0
>>678
多分、スペックにもよるけど「倍」か「4倍」までいけるはず。
ただし、32bit long intなので・・倍で止めておくと良い。

64bit系なら、4倍でも大丈夫。
0686動け動けウゴウゴ２ちゃんねる
垢版 |
2009/08/07(金) 12:38:33ID:ycOBfiNg0
>>675
HDの容量がなかった頃は/usr/srcや/usr/ports以下をどうしようか悩んだもんです。
今では何も考えないでつっこんでますよね。
メモリについてもOS側への割り振りと各デーモンへの割り振りをどうしようかと。
ただ、やはり使用用途に合わせて、必要な資源は確保しておくのが正解かなーなんて思ったり。

勝手にOS側で全部やってくれたら楽ですけど・・
そのあたりが鯖管の腕の見せ所ぢゃないでしょうか。

0690動け動けウゴウゴ２ちゃんねる
垢版 |
2009/08/07(金) 12:42:14ID:OOklVPxm0
ためしに全スレ取得して「root」とか「apache」とか「conf」とかでログ検索かけてみた
頭くらくらしてきた。鯖のチューニングまとめる前に頭のチューニングを先にしないと(ry
0691動け動けウゴウゴ２ちゃんねる
垢版 |
2009/08/07(金) 12:44:53ID:WsONJGYI0
>>677
１部html化されてないのがあったので２週間お試し●GETで取得してみましたけれど
まとめる理解力が足りないのでどうすればいいもんだかどなたかアドバイスを
0694動け動けウゴウゴ２ちゃんねる
垢版 |
2009/08/07(金) 13:11:34ID:2DGFvNFH0
tsushimaが設定不足で落ちたってことは同時期に登場したtakeshima(今は使ってませんが)hideyoshi、qb5、qb6も同じ設定にしてあるってことですかね？
あとその後に登場したpc12とnamidame(Tiget2009以降後)も
0695動け動けウゴウゴ２ちゃんねる
垢版 |
2009/08/07(金) 13:13:18ID:OOklVPxm0
>>694
takeshimaは韓国に攻撃されたから、ある程度設定変更されてるはず
namidameはroot権限ありだから、ちゃんと設定してあるはず
0696root▲▲ ★
垢版 |
2009/08/07(金) 13:14:49ID:???0?DIA(107777)
しかし、あまりにも基本なというか、
「サーバもらったら最初にスクリプト流して設定して、あとはそのまんま」
なパラメータだったので、わたし的にもすっぽり抜けていますたです。。。
0699root▲▲ ★
垢版 |
2009/08/07(金) 13:17:28ID:???0?DIA(107777)
そんでもって、きっと、

・メモリが多くなり
・CPUが強くなり
・ディスクが良くなり

して、ハードウェア要因ではそう簡単に落ちなくなったので、
今回のネットワーク設定の件が発覚した、ともいえるんでしょうね。
0701動け動けウゴウゴ２ちゃんねる
垢版 |
2009/08/07(金) 13:18:29ID:43ar9VgT0
ちょうがんばれ
0702動け動けウゴウゴ２ちゃんねる
垢版 |
2009/08/07(金) 13:19:58ID:ApBs87Hh0
>>698
root氏が、復旧中なので・・横槍を入れる。
FreeBSDのscoketのパラメータ設定がデフォルトだったそうだ。
アクセス集中　→　サーバ内プロセスがオーバーロード　→　プロセスがコア吐いて死ぬ。
それで、yutori7とtsushimaがダウン。
0703root▲▲ ★
垢版 |
2009/08/07(金) 13:20:18ID:???0?DIA(107777)
今の時間は人が増えていく状態なので、
今無理やりリブートとや小手先の対策しても、
たぶんすぐまただめな状況になる気がします。

中の人が >>664 を yutori7 や tsushima で実施してもらえるのを待っています。
0705root▲▲ ★
垢版 |
2009/08/07(金) 13:21:30ID:???0?DIA(107777)
>>703
> 中の人が >>664 を yutori7 や tsushima で実施してもらえるのを待っています。

ヘンな日本語だな。

中の人に >>664 を yutori7 や tsushima で実施してもらえるのを待っています。

か。
0706動け動けウゴウゴ２ちゃんねる
垢版 |
2009/08/07(金) 13:22:45ID:2DGFvNFH0
yotori7とtsushima意外は大丈夫って事ですか？
たとえばhideyoshiに今のtakeshimaぐらいの板を詰め込んだら同じ理由で落ちるとか
0707動け動けウゴウゴ２ちゃんねる
垢版 |
2009/08/07(金) 13:24:05ID:ApBs87Hh0
>>704
商用のディストリビューションがあるから、あまり見かけないだけ。
FedoraやDebianでチューニングしている、職人なら結構見かける。
0708root▲▲ ★
垢版 |
2009/08/07(金) 13:24:09ID:???0?DIA(107777)
>>706
たぶんすべての root 権限なしサーバで、
>>664 は実施されていないんではないかと。
0713root▲▲ ★
垢版 |
2009/08/07(金) 13:32:00ID:???0?DIA(107777)
>>711
たしかに。

最初の 5.2.1R の頃は泣きそうでした。

当時「bananaよりはるかにぼろいcobra」とFOXさんに言われたことは、
私の胸に「ぐさっ」と刺さっております。
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況