2ch特化型サーバ・ロケーション構築作戦 Part32

◆4A8q3C5o8xCU · NG

2ch特化型サーバ・ロケーション構築作戦のスレッドです。

・２ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更関連の各種作業や調整事項
・２ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携

等を取り扱います。

前スレ:
2ch特化型サーバ・ロケーション構築作戦 Part31
http://qb5.2ch.net/test/read.cgi/operate/1235553306/

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 02:52:54

伝書鳩。
【お止め組。】出動予定＆連絡詰所◆11
http://qb5.2ch.net/test/read.cgi/operate/1247755300/366-380

**root▲▲ ★** · 2009/08/07(金) 07:40:15

高木先生の日記。

高木浩光＠自宅の日記 - やはり退化していた日本のWeb開発者「ニコニコ動画×iPhone OS」の場合
http://takagi-hiromitsu.jp/diary/20090802.html

「蛸壺化」というのはなかなか。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 09:24:17

んで、のりぴーが発見されたらまた落ちる可能性があるわけだけども

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 09:33:03

>>431
いや、PIEも儲かるのわかってて、コストに見合うと判断すれば帯域を解放するでしょ。
そのへんはパケモンの技術担当兼PIE COOのJimさんの判断になるんだが。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 09:38:46

>>560
さあ、オレンジ畑で農耕してくるんだ（ぇ

>>564
Releaseになる時点で、今よりはややましにはなりますかね。
所詮観測的希望ってやつですが

◆NAO/2MXDEk · 2009/08/07(金) 10:40:45

>>620
とても面白い記事でした

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 11:17:35

1200MB/秒の転送を実現、PCIeバス直結型のストレージ「ExaRAID」[09/08/05]
http://pc11.2ch.net/test/read.cgi/pcnews/1249479505/

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 11:21:46

また落ちたね・・・yutori7

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 11:24:12

>>350
rootたんの予言が的中した

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 11:25:07

しばらくはこんな感じかね・・・

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 11:29:08

まあ、rootさんで設定できる箇所が限られてる鯖ですんで
全設定を触れる人が根本的に直さないことには
常時こんなことだらけと思ったほうがいいっすね

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 11:34:48

rootさんがsudoできるようにすればいいような。
そういう訳にはいかないのか

**root▲▲ ★** · 2009/08/07(金) 11:35:41

こっちに書いておくか。

top すると、

39597 ch2yutor7 1 44 0 79308K 13560K keglim 7 0:00 0.00% httpd
39531 ch2yutor7 1 44 0 80252K 13484K keglim 5 0:00 0.00% httpd
39506 ch2yutor7 1 44 0 78192K 13488K keglim 3 0:00 0.00% httpd
39557 ch2yutor7 1 44 0 79296K 13632K keglim 2 0:00 0.00% httpd

というのがいっぱい並んでいるですね。

状態欄が keglim というのはあまり見かけないけど、
この状態になると、もうだめぽな模様。

**root▲▲ ★** · 2009/08/07(金) 11:36:35

カーネルソース grep してみた。これかな。

%find . -name '*.[ch]' -print | xargs grep keglim
./vm/uma_core.c: msleep(keg, &keg->uk_lock, PVM, "keglimit", 0);

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 11:37:29

わかった、一行にまとめてくれ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 11:38:51

専門用語が飛び交うスレで野暮なレスしなさんなｗ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 11:40:45

キー！！

**root▲▲ ★** · 2009/08/07(金) 11:44:58

どうやら ./kern/kern_mbuf.c か。
keg とかこのへんに結構ある。

ということは、ネットワークの鍛えが足りないかんじかも。
mbuf が少ない、というより増やしてないとか。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 11:45:15

そういうときはこう言うんだ
日本語でおｋ

**root▲▲ ★** · 2009/08/07(金) 11:49:05

これかな。

ソケットのバッファ最大値がデフォルト値のままなのね。< yutori7

・changi namidame anchorage 等

%sysctl kern.ipc.maxsockbuf
kern.ipc.maxsockbuf: 20480000 <= 増やしてある

・yutori7

%sysctl kern.ipc.maxsockbuf
kern.ipc.maxsockbuf: 262144 <= デフォルトのまま

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 11:50:16

>>638
原因はそれっぽい…かな？

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 11:50:49

>>638
基本中の基本

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 11:51:53

>>638
tsushimaも増やしてある？

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 11:52:52

さらっと特定するのは、経験の賜物だなあ･･･

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 11:53:02

>>641
あ、それ気になった

**root▲▲ ★** · 2009/08/07(金) 11:53:24

どくおさんへ:

kern.ipc.maxsockbuf はこのスレでも幾度となく出てきたパラメータです。
kern.ipc.maxsockbuf で Google するといっぱい出てきます。

FreeBSD のデフォルト値は忙しいサーバ向けではないので、
増やしたほうがいいかと。

今の root 権限ありサーバでは、/etc/sysctl.conf にこんな設定を入れています。
何度も痛い目にあって設定したこの値には実績があるです。
このスレの過去ログにも書いてあるはず。

ちなみに # でコメントしてある値は旧 tiger (2G mem)の値です。

---
# increase listen queue
#kern.ipc.somaxconn=8192
kern.ipc.somaxconn=32768
#kern.ipc.maxsockbuf=2097152
kern.ipc.maxsockbuf=20480000

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 11:53:35

>>641

増やしていなそうなので・・落ちたらしい。

**root▲▲ ★** · 2009/08/07(金) 11:55:10

>>641
デフォルトのままのようです。

**root▲▲ ★** · 2009/08/07(金) 11:56:50

%sysctl kern.ipc.somaxconn
kern.ipc.somaxconn: 128

デフォルト 128 しかないのね(´･ω･｀)。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 11:56:59

逆に減らしてみて動作見るとか
一回だけならひろゆきにも分からんよ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 11:57:08

>>646
そりゃ落ちるww

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 11:57:31

もうだめぽorz

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:00:09

>>647
>>649

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:01:07

>>647
基本中の基本　その２

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:02:15

検索したらどうやら忙しい鯖を持つ奴にとっては初歩的話っぽいな

**root▲▲ ★** · 2009/08/07(金) 12:03:00

>>640 >>652
わたし、2003年にはこのパラメータ、いじっていたような気がする。
@ このスレの過去スレで

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:04:03

>>653

慣れだよ。なれ。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:05:40

A-Tigerと似た構成のサーバ建てた俺にとってはそういうのを公開してもらえるのは嬉しいことだ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:06:47

2ch特化型スペシャルサーバ構築大作戦
http://qb.2ch.net/test/read.cgi/operate/1052923573/834-
http://qb.2ch.net/operate/kako/1052/10529/1052923573.html

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:06:58

FreeBSD kernel tuning for large siteって奴ですね。

・listen キューを増やす
・大規模サーバの場合 swap 張ったら負け

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:07:08

root権限持ってないrootたんなんてrootたんじゃないやい

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:07:40

>>655
http://cocelo.s201.xrea.com/freebsd/index.php?FreeBSD%2FTuning
まあ検索しない限りわからんから慣れか

**root▲▲ ★** · 2009/08/07(金) 12:08:05

久しぶりに今の root 権限あり A-tiger で設定している
/etc/sysctl.conf の主なチューニング内容を上げておくです。
全部が yutori7 に適用可かどうかはわかりませんが、現状ということで。

ちなみに上のほうほど「昔に」設定いじったことのあるパラメータです。

# added for 2ch
# increase maximum file descriptors
kern.maxfiles=131072
kern.maxfilesperproc=65536
# increase listen queue
#kern.ipc.somaxconn=8192
kern.ipc.somaxconn=32768
#kern.ipc.maxsockbuf=2097152
kern.ipc.maxsockbuf=20480000
# see http://qb5.2ch.net/test/read.cgi/operate/1097931665/666-676
net.inet.icmp.icmplim=3000
net.inet.icmp.icmplim_output=0
# XXX
net.inet.tcp.delayed_ack=0
# increase maximum value of ufs directory hash
vfs.ufs.dirhash_maxmem=134217728
# http://qb5.2ch.net/test/read.cgi/operate/1235553306/590
vfs.lookup_shared=1

**root▲▲ ★** · 2009/08/07(金) 12:09:33

>>657
どもです。

HE時代にrootありサーバの1号機(news5.2ch.net)を作る時からやってたですか。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:10:18

>>661
yutori7って帯域以外は余力あったはずだから、他の鯖よりチューニングできるのでは？

**root▲▲ ★** · 2009/08/07(金) 12:11:32

どくおさんへその2:

ちなみに変更はリブートしなくてもいけるです。

1) >>644 を /etc/sysctl.conf に追加
2) cd /etc/rc.d
3) sh sysctl restart

**root▲▲ ★** · 2009/08/07(金) 12:12:18

>>663
そのへんの値の調整は
まさに物が来て動かし始めてからの「腕の見せ所」なのではないかと。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:12:56

>>663
yutori7のrootを貰ってたらの話だけどな
そしてrootあったら今頃こんなことにはなっていない

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:13:24

>>660
何度も落とされたり、何度も落ちそうになったりして・・お客からがんがん言われて・・。
サーバーを分散したりして、そうやって経験を積んできた。
by Google

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:16:15

ところでサーバーの復旧作業やってるんですか？
tsusimaだけでも先行するとか

**root▲▲ ★** · 2009/08/07(金) 12:17:59

>>668
私が現状できることは、

・ここに状況を書く
・私なりの分析と対応の可能性をここに書く

というかんじで。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:18:41

>>654
社内鯖でさえデフォだと落ちますからな。
OSのインストールが完了したら真っ先に弄るべきパラメータですね。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:18:53

お腹すかせたｲﾅｺﾞが落ち着いてきたらリブート妖精したらいいと思うよ

【より敏感に】リブート要請 Ver2.0
http://qb5.2ch.net/test/read.cgi/operate/1152266515/

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:20:00

tsushima動いたか

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:20:52

すぐ落ちますた

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:21:21

このスレFreeBSDのノウハウ蓄積されてていい感じなんだが
せっかくだからいろんな人が参考になるようにまとめwikiとか作らないか

**root▲▲ ★** · 2009/08/07(金) 12:22:06

>>670
そですね。

というかもう、メモリもCPU処理能力も激しく豊富になったわけで、
そろそろこのへんのデフォルト値をもっと大きめにしてもいい時期なんじゃないのかなぁ、
などと思ってみたり。

# そういえば 8.0-BETA2 では SLIP (pseudo-device sl)がなくなっていて、
# なんだか感慨深いものを感じました。tty 周りの更新によるもののようですが。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:23:03

芸スポの蝗さんはtsushimaが先に直っても
そっちに移動しないで欲しいですなぁ

**root▲▲ ★** · 2009/08/07(金) 12:23:49

>>674
part32 に至るまでにこういった「チューニング物語」は数多くありました。
そういえば最近そういうのあんまりやってないなぁ。

そんなわけでこのスレの part1 から読んでまとめサイト作っていただけると、
私もとてもうれしいかも。
qb系はhtml化されているので、●なくても読めるし。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:27:07

>>675
> ・changi namidame anchorage 等
>
> %sysctl kern.ipc.maxsockbuf
> kern.ipc.maxsockbuf: 20480000 <= 増やしてある
これの値って、yutori7ならどれくらいまで上げても大丈夫なんだろう…

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:27:52

チューニングもいいけど、ex24にあった板だけ前の鯖に戻してもらうことはできないでしょうか。。。

◆SUAMA.Cbav5m · 2009/08/07(金) 12:29:38

>>677
置き場所が必要なら(ｒｙ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:30:30

またおちたんか
なんだか恐るべき夏休み&盆パワーだな・・・

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:30:53

>>678
多分、スペックにもよるけど「倍」か「4倍」までいけるはず。
ただし、32bit long intなので・・倍で止めておくと良い。

64bit系なら、4倍でも大丈夫。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:32:39

ん、ここ最近に投入された鯖は全部amd64じゃないの

**ょぅιﾞょの見物人** ◆YoJo69//rM · 2009/08/07(金) 12:33:25

>>674
2ch wikiがあるじゃないか。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:35:37

>>684
よろしく。wiki弄るの苦手やわ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:38:33

>>675
HDの容量がなかった頃は/usr/srcや/usr/ports以下をどうしようか悩んだもんです。
今では何も考えないでつっこんでますよね。
メモリについてもOS側への割り振りと各デーモンへの割り振りをどうしようかと。
ただ、やはり使用用途に合わせて、必要な資源は確保しておくのが正解かなーなんて思ったり。

勝手にOS側で全部やってくれたら楽ですけど・・
そのあたりが鯖管の腕の見せ所ぢゃないでしょうか。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:40:07

2chで日本語圏最大のFreeBSD総合情報サイト作ろうぜ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:40:28

つかどくおとかいうのはここに顔出さないのか・・・

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:41:58

スレッドに書き込む代わりにブログで会話してるって感じですよね

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:42:14

ためしに全スレ取得して「root」とか「apache」とか「conf」とかでログ検索かけてみた
頭くらくらしてきた。鯖のチューニングまとめる前に頭のチューニングを先にしないと(ry

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 12:44:53

>>677
１部html化されてないのがあったので２週間お試し●GETで取得してみましたけれど
まとめる理解力が足りないのでどうすればいいもんだかどなたかアドバイスを

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 13:07:01

>>657
oyster175なんて懐かしいなぁ。news5にnewsplusがあった時代からか・・・。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 13:08:40

落ちた原因と行った対策もまとめとかないと繰り返しそうだな

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 13:11:34

tsushimaが設定不足で落ちたってことは同時期に登場したtakeshima(今は使ってませんが)hideyoshi、qb5、qb6も同じ設定にしてあるってことですかね？
あとその後に登場したpc12とnamidame(Tiget2009以降後)も

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 13:13:18

>>694
takeshimaは韓国に攻撃されたから、ある程度設定変更されてるはず
namidameはroot権限ありだから、ちゃんと設定してあるはず

**root▲▲ ★** · 2009/08/07(金) 13:14:49

しかし、あまりにも基本なというか、
「サーバもらったら最初にスクリプト流して設定して、あとはそのまんま」
なパラメータだったので、わたし的にもすっぽり抜けていますたです。。。

2009/08/07(金) 13:15:59

>>696
復活ﾏﾀﾞｰ？

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 13:16:31

>>696
いったいどうなってんだよ

**root▲▲ ★** · 2009/08/07(金) 13:17:28

そんでもって、きっと、

・メモリが多くなり
・CPUが強くなり
・ディスクが良くなり

して、ハードウェア要因ではそう簡単に落ちなくなったので、
今回のネットワーク設定の件が発覚した、ともいえるんでしょうね。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 13:18:21

油断大敵

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 13:18:29

ちょうがんばれ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 13:19:58

>>698
root氏が、復旧中なので・・横槍を入れる。
FreeBSDのscoketのパラメータ設定がデフォルトだったそうだ。
アクセス集中　→　サーバ内プロセスがオーバーロード　→　プロセスがコア吐いて死ぬ。
それで、yutori7とtsushimaがダウン。

**root▲▲ ★** · 2009/08/07(金) 13:20:18

今の時間は人が増えていく状態なので、
今無理やりリブートとや小手先の対策しても、
たぶんすぐまただめな状況になる気がします。

中の人が >>664 を yutori7 や tsushima で実施してもらえるのを待っています。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 13:21:04

Linuxにもこういう必須のカーネルチューニングあんのかな
あんまりネット上で目にしないが

**root▲▲ ★** · 2009/08/07(金) 13:21:30

>>703
> 中の人が >>664 を yutori7 や tsushima で実施してもらえるのを待っています。

ヘンな日本語だな。

中の人に >>664 を yutori7 や tsushima で実施してもらえるのを待っています。

か。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 13:22:45

yotori7とtsushima意外は大丈夫って事ですか？
たとえばhideyoshiに今のtakeshimaぐらいの板を詰め込んだら同じ理由で落ちるとか

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 13:24:05

>>704
商用のディストリビューションがあるから、あまり見かけないだけ。
FedoraやDebianでチューニングしている、職人なら結構見かける。

**root▲▲ ★** · 2009/08/07(金) 13:24:09

>>706
たぶんすべての root 権限なしサーバで、
>>664 は実施されていないんではないかと。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 13:24:32

>>705
お疲れ様です。

設定後のyutori7が楽しみですね。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 13:26:07

rootさんいつ寝てるの
本当にお疲れ様です
(´･ω･`)つ旦~~お茶どうぞ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 13:29:22

>>699
＋OSも良くなり

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 13:30:56

>>707
なるほど。すぐに変えるべき致命的なまでの設定はないんだろうな。
いじるなら主にtcp設定あたりか

**root▲▲ ★** · 2009/08/07(金) 13:32:00

>>711
たしかに。

最初の 5.2.1R の頃は泣きそうでした。

当時「bananaよりはるかにぼろいcobra」とFOXさんに言われたことは、
私の胸に「ぐさっ」と刺さっております。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 13:49:04

>>713
僕の場合5系は4.9から一気に5.5まで上げてしまったのでわかりません。
いろいろな意味で問題有った時期ですよねぇ。

ちなみに FreeBSDを使いはじめて目から鱗だったコマンドが　netstat -m

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 13:53:18

難しいことは分からんけども、銭湯の大風呂に太い菅つけずに細くて詰まりやすい菅を配管してたってことか

**root▲▲ ★** · 2009/08/07(金) 13:56:20

中の人に、

「>>644 >>664 の設定を tiger3547 と banana3706 で緊急実施してもらうことは可能か」

という旨、検討をおながいしてみたです。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 13:57:24

乙

◆INFUL/Rb66 · 2009/08/07(金) 13:58:10

>>716
お疲れ様です

**root▲▲ ★** · 2009/08/07(金) 13:59:16

あっと、もし >>644 の設定をコピペされる時は、
行末の空白に注意です。>>716