2ch特化型サーバ・ロケーション構築作戦 Part32

◆4A8q3C5o8xCU · NG

2ch特化型サーバ・ロケーション構築作戦のスレッドです。

・２ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更関連の各種作業や調整事項
・２ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携

等を取り扱います。

前スレ:
2ch特化型サーバ・ロケーション構築作戦 Part31
http://qb5.2ch.net/test/read.cgi/operate/1235553306/

**root▲▲ ★** · 2009/08/07(金) 00:04:23

>>514
ディスク I/O も遊んでるです。
CPU も遊んでいる。
さっきも書きましたが「せっかくの力を発揮できていない」という感じ。

いろいろ見えない(自分がオーナーのプロセス以外見えない、等)ので、
これ以上は判断つかないですね。転送量グラフも見えないし。

◆TIGOI/DrzHH9 · 2009/08/07(金) 00:07:06

こう言ってはなんですが、もう非科学的なものしか考えられない・・・

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:09:08

データーセンターの不具合とか？

**root▲▲ ★** · 2009/08/07(金) 00:09:13

単純に100Mbpsかhttpdあふれなんじゃないかなぁ。
と思いますが、>>516 の線も（りゃ。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:11:05

完璧にデッドロックですね、多分。
以下で修正されたのにまた別の場所から虫が湧き出てきたのでしょう。
>FreeBSD 7.2に3つの不具合、デッドロックと通信性能の低下
>http://journal.mycom.co.jp/news/2009/06/25/051/index.html

◆TWARamEjuA · 2009/08/07(金) 00:11:11

>>515
httpd が D のまま眠っている感じでしょうか。。。
若干時間をおいてからreboot要請するのが吉かなかな。

さすがに4時おきでしたのでそろそろ就寝m(_ _)m

**root▲▲ ★** · 2009/08/07(金) 00:13:08

>>519
yutori7 は 8-BETA2、しかも RELANG_8 が切られるよりも前のものなので、
どんな虫がいても正直あんまり驚かないです。

>>520
おつですた。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:13:11

>>506
banana3210はべっかんこの方で使っているサーバみたいです
http://livecam.15.kg/same/sameula.html

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:13:37

ニュー速と+を一緒にしても、離しても結果は同じだったんでしょうかねぇ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:16:15

芸スポ難民が押し寄せるまでは無傷だったじゃん＞ニュー速と＋

**root▲▲ ★** · 2009/08/07(金) 00:16:51

落ちてるのは、yutori7 と tsushima なのかしら。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:17:36

ぎむぽもあっぷあっぷ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:17:44

tsushimaは完全に巻き添えですな

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:18:17

>>524
いやーイナゴのように食い尽くしていくんじゃないかなぁーとおもて

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:18:45

芸スポあるところ鯖落ちあり、が定説に近くなってきた気がする今日この頃

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:18:50

>>525
鯖監視係で見るとその二つのようです。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:20:02

マァヴの書き込みに反応した大量書き込みで落ちたに一票
もしくはマァヴによる非科学的ｎ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:20:33

>>525

http://ch2.ath.cx/
では、間違いなく・・yutori7とtsushimaがダウン。
他の監視係でも、確認が取れている。

**root▲▲ ★** · 2009/08/07(金) 00:20:51

>>524 >>528
昔からよくあることかと。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:21:20

>>521
ストレステストでテストしてから使用するようにするといいかもです。
vipでテストに比べると少々つまらなくなるかもですが。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:22:52

でかいニュースが来たときの鯖のドミノ倒しはニュース系板が入っている鯖の宿命ですな

◆TIGOI/DrzHH9 · 2009/08/07(金) 00:23:52

芸スポは今日の昼間も相当な速さでスレ消費していて順調だったし、
httpdが溢れたとは・・・。

やっぱり、非科学的な何らかのパワーがネット回線に流れ込んで
httpdを溢れさせたんだ！

**root▲▲ ★** · 2009/08/07(金) 00:23:57

>>534
ストレステスト = たぶん今回の

なんじゃないのかなと。< maido3.com的に

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:24:20

さっきgimpoも危うかったのかな？なんか500番が返って来たような・・・
今はその二つですねぇ

>>533
どこに入れとこうが誰にも止められないんですなぁ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:25:52

>>537
ここは原因を調べるのが面倒なストレステストでつね＞＜

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:26:59

8月6日だけに、原爆が落ちたのさ。
次は9日。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:27:19

だいたいこういうテストをいつもやってるサイトだしね
そうしてなにも知らない奴が客面で「なんでこんな目にあわせる？」とか
勘違い発言するところまでがいつもの光景

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:29:08

connect() に対して connection aborted が返ってくるのは早かったので帯域じゃないと思います。

connection aborted はソケットの backlog(listernキュー)があふれて撥ね返されている状態
なので httpd がリクエストを捌けてないんだと思います。

StartServers が小さいので「どーん」に弱いというお話でしたが、一度 MaxSpareServers まで
上がってしまえば（MaxSpareSreversが適正ならば）徐々に回復するはずで、
今回はリブートするまで長時間ずっと回復しなかったので、StartServers のせいかどうか。

逆にサーバー性能に対して MaxSpareServers を大きくとりすぎたために、「どーん」と来たときに
Apacheが身動き取れなくなったんじゃないかという気がします。

一番疑わしいのはディスクの iowait ですが、もしかしたら Apache内の排他制御とかで詰まってたのかも。
いずれにしてもボトルネックがわかｒないと対策しようがないですね。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:29:29

>>541

アランドロン風に「それが2ちゃんねるさ！」

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:30:07

分析したくても記録がまともに取れてません＞＜

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:30:18

yutori7鯖のMaxClientsだかなんだかの設定って教えてくれないかにゃ？

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:32:40

>>537
Linuxのストレステストはこんな感じらしい。説明詳しい。
http://www.ibm.com/developerworks/jp/linux/library/l-stress/index.html
FreeBSDのはこれかな。分かり辛いけど。
http://people.freebsd.org/~pho/stress/index.html

**root▲▲ ★** · 2009/08/07(金) 00:32:42

tsushima httpd を強制的にリスタートしてみた。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:33:07

>>542
自己レス
× MaxSpareServers
○ MaxClients or SreverLimit

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:33:56

こういう見切り発進で知らずにやってきた利用者を
巻き込むあたりが実に2chらしいわなｗ
こういうのを楽しめないでマジ怒りする無粋な奴は
黙って寝てろってノリだしｗ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:35:06

ν速が一瞬復活してｵﾁﾀらしい

**root▲▲ ★** · 2009/08/07(金) 00:35:58

>>542
> connect() に対して connection aborted が返ってくるのは早かったので帯域じゃないと思います。

なるほど。

その他の分析もきわめて論理的ですね。

MaxSpareServers が大きすぎるのも確かにつらいです。
「どーん」の時に fork しまくりになるわけで。

因みに私は「どーん」が予想されるサーバでは基本的に、

・httpd は最初から最大数待たせる
・ひまでも数は減らさない、「どーん」はいつ何時起こるかわからないから

ようにしているです。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:36:10

誰だよ、復活一番乗り書き込み目指してリロードしてる馬鹿はｗ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:37:31

いつまで落ちてるんだｗ

**root▲▲ ★** · 2009/08/07(金) 00:37:50

>>550
りょうかいです。私のほうでも確認しました。

今日は私のほうではもうこれ以上手の施しようがないかんじですね。(´･ω･｀)
しばらくは涙流しながら放置ということで。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:38:12

アホが諦めて寝るまで落としたままでいいんでね？

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:38:14

>>546

Linuxのは、商用のディストリビューションをテストする時のやり方。
想定クライアント数を越える、Max Client数を割り出すときのやり方。
基本は、サービスをとめないというテスト法。

FreeBSDは、カーネルハッキングできるような人間がやることを前提にしている。
そのため、資料は乏しい。どっちかといえば、つっけんどん。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:42:19

落ちる→リブートの繰り返し何度もやるくらいなら
しばらく放置して熱冷めるの待った方が安全ですな。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:42:35

帯域が問題ならいつかの時みたいにgzipで圧縮すれば？
CPUパワー有り余ってるんだろ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:42:41

ν速に休暇をあげよう

**root▲▲ ★** · 2009/08/07(金) 00:43:08

PIEの中の人とICQして、tiger3547のグラフ見せてもらいました。

ここにはちと出せないですが(非公開URLにつき)、
100Mbps 天井までは行ってなかったです。70Mbpsぐらい。

しかもグラフがピンっと上がる＊前に＊、つぶれていました。
つまり一撃でKO負けした感じ。

ということで、
>>542
> connection aborted はソケットの backlog(listernキュー)があふれて撥ね返されている状態
> なので httpd がリクエストを捌けてないんだと思います。

というのが正解のようですね。

いきなり「どーん」と来て、httpd が起動というか fork() しきれなくて、

> 「どーん」と来たときに
> Apacheが身動き取れなくなったんじゃないかという気がします。

という状態になった、というのが農耕かな、という気がします。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:44:06

今日は諦めてくれ
というかそう言ってくれたら寝られるし

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:44:52

あ、ここか

**root▲▲ ★** · 2009/08/07(金) 00:45:20

寝る前にもう1回ずつリブート要請かな。< yutori7、tsushima

1:00 回れば人も減ってくるだろうから。

**root▲▲ ★** · 2009/08/07(金) 00:45:44

「今はあきらめてください」 >>561

これでよいかしら。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:46:45

>>556
なるほど。
にしても試してないけどUbuntu上だと
sudo aptitude install ltp
して
sudo ltpmenu
するだけでいいとか簡単すぎワロタ。

>>560
メモリ足りてるならforkも問題なくできるはずでは?

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:46:58

rootさんが寝たら明日の朝まで復活しないじゃん・・・

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:47:57

rootさん乙です～

**root▲▲ ★** · 2009/08/07(金) 00:48:04

>>565
> メモリ足りてるならforkも問題なくできるはずでは?

いやぁ、そうはイカのなんたらかと。
fork() のコストはものすごいから。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:48:06

root頼むよ何とかしてくれ
ついでにキャップくれ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:48:27

>>564
明日からもがんばれって言ってくれたら
がんばれる気がする

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:49:04

工具足りなかったらうちいっぱいドライバーあるから言ってね。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:49:11

forkが負荷高くて駄目ならしないようにすればいい→誰も来ない状態で大量にfork?

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:49:59

>>568
cpuも余ってたんでしょ? 追いつかなくても適切な処理はなされるはずだし、なされてないなら原因はやっぱりデッドロックだし。

**root▲▲ ★** · 2009/08/07(金) 00:50:51

>>572
> forkが負荷高くて駄目ならしないようにすればいい
↓
やばそうなサーバでははじめから最大数(>>551)

というかんじで。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:50:54

サンキュウ
寝たふりするわ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:51:04

今日はもう寝るから
明日も朝から仕事だし
帰宅する２０：００までには復帰しておいてくれ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:51:09

これ以降はPIEに常時yutori7とtsushimaを
監視しといてとでも言うしかないな

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:51:21

>>563
＞寝る前にもう1回ずつリブート要請かな。< yutori7、tsushima

その後落ちたら、そのまま放置？

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:51:25

rootもおまいらも早く寝ろ
体壊さない程度にしとけ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:53:55

全体的に負荷落ちてきてるぞ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:54:06

A-tiger相当の性能のサーバを立てたのですがFreeBSDも奥が深いですね

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:54:33

盆休みおいしいです（＾ｑ＾）

**root▲▲ ★** · 2009/08/07(金) 00:55:00

>>573
上のほうでもありましたが、
> backlog(listernキュー)があふれて撥ね返されている

というかんじですね。

ちなみに httpd は普通に kill できるので、
わたし的にはデッドロックという印象は持っていないです。

**root▲▲ ★** · 2009/08/07(金) 00:56:46

>>578
> その後落ちたら、そのまま放置？

あとは適宜リブート要請(誰でも可能)というパターンかと。
ただすぐ落ちる状態でリブート要請しても、またすぐ落ちるだけかと。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:01:13

ν即が無くなったら俺は何をすればいいんだ・・・

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:01:33

ﾌｯｶﾂﾀﾞｰ
まだ落ちてないよ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:01:33

ν速復活したっぽいな

**root▲▲ ★** · 2009/08/07(金) 01:02:27

人が減ったっぽいので、さっき 1:00 頃に httpd を kill してみた。< tsushima

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:02:38

おっ、リブート成功かい

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:03:10

>>584
了解です。
取り敢えず、ゆっくり寝てくださいませ。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:03:51

なんか、statsおかしくない？
http://stats.2ch.net/karasu2.cgi

**root▲▲ ★** · 2009/08/07(金) 01:05:47

>>591
数えるプログラムが謎のハングアップしてた。
リスタート完了。

◆NAO/2MXDEk · 2009/08/07(金) 01:06:50

いつの間にか新生ゆとりが投入されたと思いきや、なんかありそうな感じで・・・
# あまり流れがよくわかってませんが

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:07:24

バーボンハウスもおかしいような

http://qb6.2ch.net/_403/c403.cgi

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:08:49

>>592
お疲れさんでした。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:17:10

>>594
ん、直った

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:22:09

ゆとり７一瞬復活の後沈黙か

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:25:35

tsushimaが復活したし、yutori7は今夜は諦めようよ。
rootさんお疲れ様でした。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:27:49

るーたん今日はもう寝ていいよ
お疲れさまであります(´･ω･`)

**root▲▲ ★** · 2009/08/07(金) 01:35:29

1:30 になったので、
httpd を kill してみた。< yutori7

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:35:35

yutori7
ドメサカ復活しました

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:35:53

yutori7復活
root乙です！

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:37:06

ツイッターにサイバー攻撃か　利用不可能に
2009年8月7日1時15分

【ワシントン＝勝田敏彦】短い「つぶやき」を自由に書き込んだりできる人気の交流サービス
（ＳＮＳ）のツイッターが米東部時間６日朝、トラブルのため、利用できなくなった。
７月に韓国や米国の政府機関などが受けたのと同様の、ＤｏＳ（サービス拒絶）攻撃と
呼ばれるサイバー攻撃を受けている可能性があり、ツイッターの運営会社が原因を調べている。

ＡＰ通信によると、ツイッターは利用者が多すぎる場合や点検などのためにサービスを停止する場合があるが、
今回はそうではないという。

http://www.asahi.com/international/update/0807/TKY200908060372.html

これ今回のと関係ありそう？

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:38:49

そういえばこれってもう修正されたんだっけ? まだだっけ?
Apacheに新たな脆弱性発見
http://slashdot.jp/security/article.pl?sid=09/06/23/0455215
>この脆弱性は、これを利用したHTTP DoSツール「Slowloris」がリリースされたことから明らかになったとのこと。
>この攻撃ツールはApacheに不完全なリクエストヘッダーを送り続けるもので、Apacheが最後のヘッダが送られてくるのを待つ間、偽のヘッダを送ることで接続をオープンにし続け、Apacheのプロセスを一杯にさせるものだという。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:41:13

>>600
yutori7復活した！！
無利しやがって…(´；ω；`)
rootさん乙です。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:42:17

>>600
GJであります。
おつかれさまでした。

**root▲▲ ★** · 2009/08/07(金) 01:44:13

今回みたいな場合、あらかじめ
「1時になったらやります」「1時30分になったらやります」みたいなことは言えないですね。>>605
だって、そんなこと言ったらみんなその瞬間に（りゃ。

あとは朝に向けて人は減る一方だと思うので、
とりあえずお手柔らかにおながいします、というかんじで。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:47:35

rootさん乙です

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:48:17

おつかれさん

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:48:18

いつものν速にもどった
ありがとroot

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:49:34

>>607
こういうケースなら人が減ってきただろう頃合いにしれっとやらないと…
あとは、落ちないことを願うのみです。
お疲れさまでした。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:51:17

あらかじめ鯖を増強しておくのも必要かと。

本日はお疲れ様でした。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:53:33

>>607
ごもっとも。
どうぞ、ゆっくり寝てください。
近所だったら寝酒を差し入れしたい気分だ。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 01:58:02

ざっと見てきましたが、おかしくなってる板は無い様で
rootさん乙でした。