2ch特化型サーバ・ロケーション構築作戦 Part32

◆4A8q3C5o8xCU · NG

2ch特化型サーバ・ロケーション構築作戦のスレッドです。

・２ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更関連の各種作業や調整事項
・２ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携

等を取り扱います。

前スレ:
2ch特化型サーバ・ロケーション構築作戦 Part31
http://qb5.2ch.net/test/read.cgi/operate/1235553306/

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 22:53:24

帯域だったら･･･('A`)

お茶置いておきますね
つ旦~~

**root▲▲ ★** · 2009/08/06(木) 22:54:09

サーバ遊んでますね。

tiger3547:~$ uptime
6:53AM up 1 day, 11:29, 1 user, load averages: 1.06, 4.40, 3.30

100Mbpsがあふれたに10000なんとか。

**root▲▲ ★** · 2009/08/06(木) 22:55:40

そうでもないかな。

httpd が変ですね。
多分突然がばちょと来て変になったかと。

tiger3547:~$ telnet localhost 80
Trying 127.0.0.1...
Connected to localhost.
Escape character is '^]'.
Connection closed by foreign host.

リブート要請で対応します。
以降、サーバダウンスレに以降します。＜作業場所

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 22:56:01

ｼﾞﾝﾊﾞﾌﾞｴﾄﾞﾙ

● ◆SUAMA.Cbav5m · 2009/08/06(木) 22:56:10

>>447
ジンバブエドル？

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 22:56:45

Apacheがコア吐いたに5000モリタポ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 22:56:48

GbE! GbE!

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 22:56:54

なんにせよゆっくりでも確実に直した方がいいですわなぁ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 22:59:49

Xeon X5580 x2のムキムキマッチョの変態サーバーひとつで鯖数減らす計画マダー？

**root▲▲ ★** · 2009/08/06(木) 23:00:53

root 権限なしサーバにつき、
私のほうでの詳細な分析はできないかな。

あと、転送量グラフが今正しくとれてないのも痛いかも。

Graph: tiger3547
http://traffic.maido3.com/2WXB/YwZV/i0Bs/

ということで、あとはサーバダウンスレで。

**root▲▲ ★** · 2009/08/06(木) 23:01:48

ps してみると httpd が D (ディスクI/O待ち)ばっかりですね。
ジンギスカンにしてなかったのも敗因かな。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:04:12

yutori7をtakesima戻せ
新鯖がこの調子じゃどうにもならん

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:04:58

>>457
vipのやつね

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:06:14

うまくいく保障なんてないのに後先考えずに新鯖に板を詰め込むのは
ある意味2chの伝統だからなぁ、もちろん悪い意味においてな

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:06:47

勢いや性能の読みが甘かったのと鯖の不備？

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:08:16

思ってたよりもひ弱だったようで

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:08:39

お遊びやめて元に戻せ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:09:54

どこがボトルネックなんだろうね。
ネットワーク帯域ならディスク高級品にしても意味ないよなあ…

ってか使い潰す前提で一台SSD入れて欲しいなーとか思ってるけど爆発的に来ると
多重アクセスで本領発揮する前にソフトウェア側が逝っちゃうのかな。
出荷停止の新intel ttp://www.legitreviews.com/article/1022/11/
Indilinx,ｻﾑｽﾝ,旧intel ttp://www.legionhardware.com/document.php?id=850&p=5

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:13:03

>>460
負荷テスト中に事件が起こると思わなかった。
ではないかと。

**root▲▲ ★** · 2009/08/06(木) 23:14:53

まず、httpd が腐っていたです(これは実際に確認しました)。

root 権限なしのサーバは「どばっ」とか「どーん」には強くないです。
というかそういうセッティングです。どくおさんの日記にもその旨あります。
どこだったかな。httpd の待機数を少なくしてある話。

あと今回、ログインそのものにも時間かかっていたので、
帯域もあふれていたかもしれないです。
(これは今となっては確認のしようがない)

**モーマン☆鯛。** · 2009/08/06(木) 23:15:35

事件が負荷ﾃｽﾄ,そしてそれに対抗する為のいろんな条件出しじゃないの？

いままでも,これからも,そうして2chは成長していくのだ

っておいちゃんが言いそう

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:15:52

阪神のメンチみたいな新戦力だったな

**root▲▲ ★** · 2009/08/06(木) 23:18:17

上がった。

mnewsplus
news4vip

ジンギスカンにした。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:18:22

実況以外の上位20板は、完全別鯖にしろよ。
詰め込みすぎじゃボケ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:18:30

お塩の時点で帯域使い切ったのに、なんで前よりも詰め込んだんだろう

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:18:58

>>464-465
なるほどやっちまったと

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:19:57

夏休みで厨房が殺到してんじゃね？

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:20:57

メンテも兼ねて鯖整理しようぜ
一日でできるなら

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:21:29

また逝ったっぽいです

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:21:43

マッハで落ちたｗ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:25:29

>>465
・httpd待機数を増やす
・帯域を200Mbps、できれば1Gbpsにする

こうすれば解決するってこと？

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:26:25

BIG-Serverで100Mbpsが限界って決まってるしなぁ
なんとかならないものか

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:26:34

復旧しても殺到して即死させられるなら人が減るまで放置したほうがいいかもしれんね

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:30:37

板配分を再考してくれ

**root▲▲ ★** · 2009/08/06(木) 23:31:09

しばらく様子見。
これ以上は現時点ではちょっとどうしようもない感じ。

ただ、サーバのCPUがとっても遊んでいるのは確か。
(ログインしてるからわかるます)

なんか悲しい。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:32:23

お疲れ様です

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:32:54

お疲れ様です

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:34:12

　●　●
　(・∀・)ゞ　お疲れさまです

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:34:27

HTTが悪さしていたりして

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:34:30

次はgimpoが犠牲になりそうなんですけど・・・
いい加減鯖落ち連鎖を断ち切って欲しいな

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:34:40

そっかー　寝よっかな

◆TWARamEjuA · 2009/08/06(木) 23:35:21

http://sv2ch.baila6.jp/livelog/yutori7.2ch.net.txt
HEAD /HTTP/1.1
は、それなりに返してくるんだよなぁ。。。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:35:34

ミサイル誤射のときも、同じような理由でtsushimaが落ちたよね（どくおさんの日記はその時のことを書いてあるんだっけ？）
メモリ9GBも搭載してるんだし、httpd待機数増やさないのかな

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:35:38

>>479
同意。批判要望はむしろqb5に入れてほしい。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:36:52

>>485
ttp://ch2.ath.cx/
gimpo鯖の負荷ﾔﾊﾞｽ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:37:23

何でPIEやゼロは、特殊な案件だって分かってるのに一般販売用設定で納品すんだ。
頭おかしいだろ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:38:11

特殊だから特殊で通るわけではない

**root▲▲ ★** · 2009/08/06(木) 23:38:23

>>487
たまにつながっても、向こうから接続切ってきますね。

httpdが異常起こしている
httpdが売り切れ
100Mbpsあふれ

等、いろいろ考えられるけど、
どれも確固たるものはわからない。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:38:46

rootなし鯖ってそんなもんだ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:39:07

監視所のグラフなんかおかしくね？
ほとんどの鯖でcurrent postsが落ち込んでるんだけど

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:39:13

>>480
お疲れでした

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:40:04

おい、何のことだかさっぱりだが
httpdなるものが売り切れらしいぞ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:40:53

>>497
買い占めようとしてももう間に合わないな

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:41:58

S高で買い注文入れました

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:41:59

>>497

httpdとは、htmlを表示させるための、デーモン（プログラム）のこと。
これが死ぬと・・表示できなくなる。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:42:12

>>495
殆どの監視所は2chとは関係ありません

**root▲▲ ★** · 2009/08/06(木) 23:42:48

>>491
rootなしサーバのセッティングも「２ちゃんねる用」になっているはずですね。
maido3.comのタリフにもそのメニューがあったはず。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:43:56

>>497
本来10万人通れる道路なのに、糞鯖管が2万人までしか通れないように通行制限してる
そんな感じ。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:47:51

>>495
http://stats.2ch.net/karasu.cgi が更新されてない。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:48:06

>>502
root権限付きi7を1Gbpsで用意してもらって2、3鯖分詰め込んでよrootたん

◆TWARamEjuA · 2009/08/06(木) 23:48:19

これってだれだろ？
banana3210.maido3.com.

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:48:37

通行制限してないらしいから、

・道路が壊れた
・そもそも10万人以上来ている

さぁどっちだ。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:51:59

売り切れだっつーのに売り場に殺到して売店が押し流された

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:52:43

>>487
HEADリクエストは通ってたのか。
FreeBSDのtcpレイヤかネットワークドライバが腐ってるに一票。メモリ無限に喰ってカーネル内メモリ喰い荒らしとか?

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:53:04

httpd工場が爆発した

**root▲▲ ★** · 2009/08/06(木) 23:56:10

>>509
カーネル・ユーザランドともにメモリを食っているような形跡は見当たらないです。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/06(木) 23:57:43

>>511
ってことは複雑な形でのデッドロックかな?
ソース読まないことには想像しにくいけど

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:00:09

韓国が攻撃してきたに一票
あるいは、新型のワームウィルスか
こっからあるブログのコピぺ↓

学校で感染力の強いワーム型のウイルスが大流行しています。

ついに、私のパソコンでも感染を確認。
メインで使用している1機（win2Kでセキュリティは独自仕様）は無事だったのですが、
『重たい』という理由でセキュリティソフトを一切入れていないレンダリングサーバ2機（共にwinXP proSP3）が餌食になりました。

このワームは、感染するとautorun.infと実行ファイルをドライブのルートやシステムフォルダ内に作成し、レジストリに不正なデータを追加します。
また、USBメモリ等の外部記憶装置を接続すると、それに自身の複成を作成します。

感染した際の主な症状としては、
・システムファイル・隠しファイルが表示できなくなる
・マイコンピュータからCドライブ等が開けない
・パソコンのリソースを喰いまくって、動作を鈍くさせる
等があるようです。
もっと酷い症状を引き起こす新種が現れるかも知れませんが。

亜種、新種がかなり早いサイクルで出回っているようで、
完全に検出出来るパターンファイルは私が調べた範囲ではまだ見付かっていません。

学校と自宅で確認したウイルスのファイル名は以下の通り。
存在する場所は主に WINDOWS/system32　や、ドライブのルートです。
xvassdf.exe
4tddfwq0.dll
3m2.exe
2w2.com
ierdfgh.exe
mmvo.exe
revo.exe

駆除の方法、レジストリの修正については、他サイト様を参照して下さい。

◆TWARamEjuA · 2009/08/07(金) 00:00:10

apacheのアクセスログが負荷の一因かもかも？

**root▲▲ ★** · 2009/08/07(金) 00:04:23

>>514
ディスク I/O も遊んでるです。
CPU も遊んでいる。
さっきも書きましたが「せっかくの力を発揮できていない」という感じ。

いろいろ見えない(自分がオーナーのプロセス以外見えない、等)ので、
これ以上は判断つかないですね。転送量グラフも見えないし。

◆TIGOI/DrzHH9 · 2009/08/07(金) 00:07:06

こう言ってはなんですが、もう非科学的なものしか考えられない・・・

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:09:08

データーセンターの不具合とか？

**root▲▲ ★** · 2009/08/07(金) 00:09:13

単純に100Mbpsかhttpdあふれなんじゃないかなぁ。
と思いますが、>>516 の線も（りゃ。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:11:05

完璧にデッドロックですね、多分。
以下で修正されたのにまた別の場所から虫が湧き出てきたのでしょう。
>FreeBSD 7.2に3つの不具合、デッドロックと通信性能の低下
>http://journal.mycom.co.jp/news/2009/06/25/051/index.html

◆TWARamEjuA · 2009/08/07(金) 00:11:11

>>515
httpd が D のまま眠っている感じでしょうか。。。
若干時間をおいてからreboot要請するのが吉かなかな。

さすがに4時おきでしたのでそろそろ就寝m(_ _)m

**root▲▲ ★** · 2009/08/07(金) 00:13:08

>>519
yutori7 は 8-BETA2、しかも RELANG_8 が切られるよりも前のものなので、
どんな虫がいても正直あんまり驚かないです。

>>520
おつですた。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:13:11

>>506
banana3210はべっかんこの方で使っているサーバみたいです
http://livecam.15.kg/same/sameula.html

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:13:37

ニュー速と+を一緒にしても、離しても結果は同じだったんでしょうかねぇ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:16:15

芸スポ難民が押し寄せるまでは無傷だったじゃん＞ニュー速と＋

**root▲▲ ★** · 2009/08/07(金) 00:16:51

落ちてるのは、yutori7 と tsushima なのかしら。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:17:36

ぎむぽもあっぷあっぷ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:17:44

tsushimaは完全に巻き添えですな

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:18:17

>>524
いやーイナゴのように食い尽くしていくんじゃないかなぁーとおもて

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:18:45

芸スポあるところ鯖落ちあり、が定説に近くなってきた気がする今日この頃

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:18:50

>>525
鯖監視係で見るとその二つのようです。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:20:02

マァヴの書き込みに反応した大量書き込みで落ちたに一票
もしくはマァヴによる非科学的ｎ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:20:33

>>525

http://ch2.ath.cx/
では、間違いなく・・yutori7とtsushimaがダウン。
他の監視係でも、確認が取れている。

**root▲▲ ★** · 2009/08/07(金) 00:20:51

>>524 >>528
昔からよくあることかと。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:21:20

>>521
ストレステストでテストしてから使用するようにするといいかもです。
vipでテストに比べると少々つまらなくなるかもですが。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:22:52

でかいニュースが来たときの鯖のドミノ倒しはニュース系板が入っている鯖の宿命ですな

◆TIGOI/DrzHH9 · 2009/08/07(金) 00:23:52

芸スポは今日の昼間も相当な速さでスレ消費していて順調だったし、
httpdが溢れたとは・・・。

やっぱり、非科学的な何らかのパワーがネット回線に流れ込んで
httpdを溢れさせたんだ！

**root▲▲ ★** · 2009/08/07(金) 00:23:57

>>534
ストレステスト = たぶん今回の

なんじゃないのかなと。< maido3.com的に

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:24:20

さっきgimpoも危うかったのかな？なんか500番が返って来たような・・・
今はその二つですねぇ

>>533
どこに入れとこうが誰にも止められないんですなぁ

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:25:52

>>537
ここは原因を調べるのが面倒なストレステストでつね＞＜

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:26:59

8月6日だけに、原爆が落ちたのさ。
次は9日。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:27:19

だいたいこういうテストをいつもやってるサイトだしね
そうしてなにも知らない奴が客面で「なんでこんな目にあわせる？」とか
勘違い発言するところまでがいつもの光景

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:29:08

connect() に対して connection aborted が返ってくるのは早かったので帯域じゃないと思います。

connection aborted はソケットの backlog(listernキュー)があふれて撥ね返されている状態
なので httpd がリクエストを捌けてないんだと思います。

StartServers が小さいので「どーん」に弱いというお話でしたが、一度 MaxSpareServers まで
上がってしまえば（MaxSpareSreversが適正ならば）徐々に回復するはずで、
今回はリブートするまで長時間ずっと回復しなかったので、StartServers のせいかどうか。

逆にサーバー性能に対して MaxSpareServers を大きくとりすぎたために、「どーん」と来たときに
Apacheが身動き取れなくなったんじゃないかという気がします。

一番疑わしいのはディスクの iowait ですが、もしかしたら Apache内の排他制御とかで詰まってたのかも。
いずれにしてもボトルネックがわかｒないと対策しようがないですね。

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:29:29

>>541

アランドロン風に「それが2ちゃんねるさ！」

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:30:07

分析したくても記録がまともに取れてません＞＜

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:30:18

yutori7鯖のMaxClientsだかなんだかの設定って教えてくれないかにゃ？

**動け動けウゴウゴ２ちゃんねる** · 2009/08/07(金) 00:32:40

>>537
Linuxのストレステストはこんな感じらしい。説明詳しい。
http://www.ibm.com/developerworks/jp/linux/library/l-stress/index.html
FreeBSDのはこれかな。分かり辛いけど。
http://people.freebsd.org/~pho/stress/index.html