2ch特化型サーバ・ロケーション構築作戦 Part20

**root▲ ★** · NG

2ch特化型サーバ・ロケーション構築作戦のスレッドです。

・２ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更まわりの関連作業・調整事項
・２ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携

等を取り扱います。

現在、複数サーバによる連携により、
サーバ能力のさらなるスケールアップをめざすための「雪だるま作戦」が進行中です。

また、次世代の携帯アクセス環境をめざした「べっかんこ作戦」も稼動しはじめました。
「２ちゃんねる証券取引所」や、「Be」の機能強化等、
２ちゃんねるは今日も変化し続けています。

前スレ:
2ch特化型サーバ・ロケーション構築作戦 Part19
http://qb5.2ch.net/test/read.cgi/operate/1121886018/

株価【750】 ▲ ◆cZfSunOs.U · 2006/03/01(水) 03:41:22

>>114-127 乙です．Squid への副作用がなぜなのかいまいちわからないですね．
ただ......各フロントごとにキャッシュの内容が新旧入り交じっていて，
Squid から取得するたびに新しいのに当たったり古いのに当たったり
バラバラだったりすると，ひょっとしておかしくなるのかな，とも......

**root▲ ★** · 2006/03/01(水) 04:31:43

>>128
なるほど。それはあるかも。

いずれにせよ、squidの振る舞いをきっちりチェックする必要ありですね。

#LoadModule cache_module libexec/apache22/mod_cache.so
#LoadModule disk_cache_module libexec/apache22/mod_disk_cache.so
#LoadModule mem_cache_module libexec/apache22/mod_mem_cache.so

にして、今日はいったん撤退。

c.2ch不具合報告総合スレ5
http://qb5.2ch.net/test/read.cgi/operate/1138289353/374
>
> squidの振る舞いについては、じっくりした調査研究が必要そう。
> たぶん、squid側から何か言われても無視するようにすればよさげな気もしますが、
> そのへんはおいおい調べるということで。

**root▲ ★** · 2006/03/01(水) 04:35:28

で、今見たら120MBytesの/mdを64MBytesまでしか使わないはずなので、
既に90MBytesちかくになっていて、どきどきしたので、

/usr/local/sbin/htcacheclean -d1 -p/md/cache -l64m

に変えた。(インターバル1分)

**root▲ ★** · 2006/03/01(水) 04:46:27

前にもsquidのキャッシュの取り扱いではちょっと悩んだことがあるので、
現在の設定をダンプしておこう。

# added override-lastmod by mumumu, 2004/7/29
#refresh_pattern . 2 0% 2 override-lastmod reload-into-ims
# shorten delay time to 1 minutes by mumumu, 2004/8/17
#refresh_pattern . 1 0% 1 override-lastmod reload-into-ims
# extend max value by mumumu, 2005/3/25
refresh_pattern . 1 0% 60 override-lastmod reload-into-ims

このスレまだ生きてた。
http://pc8.2ch.net/test/read.cgi/linux/997328024/182-183

**root▲ ★** · 2006/03/01(水) 04:49:59

http://qb5.2ch.net/operate/kako/1107/11073/1107376477.html
の、453 か。

この 60 ってのが、とってもとってもあやしいような気がしてきたのです。

ということで、今日はここまで。

**動け動けウゴウゴ２ちゃんねる** · 2006/03/01(水) 04:58:02

Yahoo! Developer Network - PHP Developer Center
ttp://developer.yahoo.net/php/

なんてものができてたらしい

◆Reffiz2Zh. · 2006/03/01(水) 07:18:04

ttp://lists.freebsd.org/pipermail/freebsd-current/2006-February/061134.html

**root▲ ★** · NG

>>133
お、これは。

>>134
パッチですか。
ちょっと、リスト読んでみるです。

**root▲ ★** · NG

http://lists.freebsd.org/pipermail/freebsd-current/2006-February/061137.html

> Thanks. After applying your patch, I never get calcru messages on
> 6-STABLE. It seems fine. Thanks again!

効果あるのか。

**root▲ ★** · NG

>>134
> I've been getting calcru messages on 6-STABLE when stress-testing an
> application linked with libpthread. As far as my experience goes,
> these messages are only for ones linked with libpthread. If the same
> application is linked with libthr, these messages go away.

うわってかんじなんですが。

もうちょっと調べて、たぶん試してみようかと。

**root▲ ★** · NG

>>134
http://people.freebsd.org/~davidxu/patch/calcru_r61_060227.patch

に、ゆきあたった。

**root▲ ★** · NG

>>138 を適用した。

しばらくしたら、live22 リブートの予定。

**root▲ ★** · NG

リブートした(無事上がった)。

これで、どうなるのか。

**root▲ ★** · NG

以前適用した、

#kern.timecounter.hardware=TSC

をやめた。(デフォルトのACPI-fastに戻した)

**動け動けウゴウゴ２ちゃんねる** · 2006/03/01(水) 17:45:10

http://takabsd.jp/d/?date=20070121

**動け動けウゴウゴ２ちゃんねる** · 2006/03/01(水) 17:46:46

>>142 書き込んでしまいました失礼

http://takabsd.jp/d/?date=20070121
http://dev.ariel-networks.com/blog/index.php?itemid=706
ここらの話はどうでしょう、もうやってたらすみません

**root▲ ★** · NG

>>142-143
ざっと読みました。
これはとても興味深いですね。

worker MPMはいまや使いまくりなので、相当のパフォーマンスアップが期待できると。

> ところで、APR がすでにインストールされていると、configureオプションを変えて
> 再インストールしようとしても、すでにインストールされている APR を使おうとするため、
> APR をリビルドすることができないようです。

これに気をつけないと、いかんという話もあるのか。

ちょっと、調べてみるです。

**root▲ ★** · NG

.if defined(WITH_THREADS)
CONFIGURE_ARGS+= --enable-threads
. if ${OSVERSION} > 500023
. if ${ARCH} == i386
CONFIGURE_ARGS+= --enable-nonportable-atomics
. endif
. endif
.endif

となっているのか。< portsのMakefile

問題は、これが有効になっているかだが、、、。

**root▲ ★** · NG

. if ${WITH_MPM} != "prefork"
PKGNAMESUFFIX= -${WITH_MPM:L}
WITH_THREADS= yes
WITH_THREADS_MODULES= yes
WITHOUT_MODULES+= cgi
...

なのか。< Makefile.modules

**root▲ ★** · NG

%nm /usr/local/lib/libapr-1.so.2 | grep atomic
0000ddf0 T apr_atomic_add32
0000dddc T apr_atomic_cas32
0000deb0 T apr_atomic_casptr
0000de10 T apr_atomic_dec32
0000de24 T apr_atomic_inc32
0000de58 T apr_atomic_init
0000df20 T apr_atomic_read32
0000de38 T apr_atomic_set32
0000de00 T apr_atomic_sub32
0000de48 T apr_atomic_xchg32

入っている模様。

で、mod_mem_cache はこれで動いている模様。

httpd は、、、。

**root▲ ★** · NG

…入っているようです。
(都合上、適宜折り返し)

configured by ./configure, generated by GNU Autoconf 2.59,
with options \"'--enable-layout=FreeBSD' '--with-perl=/usr/local/bin/perl5.8.7
' '--with-port=80' '--with-expat=/usr/local' '--with-iconv=/usr/local' '--enable
-http' '--enable-v4-mapped' '--with-dbm=sdbm' '--with-ssl=/usr' '--enable-thread
s' '--enable-nonportable-atomics' '--with-mpm=worker' 'i386-portbld-freebsd6.0'
(以下略)

…ということで、ports猿マンセー状態だったということか。

**root▲ ★** · NG

しかし、勉強になりました。

ということはちゃんと動くんなら、worker MPM(や将来はevent MPM)のほうが、
パフォーマンスアップするということですね。

www.2ch.net/menu.2ch.net がサーバ更新後に異様に軽くなった理由が、
相当わかった気がします。worker MPMの力だけかと思っていたけど、そういう理由だとは。

**root▲ ★** · NG

>>149 補足

もちろん、www2.2ch.net が仲間から抜けたことも相当大きいですが。

**root▲ ★** · NG

で、このコードって >>145 っていうぐらいで、i386 の時しか有効にならないのね。
cobra2247 をバックエンドに仕立てる次期計画を考えると、
amd64 でも動いてほしいなとか思ったり。

**動け動けウゴウゴ２ちゃんねる** · 2006/03/02(木) 00:52:21

[FreeBSD-Announce] FreeBSD Security Advisory FreeBSD-SA-06:09.openssh
http://lists.freebsd.org/pipermail/freebsd-announce/2006-March/001049.html

対象はFreeBSD5.3と5.4のOpenSSHだそうで．

**動け動けウゴウゴ２ちゃんねる** · 2006/03/02(木) 02:32:09

FreeBSD-SA-06:10.nfs もきたね。
[FreeBSD-Announce] FreeBSD Security Advisory FreeBSD-SA-06:10.nfs
http://lists.freebsd.org/pipermail/freebsd-announce/2006-March/001050.html

こっちはAll FreeBSD releases.が対象、だけど、nfsつかっているんだっけ？

**動け動けウゴウゴ２ちゃんねる** · 2006/03/02(木) 04:19:56

結構workerで動くもんなのだね。。

/* むやみに6.0にしたくなったけどMySQLの都合で出来ずorz */

bbs.cgiのSpeedyCGIはmod_speedycgiじゃないよね？
毎回プロセス起動のほう？

株価【650】 ▲ ◆cZfSunOs.U · 2006/03/02(木) 07:46:50

>>139-140 これで "calcru: runtime went backwards......" が出なくなれば，一つ山を越えることになると......

>>151 apr_atomic.c で↓のようになってるんで，AMD x86-64 でも行けるかなと．

#if (defined(__i386__) || defined(__x86_64__)) \

>>154 http://qb5.2ch.net/test/read.cgi/operate/1105909861/477-479n

話は変わりますが，mod_load_average なんてものがあるようで．
http://svn.force-elite.com/svn/mod_load_average/trunk/src/mod_load_average.c
http://www.mail-archive.com/dev@httpd.apache.org/msg31056.html
This way you could disable CGI when your LA is above 10,
and then disable everything when your LA is above 100:
LoadAvgMaxByHandler cgi-script 10
LoadAvgMax 100

**root▲ ★** · 2006/03/02(木) 11:15:35

おはよござます。

>>152
PAMとのconflictでうんぬんですか。
昔なら「FreeBSD only」っぽい(この項目いつの間にかなくなったっぽい?)やつかも。
状況からして、当てる必要ありで。

>>153
2ch/BBSPINKではNFSは使っていないので、
こっちは急ぐ必要ないですね。

**root▲ ★** · NG

>>154
私自身、結構驚いていたり。
前スレにも書きましたが worker MPM については、

5.2.1R 論外
5.3R だめだめ
5.4R 一応動くけど挙動不審
6.0R 今のところ大きな問題なし

という感じのようです。

> bbs.cgiのSpeedyCGIはmod_speedycgiじゃないよね？
> 毎回プロセス起動のほう？

毎回プロセス起動のほうです。
mod_ のほうは、worker MPM では動かないはず。

あと２ちゃんねるみたいな使い方(= CGIはばりばりいじられる、
全サーバのroot権限があるわけではない)だと、
プロセス起動にしておいたほうが、いろいろな意味で安全ですね。

mod_ な環境でCGI が暴走すると httpd を kill しなきゃならないので、
root 権限なかったりすると面倒です。
プロセス起動なら、speedy_backend を kill すればよいわけで。

**root▲ ★** · NG

>>155
> >>139-140 これで "calcru: runtime went backwards......" が出なくなれば，
> 一つ山を越えることになると......

そう願いたいですね。
今週は日曜夜に巨大なトラフィックがある模様。

> >>151 apr_atomic.c で↓のようになってるんで，AMD x86-64 でも行けるかなと．
> #if (defined(__i386__) || defined(__x86_64__)) \

なるほど、使えるですか。

> 話は変わりますが，mod_load_average なんてものがあるようで．

ちょっとそのスレッド読んでみました。
より細やかな制御ができると。

今は read.cgi / bbs.cgi とも LA チェック入っているので急務ではないですが、
使う機会は別にあるのかもなと。

**154** · 2006/03/02(木) 14:45:17

>>157
うーん、やはり6.0はあなどれないな。。
5.2以前のネイティブスレッドは一つのスレッドのI/Oが大きいと
他のスレッドがたちまち遅くなるっていう致命を持った貧弱さだから。。

でも5.3でもだめなんだ。うーん、うちんとこは5.4だからここはpreforkのままでいくしかないな。。

一度workerMPMで動かしたことがあって、あのプロセス数:最大接続数の多さを見たときには感激したけど、
C++で書いたCGI+mod_cgidsoのどっかの動作でMT-safeでなかったらしくApacheが暴れたことがあり(preforkならOK)orz

MT-safeな書き方を学ぼうと思ってついに2006年の春を迎えてしまった。

Thread-safeってすごく便利だけど、やっぱり対応が未だ少ないのがネックか('д`)

**root▲ ★** · 2006/03/02(木) 15:18:11

>>159
> でも5.3でもだめなんだ。

…でした。
ちょっと前に news19 で試したんですが、SIGBUSで落ちまくりで
5分ぐらい掲示板が超挙動不審になってしまい、livemarket1 の住民さんに
「昼間のザラ場の時間にメンテなんて何考えてるんだ !!」って、
ものすごい勢いでおこられました。

デイトレーダーの人たちはどうやらものすごい勢いで、
この掲示板に強く依存しているようです。

MT-safe は、たぶん何かすごくこつがあるんでしょうね。
errno が普通の方法では参照できないとかいうので目からうろこが落ちてるようじゃ、
たぶん、全然だめなんだろうなと。

**動け動けウゴウゴ２ちゃんねる** · 2006/03/02(木) 15:47:11

>>160

> 5分ぐらい掲示板が超挙動不審になってしまい、livemarket1 の住民さんに
> 「昼間のザラ場の時間にメンテなんて何考えてるんだ !!」って、
> ものすごい勢いでおこられました。

そんな時間に株系の板で実験ですか
予告してやったんでしょうか？
でなきゃ{起こ|怒}るのも当たり前でしょう・・・・

> デイトレーダーの人たちはどうやらものすごい勢いで、
> この掲示板に強く依存しているようです。

ワロス

**FAX ★** · 2006/03/02(木) 16:27:11

怒り爆発

**root▲ ★** · NG

>>162
む、、、。何か、私まずいことしたのかしら。

**FAX ★** · 2006/03/02(木) 16:54:13

いえいえ

**動け動けウゴウゴ２ちゃんねる** · 2006/03/02(木) 22:09:19

困るrootたん萌えってことで
むぎゅって言って(*´Д｀)

**root▲ ★** · NG

Saru: Active-Active
http://ultramonkey.jp/papers/active_active/active_active.shtml

これがFreeBSD+matdでもできるようになると、とてもいいなぁとおもた。

**動け動けウゴウゴ２ちゃんねる** · 2006/03/03(金) 04:06:52

なんとなく、pf(4)を駆使すれば似たようなことができるような気がする。
NATでだけど。
http://www.openbsd.org/faq/pf/
http://www.openbsd.org/faq/pf/pools.html

**root▲ ★** · NG

サーバダウン(鯖落ち）情報　part94
http://qb5.2ch.net/test/read.cgi/operate/1140710423/325
の件、、、。

live22x[123] の matd 化に向けて、httping(*1)で応答時間を監視していて、
(*1: http://www.vanheusden.com/httping/ )
10パケットに1パケット程度、数秒のディレイが起きていることに気づきました。

で、banana403でdevice_polling(4)を試そうと決め、
もしリブートでしくってもheartbeatによりbanana404にフェイルオーバーするはずだと、
リブートをかけました。

しかし、いつもとリブートの感じが違いました。
いつもはputtyの窓がちゃんと閉じるのですが、今回は閉じずに
ただ反応だけがなくなりました。

で、banana404へのフェイルオーバーは起きたのですが、
「俺のIPアドレスを別のやつ(banana403)も名乗っているぞ」というエラーが404で出始めました。

(続く)

**root▲ ★** · NG

で、「これはおかしいぞ」と思い、
一度 banana404 のリブートもかけてみようと思い立ちました。
(今思うとこれがまずかったと思われ)

で、banana404 は設定を変えずに、単に reboot コマンドでリブートしました。
しかしなぜか、さきほどの banana403 と同じ状態になりました。
つまり窓が閉じずに、反応だけがなくなる状態になりました。
ここで本能的に「まずい」と思いました。

案の定、両方のサーバともサービスがない状態になり、
www2.2ch.net は止まった状態になりました。
で、現在に至ります。

(続く)

**root▲ ★** · NG

今調べてみると、

banana403 実IPアドレス … ping かかる
banana403 実IPアドレス … ping かかる
サービス用 IP アドレス(www2.2ch.net) … ping かかる

という状態にあるようです。
しかし、どのサービスも応答しない状態になっています。

推測ですが、これはリブートではなく、シャットダウンの途中で止まっている
ように思えます。つまり、何らかの理由でシャットダウンできていない。
いつもは閉じる窓が閉じなかった(つまり向こうからTCPのセッションを切ってこなかった)
ことから、ほぼ間違いないと思います。

しかし、設定を変えたbanana403はともかく、
設定を全く変えていないbanana404でも同じことが起きたのは、
かなり不可解です。

heartbeatが悪さをしたのか、
あるいは、remote KVMとかが悪さをしたのか、
あるいは他の原因か、、、。

いずれにせよ現在、remote KVMにアクセスできない状態なので、
(さきほどやってみましたがだめでした。これはSeanさんにさきほど問い合わせしました)
コンソールの状況を確認できないです。

以上が現在の状況です。ううむ、、、。

**root▲ ★** · NG

> (さきほどやってみましたがだめでした。これはSeanさんにさきほど問い合わせしました)

Seanさんから返事が来て、無事にKVMにアクセスできました。

やはりbanana403/404とも、シャットダウンの途中でしくっていました。
というか、Rebooted by ... というシステムログが出て、
プロセスは切られているのに、そこから先に進まない状態。

直感ですが、matd がというか、
たぶんヘビーなパケット処理により、カーネルが何らかの形で止まっているっぽいです。

**root▲ ★** · NG

…ちとまじで限界なので、
ここから先はリブートの中の人に403/404の両サーバをリブートいただいた後に、
別途リブート入れて検証してみることにするです。ううむ。

株価【650】 ▲ ◆cZfSunOs.U · 2006/03/03(金) 07:09:39

>>166-167 フェイルオーバしつつロードバランスもするって感じなんでしょうか．興味深いですね．

>>168-172 う～む......matd の挙動も要観察ですかね．パケットのドロップが発生してるのかどうかとか......

株価【650】 ◆OSfanJsSVc · 2006/03/03(金) 07:57:16

Apache2.2.0の機能でプロセスが終わらないとサービスが切れない機能？があるらしいです。

無理矢理切ってエラー発生して結局システム真紀子み止まった。

てな感じかと｡｡｡

**動け動けウゴウゴ２ちゃんねる** · 2006/03/03(金) 10:31:49

> デイトレーダーの人たちはどうやらものすごい勢いで、
> この掲示板に強く依存しているようです。

デイトレーダーの人はモリタポ買ってね！
と言っても良さそうな気がして来た。

**root▲ ★** · NG

無事(device_pollingしたほうも)上がりました。

>>173
ちと、じっくり調べてみるです。

>>174
今回のサーバではApache 2.0系で、CGI動かしてないです。

**root▲ ★** · NG

WARNING: / was not properly dismounted

両サーバとも、やはり正しく落ちなかった模様。

**root▲ ★** · NG

354 名前：root▲ ★[sage] 投稿日：2006/03/03(金) 11:43:48 ID:???0 ?#
ふうむ、device polling ありだと、うまくないのね。
なし(前の状態)にしたら、つながりました。

まだよくわかりませんが、
device polling はいまやなしのほうが、よさげなのかも。

**root▲ ★** · NG

で、いろいろ変えてみる前に、
まずは今の設定での効率を調べて、状況をきちんと把握する

ことから始めようと。

ということで、httping -c 100 -g http://www2.2ch.net/ の結果(cvsup.peko.2ch.netから)

connected to www2.2ch.net:80, seq=73 time=18.44 ms
connected to www2.2ch.net:80, seq=74 time=3014.49 ms
(略)
connected to www2.2ch.net:80, seq=75 time=21.35 ms
timeout receiving reply from host
connected to www2.2ch.net:80, seq=77 time=16.91 ms
connected to www2.2ch.net:80, seq=78 time=14.07 ms
(略)
connected to www2.2ch.net:80, seq=87 time=17.59 ms
connected to www2.2ch.net:80, seq=88 time=11.90 ms
connected to www2.2ch.net:80, seq=89 time=3017.84 ms
connected to www2.2ch.net:80, seq=90 time=3015.85 ms
(略)
connected to www2.2ch.net:80, seq=96 time=471.73 ms
connected to www2.2ch.net:80, seq=97 time=6219.80 ms
connected to www2.2ch.net:80, seq=98 time=15.69 ms
connected to www2.2ch.net:80, seq=99 time=19.33 ms
--- http://www2.2ch.net/ ping statistics ---
100 connects, 99 ok, 1.00% failed
round-trip min/avg/max = 11.7/449.1/6219.8 ms

**root▲ ★** · NG

同じく、www.2ch.net

connected to www.2ch.net:80, seq=94 time=2.66 ms
connected to www.2ch.net:80, seq=95 time=2.71 ms
connected to www.2ch.net:80, seq=96 time=2.67 ms
connected to www.2ch.net:80, seq=97 time=2.72 ms
connected to www.2ch.net:80, seq=98 time=2.69 ms
connected to www.2ch.net:80, seq=99 time=2.84 ms
...
--- http://www.2ch.net/ ping statistics ---
100 connects, 100 ok, 0.00% failed
round-trip min/avg/max = 2.6/2.8/4.6 ms

**root▲ ★** · NG

同じく、live22x.2ch.net

connected to live22x.2ch.net:80, seq=95 time=3.17 ms
connected to live22x.2ch.net:80, seq=96 time=3.26 ms
connected to live22x.2ch.net:80, seq=97 time=3.54 ms
connected to live22x.2ch.net:80, seq=98 time=3.13 ms
connected to live22x.2ch.net:80, seq=99 time=2.97 ms
--- http://live22x.2ch.net/ ping statistics ---
100 connects, 100 ok, 0.00% failed
round-trip min/avg/max = 3.0/3.2/6.3 ms

**root▲ ★** · NG

で、感想ですが、

matd はユーザランドで動いているせいか、15ms～18ms 程度
遅延が生じるようです。(これは想定内)

しかし、たまにがくっと遅くなることがあります。(想定外です)
>>179 では100カウントやって、1つタイムアウトになりました。
これの原因が知りたいところです。

banana403 や banana404 からやってみればいいのかな。

このへんで、まずはめしを。

株価【650】 ▲ ◆cZfSunOs.U · 2006/03/03(金) 12:58:33

>>182
>matd はユーザランドで動いているせいか、15ms～18ms 程度
>遅延が生じるようです。(これは想定内)

ユーザランドということもあるかも知れませんが，
http://qb5.2ch.net/test/read.cgi/operate/1121886018/901
　　>アプリとして動くみたいなので、カーネルとの切り替えがばかにならないのかなと。
　　>(パケット1個単位で切り替えですよね。)

　　FreeBSD では BPF，Solaris では bufmod によるバッファリングが効いて
　　パケット取り込みはある程度まとめて行われると思いますが，
　　パケットの取りこぼしとか発生しないかどうかってのは，正直わかりません......

のようにバッファリングしてるわけですが，その際の待ち時間が最大 10ms に
なっているので，それもあるかも知れません．

>しかし、たまにがくっと遅くなることがあります。(想定外です)
> >>179 では100カウントやって、1つタイムアウトになりました。
>これの原因が知りたいところです。

何らかの原因でパケットの取りこぼしが発生していることも考えられますが，
そうだとするとなぜ取りこぼすのか（処理が追い付かないのか，それとも別の要因か）ってのが問題ですね．

**root▲ ★** · NG

>>183
> のようにバッファリングしてるわけですが，その際の待ち時間が最大 10ms に
> なっているので，それもあるかも知れません．

なるほど、なるほど。

> 何らかの原因でパケットの取りこぼしが発生していることも考えられますが，
> そうだとするとなぜ取りこぼすのか（処理が追い付かないのか，それとも別の要因か）
> ってのが問題ですね．

そうですね。まさにこれを調べたいということで。

**root▲ ★** · NG

そもそも、普通のpingがいまいちであるらしいことに気がついた。

...
64 bytes from 206.223.150.74: icmp_seq=4 ttl=64 time=0.175 ms
64 bytes from 206.223.150.74: icmp_seq=5 ttl=64 time=0.264 ms
64 bytes from 206.223.150.74: icmp_seq=6 ttl=64 time=0.242 ms
64 bytes from 206.223.150.74: icmp_seq=7 ttl=64 time=0.205 ms
64 bytes from 206.223.150.74: icmp_seq=9 ttl=64 time=0.273 ms
64 bytes from 206.223.150.74: icmp_seq=10 ttl=64 time=0.234 ms
64 bytes from 206.223.150.74: icmp_seq=11 ttl=64 time=0.214 ms
64 bytes from 206.223.150.74: icmp_seq=12 ttl=64 time=0.195 ms
64 bytes from 206.223.150.74: icmp_seq=13 ttl=64 time=0.155 ms
64 bytes from 206.223.150.74: icmp_seq=14 ttl=64 time=0.259 ms
...
--- live22y.2ch.net ping statistics ---
30 packets transmitted, 28 packets received, 6% packet loss
round-trip min/avg/max/stddev = 0.155/0.222/0.287/0.036 ms

株価【650】 ▲ ◆cZfSunOs.U · 2006/03/03(金) 13:37:06

tcpdump とかで，httping かけてる時の banana403 / banana404 上でのパケットの流れ見てみるとか
......と言おうと思ったら

>>185 う～む，これはネットワークとかの問題でしょうか？

**root▲ ★** · NG

>>186
XOの高性能スイッチに繋がっているサーバの間の通信について、
パケットがきちんと通っているか、精査してみます。

**root▲ ★** · NG

おさらい: XOの２ちゃんねるラックにあって、高性能スイッチに繋がっているサーバ

サーバ名ホスト名接続I/F一覧
○雪だるま系 206.223.150.0/24 192.168.100.0/24
tiger503 live22x4 em0/em1
tiger507 live22x5 em0/em1
tiger2522 live22 em0/em1
tiger2523 live22x1 em0/em1
tiger2524 live22x2 em0/em1
tiger2525 live22x3 em0/em1
banana403 live22b1/www2 fxp0 fxp1
banana404 live22b2/www2 fxp0 fxp1

○携帯系 206.223.150.0/24 192.168.0.0/24
tiger511 blackgoat3 em0/em1
tiger512 blackgoat4 em0/em1
tiger2507 c-au4 em0/em1
tiger2508 c-au5 em0/em1
tiger2509 c-au6 em0/em1
tiger2510 c-docomo5 em0/em1
tiger2511 c-docomo6 em0/em1
tiger2512 c-docomo7 em0/em1
banana405 c-others1/c1 fxp0 fxp1
banana406 c-others2/c2 fxp0 fxp1

○どちらでもない系
tiger504 game10 em0
tiger509 news19 em0
tiger510 hobby7 em1
cobra2245 bbq bge0
(banana402 stock fxp0) 移動済みのはずだが、こないだの全停電でなぜか通信が途絶えた

**root▲ ★** · NG

まずは雪だるま系のパブリック側。
ping -c 30 サーバ名を実行

tiger2522 から、
tiger2523 ○
tiger2524 ○
tiger2525 ○
tiger503 ×
--- tiger503.maido3.com ping statistics ---
30 packets transmitted, 26 packets received, 13% packet loss
round-trip min/avg/max/stddev = 0.123/0.206/0.274/0.051 ms
tiger507 ○
banana403 ×
--- banana403.maido3.com ping statistics ---
30 packets transmitted, 27 packets received, 10% packet loss
round-trip min/avg/max/stddev = 0.135/0.192/0.298/0.031 ms
banana404 ×
--- banana404.maido3.com ping statistics ---
30 packets transmitted, 24 packets received, 20% packet loss
round-trip min/avg/max/stddev = 0.135/0.229/0.309/0.044 ms

**root▲ ★** · NG

>>188 修正

サーバ名ホスト名接続I/F一覧
○雪だるま系 206.223.150.0/24 192.168.100.0/24
tiger503 live22x4 em0/em1
tiger507 live22x5 em0/em1
tiger2522 live22 em0/em1
tiger2523 live22x1 em0/em1
tiger2524 live22x2 em0/em1
tiger2525 live22x3 em0/em1
cobra2247 未割り当て bge0/bge1
banana403 live22b1/www2 fxp0 fxp1
banana404 live22b2/www2 fxp0 fxp1

○携帯系 206.223.150.0/24 192.168.0.0/24
tiger511 blackgoat3 em0/em1
tiger512 blackgoat4 em0/em1
tiger2507 c-au4 em0/em1
tiger2508 c-au5 em0/em1
tiger2509 c-au6 em0/em1
tiger2510 c-docomo5 em0/em1
tiger2511 c-docomo6 em0/em1
tiger2512 c-docomo7 em0/em1
banana405 c-others1/c1 fxp0 fxp1
banana406 c-others2/c2 fxp0 fxp1

○どちらでもない系
tiger504 game10 em0
tiger509 news19 em0
tiger510 hobby7 em1
cobra2245 bbq bge0
(banana402 stock fxp0) 移動済みのはずだが、こないだの全停電でなぜか通信が途絶えた

**root▲ ★** · NG

>>189 に追加。

cobra2247 ○

**root▲ ★** · NG

banana403 から、
banana404 ○
tiger503 ○
tiger507 ×
--- tiger507.maido3.com ping statistics ---
30 packets transmitted, 24 packets received, 20% packet loss
round-trip min/avg/max/stddev = 0.135/0.214/0.270/0.038 ms
tiger2522 ×
--- tiger2522.maido3.com ping statistics ---
30 packets transmitted, 28 packets received, 6% packet loss
round-trip min/avg/max/stddev = 0.135/0.197/0.259/0.037 ms
tiger2523 ×
--- tiger2523.maido3.com ping statistics ---
30 packets transmitted, 27 packets received, 10% packet loss
round-trip min/avg/max/stddev = 0.148/0.207/0.316/0.042 ms
tiger2524 ×
--- tiger2524.maido3.com ping statistics ---
30 packets transmitted, 26 packets received, 13% packet loss
round-trip min/avg/max/stddev = 0.136/0.206/0.375/0.048 ms
tiger2525 ×
--- tiger2525.maido3.com ping statistics ---
30 packets transmitted, 26 packets received, 13% packet loss
round-trip min/avg/max/stddev = 0.132/0.204/0.386/0.053 ms
cobra2247 ×
--- cobra2247.maido3.com ping statistics ---
30 packets transmitted, 27 packets received, 10% packet loss
round-trip min/avg/max/stddev = 0.117/0.208/0.423/0.063 ms

**root▲ ★** · NG

これは、、、。

2つの「うまく通信できるグループ」があって、
その間のパケットはぼろぼろロストしてるってことなのか?

グループA tiger507 tiger2522 tiger2523 tiger2524 tiger2525 cobra2247
グループB tiger503 banana403 banana404

株価【850】 ▲ ◆cZfSunOs.U · 2006/03/03(金) 15:03:06

>>187-193 乙です．となると......スイッチがおかしいとか？

**root▲ ★** · NG

原因切り分けのため、
まったく関係ないところ(XOの外: PIE内部)からやってみた。

banana273 [206.223.147.225] から、

tiger2522 ○
tiger503 ×
--- tiger503.maido3.com ping statistics ---
30 packets transmitted, 25 packets received, 16% packet loss
round-trip min/avg/max/stddev = 1.280/1.428/1.766/0.116 ms
banana403 ×
--- banana403.maido3.com ping statistics ---
30 packets transmitted, 28 packets received, 6% packet loss
round-trip min/avg/max/stddev = 0.658/0.899/2.144/0.365 ms
banana404 ×
--- banana404.maido3.com ping statistics ---
30 packets transmitted, 28 packets received, 6% packet loss
round-trip min/avg/max/stddev = 0.675/0.764/1.148/0.091 ms

tiger503, banana403, banana404 だけがおかしい、で正解ですね。
でも、相互の通信はうまくいくと。

スイッチの設定上の問題の予感がします。
もう少し調べてから、状況(問題発生)をSeanさんにエスカレーションする方向で。

で、ここまでやっておじさんが
「stock (= banana402) と be (= ブラジル)との間の通信が微妙」と言っていたのを
思い出しました。

banana402は移動したと言っていますが、この間の電源トラブルのときに
巻き添えで落ちたので、同じスイッチに(あいかわらず)繋がっているのかもしれません。
これもあわせて、調べてみます。

**root▲ ★** · NG

> banana402は移動したと言っていますが、この間の電源トラブルのときに
> 巻き添えで落ちたので、同じスイッチに(あいかわらず)繋がっているのかもしれません。
> これもあわせて、調べてみます。

わーい、だめだこりゃ。

--- banana402.maido3.com ping statistics ---
30 packets transmitted, 23 packets received, 23% packet loss
round-trip min/avg/max/stddev = 0.665/0.734/0.801/0.041 ms

**root▲ ★** · NG

ちょっとひどそうなので、
>>190 のやつ全部、調べなおす方向で。

で、XOだけならいいんだけどということで、age。

● ◆ANGLERlqvM · NG

なるほど、今までの不思議に思っていたことが
何か見えてくるかもしれませんね。

株価【450】 ▲ ◆cZfSunOs.U · 2006/03/03(金) 15:20:32

matd の挙動調査から思わぬ展開に......
でもまぁこういう問題を発見できたのはよかったと．

● ◆ANGLERlqvM · NG

>>199
そうですね。
こういうのは、何かきっかけが無いと分かりにくいですから。
問題が発見できたのは良かったと思います。

**root▲ ★** · NG

banana273 から、

banana405 ×
--- banana405.maido3.com ping statistics ---
30 packets transmitted, 24 packets received, 20% packet loss
round-trip min/avg/max/stddev = 0.657/7.266/158.052/31.441 ms
banana406 ○

不思議だ。同じOSバージョン同じサブネット同じネットワークI/Fなのに。
やはり、スイッチですね。

**root▲ ★** · NG

まさか「proxyに繋がらない。。。」の頻発も、これが原因?

ってことは、プライベート側もきちんと精査しないといかんということですね。

**root▲ ★** · NG

banana273 (XOの外にあるone of standard banana)から、まとめ。

パブリック側I/Fでパケット落ちが起きているのは、
banana402 = stock
banana403 = www2
banana404 = www2
banana405 = c/c1/c-others1
tiger503 = live22x4
tiger2511 = c-docomo6
の6台。

banana402 ×
banana403 ×
banana404 ×
banana405 ×
banana406 ○

tiger503 ×
tiger504 ○
tiger509 ○
tiger510 ○
tiger511 ○
tiger512 ○

tiger2507 ○
tiger2508 ○
tiger2509 ○
tiger2510 ○
tiger2511 ×
--- tiger2511.maido3.com ping statistics ---
30 packets transmitted, 26 packets received, 13% packet loss
round-trip min/avg/max/stddev = 0.645/0.752/0.871/0.049 ms
tiger2512 ○

tiger2522 ○
tiger2523 ○
tiger2524 ○
tiger2525 ○

cobra2245 ○
cobra2247 ○

**root▲ ★** · NG

続いて、プライベート側の調査。
プライベート側は目的毎に独立した2つのサブネットあり。

雪だるま系: 192.168.100.0/24
banana403 から。

tiger507のプライベート側がだめ。

banana404 ○
tiger503 ○
tiger507 ×
--- 192.168.100.6 ping statistics ---
30 packets transmitted, 24 packets received, 20% packet loss
round-trip min/avg/max/stddev = 0.147/0.262/1.422/0.245 ms
tiger2522 ○
tiger2523 ○
tiger2524 ○
tiger2525 ○
cobra2247 ○

**root▲ ★** · NG

(続き)

携帯系: 192.168.0.0/24
banana405 から。

プライベート側I/Fでパケット落ちが起きているのは、
banana406 = c/c2/c-others2
tiger2509 = c-au6
tiger2510 = c-docomo5
tiger2512 = c-docomo7
の4台。

ごていねいに、全キャリアに一つ以上異常なのがある。
この「ババ｣を引くと、「proxyに繋がらない。。。」が頻発していると。

banana406 ×
--- 192.168.0.1 ping statistics ---
30 packets transmitted, 26 packets received, 13% packet loss
round-trip min/avg/max/stddev = 0.150/0.263/1.020/0.196 ms
tiger511 ○
tiger512 ○
tiger2507 ○
tiger2508 ○
tiger2509 ×
--- 192.168.0.163 ping statistics ---
30 packets transmitted, 27 packets received, 10% packet loss
round-trip min/avg/max/stddev = 0.140/0.307/1.027/0.204 ms
tiger2510 ×
--- 192.168.0.164 ping statistics ---
30 packets transmitted, 27 packets received, 10% packet loss
round-trip min/avg/max/stddev = 0.141/0.222/0.352/0.059 ms
tiger2511 ○
tiger2512 ×
--- 192.168.0.166 ping statistics ---
30 packets transmitted, 28 packets received, 6% packet loss
round-trip min/avg/max/stddev = 0.153/0.290/1.097/0.225 ms

**root▲ ★** · NG

ということで、

1) なぜこんなことがXOの特定のスイッチで起こったのか

状況をみる限りでは、
何らかの意図(帯域制限など)を持って設定しているとは考えられないおかしさです。

=> 先日の停電でスイッチがおかしくなった or 壊れた?
=> 何か設定を変えた?
=> その他?

2) どうすれば直るのか

=> スイッチのリセット?
=> スイッチの設定修正?
=> スイッチの交換?

なお、このスイッチは1Gbps対応・VLAN設定対応等可能で、
処理能力もスイッチとしてはPIEでいちばんでかいもののはずです。

つまりもし万一スイッチのハードウェア障害だとすると
tiger サーバや cobra サーバと同様、
交換部品がどきどき、、、以下略の予感も。

**root▲ ★** · NG

いずれにせよXOの一部サーバの通信に異常が発生している、
という状況はつかみました。

また携帯系の「proxyに繋がらない。。。」が急に多発するようになったのも、
ほぼこれが原因と考えられます。

状況を書いて、Seanさんに調査と修正依頼を出すことにします。

とりあえず、以上で、
しばらく本業のため、依頼メール出すのはしばらく後になります。

**動け動けウゴウゴ２ちゃんねる** · NG

2証で時々発生してるｴﾗｰ
「be.2ch.netとの通信に失敗しました」
これも、それのせいなのかな？

**root▲ ★** · NG

>>208
↓
>>196

**動け動けウゴウゴ２ちゃんねる** · NG

即ﾚｽすぎて、ちょっとﾋﾞｯｸﾘ
ふむふむ、2証は402なのか・・・

原因が判明すれば諦めがつきますね、どうもでしたヽ(´―｀)ノ

**root▲ ★** · NG

このぐらいでPIEのネットワーク的がへたれる(トラフィックとか処理量とか
ことはないと思うので(*1)、たんたんと不具合報告して、たんたんと直してもらうということで。

(*1 じゃなきゃこんな↓プロモーションを大々的にやらないだろうと)
http://www.maido3.com/server/banana100/

● ◆ANGLERlqvM · NG

お疲れ様でした。
これで、多分スッキリしますね。

**root▲ ★** · NG

1) 電源春暖によりおかしくなったかもしれないので、
まずはスイッチをリセット・電源再投入してもらう

2) それでもだめなら、じっくり取り組む

で、いこうかと。

1) は Sean さんとのタイミングがあった時にやろうと思うので、
ショートノーティスでいきなりやる可能性あるです。

つまり「やるよー」「ぼん」で、一時的に実況とニュー速と携帯が、
数分程度全部死にます。

というわけで、あらかじめ告知(これがそれに相当)をば。

**root▲ ★** · NG

>>213
> 1) 電源春暖によりおかしくなったかもしれないので、

うわーん。瞬断だってば。

**動け動けウゴウゴ２ちゃんねる** · 2006/03/03(金) 18:17:55

もう春ですからね～
北海道は雪降ってますけどｗ

**動け動けウゴウゴ２ちゃんねる** · NG

　　　　　　　∧__∧
　　　　　　（＞＜*　）いつでも来てくださいませっ！
　　　　　　（⊃⌒*⌒⊂)
　　　　　　　/__ノωヽ__）

**動け動けウゴウゴ２ちゃんねる** · 2006/03/03(金) 20:06:00

>root氏
何時ごろになるんでしょ？

**root▲ ★** · 2006/03/03(金) 20:06:44

366 名前：root▲ ★[] 投稿日：2006/03/03(金) 20:06:22 ID:???0
Davidさん、Jimさん、私(Seanさん)にまずはパケット落ちの状況を送ってくれ、
という話になりました。そのうえで対応すると。

すぐのリブートはなくなりました。
以降は別スレにて。

>>217
ということで、状況次第ですね。

**root▲ ★** · 2006/03/03(金) 20:29:15

Seanさん、Davidさん、Jimさんにメールを送った。
管理人と関係者にCc:。

**root▲ ★** · 2006/03/03(金) 20:45:05

Sean-san, David-san, Jim-san,
Cc: 2ch related folks, (中の人)-san,

This is Mumumu.

As I already reported to Sean-san, now we encountered suspicious packet
dropping (approx. 15%-30%) at XO location servers.

I investigated the current status of the trouble, and I will report to
you about it per-server basis.

Please be careful: A part of XO servers are connected two network I/Fs.
So, I call "primary I/F", it is xx0 I/F on FreeBSD (em0, fxp0, bge0),
and "secondary I/F", it is xx1 I/F on FreeBSD (em1, fxp1, bge1).

The following I/Fs of servers are now in trouble.

banana402 (primary I/F: fxp0, 100Mbps FDX)
banana403 (primary I/F: fxp0, 100Mbps FDX)
banana404 (primary I/F: fxp0, 100Mbps FDX)
banana405 (primary I/F: fxp0, 100Mbps FDX)
banana406 (secondary I/F: fxp1, 100Mbps FDX)
tiger503 (primary I/F: em0, 1Gbps FDX)
tiger507 (secondary I/F: em1, 1Gbps FDX)
tiger2510 (secondary I/F: em1, 1Gbps FDX)
tiger2511 (primary I/F: em0, 1Gbps FDX)
tiger2512 (secondary I/F: em1, 1Gbps FDX)

Please investigate the trouble and fix it.

These servers are very important because they have so many
mobile phone users and 2ch BBS for TV live broadcast users.

Best regards,

**root▲ ★** · 2006/03/03(金) 20:57:55

スイッチのリブート by Seanさん、入りました。

これから確認しますが、パケロスなくなったっぽい。

--- tiger503.maido3.com ping statistics ---
30 packets transmitted, 30 packets received, 0% packet loss
round-trip min/avg/max/stddev = 1.204/1.502/3.830/0.451 ms

**動け動けウゴウゴ２ちゃんねる** · 2006/03/03(金) 20:59:27

お疲れ様です。

PCのこちら側で小躍りしてみます。

**root▲ ★** · 2006/03/03(金) 21:04:44

www2のパケットロス・遅延ともになくなりました。
全てがうまくいっているように見えます。

64 bytes from 206.223.150.96: icmp_seq=23 ttl=63 time=0.832 ms
64 bytes from 206.223.150.96: icmp_seq=24 ttl=63 time=0.779 ms
64 bytes from 206.223.150.96: icmp_seq=25 ttl=63 time=3.529 ms
64 bytes from 206.223.150.96: icmp_seq=26 ttl=63 time=0.754 ms
64 bytes from 206.223.150.96: icmp_seq=27 ttl=63 time=10.495 ms
64 bytes from 206.223.150.96: icmp_seq=28 ttl=63 time=13.702 ms
64 bytes from 206.223.150.96: icmp_seq=29 ttl=63 time=21.688 ms

--- www2.2ch.net ping statistics ---
30 packets transmitted, 30 packets received, 0% packet loss
round-trip min/avg/max/stddev = 0.668/2.298/21.688/4.608 ms

**root▲ ★** · NG

banana403 = www2 の受付嬢

にログインしてみました。

生まれ変わったように反応が速くなっていました。

どうやら先日の停電以来、
XOロケーションのスイッチが、ずっと本来の力を発揮できない状態に陥っていたようです。

**root▲ ★** · NG

Seanさんは明日に備えてオフラインになりました。

こうなれば急ぐことはないので、
じっくり調べて、結果を別途メールで報告する旨伝えました。

私もいったん、オフラインで。

**root▲ ★** · NG

これなら、live22x系もmatdにのっけても大丈夫な予感。

明日昼にでも改めて、banana403/404のリブートテストとかそのへんを。

**root▲ ★** · NG

概ね問題ないことを確認しました。

教訓: 高性能でインテリジェントなスイッチはある種サーバと同じところがあり、
電源を手順に従ってきちんと落としたりきちんと上げたりしないと、
不可解な状態に陥ることがある。

で、不可解な状態になると原因の切り分けは結構大変。