【Love Affair】携帯からのアクセスに対する考察・次の一手 Part2
レス数が900を超えています。1000を超えると表示できなくなるよ。
日増しに増加する携帯からのアクセス。
かつて、羨ブラが生まれたように何かが生まれないと
ならない気がする。
たぶん解決策は、時間を売って空間を買うだと思うけど
いろいろ考察して、次の一手を決めようかと、
Love Affair 作戦。
Part2 大黒埠頭
前スレ
【Love Affair】携帯からのアクセスに対する考察・次の一手 Part1
http://qb5.2ch.net/test/read.cgi/operate/1075887465/ >>830
広告関係でオーナーから物凄いクレームが毎回来るので
出来ればやめて欲しいです(or 物凄く短期間にして欲しい)
頼みます、頼みます、
何度激しく起られたことか、、、 >>847
了解です。
1日限定ならOKかな?
もっと短く? まずは、2ちゃん管轄の広告を消しましょうか?
あと、可能であれば、ぴんくちゃんねる管轄の広告をだすとか、、 実験でやるなら、やらないで欲しい、
向こうも広告の方は統計とっているので直ぐに変化がわかるから、
完全に分離してくださいー
つまり c.2ch.net からは bbspink.com はどんなことがあってもアクセスしない。
たぶん そのうち deny等 する事になると思います。
よろしくお願いします。 >>847
そういう事情ですか。
では、24時間限定でいきましょう。
明日の14:00でばっさり止めるということでいかが。
で、>>849 は、c.bbspink.com (仮)とかを作る方向で考えればいいかなと。
( 参考 >>830 ) 了解です。
じゃあ、中止しましょう。
ぴんくちゃんねるで、本当にc.bbspink.comが必要になったら、その時にやりましょう。 (1)今すぐやめる
(2)1日限定
(3)c.bbspink.com(仮)を作る
どうしましょうか? 質問です
c.2ch.net を一週間ぶっつづけでダウンタイムなしで動かすには
どうしたらいいのだろう?
さらに一ヶ月だったら? >>850 >>852
了解です。
そこまで理由が明確であれば、「分離する方向で」ではなく「今後完全分離」かと。
c.bbspink.com についてはbbspinkの板などと同様、bbspinkのオーナー・スポンサー方面の意向で。
>>854
私は「明日の14時までに限定、今後c.2ch.netでの復活なし」でよいと思いますがいかが。 >>855
系全体として、c系のサービスダウンをさせないように、という意味だと理解しました。
金がかかる方法(力技)はたぶんいろいろあるけど(わりと確立している)、
できるだけ知恵で解決できないか、というのが質問の趣旨かしら。 >>857
すべての方法の中から、最善手を考えたいです。
「サーバを六台投入すれば一ヶ月もつ」とかが知りたいです。 なるほど。>>858
それじゃ、これまでわかったことを下敷きに、グランドデザインを考える必要がありそうだ。
大方針a)落ちないように、専用の機器等を使ってガチガチに固める
大方針b)落ちるものと仮定して、一部マシンが落ちても大丈夫な構成でシステムを組む
が、まず大きな分かれ目になりそうですね。
# 個人的にはb)乗りです。 で、「見切り」をどこに作るかが次のステップか。
例: フロントエンドとバックエンドを接続しているネットワークはこわれないとみなし、二重化しない、等 勝手にいろいろい仮定して一つの案を出してみると、
仕組み的にはこれまでやってきた方法の延長線上でok
(新しい仕組みを作るにはさらに数ヶ月かかりそうだから)
で、知恵も絞りつくしてあとは若干の性能向上が見込めるだけ、
ということは、物量作戦なのかな?
BlackGoat 二台増設
au banana 四台増設
docomo cobra 四台増設
others banana 二台増設
c.2ch.net banana 一台で独立
これだけあれば九月を乗り切れる
とか、 ちと、今日はしばらく忙しいので手短に。
>>862
つまり横並び作戦(当初路線の延長線上でいく)ということですね。
どのパーツがどのくらい必要なのかは、これまでとった統計情報から見積もってみるかんじで。
あと試してみたいソフトウェア的な知恵としては、
フロントエンドにsquidを入れて、httpdが満員にならないようにするぐらいですかね。
それか、キャリア毎に分けるのをやめてしまうとか。。。
BlackGoat banana 二台 (取り込む鯖で分ける)
c-x cobra 四台 (同じスペックの方がいいんだよね)
c.2ch.net banana 一台 (ロードバランサ)
BlackGoatの増設だけで結構いけるんじゃないかと思ったりするんですが。 今のところ、au、docomo、otherに分けている目的って分析だけ? キャリア別フロントエンドは既定事項
理由・目的は誰かさんの深謀遠慮 アクセス数が横ばいなら、BlackGoat増強だけで解決しそうですね。 いまのところ、bbspinkは2chのほぼ1/10程度ですね。
浸透していない、かつ、r.i/p.iが生きているのでこれくらいなのかもしれませんが、、、
キャリアごとに分けるの止めると、フロントの数減らせそうだけどな。
あと、一台が落ちても他のに分散して耐えしのげそうなんですけど。
どうなんだろ?
>>823
現在の構成をこのスレッドに書いていただけるとありがたいです
>>507 からどの様に変化しているのですか? >>872 FOXさん
フロント側の構成は>>507で変更ありません。
>>507の時は、BlackGoatにbanana406を使っていましたが、
アクセスピーク時(22:00頃〜2:00頃)におけるキャッシュヒット率の急激な低下
つまり、トラフィックの漏れ出しが発生していました。
そこで、ためしにcobra2244を使ってそのあたりが改善するかを調査中です。
つまりこうかな?
フロント(受付嬢)
c.2ch.net (banana405)
|- c-au1 (banana403) -|
|- c-au2 (banana404) -- 二台でロードバランス
|
|- c-docomo2 (peko247) -|
|- c-docomo3 (peko246) -- 二台でロードバランス
|
|- c-others (banana405) - c と共用
バック(黒山羊さん)
BlackGoat #1 (banana406) - 休止中
BlackGoat #2 (cobra2244) - 稼動中 >アクセスピーク時(22:00頃〜2:00頃)におけるキャッシュヒット率の急激な低下
>つまり、トラフィックの漏れ出しが発生していました。
>そこで、ためしにcobra2244を使ってそのあたりが改善するかを調査中です。
この部分なんですが、背景等を解説していただけるとありがたいです
1) キャッシュヒット率の低下がなぜ起るのか?
2) なぜcobra2244 (pekoサーバ) を使うと解決すると予想したのか?
等々
>>875 FOXさん
そのあたりの技術的なものは、rootさんに正確に答えてもらった方がいいと思うので、
rootさんの回答待ちということで、、、
一応、1日経過時のrootさんの考察が>>827-828にありますので、参考にして下さい。
現在のシステムでは、bananaなBlackGoatでは処理能力不足
そこで、
(1)BlackGoatへのリクエストの量を減らす → 簡易版メニューでの実験
結果、多少改善されたが、負荷ピーク時はBlackGoatに繋がらない状態が頻発
(2)BlackGoatの処理能力を上げる → Cobraで実験
負荷ピーク時でも、BlackGoatに繋がらない状態は起こっていない
次は、じゃあBlackGoatに必要な処理能力はbanana何台分?
になるのではないかと思います。
bananaに搭載されているPen4コアって北森ですか?ぷれすこですか?
用途を考えるとL2の容量差もヒット率の違いに絡んでいそう。
仮にそうでなかった場合は
・peko/Cobraもう一台をblackgoatとして投入
・各フロントエンドサーバと各blackgoatの間は
すべてGbE化して間にロードバランサを挟む
ぐらいのことをかんがえないといけなくなるかも・・・。 >現在のシステムでは、bananaなBlackGoatでは処理能力不足
この処理能力が何を指しているかを顕在化させたいんですよね、
そして「結果的にCobraでよかった」じゃなくて、何がどうなったから
Cobraでよかったと言いたいんですよね、そうしなきゃ無駄な投資を
してしまうですー データベースが同じならCPUの違いで
キャッシュヒット率が変わるのかなあと呟いてみるテスト いろいろ書きたい事/レスすべきことがありますが、ちょっとあとで。
14:00過ぎたので、c系から大人の時間を削除してくださいー。>両氏 あれ?大人の時間、なんで復活しているんでしょう・・・?
取り合えず、作業はいります。 >>882
完了です。
c.2ch系列からは完全にアクセスしなくなったはずです。 >>882
どもです。
1日だけ復活させた経緯は、このスレの>>829あたりから。 本業ばたばたですんませんが、とりあえずざっくりと観察結果を。
2ch : bbspink = 1 : 1/10〜1/12
bbspink系は、
20:00から上昇カーブに入り、2:00あたりまで上昇曲線。
概ねPCの転送量と傾向は同じだが、
PCよりも1〜2時間ぐらい、ピークがうしろにある。 blockgoatがdat取得するの2分ごとに一括更新の同期式?〉転送量の上下が激しい
それともdatごとに更新の非同期式?〉転送量はなだらかに
2ちゃんねるLANにつながっていて
未投入なのは投入しちゃった方がいいような、 >>887
今使ってないのはbanana402かな。
blackgoat1号機も使ってないか。
今帰省先なので、>>875- のQも含めて、月曜以降にいろいろと。
>>875 にようやくレス。
Cobraを使うと解決すると予想したのは、I/Oの速度の向上への期待です。
旧blackgoatでは、ロードアベレージの上昇はそれほどでもないのに、
アクセス集中時にログインすると、対話的パフォーマンスの低下が起きていました。
(コマンドを入れると詰まる感じ)
systat -v/iostat等で、ad0/ad1がめいっぱい使い切られていると思われる
兆候が見えていました。
(ディスクは、ccdを使って2本のディスクをストライピングで使用)
squidのログを確認すると、かなりの割合でキャッシュからデータが獲得できなかった旨の
エラーが出力されていました。
ネットワークの統計からは、この時点ではまだ帯域は使い切っておらず、またパケットの
取りこぼしや再送も、発生していないように見えました。
squidは400Mぐらいメモリを使っていましたが、メモリが不足している兆候は
まだ見えていませんでした。
このような状況から、
・CPU usageはまだめいっぱいではない
・ネットワークもまだ破綻していなかった
・ディスクI/Oが目いっぱいまで使い切られていた
=>squidのソースを読みきれていないが、ディスクI/Oが目いっぱいの状況の時に、
キャッシュヒット率が悪くなっていることから、ディスクI/Oの速度を上げれば、
キャッシュヒット率が向上し、系全体のパフォーマンスも向上するかもしれない
と、判断しました。 >>879
ということで、
> 何がどうなったからCobraでよかった
ですが、私の判断ではディスクI/Oパフォーマンスの向上が
最も大きいと考えています。
ディスク構成:
blackgoat1号機:
・同一バス上に接続された80G UltraATA100 IDE 7200rpmディスク2台
・IDEはオンボード、32bit
・FreeBSDでストライピングを設定
blackgoat2号機:
・別々のバス上に接続された36G Ultra320 SCSI 15000rpmディスク2台
・SCSI cardは64bit PCIで接続、64bit OS
・FreeBSDでストライピングを設定 どもです どもです
http://server.maido3.com/pie/graph/oyster244.gif
さらに質問ですが
このグラフを見る限り、深夜ピーク時キャッシュヒット率が以前よりは
向上していると見られるのですが、あってますか?
さらにヒット率をあげることは可能なのでしょうか?
また 現 BlackGoat#2(peko244) の使用率はどれくらいと推測しますか?
つまりまだまだキャパシティがあるのかどうか・・・ で、>>887-888
banana402: 純粋banana+Intel Ethernet card
memory512M, 10M帯域制限
banana406: 強化banana+Intel Ethernet card (2 I/Fs)
memory1G
投入するとしたら、banana402がcの二重化(現在はcが落ちると全部(りゃ)、
負荷上昇が目立つc-au系の3号機あたりか。
他に何か案は↓ つまり管理人から御代として出されているディレイ60sec実験なんですが、
受付嬢は直接的には何ら変化が無いと予想できるのですが、
(めぐりめぐっての変化はあるかも)
BlackGoatは単純に出口というか入り口というか
2ちゃんねるの各サーバにつながっている方は二倍の量になり
キャッシュしている dat の書き換えも二倍になると予想されるから、
という話しなんですが、 >>892
あってますね。明らかにヒット率は向上しています。
使用率は、きちんと計測しないといけないところですが、
ディスクI/Oはまだなんとかなるかなと。
ただ、2ちゃんねる用ネットワークのほうが、100Mbps接続でもうかなりめいっぱいに近いですね。
http://mumumu.mu/mrtg/mrtg-rrd.cgi/traffic/blackgoat2-privatetraf.html >>893
banana406 が他のau機とスペックが同じでしたっけ?
banana402 がちょと違うスペックで、
>>894
60secにして今のblackgoat2が耐えられるか、ということですね。
どうだろうか。正直、やってみないとなんともいえないところかも。
いままで、ここまでProxyサーバをいじめて使ったことがないし。
>>895 で指摘した、フロントエンド <=> blackgoat2 の間は、
例えばblackgoat2を1G接続にするとかできれば、まだいける気がするです。 >>896
banana403, 404, 405, 406は全く同じH/Wですね。
bananaベース、メモリ1G、Intel Ethernet I/F x 2
banana402は他のbananaサーバと同じ(メモリ512M)に、
Intel Ethernet I/F x 1を追加したものにみえます。 レスが入り乱れますが、
>>895
2ちゃんねる各サーバ ━む→ BlackGoat ━ら→ 受付嬢 ━さ→ 端末
とした場合の 「む」の部分が 100M 目いっぱいになっているってことですか?
解決策はあるんだろうか・・・
というか その部分の容量 GigaBit じゃ無いんですか? >>898
ということは
banana406 = c-au3
banana402 = c の独立 or/and 多重化
に一票。
c-docomo はどこから捻出してくるか。。。
Tiger511,512 を BlackGoat に入れて
Peko機はdocomo用受付に転出か・・・ >>897
今日の夜やってみますかー?
みんなの準備が整えばですけど、
んでだめだったら即時撤退ということで、 >>899
「ら」の部分ですね。
「む」はまだ平気かと。
そこの部分は自動判別で接続してますが、100Mbps full-duplexであると認識されています。
ここは内部ネットで他の部分に影響ないので、スイッチの設定変更でいけるのかな? >>901
設定変更は簡単なので(blackgoat2のsquidの設定を変えるだけ、c-xx側は特に変更なし)、
できると思います。やってみるか。 >>902-903
実験するのであれば「ら」をGbE化してからやってみる提案をしてみる。
「ら」はただでさえトラフィックの集中するところですからね。 >>903
そっすね、やってみよう。
今変えちゃうとか、
現状の設備でどうなるかを観察したい、 >>904
この実験では 「ら」の部分には影響を与えないのでは? >>905
変えてみますか。
では15:45あたりにやってみます。 「ら」は、dat/subject.txtの要求に対する応答部分なので、
今回のには影響しないとおもいますです。>>904 >>906
ああ、そうですね。「む」のトラフィックを倍増させるだけですから。
ただ、状況次第では影響はありそうですがね。 >>909
そですね、
めぐりめぐっての影響はあると思います
たぶん減る方向へ振れるのかな? (勝手な推測) 前の設定:
refresh_pattern . 2 0% 2 override-lastmod reload-into-ims
今の設定:
refresh_pattern . 1 0% 1 override-lastmod reload-into-ims
BlackGoat を任務とすると
Peko , Tiger の能力はほぼ等価と考えていいのかな? >>914
たぶん。
・64bit OS(Cobra) vs 32bit OS(Tiger)
・LSI Logic(Cobra) vs Adaptec(Tiger)
あたりが微妙ですが、力が半分になってしまうことは、ないと思います。 BlackGoatはBanana2台体制で充分じゃないかな?
Cobra、Tigerはフロント側に使う方がよくないかな? >>916
blackgoatはI/Oが重要だから、ちょっとそれはおすすめできないような。
逆に、フロントエンドはbananaをいっぱい並べればいいような気がします。 SCSIがっていうよりはRPMとバスの帯域の問題。
結果は日付がかわってからになるでしょうか。 機能は docomo3 が落ちちゃったので、
観察の本番は今日と言うことかな? >>922
そですね。
今の時点では、落ちないことを祈るしか(りゃ。
ex7で試している設定変更部分はamd64でも有効みたいなので、
あれが効果を発揮するようなら、順次トライか。 今夜は
・北島@競泳の決勝その2:翌0130過ぎ
・中西@競泳の決勝:翌0210分過ぎ
・泉&上野@柔道が勝ち上がった場合の各試合:2230以降、決勝は2330ごろから
とくに危険なのは北島か。 Tiger511,512 は、LoveAffaurで使っちゃう? >>925
入れるとするとどこですかね。
ぱっと思いつくことを書いておこう。上のほうほど、脳内優先度高め。
blackgoatを2台体制に
全代表のcを二重化
このところややトラぶり気味のc-docomoのフロントエンドをスワップor増設
c-auが恒常的に目いっぱいなので強化
c-othersも2台体制がいいのかも で、できれば今のクラシックメニューの機能を削減することなく、
維持できるぐらいのゆとりは、作っておきたいかなと。
というかそのぐらいゆとりがないと、すぐにパンクしそうな予感も。
Vodafoneや某孫氏あたりが本気になると、さらなる価格とかサービス競争が起こるだろうし。 「ピーク時でも楽々おさばき」にするという作戦で、
二重化等はその後かと、(何台必要になるのか見当も付かないのですが、、、)
BlackGoat を2(複数)台体制にする場合は、
ちと考えてからの方がいいかな、
出来れば 「む」のトラフィックは増えないほうがいい! まずはひとつの系として十分な資源にしよう、という作戦ですか。>>929
耐障害性や冗長性はその後で別途考慮と。
Tigerが2台来る前提で、少し考えてみるです。 で、私は深夜までしばらくおいそがしなので、
その間にパズルしていただけるとうれしいかなと。
blackgoat役はcobra2244(今のもの: メモリ3G = いちばん多い)で確定として、
他の使えるタマの一覧:
標準banana1台 banana402: Pem4 2.8G 512Mmem IDE
強化banana4台 banana403〜406: Pen4 2.8G 512Mmem IDE
cobra2台 cobra2246〜cobra2247: Opteron 244 dual 2Gmem SCSI
tiger2台 tiger511〜tiger512: Xeon 2.8G dual 2Gmem SCSI
さて、どう組み合わせるか↓ tigerって、フロントに入れるとどのくらいの能力あるのかな?
cobra : tiger : banana = 3 : 2 : 1 くらい? Cobra2244なBlackGoatの落ち込みは
負荷?
ex7鯖落ちのせい?
Date: Thu Aug 19 02:46:03 2004 JST-9 (Wed Aug 18 10:46:03 2004 PST+8PDT)
Target: cobra2247.maido3.com[c-docomo2.2ch.net] 206.223.151.215
httpd だけが反応無いようですが作業中でしょうか? >>935
訂正。sshもftp反応ありませんですね。 >>938
おお。
わたしも、がんがって作んないと。
# きょうは、ちともう作業できんです。すんません、ごめんなさり。 >>938 FOXさん
Love Affair 欄を作ってくれたのですね。
ありがとうございます。
>>939 rootさん
http://mumumu.mu/mrtg/mrtg-rrd.cgi/loveaffair/blackgoat2-hits.html
0時付近の挙動は何なんですかね?
フロント側の問題なのか、BlackGoatのチューニング不足によるものなのかな?
rootさんに、調べてもらいましょう。
>>940
うーん、ピーク時にsquidがcore dumpを繰り返してる。
Aug 19 09:48:22 <0.6> oyster244 kernel: pid 82560 (squid), uid 400: exited on signal 6 (core dumped)
Aug 19 09:48:24 <0.2> oyster244 kernel: Limiting closed port RST response from 257 to 200 packets/sec
Aug 19 09:48:22 <20.5> oyster244 squid[62646]: Squid Parent: child process 82560 exited due to signal 6
Aug 19 09:48:25 <20.5> oyster244 squid[62646]: Squid Parent: child process 82590 started
旧blackgoatでdiskdの時にやはりcore dumpしたので、
diskdをやめて、aufsにしてみるか。 aufsにしてみた。
(さっきまで)
cache_dir diskd /usr/local/squid/cache 40000 16 256
(現在)
cache_dir aufs /usr/local/squid/cache 40000 16 256
何を何に使うとか、いろいろ考えつつ並べ替えたのですが、、、
ちなみに次スレpart3は「シーガーディアン」です。
テンプレ
----------------------------------------------
【Love Affair】携帯からのアクセスに対する考察・次の一手 Part3
----------------------------------------------
日増しに増加する携帯からのアクセス。
かつて、羨ブラが生まれたように何かが生まれないと
ならない気がする。
たぶん解決策は、時間を売って空間を買うだと思うけど
いろいろ考察して、次の一手を決めようかと、
Love Affair 作戦。
Part3 シーガーディアン
前スレ
【Love Affair】携帯からのアクセスに対する考察・次の一手 Part1
http://qb5.2ch.net/test/read.cgi/operate/1075887465/
【Love Affair】携帯からのアクセスに対する考察・次の一手 Part2
http://qb5.2ch.net/test/read.cgi/operate/1088657713/
Sea Guardian ですか、、、。
で、久しぶりにroot権限ありサーバに戻って来たnewsplusの統計情報見て思ったこと。
「携帯(=r.i)の分が減ったのは、すごくおおきい」
# もう今日は限界っす。おやすみなさい。 banana402 -> c-au3
banana406 -> c-au4
遊ばせておいてももったいないから投入しちゃって
tiger511 , tiger512 が来たらこの二台を BlackGoat (一台はc.2ch.net独立でもいい)
あいた peko244 を c-docomo4 にする。
とか、 >>943 FOXさん、
そろそろ次スレの時期ですね。
c-auは、強化banana4台
c-docomoは、cobra2台+tiger1台
c-othersは、tiger1台
c.2ch独立で、標準banana
あたりじゃないかと思っているのですが、、、
BlackGoatがcobraで不足の場合は、tiger2台体制
c-docomoは、cobra2台+強化banana1台
c-auは、cobra1台+強化banana2台
c-othersは、強化banana1台
c.2ch独立で、標準banana
(ロードバランスが違う性能の鯖でもOKならばですが。。。)
>>944 rootさん、
お疲れ様でした。 レス数が900を超えています。1000を超えると表示できなくなるよ。