X



トップページ運用情報
990コメント321KB

【Love Affair】携帯からのアクセスに対する考察・次の一手 Part2

レス数が900を超えています。1000を超えると表示できなくなるよ。
0001FOX ★
垢版 |
04/07/01 13:55ID:???
日増しに増加する携帯からのアクセス。
かつて、羨ブラが生まれたように何かが生まれないと
ならない気がする。

たぶん解決策は、時間を売って空間を買うだと思うけど
いろいろ考察して、次の一手を決めようかと、

Love Affair 作戦。
Part2 大黒埠頭

前スレ
【Love Affair】携帯からのアクセスに対する考察・次の一手 Part1
http://qb5.2ch.net/test/read.cgi/operate/1075887465/
0831こうすけ ★
垢版 |
04/08/12 11:44ID:???
>>830
そうですね。
Banana1台ですむのは明らかだろうけど、
実際にどのくらいの規模なのかいまいちつかめないので、、、

ソースの方はいじっておきますので、準備が出来たら連絡ください。
0833こうすけ ★
垢版 |
04/08/12 13:11ID:???
設定したです。

c-au2(c-docomo1)が重い。。。
どうしたんだろう?
0834未承諾広告※ ◆TWARamEjuA
垢版 |
04/08/12 13:18ID:13s2gNoe
ping traceroute それぞれは通りますが、http 、ssh は不出。 ftp 劇重たいですね。。。@banana404
0836root ★
垢版 |
04/08/12 13:19ID:???
おつでした。

たしかにようすがへんだ。みてきます。> c-au2
0837root ★
垢版 |
04/08/12 13:20ID:???
数分でログインはできる模様。

>>835
あ、ちょっと待っていただけると。
0839root ★
垢版 |
04/08/12 13:21ID:???
9:21PM up 21 days, 12:43, 2 users, load averages: 333.31, 283.91, 192.05
0840root ★
垢版 |
04/08/12 13:26ID:???
httpdを再起動してみた。< c-au2
0841こうすけ ★
垢版 |
04/08/12 13:29ID:???
>>840
おつです。

新しく入れたPHPをキャッシュするところで何か起こったのかな?
それとも、変更したもののバグ?
0843root ★
垢版 |
04/08/12 13:31ID:???
なんだかわかりませんが、httpdが超高負荷状態に。
エラーログにはこんなものが。
httpd in free(): error: recursive call
httpd in free(): error: recursive call
0844root ★
垢版 |
04/08/12 13:33ID:???
syslogとかには、ハード異常とかそれっぽいのは見当たらないなぁ
0845root ★
垢版 |
04/08/12 13:36ID:???
その他のログにも、変な形跡はない模様。
更新したところで起きたようなので、アクセラレータとのからみの問題か、、、。

しばらく観察ということで。
0846こうすけ ★
垢版 |
04/08/12 13:37ID:???
やっぱり、スクリプトを入れなおしたときに、何か起こったのかな。。。。
0847ぴんく丼 ★
垢版 |
04/08/12 13:54ID:???
>>830
広告関係でオーナーから物凄いクレームが毎回来るので
出来ればやめて欲しいです(or 物凄く短期間にして欲しい)

頼みます、頼みます、
何度激しく起られたことか、、、
0849こうすけ ★
垢版 |
04/08/12 13:57ID:???
まずは、2ちゃん管轄の広告を消しましょうか?
あと、可能であれば、ぴんくちゃんねる管轄の広告をだすとか、、
0850ぴんく丼 ★
垢版 |
04/08/12 14:00ID:???
実験でやるなら、やらないで欲しい、
向こうも広告の方は統計とっているので直ぐに変化がわかるから、
完全に分離してくださいー
つまり c.2ch.net からは bbspink.com はどんなことがあってもアクセスしない。

たぶん そのうち deny等 する事になると思います。

よろしくお願いします。
0851root ★
垢版 |
04/08/12 14:01ID:???
>>847
そういう事情ですか。
では、24時間限定でいきましょう。

明日の14:00でばっさり止めるということでいかが。

で、>>849 は、c.bbspink.com (仮)とかを作る方向で考えればいいかなと。
( 参考 >>830 )
0852こうすけ ★
垢版 |
04/08/12 14:02ID:???
了解です。
じゃあ、中止しましょう。

ぴんくちゃんねるで、本当にc.bbspink.comが必要になったら、その時にやりましょう。
0854こうすけ ★
垢版 |
04/08/12 14:06ID:???
(1)今すぐやめる
(2)1日限定
(3)c.bbspink.com(仮)を作る

どうしましょうか?
0855FOX ★
垢版 |
04/08/12 14:12ID:???
質問です
c.2ch.net を一週間ぶっつづけでダウンタイムなしで動かすには
どうしたらいいのだろう?

さらに一ヶ月だったら?
0856root ★
垢版 |
04/08/12 14:15ID:???
>>850 >>852

了解です。
そこまで理由が明確であれば、「分離する方向で」ではなく「今後完全分離」かと。

c.bbspink.com についてはbbspinkの板などと同様、bbspinkのオーナー・スポンサー方面の意向で。

>>854
私は「明日の14時までに限定、今後c.2ch.netでの復活なし」でよいと思いますがいかが。
0857root ★
垢版 |
04/08/12 14:21ID:???
>>855
系全体として、c系のサービスダウンをさせないように、という意味だと理解しました。

金がかかる方法(力技)はたぶんいろいろあるけど(わりと確立している)、
できるだけ知恵で解決できないか、というのが質問の趣旨かしら。
0858FOX ★
垢版 |
04/08/12 14:24ID:???
>>857
すべての方法の中から、最善手を考えたいです。

「サーバを六台投入すれば一ヶ月もつ」とかが知りたいです。
0859root ★
垢版 |
04/08/12 14:32ID:???
なるほど。>>858
それじゃ、これまでわかったことを下敷きに、グランドデザインを考える必要がありそうだ。

大方針a)落ちないように、専用の機器等を使ってガチガチに固める
大方針b)落ちるものと仮定して、一部マシンが落ちても大丈夫な構成でシステムを組む

が、まず大きな分かれ目になりそうですね。

# 個人的にはb)乗りです。
0860root ★
垢版 |
04/08/12 14:35ID:???
で、「見切り」をどこに作るかが次のステップか。

例: フロントエンドとバックエンドを接続しているネットワークはこわれないとみなし、二重化しない、等
0861こうすけ ★
垢版 |
04/08/12 14:35ID:???
b)でしょうね。

a)は金がかかりすぎると思う。
0862FOX ★
垢版 |
04/08/12 14:42ID:???
勝手にいろいろい仮定して一つの案を出してみると、

仕組み的にはこれまでやってきた方法の延長線上でok
(新しい仕組みを作るにはさらに数ヶ月かかりそうだから)
で、知恵も絞りつくしてあとは若干の性能向上が見込めるだけ、
ということは、物量作戦なのかな?

BlackGoat 二台増設
au banana 四台増設
docomo cobra 四台増設
others banana 二台増設
c.2ch.net banana 一台で独立

これだけあれば九月を乗り切れる

とか、
0863root ★
垢版 |
04/08/12 14:51ID:???
ちと、今日はしばらく忙しいので手短に。

>>862
つまり横並び作戦(当初路線の延長線上でいく)ということですね。
どのパーツがどのくらい必要なのかは、これまでとった統計情報から見積もってみるかんじで。

あと試してみたいソフトウェア的な知恵としては、
フロントエンドにsquidを入れて、httpdが満員にならないようにするぐらいですかね。
0864こうすけ ★
垢版 |
04/08/12 14:52ID:???
それか、キャリア毎に分けるのをやめてしまうとか。。。

BlackGoat banana 二台 (取り込む鯖で分ける)
c-x cobra 四台 (同じスペックの方がいいんだよね)
c.2ch.net banana 一台 (ロードバランサ)


0865不動楽 ★
垢版 |
04/08/12 23:00ID:???
BlackGoatの増設だけで結構いけるんじゃないかと思ったりするんですが。
0868こうすけ ★
垢版 |
04/08/13 00:22ID:???
アクセス数が横ばいなら、BlackGoat増強だけで解決しそうですね。
0869こうすけ ★
垢版 |
04/08/13 00:34ID:???
いまのところ、bbspinkは2chのほぼ1/10程度ですね。

浸透していない、かつ、r.i/p.iが生きているのでこれくらいなのかもしれませんが、、、
0870動け動けウゴウゴ2ちゃんねる
垢版 |
04/08/13 00:55ID:fGmLeItu
キャリアごとに分けるの止めると、フロントの数減らせそうだけどな。
あと、一台が落ちても他のに分散して耐えしのげそうなんですけど。
どうなんだろ?
0872FOX ★
垢版 |
04/08/13 05:08ID:???
>>823
現在の構成をこのスレッドに書いていただけるとありがたいです

>>507 からどの様に変化しているのですか?
0873こうすけ ★
垢版 |
04/08/13 05:33ID:???
>>872 FOXさん

フロント側の構成は>>507で変更ありません。

>>507の時は、BlackGoatにbanana406を使っていましたが、
アクセスピーク時(22:00頃〜2:00頃)におけるキャッシュヒット率の急激な低下
つまり、トラフィックの漏れ出しが発生していました。
そこで、ためしにcobra2244を使ってそのあたりが改善するかを調査中です。
0874FOX ★
垢版 |
04/08/13 05:41ID:???
つまりこうかな?

フロント(受付嬢)
c.2ch.net (banana405)
|- c-au1 (banana403) -|
|- c-au2 (banana404) -- 二台でロードバランス
|
|- c-docomo2 (peko247) -|
|- c-docomo3 (peko246) -- 二台でロードバランス
|
|- c-others (banana405) - c と共用

バック(黒山羊さん)
BlackGoat #1 (banana406) - 休止中
BlackGoat #2 (cobra2244) - 稼動中
0875FOX ★
垢版 |
04/08/13 05:44ID:???
>アクセスピーク時(22:00頃〜2:00頃)におけるキャッシュヒット率の急激な低下
>つまり、トラフィックの漏れ出しが発生していました。
>そこで、ためしにcobra2244を使ってそのあたりが改善するかを調査中です。

この部分なんですが、背景等を解説していただけるとありがたいです
1) キャッシュヒット率の低下がなぜ起るのか?
2) なぜcobra2244 (pekoサーバ) を使うと解決すると予想したのか?

等々

0876こうすけ ★
垢版 |
04/08/13 06:13ID:???
>>875 FOXさん

そのあたりの技術的なものは、rootさんに正確に答えてもらった方がいいと思うので、
rootさんの回答待ちということで、、、
一応、1日経過時のrootさんの考察が>>827-828にありますので、参考にして下さい。
0877こうすけ ★
垢版 |
04/08/13 06:49ID:???
現在のシステムでは、bananaなBlackGoatでは処理能力不足

そこで、
(1)BlackGoatへのリクエストの量を減らす → 簡易版メニューでの実験
結果、多少改善されたが、負荷ピーク時はBlackGoatに繋がらない状態が頻発

(2)BlackGoatの処理能力を上げる → Cobraで実験
負荷ピーク時でも、BlackGoatに繋がらない状態は起こっていない

次は、じゃあBlackGoatに必要な処理能力はbanana何台分?
になるのではないかと思います。
0878▲:/usr/local/bin/ch2 -o i686 ◆P8fXJj6wwo
垢版 |
04/08/13 11:26ID:Q1CkO4vg
bananaに搭載されているPen4コアって北森ですか?ぷれすこですか?
用途を考えるとL2の容量差もヒット率の違いに絡んでいそう。

仮にそうでなかった場合は

・peko/Cobraもう一台をblackgoatとして投入
・各フロントエンドサーバと各blackgoatの間は
 すべてGbE化して間にロードバランサを挟む

ぐらいのことをかんがえないといけなくなるかも・・・。
0879FOX ★
垢版 |
04/08/13 14:28ID:???
>現在のシステムでは、bananaなBlackGoatでは処理能力不足

この処理能力が何を指しているかを顕在化させたいんですよね、
そして「結果的にCobraでよかった」じゃなくて、何がどうなったから
Cobraでよかったと言いたいんですよね、そうしなきゃ無駄な投資を
してしまうですー
0881root ★
垢版 |
04/08/13 14:31ID:???
いろいろ書きたい事/レスすべきことがありますが、ちょっとあとで。

14:00過ぎたので、c系から大人の時間を削除してくださいー。>両氏
0882不動楽 ★
垢版 |
04/08/13 15:29ID:???
あれ?大人の時間、なんで復活しているんでしょう・・・?
取り合えず、作業はいります。
0883不動楽 ★
垢版 |
04/08/13 15:36ID:???
>>882
完了です。
c.2ch系列からは完全にアクセスしなくなったはずです。
0884root ★
垢版 |
04/08/13 15:37ID:???
>>882
どもです。

1日だけ復活させた経緯は、このスレの>>829あたりから。
0885root ★
垢版 |
04/08/13 15:41ID:???
本業ばたばたですんませんが、とりあえずざっくりと観察結果を。

2ch : bbspink = 1 : 1/10〜1/12

bbspink系は、
20:00から上昇カーブに入り、2:00あたりまで上昇曲線。
概ねPCの転送量と傾向は同じだが、
PCよりも1〜2時間ぐらい、ピークがうしろにある。
0886動け動けウゴウゴ2ちゃんねる
垢版 |
04/08/14 06:14ID:fvRHjddQ
blockgoatがdat取得するの2分ごとに一括更新の同期式?〉転送量の上下が激しい
それともdatごとに更新の非同期式?〉転送量はなだらかに
0887FOX ★
垢版 |
04/08/15 00:48ID:???
2ちゃんねるLANにつながっていて
未投入なのは投入しちゃった方がいいような、
0888root ★
垢版 |
04/08/15 17:34ID:???
>>887
今使ってないのはbanana402かな。
blackgoat1号機も使ってないか。

今帰省先なので、>>875- のQも含めて、月曜以降にいろいろと。
0890root ★
垢版 |
04/08/17 15:06ID:???
>>875 にようやくレス。

Cobraを使うと解決すると予想したのは、I/Oの速度の向上への期待です。

旧blackgoatでは、ロードアベレージの上昇はそれほどでもないのに、
アクセス集中時にログインすると、対話的パフォーマンスの低下が起きていました。
(コマンドを入れると詰まる感じ)

systat -v/iostat等で、ad0/ad1がめいっぱい使い切られていると思われる
兆候が見えていました。
(ディスクは、ccdを使って2本のディスクをストライピングで使用)

squidのログを確認すると、かなりの割合でキャッシュからデータが獲得できなかった旨の
エラーが出力されていました。

ネットワークの統計からは、この時点ではまだ帯域は使い切っておらず、またパケットの
取りこぼしや再送も、発生していないように見えました。

squidは400Mぐらいメモリを使っていましたが、メモリが不足している兆候は
まだ見えていませんでした。

このような状況から、

・CPU usageはまだめいっぱいではない
・ネットワークもまだ破綻していなかった
・ディスクI/Oが目いっぱいまで使い切られていた

=>squidのソースを読みきれていないが、ディスクI/Oが目いっぱいの状況の時に、
キャッシュヒット率が悪くなっていることから、ディスクI/Oの速度を上げれば、
キャッシュヒット率が向上し、系全体のパフォーマンスも向上するかもしれない

と、判断しました。
0891root ★
垢版 |
04/08/17 15:11ID:???
>>879
ということで、
> 何がどうなったからCobraでよかった

ですが、私の判断ではディスクI/Oパフォーマンスの向上が
最も大きいと考えています。

ディスク構成:

blackgoat1号機:
・同一バス上に接続された80G UltraATA100 IDE 7200rpmディスク2台
・IDEはオンボード、32bit
・FreeBSDでストライピングを設定

blackgoat2号機:
・別々のバス上に接続された36G Ultra320 SCSI 15000rpmディスク2台
・SCSI cardは64bit PCIで接続、64bit OS
・FreeBSDでストライピングを設定
0892FOX ★
垢版 |
04/08/17 15:13ID:???
どもです どもです

http://server.maido3.com/pie/graph/oyster244.gif
さらに質問ですが
このグラフを見る限り、深夜ピーク時キャッシュヒット率が以前よりは
向上していると見られるのですが、あってますか?

さらにヒット率をあげることは可能なのでしょうか?
また 現 BlackGoat#2(peko244) の使用率はどれくらいと推測しますか?
つまりまだまだキャパシティがあるのかどうか・・・
0893root ★
垢版 |
04/08/17 15:17ID:???
で、>>887-888

banana402: 純粋banana+Intel Ethernet card
memory512M, 10M帯域制限

banana406: 強化banana+Intel Ethernet card (2 I/Fs)
memory1G

投入するとしたら、banana402がcの二重化(現在はcが落ちると全部(りゃ)、
負荷上昇が目立つc-au系の3号機あたりか。

他に何か案は↓
0894FOX ★
垢版 |
04/08/17 15:20ID:???
つまり管理人から御代として出されているディレイ60sec実験なんですが、
受付嬢は直接的には何ら変化が無いと予想できるのですが、
(めぐりめぐっての変化はあるかも)

BlackGoatは単純に出口というか入り口というか
2ちゃんねるの各サーバにつながっている方は二倍の量になり
キャッシュしている dat の書き換えも二倍になると予想されるから、

という話しなんですが、
0895root ★
垢版 |
04/08/17 15:22ID:???
>>892
あってますね。明らかにヒット率は向上しています。
使用率は、きちんと計測しないといけないところですが、
ディスクI/Oはまだなんとかなるかなと。

ただ、2ちゃんねる用ネットワークのほうが、100Mbps接続でもうかなりめいっぱいに近いですね。

http://mumumu.mu/mrtg/mrtg-rrd.cgi/traffic/blackgoat2-privatetraf.html
0896FOX ★
垢版 |
04/08/17 15:24ID:???
>>893

banana406 が他のau機とスペックが同じでしたっけ?
banana402 がちょと違うスペックで、
0897root ★
垢版 |
04/08/17 15:25ID:???
>>894
60secにして今のblackgoat2が耐えられるか、ということですね。

どうだろうか。正直、やってみないとなんともいえないところかも。
いままで、ここまでProxyサーバをいじめて使ったことがないし。

>>895 で指摘した、フロントエンド <=> blackgoat2 の間は、
例えばblackgoat2を1G接続にするとかできれば、まだいける気がするです。
0898root ★
垢版 |
04/08/17 15:28ID:???
>>896
banana403, 404, 405, 406は全く同じH/Wですね。
bananaベース、メモリ1G、Intel Ethernet I/F x 2

banana402は他のbananaサーバと同じ(メモリ512M)に、
Intel Ethernet I/F x 1を追加したものにみえます。
0899FOX ★
垢版 |
04/08/17 15:28ID:???
レスが入り乱れますが、

>>895
2ちゃんねる各サーバ ━む→ BlackGoat ━ら→ 受付嬢  ━さ→ 端末
とした場合の 「む」の部分が 100M 目いっぱいになっているってことですか?

解決策はあるんだろうか・・・
というか その部分の容量 GigaBit じゃ無いんですか?
0900FOX ★
垢版 |
04/08/17 15:31ID:???
>>898
ということは
banana406 = c-au3
banana402 = c の独立 or/and 多重化

に一票。
c-docomo はどこから捻出してくるか。。。

Tiger511,512 を BlackGoat に入れて
Peko機はdocomo用受付に転出か・・・
0901FOX ★
垢版 |
04/08/17 15:32ID:???
>>897
今日の夜やってみますかー?
みんなの準備が整えばですけど、

んでだめだったら即時撤退ということで、
0902root ★
垢版 |
04/08/17 15:35ID:???
>>899
「ら」の部分ですね。
「む」はまだ平気かと。

そこの部分は自動判別で接続してますが、100Mbps full-duplexであると認識されています。
ここは内部ネットで他の部分に影響ないので、スイッチの設定変更でいけるのかな?
0903root ★
垢版 |
04/08/17 15:36ID:???
>>901
設定変更は簡単なので(blackgoat2のsquidの設定を変えるだけ、c-xx側は特に変更なし)、
できると思います。やってみるか。
0905FOX ★
垢版 |
04/08/17 15:40ID:???
>>903
そっすね、やってみよう。
今変えちゃうとか、

現状の設備でどうなるかを観察したい、
0906FOX ★
垢版 |
04/08/17 15:40ID:???
>>904
この実験では 「ら」の部分には影響を与えないのでは?
0907root ★
垢版 |
04/08/17 15:42ID:???
>>905
変えてみますか。

では15:45あたりにやってみます。
0908root ★
垢版 |
04/08/17 15:43ID:???
「ら」は、dat/subject.txtの要求に対する応答部分なので、
今回のには影響しないとおもいますです。>>904
0910FOX ★
垢版 |
04/08/17 15:45ID:???
>>909
そですね、
めぐりめぐっての影響はあると思います

たぶん減る方向へ振れるのかな? (勝手な推測)
0911root ★
垢版 |
04/08/17 15:48ID:???
blackgoat2のsquidを再起動した。
0912root ★
垢版 |
04/08/17 15:50ID:???
前の設定:
refresh_pattern . 2 0% 2 override-lastmod reload-into-ims

今の設定:
refresh_pattern . 1 0% 1 override-lastmod reload-into-ims
0914FOX ★
垢版 |
04/08/17 18:19ID:???
BlackGoat を任務とすると
Peko , Tiger の能力はほぼ等価と考えていいのかな?
0915root ★
垢版 |
04/08/17 18:23ID:???
>>914
たぶん。
・64bit OS(Cobra) vs 32bit OS(Tiger)
・LSI Logic(Cobra) vs Adaptec(Tiger)

あたりが微妙ですが、力が半分になってしまうことは、ないと思います。
0916こうすけ ★
垢版 |
04/08/17 18:47ID:???
BlackGoatはBanana2台体制で充分じゃないかな?
Cobra、Tigerはフロント側に使う方がよくないかな?
0917root ★
垢版 |
04/08/17 18:55ID:???
>>916
blackgoatはI/Oが重要だから、ちょっとそれはおすすめできないような。
逆に、フロントエンドはbananaをいっぱい並べればいいような気がします。
0918ひろゆき@どうやら管理人 ★
垢版 |
04/08/17 19:13ID:???
お?お?
0920 ◆BFzK/mtqM2
垢版 |
04/08/17 19:16ID:+oQ7bCVt
なるほど
SCSIがMUSTってことですかね〜
0922FOX ★
垢版 |
04/08/18 16:31ID:???
機能は docomo3 が落ちちゃったので、

観察の本番は今日と言うことかな?
0923root ★
垢版 |
04/08/18 16:37ID:???
>>922
そですね。
今の時点では、落ちないことを祈るしか(りゃ。

ex7で試している設定変更部分はamd64でも有効みたいなので、
あれが効果を発揮するようなら、順次トライか。
0924▲:/usr/local/bin/ch2 -o i686 ◆P8fXJj6wwo
垢版 |
04/08/18 18:01ID:JOngQnZV
今夜は
・北島@競泳の決勝その2:翌0130過ぎ
・中西@競泳の決勝:翌0210分過ぎ
・泉&上野@柔道が勝ち上がった場合の各試合:2230以降、決勝は2330ごろから

とくに危険なのは北島か。
0925FOX ★
垢版 |
04/08/18 18:36ID:???
Tiger511,512 は、LoveAffaurで使っちゃう?
0926FOX ★
垢版 |
04/08/18 18:36ID:???
Affaur -> Affair
0927root ★
垢版 |
04/08/18 18:53ID:???
>>925
入れるとするとどこですかね。
ぱっと思いつくことを書いておこう。上のほうほど、脳内優先度高め。

blackgoatを2台体制に
全代表のcを二重化
このところややトラぶり気味のc-docomoのフロントエンドをスワップor増設
c-auが恒常的に目いっぱいなので強化
c-othersも2台体制がいいのかも
0928root ★
垢版 |
04/08/18 18:55ID:???
で、できれば今のクラシックメニューの機能を削減することなく、
維持できるぐらいのゆとりは、作っておきたいかなと。

というかそのぐらいゆとりがないと、すぐにパンクしそうな予感も。
Vodafoneや某孫氏あたりが本気になると、さらなる価格とかサービス競争が起こるだろうし。
0929FOX ★
垢版 |
04/08/18 18:58ID:???
「ピーク時でも楽々おさばき」にするという作戦で、
二重化等はその後かと、(何台必要になるのか見当も付かないのですが、、、)

BlackGoat を2(複数)台体制にする場合は、
ちと考えてからの方がいいかな、
出来れば 「む」のトラフィックは増えないほうがいい!
0930root ★
垢版 |
04/08/18 19:00ID:???
まずはひとつの系として十分な資源にしよう、という作戦ですか。>>929
耐障害性や冗長性はその後で別途考慮と。

Tigerが2台来る前提で、少し考えてみるです。
レス数が900を超えています。1000を超えると表示できなくなるよ。

ニューススポーツなんでも実況