【Love Affair】携帯からのアクセスに対する考察・次の一手 Part2

[1 FOX ★ 04/07/01 13:55 ID:???]

日増しに増加する携帯からのアクセス。
かつて、羨ブラが生まれたように何かが生まれないと
ならない気がする。

たぶん解決策は、時間を売って空間を買うだと思うけど
いろいろ考察して、次の一手を決めようかと、

Love Affair 作戦。
Part2 大黒埠頭

前スレ
【Love Affair】携帯からのアクセスに対する考察・次の一手 Part1
http://qb5.2ch.net/test/read.cgi/operate/1075887465/

[2 げろっぴ ◆/lQMO72QVo 04/07/01 13:56 ID:+0JUwbaT]

ヽ(･∀･)ﾉ ｳﾝｺｰ!!

[3 動け動けウゴウゴ２ちゃんねる 04/07/01 13:58 ID:OnjjXIAm]

２なら２ちゃん閉鎖

[4 動け動けウゴウゴ２ちゃんねる 04/07/01 17:09 ID:06V4Z5UM]

●はＰＣと共通で構わないのでは？
携帯上で購入可にするのは難しいのでしょうかねやはり

[5 動け動けウゴウゴ２ちゃんねる 04/07/01 17:46 ID:mRkDCG58]

5

[6 動け動けウゴウゴ２ちゃんねる 04/07/01 20:18 ID:K0wXbJeg]

6

[7 動け動けウゴウゴ２ちゃんねる 04/07/01 21:30 ID:5TN2eOm+]

7

[8 動け動けウゴウゴ２ちゃんねる 04/07/01 21:36 ID:MtYRvO9B]

8

[9 動け動けウゴウゴ２ちゃんねる 04/07/01 21:38 ID:v7HuX1Zg]

http://qb5.2ch.net/test/read.cgi/sec2chd/1079334987/597
597 ：だいこん ★ ：04/07/01 15:36 ID:???
毎日五個くらい携帯規制リストに追加している気がする。。。
リストが大きくなると、bbs.cgi が遅くなるというか負荷が上がるというか
処理が重くなるというか、、、

[10 root ★ 04/07/01 23:55 ID:???]

>>9
携帯用判定文字列ってどんなかんじなんでしたっけ。
DNSにうまく載せられるのかしら。

[11 動け動けウゴウゴ２ちゃんねる 04/07/02 02:24 ID:EzlyTduU]

私はパソコンがないので携帯から２ちゃんを閲覧しています。
携帯から閲覧できる機能は、とてもありがたいのですが、
そのせいで２ちゃんねるに負担をかけたり、以前のような閉鎖危機に陥ったりするのは嫌です。
サーバーの負担になるのであれば、携帯からの閲覧機能は無くてもいいです。
悲しいけど、２ちゃんねるが無くなるのはもっと悲しい。

[12 動け動けウゴウゴ２ちゃんねる 04/07/02 04:04 ID:+cddejxj]

>>11
俺はPCオンリーのユーザーだが君みたいな人にはなんとかしてあげたい

[13 動け動けウゴウゴ２ちゃんねる 04/07/02 05:27 ID:OXrdkDqp]

寄付とか受け付けてみたらどうでしょ？

[14 動け動けウゴウゴ２ちゃんねる 04/07/02 09:31 ID:Qg/MwY9a]

>>10
http://qb5.2ch.net/test/read.cgi/sec2chd/1079334987/ 辺りを見ると、

au　　　　¥d{14}_[a-z]{2}.ezweb.ne.jp
docomo [A-Z]{5}¥d{6}　又は　¥d{15}

のようですねー。

vodaはよく分からなかったんですが、
http://specters.net/cgipon/labo/c_env.cgi?c=j&e=HTTP_USER_AGENT とか見ると

voda　　 {A-Z]+¥d+

でいいのかな。


auの "_" 以外は大丈夫そうですねー

[15 ◆BFzK/mtqM2 04/07/02 10:08 ID:WZectPEP]

規制するのは端末固有情報だから、bbs.cgi叩きにいくときしか出さないはず。

[16 root ★ 04/07/02 10:33 ID:???]

そうだ。せっかく占有のスイッチでつながってるんだから、
datディレクトリをNFSするというのはどうだろ。

あとで、やってみよう。

[17 未承諾広告※ ◆TWARamEjuA 04/07/02 11:01 ID:yuD5OMA2]

use Digest::md5;
:
:

sub Get_Mobile_ID($) {
my $Mobile_ID = Digest::md5->new;
$Mobile_ID->add(shift);
return $Mobile_ID->base64digest;
}
:
:

DispError('ＥＲＲＯＲ！', '寄生虫')
　if join( '.', unpack 'C4', sprintf qq|%s.bbm.2ch.net|, Get_Mobile_ID($ENV{HTTP_USER_AGENT})) =~ /^127.0.0/ ;

UA をそのまま MD5 にして bbm（仮名） 送りはちょと強引かな？(^-^;)

[18 ◆BFzK/mtqM2 04/07/02 12:11 ID:WZectPEP]

確かにNFSにするのが一番簡単ですね。
それならばクラシック側は変更もいらないですね。

[19 root ★ 04/07/02 12:17 ID:???]

>>16
datの下だけNFSにすると「キャッシュが作成できません」と言われるなぁ。
たぶん、何か呪文が必要なのかも。
これ以上は中の人に聞かないと。

[20 root ★ 04/07/02 12:17 ID:???]

>>18
単に、datの下をNFSに(動かしながら)するんじゃだめなんでしたっけ。
何か設定が必要なんだっけか。

[21 root ★ 04/07/02 12:19 ID:???]

うーむ、NFSじゃなければいきなりmvしてもいけるみたい。
だとすると私の設定の問題か。

[22 root ★ 04/07/02 12:24 ID:???]

>>21 は勘違いでした。どうもいきなりmvするんじゃだめかも。
結局 >>19 か。

[23 ◆BFzK/mtqM2 04/07/02 12:29 ID:WZectPEP]

パーミッションはどうなっていますか？
777ならキャッシュ作れると思うんだけどな〜

[24 FOX ★ 04/07/02 12:31 ID:???]

出来れば「目的」を書いてから「手段」(たとえば >>21)を書いていただけると
とてもありがたいです、

なにをしたいんだろう
そしてそれは何が目的なんだろう
結果どうなったんだろう

[25 FOX ★ 04/07/02 12:49 ID:???]

マーリンルージュ作戦の目的をおさらいしよう。

携帯からのアクセスは速度が非常に遅い等の特徴があり
２ちゃんねるのサーバ全体のお荷物となっている。

受付嬢を置く等でそれが原因となる負荷
速度が遅いのを２ちゃんねるの各サーバへ
直接影響を及ぼさないようにダム(バッファー)になって
動作する、またディレイ値を設けることで全体の負荷もさげようです。

つまり

1) ダム(バッファー)になり通信速度の遅さを吸収し、全サーバを助ける。
2) ディレイ値を設けて、全体のアクセスを減らし、全サーバを助ける。
3) フロントのマシンは DSIK IO をしないで、通信に専念
4) BlackGoat はdatのキャッシング(遅延値=可変)に専念
5) どんなにアクセスが来ても二ヶ月はリブートなしで動くように、

大黒埠頭は
BBM等の各種一元管理＋四台目以降の増設方法(テクニカル、ポリティカル、エコノミカル)です

[26 root ★ 04/07/02 13:00 ID:???]

>>24
今回の目的は、前スレにもありますが、

・PHPによる各種処理
・datキャッシュへのディスクI/O

を、分割するためのものです。

今回のNFS化がうまく動けば、現在のクラシックメニューのプログラムを変更せずに、
ディスクI/Oだけをバックエンド(BlackGoat)に持っていけることになります。

BBM(仮称)はBBQ同様、banana238かoyster243かな。
管理する必要があるデータの大きさで決まると思います。
小さければbanana238、大きければoyster243。

[27 root ★ 04/07/02 13:05 ID:???]

というわけで、目的 (>>25) の 3) と 4) を実現しようというのが、
今回の眼目になりますね。

5)は「重くても重いなりに動く」という、現在の路線(LA=100でも一応動きはする)
という方向で、チューニングをすることになるかと。

[28 FOX ★ 04/07/02 13:08 ID:???]

現在行っていることは、以下の事だと思っています
right ?

1) フロント三台に携帯からのアクセスを有る程度集めた
2) c-docomo 等が重い状況になっている
3) c-docomo のディスクi/oが処理に追いついていない
4) 当初の目論見どおり BlackGoat を導入して Disk i/o は分離

現在ここ

5) c-docomo の負荷が劇的にさがる　←　期待されること(達成すべきこと)

[29 root ★ 04/07/02 13:16 ID:???]

>>28
3)までは概ねcorrect.

現在4)の方法を模索している状態。

[30 ◆BFzK/mtqM2 04/07/02 13:32 ID:WZectPEP]

いまのc-othersのdatはNFS？

[31 動け動けウゴウゴ２ちゃんねる 04/07/02 13:35 ID:dzcCghrk]

28-29
3.1)定期的に各鯖から差分ＤＬ
3.2)書き込み後もＤＬ

と妄想してみたり・・・



ギコナビとかちゅ〜しゃ両方で一部スレ取得してるからどうにかしたいこの頃
*一部スレ
ものすごい勢いで広告・宣伝を報告するスレ 7
http://qb5.2ch.net/test/read.cgi/sec2chd/1087899804/
【複数スレ】マルチポスト・コピペ報告スレッド11
http://qb5.2ch.net/test/read.cgi/sec2chd/1086698500/
【単独スレ】スクリプト・コピペ報告スレッド8【全板共通】
http://qb5.2ch.net/test/read.cgi/sec2chd/1088531654/
規制人を誘導するスレ3［報告スレではありません］
http://qb5.2ch.net/test/read.cgi/sec2chd/1080130473/
携帯及び●による荒らし報告専用スレッド２
http://qb5.2ch.net/test/read.cgi/sec2chd/1079334987/

(^_^;)

[32 root ★ 04/07/02 13:59 ID:???]

昨夜やってみたことの簡単なまとめ:

・BlackGoatでフロントエンドと同じ構成のクラシックメニューを動かした
・三人娘ではpoundというプログラムを動かし、単純にBlackGoatにリクエストを
転送するようにした
・その結果、BlackGoatにディスクI/Oを集めることが出来たが、
同時にPHPでの処理もBlackGoatに移ったため、BlackGoatが劇重になった

その結果わかったこと

・対携帯のネットワーク処理だけを別マシンに移す方式ではだめだった

[33 [―{}@{}@{}-] 動け動けウゴウゴ２ちゃんねる 04/07/02 14:04 ID:J4AKDA2N]

>>32
むむむさん、それって、失敗の巻きって事ですね。

[34 [―{}@{}@{}-] 動け動けウゴウゴ２ちゃんねる 04/07/02 14:10 ID:J4AKDA2N]

うんこ

[35 root ★ 04/07/02 14:24 ID:???]

>>32
うん。ということで >>26 なわけだ。

[36 root ★ 04/07/02 15:14 ID:???]

NFSでうまくいかなかったのは、statd/lockdを上げていなかったからだとわかりました。
(NFS設定するのなんて昔のSun以来だから、すっかり忘れていた)

で、正しく設定しても、どうもFreeBSDではうまく動かないみたい。
BlackGoat側のrpc.lockdがすごい勢いでCPUを食い、クライアント側(httpd)はハングアップ。

いろいろ調べてみると、どうもFreeBSDのNFS経由でのflockは、かなりいいかげんらしいと。

ということで、NFS路線はどうもやめたほうがいいみたい。
やっぱり、三人娘のクラシックをクラシック改にする必要がありそう。

[37 ◆BFzK/mtqM2 04/07/02 15:19 ID:WZectPEP]

じゃあ週末にでもその辺の改造をやってみます。

[38 root ★ 04/07/02 15:30 ID:???]

>>37
了解です。

では、blackgoatではProxyモードでApacheを上げておきます。
使い方等は別途。

[39 ◆BFzK/mtqM2 04/07/02 15:42 ID:WZectPEP]

了解です。
キャッシュのdelayは黒山羊さんが握るんだよね。

[40 root ★ 04/07/02 16:13 ID:???]

>>39
squidのdelay poolsを使えばいいかな。
Apacheのmod_proxyではできるんだっけ。

[41 root ★ 04/07/02 16:18 ID:???]

>>40
あ、時間って指定できないかも。< squid

ありものでできるか別途調べた上で、なければ何か考えないといかんかな。

あらまほしい動作は、datが更新されていた場合でも
120秒は読み込まない、ということですよね。

[42 ◆BFzK/mtqM2 04/07/02 16:45 ID:WZectPEP]

そうですね。
ちゃんとやるには差分とDelayを黒山羊さんに実装しないといけませんね。

[43 マァヴ ◆jxAYUMI09s ＠マァヴ ★ 04/07/02 17:37 ID:???]

質問です(^_^;)
１　今回の失敗の巻は
　・BGにクラシックメニューを設置
　・受付嬢をリバースプロキシに変更
　だったのかな？

２　リバースプロキシはBGからのパケットをバッファして送出してたのかな？
　　つまり、BG側の送出をいかにすばやく完了させて、BGの処理を開放してあげるかが肝だと思うんだけど
　　そういう仕様になってたのかって話です(^_^;)

[44 root ★ 04/07/02 18:12 ID:???]

>>43
1 Yes. (私としては正直「予想通りの失敗」です)

2 なかなかBGから携帯側に送り返すべき結果が来ない状態でした。
つまり、三人娘はすかすかで、BG側が過負荷でパンク。
ということで、BG=>三人娘の送出が詰まっていたわけではなく、
BG側の処理が詰まっている状態と。

[45 マァヴ ◆jxAYUMI09s ＠マァヴ ★ 04/07/02 18:14 ID:???]

>44
えーっと(^_^;)どういう状態だったかってのは結果なので、それはそれでいいんですが
問題は
＞BG側の送出をいかにすばやく完了させて、BGの処理を開放してあげるかが肝だと思うんだけど
＞そういう仕様になってたのかって話です(^_^;)
これなんですよ。もし、そういう仕様になってなかったら、BGが重くなるのは当然だと思えるので(^_^;)

[46 root ★ 04/07/02 18:14 ID:???]

クラシックメニューのPHPでの処理は、それなりにコスト高いです。
これと純粋なディスクI/O処理を分離したいというのが、今模索している方向かなと。

[47 root ★ 04/07/02 18:16 ID:???]

>>45
リバースプロキシはpoundをとりあえずほぼデフォルトで使いました。
この場合どうなるのかな。

[48 マァヴ ◆jxAYUMI09s ＠マァヴ ★ 04/07/02 18:20 ID:???]

>47
そこを検証しないと、結果だけ見て動いても問題は解決に近づかないと思われ(^_^;)
携帯側の低速なネットワークに対してバッファするのがフロントエンド
データをキャッシュすることで、フロントエンドのI/Oの負荷を下げ
かつ２ｃｈ側の負荷を携帯システムから分離するのがバックエンド
という役割分担をしたいわけなんだけど
もし、フロントエンドがパケット単位で受け取り＞送出（つまりストリーミングな処理）をしていたら
今までフロントエンドが単独で処理してたより、状況が悪くなりですよ。
１　フロント、バックに分けたことによるオーバーヘッド
２　フロント３台の処理を、バック１台にまとめたことによる負荷
３　ボトルネックとなったバックエンドからの低速なアクセスによる２ｃｈ全体の負荷

[49 [―{}@{}@{}-] 動け動けウゴウゴ２ちゃんねる 04/07/02 18:23 ID:ttEvit4h]

プロキシってのはそういうモンじゃないっしょ

[50 マァヴ ◆jxAYUMI09s ＠マァヴ ★ 04/07/02 18:23 ID:???]

少なくともフロントエンドは、携帯に送出する速度に関わらず
バックエンドから一気にデータを受け取ってしまわないと
携帯への送出速度に同期してバックエンドからデータを受け取ってしまうと
バックエンドが破綻するのはあたりまえといえばあたりまえの結果かと思います(^_^;)

[51 マァヴ ◆jxAYUMI09s ＠マァヴ ★ 04/07/02 18:24 ID:???]

>49
あ(^_^;)おいらの認識が間違ってるってのは普通のことです
なので「質問」なのですよ。

[52 ◆BFzK/mtqM2 04/07/02 18:24 ID:WZectPEP]

これから負荷が重くなる時間なので、バックエンドにクラシックメニューにして、
プロキシのチューニングをまずやってみるのが先決かな？

[53 マァヴ ◆jxAYUMI09s ＠マァヴ ★ 04/07/02 18:41 ID:???]

理想を言えば
バックエンドはデータのキャッシュ、差分取得、必要分の送出の３つだけを黙々とこなして
フロントエンドは、データ送出バッファとread.cgi（およびその付加機能）を担当できればいいんだけどね・・・・(^_^;)
バックエンドにユーザーインターフェースとかが入ってくるのは
負荷集中を生み出すだけだと思われ。

[54 動け動けウゴウゴ２ちゃんねる 04/07/02 18:44 ID:+nStDpLJ]

>>50
だあね。そのやり方だと結局今までと変わらないし。
フロント⇔バック間の処理は携帯の速度と非同期で
動かないと成功しないでしょう。

携帯　　→　　フロント　　　　　バック
　　リクエスト　　　　 (PORT閉)

携帯　　−　　フロント　　→　　バック
　　 TIME_WAIT　　　　リクエスト

携帯　　−　　フロント　　←　　バック
　　 TIME_WAIT　　　　　DAT転送

携帯　　−　　フロント　　　　　バック
　　 TIMEWAIT PHP処理　(PORT閉)

携帯　　←　　フロント　　　　　バック
　　 cHTML転送　　　　 (PORT閉)

携帯　　　　　フロント　　　　　バック
　　 (PORT閉) 　　　　 (PORT閉)

[55 root ★ 04/07/02 18:47 ID:???]

>>53
そうですね。というか当初からそれしかないと思われ。

[56 マァヴ ◆jxAYUMI09s ＠マァヴ ★ 04/07/02 18:55 ID:???]

>55
ですよね(^_^;)
で、リバースプロキシはそういう動作をするものなんでしょうか？
↑実はどういうものか全然わかってなかったりする(^_^;)

[57 ▲ 某ソレ511 04/07/02 18:57 ID:z+vFyi8U]

リバースプロキシ の検索結果のうち 日本語のページ 約 1,900 件中 1 - 50 件目 (0.43 秒)

http://e-words.jp/w/E383AAE38390E383BCE382B9E38397E383ADE382ADE382B7.html

[58 root ★ 04/07/02 18:57 ID:???]

>>54
昨日やったのはこれですね。★のところが重いわけです。

ちなみに現在の各フロントエンドので発生しているディスク書き込み量は、
ピーク時のgame6の倍以上、負荷がやや高い時のlive8ぐらいあります。
http://mumumu.mu/mrtg/mrtg-rrd.cgi/io/

携帯　　→　　フロント　　　　　バック
　　リクエスト　　　　 (PORT閉)

携帯　　−　　フロント　　→　　バック
　　 TIME_WAIT　　　　リクエスト

携帯　　−　　フロント　　←　　バック
　　 TIME_WAIT　　　　　★必要に応じdatを取得・datを保存・PHP処理・結果転送

携帯　　−　　フロント　　　　　バック
　　 TIMEWAIT そのまま転送　(PORT閉)

携帯　　←　　フロント　　　　　バック
　　 cHTML転送　　　　 (PORT閉)

携帯　　　　　フロント　　　　　バック
　　 (PORT閉) 　　　　 (PORT閉)