X



トップページ運用情報
990コメント321KB

【Love Affair】携帯からのアクセスに対する考察・次の一手 Part2

■ このスレッドは過去ログ倉庫に格納されています
0001FOX ★
垢版 |
04/07/01 13:55ID:???
日増しに増加する携帯からのアクセス。
かつて、羨ブラが生まれたように何かが生まれないと
ならない気がする。

たぶん解決策は、時間を売って空間を買うだと思うけど
いろいろ考察して、次の一手を決めようかと、

Love Affair 作戦。
Part2 大黒埠頭

前スレ
【Love Affair】携帯からのアクセスに対する考察・次の一手 Part1
http://qb5.2ch.net/test/read.cgi/operate/1075887465/
0738未承諾広告※ ◆TWARamEjuA
垢版 |
04/07/28 15:55ID:KybxMNb+
もしかして、分割して取得するとキャッシングがうまく効くのかな?
例えば。。。
活きのいい DAT があっても、全取得となるとキャッシュが効かないはず。
でも、例えば先頭から 4KB は活きが良くても悪くても、内容はあぼーんが入らない限り変わらないはずなので、
この部分は ETag: を使って照合すれば、うまくキャッシングされているのではないだろうか?と。

ただし、ETag の管理をするために、また複雑な操作が必要になってくるかもかも。。。
(殊に呼び出し側の c-* 族の I/O 処理とかとか)
0739root ★
垢版 |
04/07/28 15:56ID:???
>>736
そのとおりっすねぇ。

いろいろ試行錯誤してるわけですが、スキル不足のためなかなかはかどらず。
なかなかつらいすけど、いい経験させていただいているぐらいに思うのがいいのかも。

アクセス数は負荷を上げない方法でぜひとりたいですね。
例えばどの時間にどの板に要求が多いのかとか、とりたいことはいろいろ。

>>735 >>737
バックエンドを2台(横並び)体制にするなら、何か考える必要があるすね。
いずれはそうなることも視野に入れる必要がありそう。
0740FOX ★
垢版 |
04/07/28 16:18ID:???
そこで、BlackGoat に疑惑が集まっているのですが、
この辺が明らかになればいいなぁ。。。

1) 観測された c.2ch.net に起こった現象 (docomoが重いとか、)
2) 推測される原因 (BlackGoatの反応が遅すぎ)
3) BlackGoat に起っているであろう現象、具体的な症状の推測 (LA の増大とか)
4) 実際にその具体的な症状がせ起っているか、
5) 起っているなら、解決策は?

ここで重要なのは、 3) -> 4) の関係です。
3) で推測して、実際に 4) で現象が起っているかどうかの確認。
確認手段が無い場合は、手段を作る。逆に、こうすれば解決するのでは?
という作業は間違っても行ってはいけない。
0741root ★
垢版 |
04/07/28 16:19ID:???
>>740
> 逆に、こうすれば解決するのでは?
> という作業は間違っても行ってはいけない。

きもにめいじます。
0742root ★
垢版 |
04/07/28 16:21ID:???
>>740
で、いまのところ起こっているのは、ディスクI/O負荷の増大なわけです。
あとは、苦しい時間(昼とか夜23:00ごろとか)に、キャッシュの効きが悪くなる。

いずれにせよ、観察・確認できる手段をなんとかする方向で動いてみます。
とりあえずsnmpあたりでつついてみるか。
0743FOX ★
垢版 |
04/07/28 16:25ID:???
>ディスクI/O負荷の増大なわけです

という推測があった場合、
じゃ具体的に、定量的に BlackGoat でどういう数字がでているかを推測して
かつ実際に計測して、どうなっているか、、

もし推測と実測値が極めて一致したならば
最初の命題「ディスクI/O負荷の増大なわけです」
という推測がかなりピンポンであるといえるかと、
もし他にもこの図式がなりたてば、ほぼ確実といえるかと、
0744未承諾広告※ ◆TWARamEjuA
垢版 |
04/07/28 16:26ID:KybxMNb+
>>740
資料が無いのでどうしても机上の空論だけになってしまいますよね(汗)
って事でもうしばらく静観してます m(_ _)m
0745▲:/usr/local/bin/ch2 -o i686 ◆P8fXJj6wwo
垢版 |
04/07/28 17:19ID:VdCldNq8
>>739
そうですか。

現状では1台でなんとかなっていますし、
今のうちに問題点を洗っておいたほうが良いという
>>736の狐の内臓の人の意見には同意です。

とりあえず

>バックエンドを2台(横並び)体制にするなら、何か考える必要があるすね。
>いずれはそうなることも視野に入れる必要がありそう。

みたいな認識で十分かと。
0746動け動けウゴウゴ2ちゃんねる
垢版 |
04/07/28 19:05ID:PGPY8Pdd
>>732
400Mって。
squid.confはちゃんとmemory_pools offになってますか?
デフォルトはonなのですがメモリ管理はカーネルに任せた方がいいのでoffにしないと。
0747root ★
垢版 |
04/07/28 20:07ID:???
http://mumumu.mu/mrtg/mrtg-rrd.cgi/loveaffair/

>>746
いまこんなかんじすね。
PID USERNAME PRI NICE SIZE RES STATE TIME WCPU CPU COMMAND
32057 squid -8 0 398M 395M biord 59:41 20.41% 20.41% squid

memory_poolsはデフォルト(on)。
onとoff、どっちがいいのかな。

# blackgoatはmemory 1G積んでます。squid以外の仕事はしていない。


0748root ★
垢版 |
04/07/29 01:07ID:???
うすうすわかってはいたけど、深夜の時間(混む時間)は、
リクエスト数はあまり変わらないのに、キャッシュヒット率が下がる。

http://mumumu.mu/mrtg/mrtg-rrd.cgi/loveaffair/blackgoat-hits.html

で、datをひんぱんに外に取りに行くので処理に時間がかかるし、
その分携帯とのコネクションも滞留する。

この原因は何だろう。

夜の時間は「いろんなところのスレが参照される」から、キャッシュにない場合が増える、
ということなのかな。

で、リクエスト数自体がその時間もあまり変わらないのは、
ひょっとすると携帯ネット=>インターネットの間で、何かのリミッターが入っているのかも、かも。
0749root ★
垢版 |
04/07/29 01:27ID:???
突然軽くなったかも。
0750root ★
垢版 |
04/07/29 01:28ID:???
で、またすぐに重くなった。
0751root ★
垢版 |
04/07/29 01:29ID:???
パケット落ちはないから、ネットワークまわりやスイッチ関係じゃなさそうだなぁ。

--- comic6.2ch.net ping statistics ---
201 packets transmitted, 200 packets received, 0% packet loss
round-trip min/avg/max/stddev = 1.948/10.371/116.189/14.277 ms
0752root ★
垢版 |
04/07/29 01:32ID:???
う、激しく誤爆した。
OpenJaneを立ち上げなおそう。すまそ。
0755root ★
垢版 |
04/07/29 11:08ID:???
memory_pools off にしました。
0756root ★
垢版 |
04/07/29 11:55ID:???
こちらにも。

携帯→2ch運用情報スレッド10
http://qb5.2ch.net/test/read.cgi/operate/1089186698/639
639 名前:root ★[sage] 投稿日:04/07/29 11:46 ID:???
キャッシュ効果の観察のため、いったんblackgoatのキャッシュをゼロクリアしました。
その影響で数分間、c系が不安定になったかも。

今は正常に戻ったはず。
0757root ★
垢版 |
04/07/29 12:41ID:???
>>755 にすると、
2004/07/28 20:38:59| assertion failed: comm.c:751: "p != NULL"

というエラーが出て、squidが死ぬ模様。

後で調べることにして、いったん退却(memory_pools onに戻しました)。
0759root ★
垢版 |
04/07/29 13:25ID:???
>>758
今のもの:
2004/07/28 20:41:01| Starting Squid Cache version 2.5.STABLE5 for i386-portbld-freebsd5.2.1...

…つまり、STABLE6にしろと。
0760root ★
垢版 |
04/07/29 13:53ID:???
STABLE6に更新して、再度挑戦中、、、。
0761root ★
垢版 |
04/07/29 13:55ID:???
だめですね。やはり出ます。
2004/07/28 21:54:12| assertion failed: comm.c:751: "p != NULL"

もとに戻しました。
0762未承諾広告※ ◆TWARamEjuA
垢版 |
04/07/29 13:56ID:ct6lg4mV
>>759
http://www.squid-cache.org/bugs/show_bug.cgi?id=761
こちらを判らないながらも眺めてみたのですが、違う種のアサーションエラーみたいですね。
でもって、最新の ports が存在するのかな?(@まだ ports の仕組みが判ってなかったりもしますけれども(苦笑)
・・・と書いているうちに、、、

>>760
おつですおつですm(_ _)m
0764FOX ★
垢版 |
04/07/29 15:59ID:???
この一時間のcomic6の様子ですが、、、

comic6.2ch.net サーバ
.dat 呼び出し回数 = 59632

deny from 206.223.150.190 #(7465) 12.52%

BlackGoat からこんなにたくさん。。。
これで正常なのか、異常なのか、
0765root ★
垢版 |
04/07/29 16:03ID:???
>>764
15:00(JST)台ですか。
アクセスログを確認してみます。
0766root ★
垢版 |
04/07/29 16:22ID:???
まだログを見ていませんが、今日の昼にやった >>756 の作業が影響しているのかもです。>>764
0768 ◆KAGESsh/NQ
垢版 |
04/07/29 17:46ID:LYTXvje9
「やるべき事」と本質がずれてしまいますが(squid の bug 探し、潰し)…

squid 本家に投げてみるというのも、手かもしれない。
bug track 見てる限りでは、comm.c での assertion faild は出てないみたいですね。
チト source 引っ張ってきて覗いてみたら、

1.何か(すんません、真剣に見てません)の handler 削除のために、
 comm_remove_close_handler() call
2.削除対象探索 in comm_remove_close_handler(), comm.c
 が、探索のキモの部分が for(xxxx; p != NULL; xxxx) になってて、探索対象が
 見つからなければ、for() を抜けて、assert(p != NULL); で落っこちる。

つうことで、多分 memory_pools off の時に、無用な comm_remove_close_handler
call が起こってるんでしょうなぁ。
0770root ★
垢版 |
04/07/29 21:47ID:???
>>769
うーむ、具体的にはどのあたりかしら。
0771root ★
垢版 |
04/07/29 23:22ID:???
【.htaccess】読みこみできない【規制作戦】
http://qb5.2ch.net/test/read.cgi/operate/1082968554/868 でポイントした、
http://pc5.2ch.net/test/read.cgi/linux/997328024/182-189 にあった、

>        reload-into-imsはno-cacheとreloadの命令をIf-Modified-Sinceの
>        リクエストに変えてしまうもの。つまり無いのに、あるかのように装って差分だけ
>        送れと言うわけなのれす。

を読んで、reload-into-ims も追加設定してみた。< blackgoat
0773動け動けウゴウゴ2ちゃんねる
垢版 |
04/07/30 05:42ID:IPwBzIoJ
http://qb5.2ch.net/test/read.cgi/operate/1082968554/866-868

refresh_patternのminの値は最終更新日時があると参照されない
>FRESH if lm-factor < percent, else STALE
ここでSTALE(古い)と判断されたときoverride-lastmodが有効だと
>FRESH if age < min
>else STALE
これがテストされる(minの値が参照される)
ということか。

つまり、今まで120delayはまったく効いてなかったということだな。
0775動け動けウゴウゴ2ちゃんねる
垢版 |
04/07/30 14:20ID:VTaak0RI
DATをかっさらう悪用で.htaccessで携帯メニューをダウンさせる不届きものが…。
(パクリトロスの2ちゃんねるアーカイブとか言う香具師)
対策しないと、c.2chに円滑に移行出来た所で本末転倒では…。
0776 ◆BFzK/mtqM2
垢版 |
04/07/31 12:20ID:evYUF/uU
ただいま帰宅しました。
とりあえず、i.i2ch.netの方は再開しました。

さてこのあとどうしましょうか? > ひろゆきさん、FOX★さん、root★さん

(1) 現状のまま219.113.242.218から直接差分を取る。
(2) GlackGoatを通して差分を取る。
(3) GlackGoatを通して差分せずに取る。
(4) 私家版GlackGoatを作るって、そっちで(2)か(3)

他の私家板(domo2.netなど)にも、開放できるように(4)というのもありなんじゃないかと思ったりして、、、
0779動け動けウゴウゴ2ちゃんねる
垢版 |
04/07/31 14:04ID:S91iSbrB
BlackGoatが落ちたりしたら、私家版全てが使えなくなるってのモナー。
今回のはミラーでディレイ0秒になってたからでそ。
ディレイ60秒くらいにしてやれば、問題ないのでわ?
0783782
垢版 |
04/08/01 10:54ID:CAXZIMEU
実況でディレイで新着が見られない

新着と同じレスしてしまう

重婚発生

鯖資源の無駄
0784 ◆BFzK/mtqM2
垢版 |
04/08/01 11:59ID:QAWngGjE
そもそもディレイなしでも携帯で実況すれば
重婚しまくると思われ
0786動け動けウゴウゴ2ちゃんねる
垢版 |
04/08/01 13:27ID:Cn1/hsFL
>>785
間にBlackGoatのような
大規模キャッシュがあり、
同一スレについて複数
リクエストがあっても、
最低60秒は更新しない
とかなら有効だと思います。
0787動け動けウゴウゴ2ちゃんねる
垢版 |
04/08/01 15:10ID:/iIoW5ht
有効ではなく絶対的な効果があるのか?と聞いているのですが…。
単純な個人ユーザーにとって、2分間のディレイは大変な不便を感じています。
0790 ◆BFzK/mtqM2
垢版 |
04/08/01 18:01ID:UdPWT0vm
システムが落ち着いたら、c系のディレイ60あたりにしません?
120は結構不便なような気がするのですが、、、
0792 ◆EA.clAssIc
垢版 |
04/08/01 23:39ID:91ap1Agr
>>root ★さん、
質問なのですが、
現在c.2ch.netにアクセスすると、各キャリアごとに振り分けられたサーバにリダイレクトされます。
DoCoMoなら、c-docomo。(http://c-docomo.2ch.net/z/-/1C/i)
auなら、c-au。(http://c-au.2ch.net/z/-/1C/i)
その他は、c-others。(http://c-others.2ch.net/z/-/1C/i)

1)
このドメイン部分をc.2ch.netで見せることは可能なのでしょうか?
つまり、実際はc-docomo2やc-docomo3に振り分けられていても、
アドレス上はc-docomoであるのと同じように見せることは可能でしょうか?

2)
例えば他キャリアがそのアドレスにアクセスしたときに、
そのキャリア用のサーバにリダイレクトすることは可能でしょうか?
つまり、auで(http://c-docomo.2ch.net/z/-/1C/i)にアクセスした場合、
(http://c-au.2ch.net/z/-/1C/i)にリダイレクトすることは可能でしょうか?

3)
もし上記どちらかが可能な場合、それを行う上で何か不都合なことは発生しますでしょうか?
0794 ◆BFzK/mtqM2
垢版 |
04/08/02 01:28ID:XwiCsMYA
昨日の20時ころからHIT率が下がっているけど、何か設定変えましたか?
0797未承諾広告※ ◆TWARamEjuA
垢版 |
04/08/02 17:00ID:d0GScSoh
>>796
c-docomo3 の 16:03 JST(00:03 PST+8PDT) の cron で、何かがすっころんでる悪寒ですね。
c-docomo3 の中には入れないのであくまでも悪寒ですけれども。
0800root ★
垢版 |
04/08/03 05:08ID:???
海外出張中につきレスポンス悪いです。

>>792
1)技術的にはもちろんできますが、そうすると全部1箇所で処理するようになりますからね。
ちょっと負荷的に。あと、cに何かあったときに全部落ちることにもなるので。
携帯だとブックマークに入れて処理する人が多いようなので、
最初の振り分けのところは、あえて名前を変えて飛ばすようにしていたりします。

2)これは簡単です。

3)2)は不都合ないしそれによる副作用も特にないので、入れてみてもOKです。

でも、意味あるのかな。
わざとアクセスしないと、auでc-docomoにアクセスすることはないような。

>>794
夜の時間とか昼休みの時間は、どうも多くの板の多くのスレにアクセスがいくようで、
ヒット率が下がる傾向にあります。

時間あたりのアクセス数が多くならないのは、ひょっとすると携帯キャリア側で
何か口を絞っているのかも。

>>796-799
例のdaily処理問題かも。ううむ。
0801動け動けウゴウゴ2ちゃんねる
垢版 |
04/08/03 05:13ID:PZd2kf82
>>800
> でも、意味あるのかな。
> わざとアクセスしないと、auでc-docomoにアクセスすることはないような。

そうでもないです。URLを貼る場合に、仕組みを知ってる人ならc.2ch.netに置き換えて貼るでしょうけど、
知らない人はそのまま貼るでしょうから。
0802 ◆BFzK/mtqM2
垢版 |
04/08/03 12:14ID:MltYzUPj
>rootさん

海外出張お疲れ様です。
こまめに水分補給してくださいね。

なるほど、確かにアクセスが増加する昼時と夜は下がりますね。
0803 ◆EA.clAssIc
垢版 |
04/08/03 12:25ID:vLwEdEml
>>800
ありがとうございます。
そうしましたら、2)を入れて下さると幸いです。
これは>>801さんも仰っている通り、
誘導レスがあっても、キャリアが違うと人大杉になってしまう、
という問題の解決のためです。
これにより、以前指摘された、
削除依頼時や誘導時の不便さもある程度解決されるかと思います。

read.cgiや各2chブラウザなど各ツール側で、
レス整形時にc.2ch.netに書き換えて頂ければ問題無いのですが、
それですと大掛かりになってしまいますので、
Love Affair側での対応で何とかできればと思います。
よろしくお願いいたします。
0804 ◆EA.clAssIc
垢版 |
04/08/03 21:48ID:vLwEdEml
>>root ★さん、
もう一点お願いしたいことがあります。
●に対応する為に、CURLを入れて頂きたいです。
http://search.net-newbie.com/php/ref.curl.html
http://curl.haxx.se/
現在は、◆BFzK/mtqM2さんのご好意の元、
◆BFzK/mtqM2さんのサーバで認証を行っておりますが、
そちらも c.2ch.net で行えるようになればと思います。
お手数をおかけ致しますが、よろしくお願いいたします。
0806 ◆EA.clAssIc
垢版 |
04/08/04 02:51ID:5rAZylPf
>805訂正。
× 本日、2:40頃に >>497 の機能削減版スクリプトを導入いたしました。
○ 本日、2:00頃に >>497 の機能削減版スクリプトを導入いたしました。
0808 ◆EA.clAssIc
垢版 |
04/08/04 04:27ID:5rAZylPf
>>807さん、
そうなんですー。
パケ代削減、という枷を外したので。

今後の段階としましては、

1) 表示スレ数、レス数等を設定できるようにする
 ○読込数の抑制
 ×転送量の増加
2) 最新10スレッドを、/板/html/xxxxxxxxxx.htmlから取得する
 ○ソケット接続時間の短縮
 ×キャッシュヒット率の減少

をやっていこうかと。
それぞれ長所短所がありますので、まずは数値をはじき出すところから。
0812FOX ★
垢版 |
04/08/04 15:49ID:???
以下のサーバを 2ch LAN (c.2ch.net用)に接続しました。

oyster244
oyster245
banana402
0813 ◆BFzK/mtqM2
垢版 |
04/08/04 17:36ID:q9D93rWx
oyster244とbanana402は何に使うのかな?
0814 ◆g4HrV7ViKA
垢版 |
04/08/05 21:41ID:pYF49TeV
ハードウェア不良で掲示板運用を離脱したbanana402、こちらで戦線復帰ですか。

で、blackgoatはあくまでソフトウェア的解決を目指すということなので、
単純な予想
cobra2244 = c-docomo4
banana402 = c-au3 or c-others2
0815 ◆BFzK/mtqM2
垢版 |
04/08/05 21:48ID:B3RV+BaP
banana402をBlackGoat2にして、負荷分散で
cobra2244はBBM関連かな?
0818不動楽 ★
垢版 |
04/08/08 16:13ID:???
c.2ch.net系列のメンテナンスをさせて頂く事になりました。
docomo3のLAが 20040807 16:00 から、
前比2倍くらいの数値を出しておりますが、
この時間、何か設定等変更されましたでしょうか?
0819root ★
垢版 |
04/08/08 16:42ID:???
じさぼけぼけ。

>>818
おお。(今後とも)よろしくお願いします。
その時間は特に触ってないですね。
0820不動楽 ★
垢版 |
04/08/08 17:19ID:???
>>819
お帰りなさい&よろしくお願いします〜
了解です。
先程、16時前後に最新レスに限って、
xxxxxxxxxx.htmlをリクエストするように仕様を変更しました。
BGのキャッシュヒット率の動向に注目したいですー。
0824root ★
垢版 |
04/08/11 05:19ID:???
残りの作業は、

・違ったキャリアのURLへのアクセスから、正しいキャリアのものに誘導するしかけ(難しくない)
・クラシックさんからメールで頼まれた作業をぼちぼち

かな。

で、一両日様子を見た後で、フロントエンドにもsquid入れて、
Apacheがブロックしないように策を練ってみるか。
0827root ★
垢版 |
04/08/12 03:41ID:???
http://mumumu.mu/mrtg/mrtg-rrd.cgi/loveaffair/

ということで1日動かしました。

まだ継続的な観察が必要そうですが、
blackgoatの倍のヒット率を処理できている模様。

またblackgoat2では、今まで観測されていた
アクセスピーク時におけるキャッシュヒット率の急激な低下=>トラフィックの漏れ出しが
かなり少なくなったようです。

つまり、
ピーク時間に漏れ出るトラフィックが少なくなる => ピーク時間の他のサーバへのdatリクエスがト減少 => 負荷軽減

という効果があったと。
0828root ★
垢版 |
04/08/12 03:47ID:???
>>827
× blackgoatの倍のヒット率を処理できている模様。
○ blackgoatの倍の時間あたりヒット数を処理できている模様。

おやすみなさい。
0829こうすけ ★
垢版 |
04/08/12 08:19ID:???
まちとぴんくを一旦c.2chに復活させて、実際に転送量がどれくらいあるかをみませんか?
とりあえず黒山羊さん1号に飛ばしてみるとか、
もう一台のbananaを黒山羊さん3号にして、別々にプロキシ設定してみるとか、、、

ところでFOXさん、まちも分離の方向でよいのですか?
0830root ★
垢版 |
04/08/12 11:12ID:???
>>829
桃色系をblackgoat1号で処理して統計とるというのは、
仮にPINKちゃんねる側で今のc相当のものを準備する場合、
どの程度の設備が必要かの判断に使えそうですね。

PINKちゃんねるは現在拡大路線なので、これによって必要な設備規模がわかり、
かつ設備に対する効果が有用であるという判断がなされれば、
はれて投入の道も開けるかと。

ということで一時的に期間限定で復活させて、データとってみますか。
blackgoat1号のほうは、昼ぐらいまでにいったんキャッシュクリアして前準備しておきます。
0831こうすけ ★
垢版 |
04/08/12 11:44ID:???
>>830
そうですね。
Banana1台ですむのは明らかだろうけど、
実際にどのくらいの規模なのかいまいちつかめないので、、、

ソースの方はいじっておきますので、準備が出来たら連絡ください。
0833こうすけ ★
垢版 |
04/08/12 13:11ID:???
設定したです。

c-au2(c-docomo1)が重い。。。
どうしたんだろう?
0834未承諾広告※ ◆TWARamEjuA
垢版 |
04/08/12 13:18ID:13s2gNoe
ping traceroute それぞれは通りますが、http 、ssh は不出。 ftp 劇重たいですね。。。@banana404
0836root ★
垢版 |
04/08/12 13:19ID:???
おつでした。

たしかにようすがへんだ。みてきます。> c-au2
0837root ★
垢版 |
04/08/12 13:20ID:???
数分でログインはできる模様。

>>835
あ、ちょっと待っていただけると。
■ このスレッドは過去ログ倉庫に格納されています

ニューススポーツなんでも実況