【Love Affair】携帯からのアクセスに対する考察・次の一手 Part2
■ このスレッドは過去ログ倉庫に格納されています
日増しに増加する携帯からのアクセス。 かつて、羨ブラが生まれたように何かが生まれないと ならない気がする。 たぶん解決策は、時間を売って空間を買うだと思うけど いろいろ考察して、次の一手を決めようかと、 Love Affair 作戦。 Part2 大黒埠頭 前スレ 【Love Affair】携帯からのアクセスに対する考察・次の一手 Part1 http://qb5.2ch.net/test/read.cgi/operate/1075887465/ 【.htaccess】読みこみできない【規制作戦】 http://qb5.2ch.net/test/read.cgi/operate/1082968554/868 でポイントした、 http://pc5.2ch.net/test/read.cgi/linux/997328024/182-189 にあった、 > reload-into-imsはno-cacheとreloadの命令をIf-Modified-Sinceの > リクエストに変えてしまうもの。つまり無いのに、あるかのように装って差分だけ > 送れと言うわけなのれす。 を読んで、reload-into-ims も追加設定してみた。< blackgoat http://qb5.2ch.net/test/read.cgi/operate/1082968554/866-868 refresh_patternのminの値は最終更新日時があると参照されない >FRESH if lm-factor < percent, else STALE ここでSTALE(古い)と判断されたときoverride-lastmodが有効だと >FRESH if age < min >else STALE これがテストされる(minの値が参照される) ということか。 つまり、今まで120delayはまったく効いてなかったということだな。 DATをかっさらう悪用で.htaccessで携帯メニューをダウンさせる不届きものが…。 (パクリトロスの2ちゃんねるアーカイブとか言う香具師) 対策しないと、c.2chに円滑に移行出来た所で本末転倒では…。 ただいま帰宅しました。 とりあえず、i.i2ch.netの方は再開しました。 さてこのあとどうしましょうか? > ひろゆきさん、FOX★さん、root★さん (1) 現状のまま219.113.242.218から直接差分を取る。 (2) GlackGoatを通して差分を取る。 (3) GlackGoatを通して差分せずに取る。 (4) 私家版GlackGoatを作るって、そっちで(2)か(3) 他の私家板(domo2.netなど)にも、開放できるように(4)というのもありなんじゃないかと思ったりして、、、 >>776 たぶん ×GlackGoat ○BlackGoat BlackGoatが落ちたりしたら、私家版全てが使えなくなるってのモナー。 今回のはミラーでディレイ0秒になってたからでそ。 ディレイ60秒くらいにしてやれば、問題ないのでわ? 実況でディレイで新着が見られない ↓ 新着と同じレスしてしまう ↓ 重婚発生 ↓ 鯖資源の無駄 そもそもディレイなしでも携帯で実況すれば 重婚しまくると思われ ディレイ調節は、不便だけで、あまり絶対的な効果はないような??? >>785 間にBlackGoatのような 大規模キャッシュがあり、 同一スレについて複数 リクエストがあっても、 最低60秒は更新しない とかなら有効だと思います。 有効ではなく絶対的な効果があるのか?と聞いているのですが…。 単純な個人ユーザーにとって、2分間のディレイは大変な不便を感じています。 >>783 と同様の事になる。 あと、実況以外でも”からけよめ”と煽られる。 絶対的な効果ありまくりです(^_^;)2chの掲示板サーバの負荷が二桁くらい下がる システムが落ち着いたら、c系のディレイ60あたりにしません? 120は結構不便なような気がするのですが、、、 >>787 不満でしたらマシン代を寄付してやって下ちい >>root ★さん、 質問なのですが、 現在c.2ch.netにアクセスすると、各キャリアごとに振り分けられたサーバにリダイレクトされます。 DoCoMoなら、c-docomo。(http://c-docomo.2ch.net/z/-/1C/i ) auなら、c-au。(http://c-au.2ch.net/z/-/1C/i ) その他は、c-others。(http://c-others.2ch.net/z/-/1C/i ) 1) このドメイン部分をc.2ch.netで見せることは可能なのでしょうか? つまり、実際はc-docomo2やc-docomo3に振り分けられていても、 アドレス上はc-docomoであるのと同じように見せることは可能でしょうか? 2) 例えば他キャリアがそのアドレスにアクセスしたときに、 そのキャリア用のサーバにリダイレクトすることは可能でしょうか? つまり、auで(http://c-docomo.2ch.net/z/-/1C/i )にアクセスした場合、 (http://c-au.2ch.net/z/-/1C/i )にリダイレクトすることは可能でしょうか? 3) もし上記どちらかが可能な場合、それを行う上で何か不都合なことは発生しますでしょうか? 昨日の20時ころからHIT率が下がっているけど、何か設定変えましたか? 5分遅延すれば実況とかチャットとかは機能停止させられるような c-docomo2の負荷が突出してる(^_^;)なんだろう? >>796 c-docomo3 の 16:03 JST(00:03 PST+8PDT) の cron で、何かがすっころんでる悪寒ですね。 c-docomo3 の中には入れないのであくまでも悪寒ですけれども。 >>797 と思ったら直った。。。 何かがすっころんだのではなく、処理が重たかっただけなのかな? http://server.maido3.com/pie/graph/oyster246.gif を見る限りでは正常稼働していたようですので。 海外出張中につきレスポンス悪いです。 >>792 1)技術的にはもちろんできますが、そうすると全部1箇所で処理するようになりますからね。 ちょっと負荷的に。あと、cに何かあったときに全部落ちることにもなるので。 携帯だとブックマークに入れて処理する人が多いようなので、 最初の振り分けのところは、あえて名前を変えて飛ばすようにしていたりします。 2)これは簡単です。 3)2)は不都合ないしそれによる副作用も特にないので、入れてみてもOKです。 でも、意味あるのかな。 わざとアクセスしないと、auでc-docomoにアクセスすることはないような。 >>794 夜の時間とか昼休みの時間は、どうも多くの板の多くのスレにアクセスがいくようで、 ヒット率が下がる傾向にあります。 時間あたりのアクセス数が多くならないのは、ひょっとすると携帯キャリア側で 何か口を絞っているのかも。 >>796-799 例のdaily処理問題かも。ううむ。 >>800 > でも、意味あるのかな。 > わざとアクセスしないと、auでc-docomoにアクセスすることはないような。 そうでもないです。URLを貼る場合に、仕組みを知ってる人ならc.2ch.netに置き換えて貼るでしょうけど、 知らない人はそのまま貼るでしょうから。 >rootさん 海外出張お疲れ様です。 こまめに水分補給してくださいね。 なるほど、確かにアクセスが増加する昼時と夜は下がりますね。 >>800 ありがとうございます。 そうしましたら、2)を入れて下さると幸いです。 これは>>801 さんも仰っている通り、 誘導レスがあっても、キャリアが違うと人大杉になってしまう、 という問題の解決のためです。 これにより、以前指摘された、 削除依頼時や誘導時の不便さもある程度解決されるかと思います。 read.cgiや各2chブラウザなど各ツール側で、 レス整形時にc.2ch.netに書き換えて頂ければ問題無いのですが、 それですと大掛かりになってしまいますので、 Love Affair側での対応で何とかできればと思います。 よろしくお願いいたします。 >>root ★さん、 もう一点お願いしたいことがあります。 ●に対応する為に、CURLを入れて頂きたいです。 http://search.net-newbie.com/php/ref.curl.html http://curl.haxx.se/ 現在は、◆BFzK/mtqM2さんのご好意の元、 ◆BFzK/mtqM2さんのサーバで認証を行っておりますが、 そちらも c.2ch.net で行えるようになればと思います。 お手数をおかけ致しますが、よろしくお願いいたします。 >805訂正。 × 本日、2:40頃に >>497 の機能削減版スクリプトを導入いたしました。 ○ 本日、2:00頃に >>497 の機能削減版スクリプトを導入いたしました。 >>807 さん、 そうなんですー。 パケ代削減、という枷を外したので。 今後の段階としましては、 1) 表示スレ数、レス数等を設定できるようにする ○読込数の抑制 ×転送量の増加 2) 最新10スレッドを、/板/html/xxxxxxxxxx.htmlから取得する ○ソケット接続時間の短縮 ×キャッシュヒット率の減少 をやっていこうかと。 それぞれ長所短所がありますので、まずは数値をはじき出すところから。 一度に表示するレス数だけでも設定できるようにできないでしょうか? それよりもレス全文表示の設定出来るようにして〜 省略表示だと見るのがめんどくさ〜 以下のサーバを 2ch LAN (c.2ch.net用)に接続しました。 oyster244 oyster245 banana402 oyster244とbanana402は何に使うのかな? ハードウェア不良で掲示板運用を離脱したbanana402、こちらで戦線復帰ですか。 で、blackgoatはあくまでソフトウェア的解決を目指すということなので、 単純な予想 cobra2244 = c-docomo4 banana402 = c-au3 or c-others2 banana402をBlackGoat2にして、負荷分散で cobra2244はBBM関連かな? BBMってoyster245でやってたような。(m.2ch.net) 244はドコモの3台目(4台目?)になると予想。 auをpeko鯖にして、 BlackGhostの負荷耐性がどのくらいか チェックするんじゃなかったけ? c.2ch.net系列のメンテナンスをさせて頂く事になりました。 docomo3のLAが 20040807 16:00 から、 前比2倍くらいの数値を出しておりますが、 この時間、何か設定等変更されましたでしょうか? じさぼけぼけ。 >>818 おお。(今後とも)よろしくお願いします。 その時間は特に触ってないですね。 >>819 お帰りなさい&よろしくお願いします〜 了解です。 先程、16時前後に最新レスに限って、 xxxxxxxxxx.htmlをリクエストするように仕様を変更しました。 BGのキャッシュヒット率の動向に注目したいですー。 >>820 やっぱり変えたですか。html/の下を持ってきているのかな。 「どうしたんだろう」というぐらい、効果ある模様。 http://mumumu.mu/mrtg/mrtg-rrd.cgi/traffic/ というわけで、クラシックメニューが元のバージョンに戻ったのを契機に、 バックエンドサーバとしてのpekoサーバの能力を実証実験中。 携帯→2ch運用情報スレッド11 http://qb5.2ch.net/test/read.cgi/operate/1091869644/220-240 残りの作業は、 ・違ったキャリアのURLへのアクセスから、正しいキャリアのものに誘導するしかけ(難しくない) ・クラシックさんからメールで頼まれた作業をぼちぼち かな。 で、一両日様子を見た後で、フロントエンドにもsquid入れて、 Apacheがブロックしないように策を練ってみるか。 http://mumumu.mu/mrtg/mrtg-rrd.cgi/loveaffair/ ということで1日動かしました。 まだ継続的な観察が必要そうですが、 blackgoatの倍のヒット率を処理できている模様。 またblackgoat2では、今まで観測されていた アクセスピーク時におけるキャッシュヒット率の急激な低下=>トラフィックの漏れ出しが かなり少なくなったようです。 つまり、 ピーク時間に漏れ出るトラフィックが少なくなる => ピーク時間の他のサーバへのdatリクエスがト減少 => 負荷軽減 という効果があったと。 >>827 × blackgoatの倍のヒット率を処理できている模様。 ○ blackgoatの倍の時間あたりヒット数を処理できている模様。 おやすみなさい。 まちとぴんくを一旦c.2chに復活させて、実際に転送量がどれくらいあるかをみませんか? とりあえず黒山羊さん1号に飛ばしてみるとか、 もう一台のbananaを黒山羊さん3号にして、別々にプロキシ設定してみるとか、、、 ところでFOXさん、まちも分離の方向でよいのですか? >>829 桃色系をblackgoat1号で処理して統計とるというのは、 仮にPINKちゃんねる側で今のc相当のものを準備する場合、 どの程度の設備が必要かの判断に使えそうですね。 PINKちゃんねるは現在拡大路線なので、これによって必要な設備規模がわかり、 かつ設備に対する効果が有用であるという判断がなされれば、 はれて投入の道も開けるかと。 ということで一時的に期間限定で復活させて、データとってみますか。 blackgoat1号のほうは、昼ぐらいまでにいったんキャッシュクリアして前準備しておきます。 >>830 そうですね。 Banana1台ですむのは明らかだろうけど、 実際にどのくらいの規模なのかいまいちつかめないので、、、 ソースの方はいじっておきますので、準備が出来たら連絡ください。 設定したです。 c-au2(c-docomo1)が重い。。。 どうしたんだろう? ping traceroute それぞれは通りますが、http 、ssh は不出。 ftp 劇重たいですね。。。@banana404 おつでした。 たしかにようすがへんだ。みてきます。> c-au2 数分でログインはできる模様。 >>835 あ、ちょっと待っていただけると。 9:21PM up 21 days, 12:43, 2 users, load averages: 333.31, 283.91, 192.05 >>840 おつです。 新しく入れたPHPをキャッシュするところで何か起こったのかな? それとも、変更したもののバグ? >>837 I'm freeze it.(^-^;) なんだかわかりませんが、httpdが超高負荷状態に。 エラーログにはこんなものが。 httpd in free(): error: recursive call httpd in free(): error: recursive call syslogとかには、ハード異常とかそれっぽいのは見当たらないなぁ その他のログにも、変な形跡はない模様。 更新したところで起きたようなので、アクセラレータとのからみの問題か、、、。 しばらく観察ということで。 やっぱり、スクリプトを入れなおしたときに、何か起こったのかな。。。。 >>830 広告関係でオーナーから物凄いクレームが毎回来るので 出来ればやめて欲しいです(or 物凄く短期間にして欲しい) 頼みます、頼みます、 何度激しく起られたことか、、、 >>847 了解です。 1日限定ならOKかな? もっと短く? まずは、2ちゃん管轄の広告を消しましょうか? あと、可能であれば、ぴんくちゃんねる管轄の広告をだすとか、、 実験でやるなら、やらないで欲しい、 向こうも広告の方は統計とっているので直ぐに変化がわかるから、 完全に分離してくださいー つまり c.2ch.net からは bbspink.com はどんなことがあってもアクセスしない。 たぶん そのうち deny等 する事になると思います。 よろしくお願いします。 >>847 そういう事情ですか。 では、24時間限定でいきましょう。 明日の14:00でばっさり止めるということでいかが。 で、>>849 は、c.bbspink.com (仮)とかを作る方向で考えればいいかなと。 ( 参考 >>830 ) 了解です。 じゃあ、中止しましょう。 ぴんくちゃんねるで、本当にc.bbspink.comが必要になったら、その時にやりましょう。 (1)今すぐやめる (2)1日限定 (3)c.bbspink.com(仮)を作る どうしましょうか? 質問です c.2ch.net を一週間ぶっつづけでダウンタイムなしで動かすには どうしたらいいのだろう? さらに一ヶ月だったら? >>850 >>852 了解です。 そこまで理由が明確であれば、「分離する方向で」ではなく「今後完全分離」かと。 c.bbspink.com についてはbbspinkの板などと同様、bbspinkのオーナー・スポンサー方面の意向で。 >>854 私は「明日の14時までに限定、今後c.2ch.netでの復活なし」でよいと思いますがいかが。 >>855 系全体として、c系のサービスダウンをさせないように、という意味だと理解しました。 金がかかる方法(力技)はたぶんいろいろあるけど(わりと確立している)、 できるだけ知恵で解決できないか、というのが質問の趣旨かしら。 >>857 すべての方法の中から、最善手を考えたいです。 「サーバを六台投入すれば一ヶ月もつ」とかが知りたいです。 なるほど。>>858 それじゃ、これまでわかったことを下敷きに、グランドデザインを考える必要がありそうだ。 大方針a)落ちないように、専用の機器等を使ってガチガチに固める 大方針b)落ちるものと仮定して、一部マシンが落ちても大丈夫な構成でシステムを組む が、まず大きな分かれ目になりそうですね。 # 個人的にはb)乗りです。 で、「見切り」をどこに作るかが次のステップか。 例: フロントエンドとバックエンドを接続しているネットワークはこわれないとみなし、二重化しない、等 勝手にいろいろい仮定して一つの案を出してみると、 仕組み的にはこれまでやってきた方法の延長線上でok (新しい仕組みを作るにはさらに数ヶ月かかりそうだから) で、知恵も絞りつくしてあとは若干の性能向上が見込めるだけ、 ということは、物量作戦なのかな? BlackGoat 二台増設 au banana 四台増設 docomo cobra 四台増設 others banana 二台増設 c.2ch.net banana 一台で独立 これだけあれば九月を乗り切れる とか、 ちと、今日はしばらく忙しいので手短に。 >>862 つまり横並び作戦(当初路線の延長線上でいく)ということですね。 どのパーツがどのくらい必要なのかは、これまでとった統計情報から見積もってみるかんじで。 あと試してみたいソフトウェア的な知恵としては、 フロントエンドにsquidを入れて、httpdが満員にならないようにするぐらいですかね。 それか、キャリア毎に分けるのをやめてしまうとか。。。 BlackGoat banana 二台 (取り込む鯖で分ける) c-x cobra 四台 (同じスペックの方がいいんだよね) c.2ch.net banana 一台 (ロードバランサ) BlackGoatの増設だけで結構いけるんじゃないかと思ったりするんですが。 今のところ、au、docomo、otherに分けている目的って分析だけ? キャリア別フロントエンドは既定事項 理由・目的は誰かさんの深謀遠慮 アクセス数が横ばいなら、BlackGoat増強だけで解決しそうですね。 いまのところ、bbspinkは2chのほぼ1/10程度ですね。 浸透していない、かつ、r.i/p.iが生きているのでこれくらいなのかもしれませんが、、、 キャリアごとに分けるの止めると、フロントの数減らせそうだけどな。 あと、一台が落ちても他のに分散して耐えしのげそうなんですけど。 どうなんだろ? ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 07.5.5 2024/06/08 Walang Kapalit ★ | Donguri System Team 5ちゃんねる