分散型携帯用2chビュア・がっくしメニュー4
■ このスレッドは過去ログ倉庫に格納されています
入り口:http://orz.2ch.io/top.html
日々増え続ける携帯からのアクセス
みんなのサーバで支えよう
■はじめに
Open Resource Zone(こじつけです)。
CGIが使えるサーバを持ってる皆さんに協力してもらって、みんなのサーバで2chの携帯アクセス負荷を軽減しようという計画です。
CGIを1個、他数個のファイルを自分のサーバに設置するだけで簡単に参加できます。
各種自動設定、オートアップデート機能付きなので、サーバ提供者は何もメンテナンスする必要はありません。
サーバをお持ちの皆さん、あなたのサーバをちょこっと貸してくれませんか?
詳しくはコチラへ↓
http://orz.2ch.io/
前スレ:
http://qb5.2ch.net/test/read.cgi/operate/1169059109/ 容量200M Loadfactor=1000で5分、700アクセス程度
受信: 225.1 kB/秒 送信: 25.6 kB/秒
まだまだいけるよー 10G Lf=1000@speedycgi@デフォルト設定
speedyBackEnd プロセス400wwwwwwwwwww
重いw
設定しなおします。 ばあちゃんデータセンターの人トリップつけてほしいなぁ これって100%常時起動じゃないと駄目?
それなりに落ちることもある鯖ならあるんだけど。 Lf=500 cache=64M 安定稼動に入ったので、あとは様子見かなぁ。
P3-733 512MB B-Flet's(Basic) CentOS5.0じゃ、この辺りで限界ぽい。
2007/06/27: 23413
2007/06/28: 18309 2007/06/28: 65937
すでに昨日の合計突破www
というか某海外有料鯖に設置してたやつorz.cgi止められたぞw
負荷高すぎるからなんとかせーや(゚Д゚)ゴルァ!メールきてた。 今のキャッシュの仕様だとメモリに載る程度の容量に設定しないときついのかも…? >>697
一回のリクエストでプログラムが起動して、終了するcgiだと
メモリにキャッシュためるのって無理じゃないか?
やっぱりここはDB対(ry >>697
試しにメモリディスクでも作って
そこにキャッシュ置いたら結構いけるかもね。 DB大嫌い\(^_^)/
もっと単純な仕掛けでやるですよ
それはさておき、.htaccessに以下を入れてくれるとありがたいです。
ErrorDocment 404 http://orz.2ch.io/
環境変数 PATH_INFO ってわたせましたっけ? ErrorDocument 404 http://orz.2ch.io/
って書かないとエラー出るですよ。 >>700
乙です。
書いたー書いたー書いてみたー
しかし高性能鯖は凄い、1台で40万超捌いてるのとかあるな うわぁぁぁぁぁ
お昼の負荷に耐えられなかった。
いきなしLA11とかに跳ね上がって、しぼんぬorz
昼休み恐るべし。 cache最大10G、Loadfactor=1000ってフロントから10%の確立で呼ばれるってことなんかな。
2007/06/27: 183153 <- Loadfactor 100
2007/06/28: 432451 <- Loadfactor 1000 ( ゜д゜) ???
すでに原因が判明してるかもしれんが、
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
19601 orz2ch 16 0 35580 12m 1836 S 8 0.6 0:00.29 orz.cgi
19595 orz2ch 15 0 35784 12m 1836 S 8 0.6 0:00.28 orz.cgi
19558 orz2ch 16 0 36016 13m 1836 D 7 0.7 0:00.26 orz.cgi
19614 orz2ch 16 0 34572 11m 1836 R 6 0.6 0:00.20 orz.cgi
19609 orz2ch 16 0 33700 10m 1836 R 6 0.5 0:00.19 orz.cgi
19625 orz2ch 15 0 31708 9164 1836 S 2 0.4 0:00.06 orz.cgi
19632 orz2ch 15 0 25420 8980 1684 S 2 0.4 0:00.06 orz.cgi
19612 orz2ch 18 0 23500 6888 1648 R 2 0.3 0:00.05 orz.cgi
19630 orz2ch 18 0 22468 5952 1652 R 2 0.3 0:00.05 orz.cgi
19571 orz2ch 15 0 25420 8988 1684 S 1 0.4 0:00.06 orz.cgi
という具合に、メモリをやたら消費してるヤツ(RES)がすげー重い。
かなりネックになってるような。
2007/06/28: 222254
…アクセス凄いよ(´・ω・`)
昼間でで同じ鯖置いてるorz合計で20万超えるとは… なんとか無事に昼休みタイムを乗り切ったようだ。
連日騒いだせいで、今日はデータセンターの方から
漏れに電話が来た。
「なんかいつもよりふぅ〜んゆうとったけん、
扇風機向けといたんよ。
それでよかったんじゃろか?」
ありがとう、ばぁちゃん。 >>659です。アクセスは来てるんだけど、
未だに板一覧とかが見られないみたい。
cacheディレクトリの下もほとんど空なのよ
なんか間違えてる? アパチのログ取らないようにしたら昨日の倍来ても平気平気
こうなってくるともうI/Oまわりしかないな
>>707
毎度毎度和ませて!
いい加減怒るよ!
その良い関係が末永く続きますように ソースざっくり読んだ
この作りじゃだめだろうなって感じ
かといってヒマでもないのでPG加担する気は無いが
協力はする、Loadfactor=10 cache20Mくらいだな
PenD2.8 2GRAMでうちの鯖で他を動かしてるにしても
5万10万Get程度のperlでスコスコ落ちるってどういうことだよ。
リソース無駄すぎ。
若者はプログラムもゆとりか?w がっくしメニューは、ばさまのおかげで動いているのか。 >>713
5分の1のスペックで半日で5万捌いても落ちるどころかLA1もいかないわけだが(^_^;)
>>713の能力はLoadfactor=10 cache20M程度。 >>711
アクセス権間違えてて、一覧の自動更新とか書き込めて無いんじゃね?
今日から参加した者です。
9:20頃からアクセスを受け付け始めて現時点で
2007/06/28: 47471 です。
そこそこ頑張ってますかね。
今日の朝6時頃にLoadfactorを100から1000に変更。
鯖1 2007/06/28: 78609
鯖2 2007/06/28: 78801
鯖3 2007/06/28: 75726
今日は10万超えるな。
LoadAverageは平均で0.7〜1.5ぐらい。
まだ耐えられる。どんどんこい! さくらと薬屋がまだきつそうね…
放置組対策でもっとデフォ下げてもいいような >>716
cacheどれくらい?
野良perl?mod_speedy?
うちは10G+野良perl
SpeedyCGIは事情があって入れれない 690 動け動けウゴウゴ2ちゃんねる New! 2007/06/28(木) 08:58:09 ID:MfG7VtT40
10G Lf=1000@speedycgi@デフォルト設定
speedyBackEnd プロセス400wwwwwwwwwww
重いw
設定しなおします。
SpeedyCGIで動かしてんじゃないの? >>723
cacheは200
LFは650
mod_speedyの設定は
最終的に
maxrun/32
backend/96
timeout/3600
apacheのログは取ってない
他にもサービス動いてるけど支障なし
p2も快適 って言ってたらアパチのスロットなくなたw
LFかなりいいけど決め打ちのせいで上位や近い設定値のが死んだりするとあっという間に… LAに応じてLFを調整するスクリプトでも作らないといかんな
アクセスのピークギャップの差が激しすぎる >>727
でもそれってスクリプト化して意味あるのか?
config.txtのLFを変更してからbase.txtのLFに反映されるまでタイムラグあるよ? 負荷の平均化ってことだろうけど、
自宅鯖板で中央鯖の構成とコードを晒せ、と言ってる
人がいるよ。
世の中には47氏みたいな人がいるし
うまくすればアレだけどへたすりゃ
関係者逆ギレでプロジェクトもパーってなこともあるしなぁ・・・。 2007/06/21: 2706
2007/06/22: 4412
2007/06/23: 3708
2007/06/24: 6047
2007/06/25: 20993
2007/06/26: 16795
2007/06/27: 9316
2007/06/28: 18717
10秒でリロードしてみたら50アクセスも増えていました。本当に(ry
Loadfactor下げるか・・・ LAってどのくらいまでがアクセス者に遅いって感じさせない? >>732
そりゃ、1以下。
個人的に携帯なら10以下ならOKかも。
Loadfactorが1〜1000なのは分かったけど標準値はいくらなの? ミラーだめなら どこが一番いいん?
優しい人教えて・・・・orz
ミラーはもうだめなんだよね? >>735
なるほど
てかbase.txt見たら分かったよ
とりあえずxreaちゃんはがんばってるから80にした >>733
ありがとう
1前後になるようLoadfactor調整します。 >>730
下り8Mbps 上り2Mbpsのケーブルでっす。
>>726で16時ぐらいから落ちたのだけど、MRTG見たら、ちょうど下りの帯域を
食い潰したあたりからサーバダウンしてて、転送待ち行列が原因だと判明した。
LA自体は余裕だったので、サーバ自体には問題ないみたい。今回は流石に
サーバ全てを巻き込んでたけど。。
ちょうどグラフを見ると下りが飽和して天井ついた直後(16時頃)に死んでる。
http://mix.longinus.jp/mix/src/mix0117.png
近いうちに下りは高速化するのだけど、回線もちゃんと考えないといけないって
ことで勉強になったー。いやーチューニングには最適d(ry
てことで、今のところ強いサーバにRedirectさせていただいているので、
base.txtから消え次第、Loadfactorを下げて再参加しますです。 うちの鯖には必要ないだろうと思ってたんだけど、レスを参考にspeedycgi(mod_speedycgi)を
3台全てのサーバに導入してみた。
LA0.7〜1.5だったのがLA0.5〜0.8ぐらいになった。なかなかに効果有り。
今はLFは1000のままでキャッシュを300MBから500MBに引き上げて様子見モード。
今のところはLAが1.0を超えるコトはなさそう。
mod_speedycgi設定は>>725さんのを参考にしました。 P4 1.8A
RAM 1G
FLETS光
FC6 apache2
で夕べの1時から参戦
Loadfactor 1000
cache 200Mで
2007/06/28: 115915
LA 1〜5くらい
まだまだいけそうっぽい
リダイレクトに関して。
Redirect /orz/orz.cgi http://orz.2ch.io/p
てなかんじでお願いしますー。
フロントどうしよう。。
もはや参戦できる状態じゃないが、
7月もこんな状態だと各方面いろいろと厳しいなぁ。
>>745
お、了解ですー。毎度乙です。
permanentなしでもパラメタって引き継がれるんだろか。
何はともあれ、1時間経ってmod_speedyCGIが全部寿命来たので、再開しました。
timeoutをあまり大きくし過ぎると、いったんApache落として復帰したい時に
speedy_backendがメモリをなかなか手放してくれないので、60ぐらいの方がいいかも。
実際、今のがっくしのトータルトラフィックを見る限り、どのサーバでも1分間何もアクセスが
ないってことはありえないのでw >746
2系しか知らないけど、
http://httpd.apache.org/docs/2.2/ja/mod/mod_alias.html#redirect
permanent
永久にリダイレクトをするステータス (301) を返します。 これはリソースが永久に移動したということを意味します。
このシステムで永久はありえない(baseで飛んでくるから)ので、
特にいらないです。(Default=temp)
無料薬屋
2007/06/25: 139
2007/06/26: 6751
2007/06/27: 9373
2007/06/28: 3339
10000を目標に設定したけど、LFの仕様変更を受けて半分以下に
なったみたい。
再度調整してみます。
&なかなか自分の鯖に出くわさないのだけど、どうやれば出くわすかな?
レスポンスの様子とかみてみたい。 >>749
適当にアクセスして、
http://****************/orz.cgi/-/etc6.2ch.net/event/
の******の部分を自分のヤツに書き換えたらいいんじゃないかな。
1回目は2chへとりにいくから遅いこと多い。
2回目はキャッシュしてるから速い。
設定値はとっても重くても大丈夫な値(=余裕のある値)で設定してくださいー。
鯖が止まることよりも、携帯ユーザさんが見れなくなるってことを考えてください。 >>751
俺の鯖だとキャッシュが200-300MB超えるとやたら重い(超過した容量を削除するルーチンかな)
ので、少ない目にしろ、というのも補足したほうがいいんじゃね?
>752
それは今後直るのでいらないですー
今夜はオプションを追加するー。 スレ違い申し訳ないけどFOXのおいちゃん今チラっとでいいからニュー速のスレ一覧みてちょ 今日から参戦した者です。マシンは
Athlon X2 3800+ Memory 8GB Bフレッツ100Mの回線です。
午前9時20分頃からアクセスを受け付け始めて、アクセスはこんな感じでした。
2007/06/28: 207248 今日はよくアクセスが来た。
現状ではこの設定がベストなきがする。
Loadfactor=1000 cache=150M
2007/06/25: 75970
2007/06/26: 53417
2007/06/27: 183153
2007/06/28: 849970
2007/06/29: 3030
AthlonX2 4200+ amd64kernel 2GB Apache2+preforkのチューニングのみ。
LAは1-3の間。1切ることは無い。
suexecの素perlだからspeedyよりはセキュリティ的に安全かな?
speedyの設定がよくわからんかったら、使わんほうが良いと思う。
いい感じに鯖ベンチマーク企画になってるなw
高性能マシンならモリタポも近い将来稼げるわけか > いい感じに鯖ベンチマーク企画になってるなw
たしかに俺はこの辺を楽しんでる(笑
もりたぽは電気代にもならないと予想してるし。。
Version 0.15.7
1/200の確立で容量とファイル数を調整。
オプション「NoMakeList」を追加。
#キャッシュをリスト管理しない
NoMakeList=1
NoMakeListを設定すると、自動的にserver_maxは無効になります。 >>762
乙
NoMakeList
人柱になってみよう
>>762
ああ、orz.cgi/cacheでみれんのか。。
du -smの結果を表示させてほしいかも;;
2007/06/29: 11893
30分でこんなに... NoMakeList=1
短時間しかまだしてないが、かなりいいかもしれん。
LAが1前半がほとんど、たまに1切る。
> 1/200の確立で容量とファイル数を調整。
はserver_maxまで削減というふうに見ていいのかな?
とりあえず、ガンガン容量を消費していってる。
(10分で200MB増えてる)
>764
お、そのうち
一カ所軽くなりそうなところがあったー
帰ったらなおしますー >>762
>容量∞M
ワラタ
で、消したくなったらどう消せばいい? >768
実装したんだけどバグがあるからなおしたら公開しますー >>748
どもです、どもです。
>>751
どうあがいても回線足りてないので思い切りLoadfactor下げてみますた。
ボラサーバより携帯ユーザ優先ってどんだけ…って思ってよく思い出したら
2ちゃんねるの原則って「転んでも泣かない」だった(´;ω;`) だって携帯ユーザの為の作戦なんだから仕方がないじゃない
最近目的が変わってきてるよね 新仕様
優先順位↑
書(w) 1時間キャッシュ使います
前(-100) 30分
/100 30分
写(c) 3分(現状維持)
優先順位↓
容量調整(コマンドラインで)
./orz.cgi 1
cronでやるなら
0 * * * * cd ~/www/orz && ./orz.cgi 1 >/dev/null 2>&1 xrea無料鯖
2007/06/25: 345
2007/06/26: 9152
2007/06/27: 11356(30MB&Loadfactor=デフォルト)
2007/06/28: 3444(30MB&Loadfactor=10)
2007/06/29: 402
安定を考えるとこんなもんな気がしてきた お気に入りの画面で設定を有効にしたー。
>692
なおしたー 5分毎にcronでLA見てLoadfactorを調整してんだけど
Loadfactorを頻繁に変えると何か悪影響とかある? >778
Loadfactorって、反映されるまで最高20分かかるですよ。
LAみるならLimitLAを入れたほうがいいかと。
無難な数値なら問題ないです。 NoMakeListに間して。
もしやるなら空き容量1GB以上推奨です(現在のアクセスだと)。
要するに、キャッシュ管理を完全にスキップするので処理が速いのですが、
その代わりに大容量のディスクスペースを要求します。
古いログも削除されませんので、cronなどで容量調整してください。 >158>320
まちBBSの中の人に言ってください(^_^;)
>168
レス抽出ってなんだっけ?
>239
land.toは逝ってよし
>249
わりとたくさん。。。
>279
今20、無料1
>294
リンク先がだめだったときに別のサーバに行くようにページのリフレッシュを行う機能
>327
スコア2、すばらしい洞察
>345
なおったですー
>349
そうなんですよねぇ。
>362
あいあいー
そのうちいれます
>377
アップデートでこけるのは
1.ファイルのmvに失敗した
2.mvしようとしたけど権限がなかった
3.アップデートが機能しない
あたりが考えられるけど、たまに失敗するのは何でだろう? >415
次のフロントに期待
>577
どもどもー
>583
吊ってきます、、、
>584
もりたぽはおまけだからねぇ、、
>585
板、スレ検索って、意外に負荷かかるんです。
全角半角どちらでもいいように処理しているので。
>603
いや、これでいいのだ。
c2chに頼ることなかれ。
>608
うん、まだー
>609
いまや都市伝説
>610
もとから消えるようになってるです。
>611
ローカルにDNS立てるといいよー。
djbdns dnscache
>615
元のメニューが変なんじゃない?
>619
おもいですねぇ、、
そういえば、どこかのWikipedia(英語のサイト)になぜかがっくしが書いてあった。
>622
それじゃ宣伝にならないじゃない。
>628
どーにかしてみたけど、どーにかなった?
>632
いくらくれるの? ./orz.cgi 1の容量調整てやってみたけど何が起こったかわかんね(゚听)
古いログ削除されないってことは、頑張って手動で消せってことなのか? インデントがないのは嫌がらせですか?perltidyにかけるからいいけど >635
そのための高機能化
>636
いやぁ、容量制限かけるつもりで作ったリストがあだになるとは。
>636
中央サーバにアクセスがあると、維持されたままになります。
アクセス制限じゃなくて、リダイレクトを使ってくださいー。
2時間程度で消えると思うので、半日を目安に。
>642
フロントは既にとまってます。。。
>659
ありゃ、もしかしてもう消しちゃいました?
多分、外からデータを貰えていないんじゃないかなぁ。
FWで制限とかしていないですか?
>665
これはそのうち実装する予定ー
>671
ほんとだよな(^_^;)
>678
そんなんでもないはずだけど、
毎回ディスクアクセスが発生するので、、、
>688
オプション化しようかなぁ、、
>693
ブックマークしている人のことを考えると、、、
そのためのフロントなのに何やってるんだ(^_^;)
>701
訂正さんくす。
キーボード上でスペルを覚えているので、携帯だといまいちだなぁ
>713
乙(^_^;)
>722
放置鯖は20なんで大丈夫じゃないかなぁ。
>722
・1日より古い
・1Gを超える古いログ
・約64万を超える古いログ
が削除されます。
なので、今は意味がないかも。
>785
解析したければご自由に。 どこかで、アクセス解析用の仕組みをいれるかも。
これが入ると履歴機能が同時に出来上がります。
今月はモリタポ関連が優先だから来月かなぁ。 急にスワップが発生するようになったので調べてみたのですが、
getBaseURL()が呼ばれる時、メモリが肥大化しているようです。
bbstable.cgiの169行目辺りにある
=====
while (<FP>) {
$_ =~ tr/\r\n//d;
my ($url, $loadfactor) = split(/\t/, $_);
$loadfactor = int($loadfactor) || 1;
while ($loadfactor--) {
push(@list, $url);
}
=====
この部分は、単純にLoadFactor=1000のものがあると
@listにそのURLが1000個追加されるということでしょうか?
現時点では合計で約32000要素程度のリストが生成されるようです。
同時アクセスが大量にあるこの状況だとメモリ消費が案外バカに
ならないのですね…。
URL選択アルゴリズムの省メモリ版を思いついたら
ぜひ、それを実装して下さい。 ttp://www.din.or.jp/~ohzaki/perl.htm#File_Random ■ このスレッドは過去ログ倉庫に格納されています