分散型携帯用２ｃｈビュア・がっくしメニュー4
■ このスレッドは過去ログ倉庫に格納されています
入り口：http://orz.2ch.io/top.html
日々増え続ける携帯からのアクセス
みんなのサーバで支えよう
■はじめに
Open Resource Zone（こじつけです）。
CGIが使えるサーバを持ってる皆さんに協力してもらって、みんなのサーバで２ｃｈの携帯アクセス負荷を軽減しようという計画です。
CGIを１個、他数個のファイルを自分のサーバに設置するだけで簡単に参加できます。
各種自動設定、オートアップデート機能付きなので、サーバ提供者は何もメンテナンスする必要はありません。
サーバをお持ちの皆さん、あなたのサーバをちょこっと貸してくれませんか？
詳しくはコチラへ↓
http://orz.2ch.io/
前スレ：
http://qb5.2ch.net/test/read.cgi/operate/1169059109/ 2007/06/21: 2706
2007/06/22: 4412
2007/06/23: 3708
2007/06/24: 6047
2007/06/25: 20993
2007/06/26: 16795
2007/06/27: 9316
2007/06/28: 18717
10秒でリロードしてみたら50アクセスも増えていました。本当に（ｒｙ
Loadfactor下げるか・・・ LAってどのくらいまでがアクセス者に遅いって感じさせない？ >>732
そりゃ、1以下。
個人的に携帯なら10以下ならOKかも。
Loadfactorが1～1000なのは分かったけど標準値はいくらなの？ ミラーだめなら どこが一番いいん？
優しい人教えて････ｏｒｚ
ミラーはもうだめなんだよね？ >>735
なるほど
てかbase.txt見たら分かったよ
とりあえずxreaちゃんはがんばってるから80にした >>733
ありがとう
1前後になるようLoadfactor調整します。 >>730
下り8Mbps 上り2Mbpsのケーブルでっす。
>>726で16時ぐらいから落ちたのだけど、MRTG見たら、ちょうど下りの帯域を
食い潰したあたりからサーバダウンしてて、転送待ち行列が原因だと判明した。
LA自体は余裕だったので、サーバ自体には問題ないみたい。今回は流石に
サーバ全てを巻き込んでたけど。。
ちょうどグラフを見ると下りが飽和して天井ついた直後（16時頃）に死んでる。
http://mix.longinus.jp/mix/src/mix0117.png
近いうちに下りは高速化するのだけど、回線もちゃんと考えないといけないって
ことで勉強になったー。いやーチューニングには最適ｄ（ｒｙ
てことで、今のところ強いサーバにRedirectさせていただいているので、
base.txtから消え次第、Loadfactorを下げて再参加しますです。 うちの鯖には必要ないだろうと思ってたんだけど、レスを参考にspeedycgi(mod_speedycgi)を
３台全てのサーバに導入してみた。
LA0.7～1.5だったのがLA0.5～0.8ぐらいになった。なかなかに効果有り。
今はLFは1000のままでキャッシュを300MBから500MBに引き上げて様子見モード。
今のところはLAが1.0を超えるコトはなさそう。
mod_speedycgi設定は>>725さんのを参考にしました。 P4 1.8A
RAM 1G
FLETS光
FC6 apache2
で夕べの１時から参戦
Loadfactor 1000
cache 200Mで
2007/06/28: 115915
LA 1～5くらい
まだまだいけそうっぽい
リダイレクトに関して。
Redirect /orz/orz.cgi http://orz.2ch.io/p
てなかんじでお願いしますー。
フロントどうしよう。。
もはや参戦できる状態じゃないが、
7月もこんな状態だと各方面いろいろと厳しいなぁ。
>>745
お、了解ですー。毎度乙です。
permanentなしでもパラメタって引き継がれるんだろか。
何はともあれ、1時間経ってmod_speedyCGIが全部寿命来たので、再開しました。
timeoutをあまり大きくし過ぎると、いったんApache落として復帰したい時に
speedy_backendがメモリをなかなか手放してくれないので、60ぐらいの方がいいかも。
実際、今のがっくしのトータルトラフィックを見る限り、どのサーバでも1分間何もアクセスが
ないってことはありえないのでｗ ＞746
2系しか知らないけど、
http://httpd.apache.org/docs/2.2/ja/mod/mod_alias.html#redirect
permanent
永久にリダイレクトをするステータス (301) を返します。 これはリソースが永久に移動したということを意味します。
このシステムで永久はありえない（baseで飛んでくるから）ので、
特にいらないです。（Default=temp）
無料薬屋
2007/06/25: 139
2007/06/26: 6751
2007/06/27: 9373
2007/06/28: 3339
10000を目標に設定したけど、LFの仕様変更を受けて半分以下に
なったみたい。
再度調整してみます。
＆なかなか自分の鯖に出くわさないのだけど、どうやれば出くわすかな？
レスポンスの様子とかみてみたい。 >>749
適当にアクセスして、
http://****************/orz.cgi/-/etc6.2ch.net/event/
の******の部分を自分のヤツに書き換えたらいいんじゃないかな。
1回目は2chへとりにいくから遅いこと多い。
2回目はキャッシュしてるから速い。
設定値はとっても重くても大丈夫な値（＝余裕のある値）で設定してくださいー。
鯖が止まることよりも、携帯ユーザさんが見れなくなるってことを考えてください。 >>751
俺の鯖だとキャッシュが200-300MB超えるとやたら重い(超過した容量を削除するルーチンかな)
ので、少ない目にしろ、というのも補足したほうがいいんじゃね?
＞752
それは今後直るのでいらないですー
今夜はオプションを追加するー。 スレ違い申し訳ないけどFOXのおいちゃん今チラっとでいいからニュー速のスレ一覧みてちょ 今日から参戦した者です。マシンは
Athlon X2 3800+ Memory 8GB Bフレッツ100Mの回線です。
午前9時20分頃からアクセスを受け付け始めて、アクセスはこんな感じでした。
2007/06/28: 207248 今日はよくアクセスが来た。
現状ではこの設定がベストなきがする。
Loadfactor=1000 cache=150M
2007/06/25: 75970
2007/06/26: 53417
2007/06/27: 183153
2007/06/28: 849970
2007/06/29: 3030
AthlonX2 4200+ amd64kernel 2GB Apache2+preforkのチューニングのみ。
LAは1-3の間。1切ることは無い。
suexecの素perlだからspeedyよりはセキュリティ的に安全かな?
speedyの設定がよくわからんかったら、使わんほうが良いと思う。
いい感じに鯖ベンチマーク企画になってるなｗ
高性能マシンならモリタポも近い将来稼げるわけか > いい感じに鯖ベンチマーク企画になってるなｗ
たしかに俺はこの辺を楽しんでる(笑
もりたぽは電気代にもならないと予想してるし。。
Version 0.15.7
1/200の確立で容量とファイル数を調整。
オプション「NoMakeList」を追加。
#キャッシュをリスト管理しない
NoMakeList=1
NoMakeListを設定すると、自動的にserver_maxは無効になります。 >>762
乙
NoMakeList
人柱になってみよう
>>762
ああ、orz.cgi/cacheでみれんのか。。
du -smの結果を表示させてほしいかも；；
2007/06/29: 11893
30分でこんなに... NoMakeList=1
短時間しかまだしてないが、かなりいいかもしれん。
LAが1前半がほとんど、たまに1切る。
> 1/200の確立で容量とファイル数を調整。
はserver_maxまで削減というふうに見ていいのかな?
とりあえず、ガンガン容量を消費していってる。
(10分で200MB増えてる)
＞764
お、そのうち
一カ所軽くなりそうなところがあったー
帰ったらなおしますー >>762
＞容量∞M
ワラタ
で、消したくなったらどう消せばいい？ ＞768
実装したんだけどバグがあるからなおしたら公開しますー >>748
どもです、どもです。
>>751
どうあがいても回線足りてないので思い切りLoadfactor下げてみますた。
ボラサーバより携帯ユーザ優先ってどんだけ…って思ってよく思い出したら
２ちゃんねるの原則って「転んでも泣かない」だった（´；ω；`） だって携帯ユーザの為の作戦なんだから仕方がないじゃない
最近目的が変わってきてるよね 新仕様
優先順位↑
書（w） 1時間キャッシュ使います
前（-100） 30分
/100 30分
写（c） 3分（現状維持）
優先順位↓
容量調整（コマンドラインで）
./orz.cgi 1
cronでやるなら
0 * * * * cd ~/www/orz && ./orz.cgi 1 >/dev/null 2>&1 xrea無料鯖
2007/06/25: 345
2007/06/26: 9152
2007/06/27: 11356（30MB＆Loadfactor=デフォルト）
2007/06/28: 3444（30MB＆Loadfactor=10）
2007/06/29: 402
安定を考えるとこんなもんな気がしてきた お気に入りの画面で設定を有効にしたー。
＞692
なおしたー 5分毎にcronでLA見てLoadfactorを調整してんだけど
Loadfactorを頻繁に変えると何か悪影響とかある？ ＞778
Loadfactorって、反映されるまで最高20分かかるですよ。
LAみるならLimitLAを入れたほうがいいかと。
無難な数値なら問題ないです。 NoMakeListに間して。
もしやるなら空き容量1GB以上推奨です（現在のアクセスだと）。
要するに、キャッシュ管理を完全にスキップするので処理が速いのですが、
その代わりに大容量のディスクスペースを要求します。
古いログも削除されませんので、cronなどで容量調整してください。 ＞158＞320
まちBBSの中の人に言ってください(^_^;)
＞168
レス抽出ってなんだっけ？
＞239
land.toは逝ってよし
＞249
わりとたくさん。。。
＞279
今20、無料1
＞294
リンク先がだめだったときに別のサーバに行くようにページのリフレッシュを行う機能
＞327
スコア2、すばらしい洞察
＞345
なおったですー
＞349
そうなんですよねぇ。
＞362
あいあいー
そのうちいれます
＞377
アップデートでこけるのは
1.ファイルのmvに失敗した
2.mvしようとしたけど権限がなかった
3.アップデートが機能しない
あたりが考えられるけど、たまに失敗するのは何でだろう？ ＞415
次のフロントに期待
＞577
どもどもー
＞583
吊ってきます、、、
＞584
もりたぽはおまけだからねぇ、、
＞585
板、スレ検索って、意外に負荷かかるんです。
全角半角どちらでもいいように処理しているので。
＞603
いや、これでいいのだ。
c2chに頼ることなかれ。
＞608
うん、まだー
＞609
いまや都市伝説
＞610
もとから消えるようになってるです。
＞611
ローカルにDNS立てるといいよー。
djbdns dnscache
＞615
元のメニューが変なんじゃない？
＞619
おもいですねぇ、、
そういえば、どこかのWikipedia（英語のサイト）になぜかがっくしが書いてあった。
＞622
それじゃ宣伝にならないじゃない。
＞628
どーにかしてみたけど、どーにかなった？
＞632
いくらくれるの？ ./orz.cgi 1の容量調整てやってみたけど何が起こったかわかんね(ﾟ⊿ﾟ)
古いログ削除されないってことは、頑張って手動で消せってことなのか？ インデントがないのは嫌がらせですか？perltidyにかけるからいいけど ＞635
そのための高機能化
＞636
いやぁ、容量制限かけるつもりで作ったリストがあだになるとは。
＞636
中央サーバにアクセスがあると、維持されたままになります。
アクセス制限じゃなくて、リダイレクトを使ってくださいー。
2時間程度で消えると思うので、半日を目安に。
＞642
フロントは既にとまってます。。。
＞659
ありゃ、もしかしてもう消しちゃいました？
多分、外からデータを貰えていないんじゃないかなぁ。
FWで制限とかしていないですか？
＞665
これはそのうち実装する予定ー
＞671
ほんとだよな(^_^;)
＞678
そんなんでもないはずだけど、
毎回ディスクアクセスが発生するので、、、
＞688
オプション化しようかなぁ、、
＞693
ブックマークしている人のことを考えると、、、
そのためのフロントなのに何やってるんだ(^_^;)
＞701
訂正さんくす。
キーボード上でスペルを覚えているので、携帯だといまいちだなぁ
＞713
乙(^_^;)
＞722
放置鯖は20なんで大丈夫じゃないかなぁ。
＞722
・1日より古い
・1Gを超える古いログ
・約64万を超える古いログ
が削除されます。
なので、今は意味がないかも。
＞785
解析したければご自由に。 どこかで、アクセス解析用の仕組みをいれるかも。
これが入ると履歴機能が同時に出来上がります。
今月はモリタポ関連が優先だから来月かなぁ。 急にスワップが発生するようになったので調べてみたのですが、
getBaseURL()が呼ばれる時、メモリが肥大化しているようです。
bbstable.cgiの169行目辺りにある
=====
while (<FP>) {
$_ =~ tr/\r\n//d;
my ($url, $loadfactor) = split(/\t/, $_);
$loadfactor = int($loadfactor) || 1;
while ($loadfactor--) {
push(@list, $url);
}
=====
この部分は、単純にLoadFactor=1000のものがあると
@listにそのURLが1000個追加されるということでしょうか？
現時点では合計で約32000要素程度のリストが生成されるようです。
同時アクセスが大量にあるこの状況だとメモリ消費が案外バカに
ならないのですね…。
URL選択アルゴリズムの省メモリ版を思いついたら
ぜひ、それを実装して下さい。 ttp://www.din.or.jp/~ohzaki/perl.htm#File_Random >>786
> 「新」のリンク先URLにnをつけて
> 1が表示されないようにして頂戴ませませ
> ＞688
> オプション化しようかなぁ、、
いやいやちょっとまて。スレ一覧での話じゃないからね。スレ内表示での話だよ。
新のときURL末尾に"n"付けるのが普通の動作だと思いますが。
なんのために"n"があるのか意味無くなってしまうがな。 >>788
ボラ鯖は
・n/100の確立で次のボラ鯖へ
・(100-n)/100の確立で中央鯖へ
・nの値は次のボラ鯖のLoadFactor
・替を使うと常の中央鯖へ
中央鯖は
・ボラ鯖のLoadFactor比率でランダム分配
ボラ鯖ごとに次のボラ鯖を固定して環状に繋がるイメージだとこんな感じかな。 >>1が表示されるのをオプションにしてほしい
見たいときは他のテンプレにも目を通すから>>1-100クリックしてるし my $total = 0;
while (<FP>) {
$_ =~ tr/\r\n//d;
my ($url, $loadfactor) = split(/\t/, $_);
$loadfactor = int($loadfactor) || 1
$total += $loadfactor;
$base_url = $url if rand() < $loadfactor / $total;
} 2007/06/23: 2870
2007/06/24: 4394
2007/06/25: 19453
2007/06/26: 16485
2007/06/27: 37105
2007/06/28: 77761
すごいねぇ、speedyCGI導入してよかった（汗
現在Loadfactor=25にしてます。
LAは、鯖自身のデイリー処理時間以外は0点台をキープしていい感じ。 >>781
NoMakeList=1にすると、下記の機能はは効かなくなるから、
手動で.datファイルを消せって解釈でOK?
>・1日より古い
>・1Gを超える古いログ
>・約64万を超える古いログ
>が削除されます。
>なので、今は意味がないかも。
>>775
↓ってどういう意味かわからないです＞＜ 中央鯖のこと？
新仕様
優先順位↑
書（w） 1時間キャッシュ使います
前（-100） 30分
/100 30分
写（c） 3分（現状維持）
優先順位↓ 皆さんのところは大丈夫でしょうか。
今の時点でこんなんですけど。
2007/06/28: 207248
2007/06/29: 128588
うちにはぜんぜん来なくなった。
アクセス偏ってる？ >>799
2007/06/28:74892
LF 1000で待ちかまえてるし、まだまだ余裕なのに
やっぱ偏りあるみたい？ >>802
うちはキャッシュは200MBの設定です。 キャッシュの多いとこかぁ・・・少ないしなぁ。
ていうか、漏れんとこローンの残高ならいっぱいあるorz。 お客多い人、キャッシュの魅力というよりVIPやアニメ、ニュースカテの第二フロント担当を掴まされてるのでは？
たぶんうちは物理物性板担当とどっかであぶれた人のキャッシュを取りに行く係orz. うちのはLF450で非力なのに、アクセスがひっきりなくきてて変だなぁと思っていたが、
>>806 なるほどと思って、キャッシュの中身のぞいてみた。
実況とかニュー速とかオンラインゲーム系とかピンク系の鯖が多めだった・・・
あ、VIPもあるわorz あんまり正確じゃないかもしれないけど、こんな感じ。
# cut -d \" -f2 /var/log/apache2/access.log | grep orz.cgi/- | cut -d - -f2 | cut -d / -f2-3 | sort | uniq -c | sort +0nr | less
10949 news22.2ch.net/newsplus
9892 news21.2ch.net/mnewsplus
8299 wwwww.2ch.net/news4vip
6324 game11.2ch.net/arc
5080 music8.2ch.net/visual
5007 news21.2ch.net/slotk
4568 music8.2ch.net/musicjg
4419 ex20.2ch.net/soccer
3864 music8.2ch.net/visualb
3684 ex21.2ch.net/tvd
3674 ex21.2ch.net/wcomic
3645 life8.2ch.net/shapeup
3602 life8.2ch.net/baby
3450 live25.2ch.net/ogame
3416 human7.2ch.net/uwasa
3391 game11.2ch.net/gamerobo
3125 love6.2ch.net/ex
3015 hobby9.2ch.net/occult
2968 ex20.2ch.net/base
2958 news21.2ch.net/slotj
2938 tv11.2ch.net/jr
2762 human7.2ch.net/4649
2675 life8.2ch.net/female
2605 human7.2ch.net/ms
2564 hobby9.2ch.net/siki
2537 money6.2ch.net/pachik
2373 ex23.2ch.net/net
2368 love6.2ch.net/pure
2271 tv11.2ch.net/geinin
2194 hobby9.2ch.net/keitai
2171 anime2.2ch.net/doujin
2165 news23.2ch.net/news
2162 tv11.2ch.net/jan
2116 love6.2ch.net/lovesaloon
2089 life8.2ch.net/kankon
>>808
＞人気メニューが目白おし。これはきゃっしゅの文明開化だぁ～ >808氏のコマンド借りまして。
上位に来てる板がほとんど一緒と言うのがなんとも。
偏りは無いのかなぁ？
5149 news22.2ch.net/newsplus
4497 news21.2ch.net/mnewsplus
3827 wwwww.2ch.net/news4vip
2769 game11.2ch.net/arc
2213 news21.2ch.net/slotk
2204 music8.2ch.net/musicjg
2136 music8.2ch.net/visual
2047 ex20.2ch.net/soccer
1949 ex21.2ch.net/wcomic
1834 music8.2ch.net/visualb
1731 ex21.2ch.net/tvd
1686 live25.2ch.net/ogame
1662 life8.2ch.net/shapeup
1658 life8.2ch.net/baby
1642 human7.2ch.net/uwasa
1585 game11.2ch.net/gamerobo
1539 ex20.2ch.net/base
1441 news21.2ch.net/slotj
1428 love6.2ch.net/ex
1371 hobby9.2ch.net/occult
1346 life8.2ch.net/female
1330 human7.2ch.net/4649
1312 money6.2ch.net/pachik
1311 human7.2ch.net/ms
1286 tv11.2ch.net/jr
1267 ex23.2ch.net/net
1184 tv11.2ch.net/geinin
1144 hobby9.2ch.net/keitai
1130 hobby9.2ch.net/siki
1101 love6.2ch.net/pure
Good morning everybody!
Have a nice orz day!
＞788
お。直します。
＞789
数学って面白いよね
＞790
l50でアクセスしてもnじゃないけど？
新は新着じゃなくて最新の新です。
＞794
if rand($total) < $loadfactor
でないかい？
＞795
昔ベンチしたときはtrの方が賢かったです。
＞797
手動で消すのはやめてください。
それが嫌なら普通にserver_maxを使ってください。
＞798
キャッシュを再利用（＝2chに新しくとりに行かない）する有効時間ってことです。
取得済みのデータの延命です。 ＞789、＞794を参考に直したー。
どもですどもです。 次やることリスト
・モリタポ（アクセス）集計
・エラー対策（Loadfactor強制減少、登録抹消）
・履歴機能（＋アクセス解析） 利用上、運用上の注意事項も増えたしそろそろまとめっていうか総合ヘルプが欲しいよね
え？言い出しっぺの法則？なにそれ、食べれるの みんな、昼休みさんが来ましたよ。
ていうか、メニューが出なくなってない？ カテゴリーが３つしか出ない・・・。
明きからにおかしいです・・・。 >>815-516
http://orz.2ch.io/p
から行けばいいんじゃね?
エラー鯖多すぎで使えんが。
まちや外部以外の２ちゃん内部が取れてないか
消失してる。
弱って鰯化した鯔鯖さんがいるもよう。 下手に半殺し状態で残ったりすると消えないわ使えないわのデススパイラルになる羊羮 ＞・エラー対策（Loadfactor強制減少、登録抹消）
抜き打ち検査で登録抹消しますか？ ＞822
調べてないです。
中央鯖にアクセスがなけりゃ削除って感じで。 お、治った。カテ一覧データ更新が詰まってたんかな。 >>821
抹消された場合の通知と復旧したときの再登録方法さえあれば
それでいいのでは？
鯖官がどれだけエラーが出てるのかわかりやすく見れるようになるといいですね・・・。 >>812
新アルゴリズムかなり調子良いッス！
スワップちゃんが居なくなりました。ありがたや
試しに新getBaseURL()を1万回ぶんまわして
確率シミュレーションしたところ、ほぼLFに応じた
選択回数順でソートできるみたいなので、
選択アルゴリズム的にも問題なさそうですね。
今のところ、LF=1000に設定されている16鯖が
約50％の確率で選択されているというしむれーしょん結果でした。 >>823
1時間に1回チェックして反応なければ休止扱いでbaseリストから削除
次のチェックで反応あれば復活でbaseリストに再登録とか。 監視所は？それと監視内容。
携帯から自分のORZの客になる方法がわからんので使用FEELの検証ができん。
>>823
orz.cgi に１分間隔ぐらいででhttpping打って
連続でエラーが返ってきたらbase.txtからはずすとか？ ■ このスレッドは過去ログ倉庫に格納されています
