分散型携帯用２ｃｈビュア・がっくしメニュー4
■ このスレッドは過去ログ倉庫に格納されています
入り口：http://orz.2ch.io/top.html
日々増え続ける携帯からのアクセス
みんなのサーバで支えよう
■はじめに
Open Resource Zone（こじつけです）。
CGIが使えるサーバを持ってる皆さんに協力してもらって、みんなのサーバで２ｃｈの携帯アクセス負荷を軽減しようという計画です。
CGIを１個、他数個のファイルを自分のサーバに設置するだけで簡単に参加できます。
各種自動設定、オートアップデート機能付きなので、サーバ提供者は何もメンテナンスする必要はありません。
サーバをお持ちの皆さん、あなたのサーバをちょこっと貸してくれませんか？
詳しくはコチラへ↓
http://orz.2ch.io/
前スレ：
http://qb5.2ch.net/test/read.cgi/operate/1169059109/ >>762
乙
NoMakeList
人柱になってみよう
>>762
ああ、orz.cgi/cacheでみれんのか。。
du -smの結果を表示させてほしいかも；；
2007/06/29: 11893
30分でこんなに... NoMakeList=1
短時間しかまだしてないが、かなりいいかもしれん。
LAが1前半がほとんど、たまに1切る。
> 1/200の確立で容量とファイル数を調整。
はserver_maxまで削減というふうに見ていいのかな?
とりあえず、ガンガン容量を消費していってる。
(10分で200MB増えてる)
＞764
お、そのうち
一カ所軽くなりそうなところがあったー
帰ったらなおしますー >>762
＞容量∞M
ワラタ
で、消したくなったらどう消せばいい？ ＞768
実装したんだけどバグがあるからなおしたら公開しますー >>748
どもです、どもです。
>>751
どうあがいても回線足りてないので思い切りLoadfactor下げてみますた。
ボラサーバより携帯ユーザ優先ってどんだけ…って思ってよく思い出したら
２ちゃんねるの原則って「転んでも泣かない」だった（´；ω；`） だって携帯ユーザの為の作戦なんだから仕方がないじゃない
最近目的が変わってきてるよね 新仕様
優先順位↑
書（w） 1時間キャッシュ使います
前（-100） 30分
/100 30分
写（c） 3分（現状維持）
優先順位↓
容量調整（コマンドラインで）
./orz.cgi 1
cronでやるなら
0 * * * * cd ~/www/orz && ./orz.cgi 1 >/dev/null 2>&1 xrea無料鯖
2007/06/25: 345
2007/06/26: 9152
2007/06/27: 11356（30MB＆Loadfactor=デフォルト）
2007/06/28: 3444（30MB＆Loadfactor=10）
2007/06/29: 402
安定を考えるとこんなもんな気がしてきた お気に入りの画面で設定を有効にしたー。
＞692
なおしたー 5分毎にcronでLA見てLoadfactorを調整してんだけど
Loadfactorを頻繁に変えると何か悪影響とかある？ ＞778
Loadfactorって、反映されるまで最高20分かかるですよ。
LAみるならLimitLAを入れたほうがいいかと。
無難な数値なら問題ないです。 NoMakeListに間して。
もしやるなら空き容量1GB以上推奨です（現在のアクセスだと）。
要するに、キャッシュ管理を完全にスキップするので処理が速いのですが、
その代わりに大容量のディスクスペースを要求します。
古いログも削除されませんので、cronなどで容量調整してください。 ＞158＞320
まちBBSの中の人に言ってください(^_^;)
＞168
レス抽出ってなんだっけ？
＞239
land.toは逝ってよし
＞249
わりとたくさん。。。
＞279
今20、無料1
＞294
リンク先がだめだったときに別のサーバに行くようにページのリフレッシュを行う機能
＞327
スコア2、すばらしい洞察
＞345
なおったですー
＞349
そうなんですよねぇ。
＞362
あいあいー
そのうちいれます
＞377
アップデートでこけるのは
1.ファイルのmvに失敗した
2.mvしようとしたけど権限がなかった
3.アップデートが機能しない
あたりが考えられるけど、たまに失敗するのは何でだろう？ ＞415
次のフロントに期待
＞577
どもどもー
＞583
吊ってきます、、、
＞584
もりたぽはおまけだからねぇ、、
＞585
板、スレ検索って、意外に負荷かかるんです。
全角半角どちらでもいいように処理しているので。
＞603
いや、これでいいのだ。
c2chに頼ることなかれ。
＞608
うん、まだー
＞609
いまや都市伝説
＞610
もとから消えるようになってるです。
＞611
ローカルにDNS立てるといいよー。
djbdns dnscache
＞615
元のメニューが変なんじゃない？
＞619
おもいですねぇ、、
そういえば、どこかのWikipedia（英語のサイト）になぜかがっくしが書いてあった。
＞622
それじゃ宣伝にならないじゃない。
＞628
どーにかしてみたけど、どーにかなった？
＞632
いくらくれるの？ ./orz.cgi 1の容量調整てやってみたけど何が起こったかわかんね(ﾟ⊿ﾟ)
古いログ削除されないってことは、頑張って手動で消せってことなのか？ インデントがないのは嫌がらせですか？perltidyにかけるからいいけど ＞635
そのための高機能化
＞636
いやぁ、容量制限かけるつもりで作ったリストがあだになるとは。
＞636
中央サーバにアクセスがあると、維持されたままになります。
アクセス制限じゃなくて、リダイレクトを使ってくださいー。
2時間程度で消えると思うので、半日を目安に。
＞642
フロントは既にとまってます。。。
＞659
ありゃ、もしかしてもう消しちゃいました？
多分、外からデータを貰えていないんじゃないかなぁ。
FWで制限とかしていないですか？
＞665
これはそのうち実装する予定ー
＞671
ほんとだよな(^_^;)
＞678
そんなんでもないはずだけど、
毎回ディスクアクセスが発生するので、、、
＞688
オプション化しようかなぁ、、
＞693
ブックマークしている人のことを考えると、、、
そのためのフロントなのに何やってるんだ(^_^;)
＞701
訂正さんくす。
キーボード上でスペルを覚えているので、携帯だといまいちだなぁ
＞713
乙(^_^;)
＞722
放置鯖は20なんで大丈夫じゃないかなぁ。
＞722
・1日より古い
・1Gを超える古いログ
・約64万を超える古いログ
が削除されます。
なので、今は意味がないかも。
＞785
解析したければご自由に。 どこかで、アクセス解析用の仕組みをいれるかも。
これが入ると履歴機能が同時に出来上がります。
今月はモリタポ関連が優先だから来月かなぁ。 急にスワップが発生するようになったので調べてみたのですが、
getBaseURL()が呼ばれる時、メモリが肥大化しているようです。
bbstable.cgiの169行目辺りにある
=====
while (<FP>) {
$_ =~ tr/\r\n//d;
my ($url, $loadfactor) = split(/\t/, $_);
$loadfactor = int($loadfactor) || 1;
while ($loadfactor--) {
push(@list, $url);
}
=====
この部分は、単純にLoadFactor=1000のものがあると
@listにそのURLが1000個追加されるということでしょうか？
現時点では合計で約32000要素程度のリストが生成されるようです。
同時アクセスが大量にあるこの状況だとメモリ消費が案外バカに
ならないのですね…。
URL選択アルゴリズムの省メモリ版を思いついたら
ぜひ、それを実装して下さい。 ttp://www.din.or.jp/~ohzaki/perl.htm#File_Random >>786
> 「新」のリンク先URLにnをつけて
> 1が表示されないようにして頂戴ませませ
> ＞688
> オプション化しようかなぁ、、
いやいやちょっとまて。スレ一覧での話じゃないからね。スレ内表示での話だよ。
新のときURL末尾に"n"付けるのが普通の動作だと思いますが。
なんのために"n"があるのか意味無くなってしまうがな。 >>788
ボラ鯖は
・n/100の確立で次のボラ鯖へ
・(100-n)/100の確立で中央鯖へ
・nの値は次のボラ鯖のLoadFactor
・替を使うと常の中央鯖へ
中央鯖は
・ボラ鯖のLoadFactor比率でランダム分配
ボラ鯖ごとに次のボラ鯖を固定して環状に繋がるイメージだとこんな感じかな。 >>1が表示されるのをオプションにしてほしい
見たいときは他のテンプレにも目を通すから>>1-100クリックしてるし my $total = 0;
while (<FP>) {
$_ =~ tr/\r\n//d;
my ($url, $loadfactor) = split(/\t/, $_);
$loadfactor = int($loadfactor) || 1
$total += $loadfactor;
$base_url = $url if rand() < $loadfactor / $total;
} 2007/06/23: 2870
2007/06/24: 4394
2007/06/25: 19453
2007/06/26: 16485
2007/06/27: 37105
2007/06/28: 77761
すごいねぇ、speedyCGI導入してよかった（汗
現在Loadfactor=25にしてます。
LAは、鯖自身のデイリー処理時間以外は0点台をキープしていい感じ。 >>781
NoMakeList=1にすると、下記の機能はは効かなくなるから、
手動で.datファイルを消せって解釈でOK?
>・1日より古い
>・1Gを超える古いログ
>・約64万を超える古いログ
>が削除されます。
>なので、今は意味がないかも。
>>775
↓ってどういう意味かわからないです＞＜ 中央鯖のこと？
新仕様
優先順位↑
書（w） 1時間キャッシュ使います
前（-100） 30分
/100 30分
写（c） 3分（現状維持）
優先順位↓ 皆さんのところは大丈夫でしょうか。
今の時点でこんなんですけど。
2007/06/28: 207248
2007/06/29: 128588
うちにはぜんぜん来なくなった。
アクセス偏ってる？ >>799
2007/06/28:74892
LF 1000で待ちかまえてるし、まだまだ余裕なのに
やっぱ偏りあるみたい？ >>802
うちはキャッシュは200MBの設定です。 キャッシュの多いとこかぁ・・・少ないしなぁ。
ていうか、漏れんとこローンの残高ならいっぱいあるorz。 お客多い人、キャッシュの魅力というよりVIPやアニメ、ニュースカテの第二フロント担当を掴まされてるのでは？
たぶんうちは物理物性板担当とどっかであぶれた人のキャッシュを取りに行く係orz. うちのはLF450で非力なのに、アクセスがひっきりなくきてて変だなぁと思っていたが、
>>806 なるほどと思って、キャッシュの中身のぞいてみた。
実況とかニュー速とかオンラインゲーム系とかピンク系の鯖が多めだった・・・
あ、VIPもあるわorz あんまり正確じゃないかもしれないけど、こんな感じ。
# cut -d \" -f2 /var/log/apache2/access.log | grep orz.cgi/- | cut -d - -f2 | cut -d / -f2-3 | sort | uniq -c | sort +0nr | less
10949 news22.2ch.net/newsplus
9892 news21.2ch.net/mnewsplus
8299 wwwww.2ch.net/news4vip
6324 game11.2ch.net/arc
5080 music8.2ch.net/visual
5007 news21.2ch.net/slotk
4568 music8.2ch.net/musicjg
4419 ex20.2ch.net/soccer
3864 music8.2ch.net/visualb
3684 ex21.2ch.net/tvd
3674 ex21.2ch.net/wcomic
3645 life8.2ch.net/shapeup
3602 life8.2ch.net/baby
3450 live25.2ch.net/ogame
3416 human7.2ch.net/uwasa
3391 game11.2ch.net/gamerobo
3125 love6.2ch.net/ex
3015 hobby9.2ch.net/occult
2968 ex20.2ch.net/base
2958 news21.2ch.net/slotj
2938 tv11.2ch.net/jr
2762 human7.2ch.net/4649
2675 life8.2ch.net/female
2605 human7.2ch.net/ms
2564 hobby9.2ch.net/siki
2537 money6.2ch.net/pachik
2373 ex23.2ch.net/net
2368 love6.2ch.net/pure
2271 tv11.2ch.net/geinin
2194 hobby9.2ch.net/keitai
2171 anime2.2ch.net/doujin
2165 news23.2ch.net/news
2162 tv11.2ch.net/jan
2116 love6.2ch.net/lovesaloon
2089 life8.2ch.net/kankon
>>808
＞人気メニューが目白おし。これはきゃっしゅの文明開化だぁ～ >808氏のコマンド借りまして。
上位に来てる板がほとんど一緒と言うのがなんとも。
偏りは無いのかなぁ？
5149 news22.2ch.net/newsplus
4497 news21.2ch.net/mnewsplus
3827 wwwww.2ch.net/news4vip
2769 game11.2ch.net/arc
2213 news21.2ch.net/slotk
2204 music8.2ch.net/musicjg
2136 music8.2ch.net/visual
2047 ex20.2ch.net/soccer
1949 ex21.2ch.net/wcomic
1834 music8.2ch.net/visualb
1731 ex21.2ch.net/tvd
1686 live25.2ch.net/ogame
1662 life8.2ch.net/shapeup
1658 life8.2ch.net/baby
1642 human7.2ch.net/uwasa
1585 game11.2ch.net/gamerobo
1539 ex20.2ch.net/base
1441 news21.2ch.net/slotj
1428 love6.2ch.net/ex
1371 hobby9.2ch.net/occult
1346 life8.2ch.net/female
1330 human7.2ch.net/4649
1312 money6.2ch.net/pachik
1311 human7.2ch.net/ms
1286 tv11.2ch.net/jr
1267 ex23.2ch.net/net
1184 tv11.2ch.net/geinin
1144 hobby9.2ch.net/keitai
1130 hobby9.2ch.net/siki
1101 love6.2ch.net/pure
Good morning everybody!
Have a nice orz day!
＞788
お。直します。
＞789
数学って面白いよね
＞790
l50でアクセスしてもnじゃないけど？
新は新着じゃなくて最新の新です。
＞794
if rand($total) < $loadfactor
でないかい？
＞795
昔ベンチしたときはtrの方が賢かったです。
＞797
手動で消すのはやめてください。
それが嫌なら普通にserver_maxを使ってください。
＞798
キャッシュを再利用（＝2chに新しくとりに行かない）する有効時間ってことです。
取得済みのデータの延命です。 ＞789、＞794を参考に直したー。
どもですどもです。 次やることリスト
・モリタポ（アクセス）集計
・エラー対策（Loadfactor強制減少、登録抹消）
・履歴機能（＋アクセス解析） 利用上、運用上の注意事項も増えたしそろそろまとめっていうか総合ヘルプが欲しいよね
え？言い出しっぺの法則？なにそれ、食べれるの みんな、昼休みさんが来ましたよ。
ていうか、メニューが出なくなってない？ カテゴリーが３つしか出ない・・・。
明きからにおかしいです・・・。 >>815-516
http://orz.2ch.io/p
から行けばいいんじゃね?
エラー鯖多すぎで使えんが。
まちや外部以外の２ちゃん内部が取れてないか
消失してる。
弱って鰯化した鯔鯖さんがいるもよう。 下手に半殺し状態で残ったりすると消えないわ使えないわのデススパイラルになる羊羮 ＞・エラー対策（Loadfactor強制減少、登録抹消）
抜き打ち検査で登録抹消しますか？ ＞822
調べてないです。
中央鯖にアクセスがなけりゃ削除って感じで。 お、治った。カテ一覧データ更新が詰まってたんかな。 >>821
抹消された場合の通知と復旧したときの再登録方法さえあれば
それでいいのでは？
鯖官がどれだけエラーが出てるのかわかりやすく見れるようになるといいですね・・・。 >>812
新アルゴリズムかなり調子良いッス！
スワップちゃんが居なくなりました。ありがたや
試しに新getBaseURL()を1万回ぶんまわして
確率シミュレーションしたところ、ほぼLFに応じた
選択回数順でソートできるみたいなので、
選択アルゴリズム的にも問題なさそうですね。
今のところ、LF=1000に設定されている16鯖が
約50％の確率で選択されているというしむれーしょん結果でした。 >>823
1時間に1回チェックして反応なければ休止扱いでbaseリストから削除
次のチェックで反応あれば復活でbaseリストに再登録とか。 監視所は？それと監視内容。
携帯から自分のORZの客になる方法がわからんので使用FEELの検証ができん。
>>823
orz.cgi に１分間隔ぐらいででhttpping打って
連続でエラーが返ってきたらbase.txtからはずすとか？ そろそろ昼休みさんのお帰りですね。
うちには150くらいしか来なかった。 うち、こんなんです。
2007/06/29: 191567
なんかお客さんを一手に引き受けてるのかな。 またー
>>839
上には上がいるから大丈夫。
2007/06/29: 406210 ↑
>>837 だった･･･orz
上には上がいるから大丈夫。
2007/06/29: 406210 分散のイメージとしては最初のコップがLF1000の16鯖で、
そっから溢れたら順次弱小鰯に回る、と。
これでOK? >>842
確立だから、アクセスが少なかろうと弱小鯖にアクセスはあると思う
>>841
それはすごいですね。
うちのも処理が滞っている兆候はないんで、キャッシュ容量の違いによる
呼ばれる頻度の違いなんだろうか。
>>811
＞ l50でアクセスしてもnじゃないけど？
何のことですか？
＞ 新は新着じゃなくて最新の新です。
他のメニューじゃ最新にするときは、URL末尾/nになってレス番1は表示しないようになってますよ。 2007/06/25: 22900
2007/06/26: 19410
2007/06/27: 62311
2007/06/28: 177797
2007/06/29: 130160
LF-1000だけどこんなもんだよ(´・ω・`) なんか拡張子の無いファイルが大量に出来てるんだけど、これ消しちゃっていいのかな？
こんな感じ。
http://orz2.emkeeper.com/files.gif 2007/06/29: 485032
複数のドメインでアクセスできるのが原因。orz設置の数は１つです。
>>847
中身はbase.txtっぽいですね。ファイル名はPIDかな、なんだろ。 週末ｷﾀﾜｧ*･゜ﾟ･*:.｡..｡.:*･゜(n‘∀‘)ηﾟ･*:.｡. .｡.:*･゜ﾟ･* !!!!!
モリタポ発表ﾏﾀﾞｧ-?（･∀･ ）っ/凵ﾁﾝﾁﾝ ﾘﾝｸ先に飛べないの、どうにかならんですかいな(^^; クッションページwho.sakura.ne.jpが503。 Loadfactorを1にすると数百のアクセスで抑えられるみたいですね
ちゃんと効いてます >>847
うちにもそれできてる。base.txtっぽいけどサイズが違う（これが9188バイトでbaseは8816） *.cgi;
update2.cgi
update3.cgi
これらも消したらダメなのか？ SpeedyCGIデフォルト設定ではメモリ食いすぎワロタｗｗｗｗｗｗ
今まで1.5とかだったLAが20まで一気に上がったｗ
メモリ512MBじゃ厳しいらしい。
設定煮詰めるのが面倒なのでやめました。
以下チラ裏
Apache2.2系だとモジュールでコンパイルエラー出るので、
http://sourceforge.net/tracker/index.php?func=detail&aid=1111235&group_id=2208&atid=302208
このパッチを当ててください。
cd /hoge/CGI-SpeedyCGI-2.22/mod_speedycgi2
ここにパッチファイルを置く。
patch -p1 < patch-mod_speedycgi2.c
perl Makefile.PL
make
make test
make install
でapacheのモジュールも入るはず。
もちろん先にそのひとつ上のディレクトリでspeedyのインストールを忘れずに。 ◆garnetGnNkﾀﾝに無断で公開してもいいのか分かりませんが、Loadfactor/LimitLA/LimitProc/NoMakeListに
対応したadmin.cgi改訂版を勝手に作ってみた。
っていうか、admin.cgiの中のフォームの部分と書き込みの部分を追加しただけだけど。
◆garnetGnNkﾀﾝの正式版公開まで使いたい人は使ってください。
"http://ud.gs/40687";にてDLパス"orz"でダウンロードできます。
＃心配な人はソース見比べてみてね。 あ、◆garnetGnNkﾀﾝが勝手に公開するな！と言って貰えばすぐに消しますのでお知らせを。 >>847 で、結局ナニ? そのファイル？
エロい人 教えて 捨てていいの？ ■ このスレッドは過去ログ倉庫に格納されています
