分散型携帯用2chビュア・がっくしメニュー4
■ このスレッドは過去ログ倉庫に格納されています
入り口:http://orz.2ch.io/top.html 日々増え続ける携帯からのアクセス みんなのサーバで支えよう ■はじめに Open Resource Zone(こじつけです)。 CGIが使えるサーバを持ってる皆さんに協力してもらって、みんなのサーバで2chの携帯アクセス負荷を軽減しようという計画です。 CGIを1個、他数個のファイルを自分のサーバに設置するだけで簡単に参加できます。 各種自動設定、オートアップデート機能付きなので、サーバ提供者は何もメンテナンスする必要はありません。 サーバをお持ちの皆さん、あなたのサーバをちょこっと貸してくれませんか? 詳しくはコチラへ↓ http://orz.2ch.io/ 前スレ: http://qb5.2ch.net/test/read.cgi/operate/1169059109/ >158>320 まちBBSの中の人に言ってください(^_^;) >168 レス抽出ってなんだっけ? >239 land.toは逝ってよし >249 わりとたくさん。。。 >279 今20、無料1 >294 リンク先がだめだったときに別のサーバに行くようにページのリフレッシュを行う機能 >327 スコア2、すばらしい洞察 >345 なおったですー >349 そうなんですよねぇ。 >362 あいあいー そのうちいれます >377 アップデートでこけるのは 1.ファイルのmvに失敗した 2.mvしようとしたけど権限がなかった 3.アップデートが機能しない あたりが考えられるけど、たまに失敗するのは何でだろう? >415 次のフロントに期待 >577 どもどもー >583 吊ってきます、、、 >584 もりたぽはおまけだからねぇ、、 >585 板、スレ検索って、意外に負荷かかるんです。 全角半角どちらでもいいように処理しているので。 >603 いや、これでいいのだ。 c2chに頼ることなかれ。 >608 うん、まだー >609 いまや都市伝説 >610 もとから消えるようになってるです。 >611 ローカルにDNS立てるといいよー。 djbdns dnscache >615 元のメニューが変なんじゃない? >619 おもいですねぇ、、 そういえば、どこかのWikipedia(英語のサイト)になぜかがっくしが書いてあった。 >622 それじゃ宣伝にならないじゃない。 >628 どーにかしてみたけど、どーにかなった? >632 いくらくれるの? ./orz.cgi 1の容量調整てやってみたけど何が起こったかわかんね(゚听) 古いログ削除されないってことは、頑張って手動で消せってことなのか? インデントがないのは嫌がらせですか?perltidyにかけるからいいけど >635 そのための高機能化 >636 いやぁ、容量制限かけるつもりで作ったリストがあだになるとは。 >636 中央サーバにアクセスがあると、維持されたままになります。 アクセス制限じゃなくて、リダイレクトを使ってくださいー。 2時間程度で消えると思うので、半日を目安に。 >642 フロントは既にとまってます。。。 >659 ありゃ、もしかしてもう消しちゃいました? 多分、外からデータを貰えていないんじゃないかなぁ。 FWで制限とかしていないですか? >665 これはそのうち実装する予定ー >671 ほんとだよな(^_^;) >678 そんなんでもないはずだけど、 毎回ディスクアクセスが発生するので、、、 >688 オプション化しようかなぁ、、 >693 ブックマークしている人のことを考えると、、、 そのためのフロントなのに何やってるんだ(^_^;) >701 訂正さんくす。 キーボード上でスペルを覚えているので、携帯だといまいちだなぁ >713 乙(^_^;) >722 放置鯖は20なんで大丈夫じゃないかなぁ。 >722 ・1日より古い ・1Gを超える古いログ ・約64万を超える古いログ が削除されます。 なので、今は意味がないかも。 >785 解析したければご自由に。 どこかで、アクセス解析用の仕組みをいれるかも。 これが入ると履歴機能が同時に出来上がります。 今月はモリタポ関連が優先だから来月かなぁ。 急にスワップが発生するようになったので調べてみたのですが、 getBaseURL()が呼ばれる時、メモリが肥大化しているようです。 bbstable.cgiの169行目辺りにある ===== while (<FP>) { $_ =~ tr/\r\n//d; my ($url, $loadfactor) = split(/\t/, $_); $loadfactor = int($loadfactor) || 1; while ($loadfactor--) { push(@list, $url); } ===== この部分は、単純にLoadFactor=1000のものがあると @listにそのURLが1000個追加されるということでしょうか? 現時点では合計で約32000要素程度のリストが生成されるようです。 同時アクセスが大量にあるこの状況だとメモリ消費が案外バカに ならないのですね…。 URL選択アルゴリズムの省メモリ版を思いついたら ぜひ、それを実装して下さい。 ttp://www.din.or.jp/~ohzaki/perl.htm#File_Random >>786 > 「新」のリンク先URLにnをつけて > 1が表示されないようにして頂戴ませませ > >688 > オプション化しようかなぁ、、 いやいやちょっとまて。スレ一覧での話じゃないからね。スレ内表示での話だよ。 新のときURL末尾に"n"付けるのが普通の動作だと思いますが。 なんのために"n"があるのか意味無くなってしまうがな。 >>788 ボラ鯖は ・n/100の確立で次のボラ鯖へ ・(100-n)/100の確立で中央鯖へ ・nの値は次のボラ鯖のLoadFactor ・替を使うと常の中央鯖へ 中央鯖は ・ボラ鯖のLoadFactor比率でランダム分配 ボラ鯖ごとに次のボラ鯖を固定して環状に繋がるイメージだとこんな感じかな。 >>1 が表示されるのをオプションにしてほしい 見たいときは他のテンプレにも目を通すから>>1-100 クリックしてるし my $total = 0; while (<FP>) { $_ =~ tr/\r\n//d; my ($url, $loadfactor) = split(/\t/, $_); $loadfactor = int($loadfactor) || 1 $total += $loadfactor; $base_url = $url if rand() < $loadfactor / $total; } 2007/06/23: 2870 2007/06/24: 4394 2007/06/25: 19453 2007/06/26: 16485 2007/06/27: 37105 2007/06/28: 77761 すごいねぇ、speedyCGI導入してよかった(汗 現在Loadfactor=25にしてます。 LAは、鯖自身のデイリー処理時間以外は0点台をキープしていい感じ。 >>781 NoMakeList=1にすると、下記の機能はは効かなくなるから、 手動で.datファイルを消せって解釈でOK? >・1日より古い >・1Gを超える古いログ >・約64万を超える古いログ >が削除されます。 >なので、今は意味がないかも。 >>775 ↓ってどういう意味かわからないです>< 中央鯖のこと? 新仕様 優先順位↑ 書(w) 1時間キャッシュ使います 前(-100) 30分 /100 30分 写(c) 3分(現状維持) 優先順位↓ 皆さんのところは大丈夫でしょうか。 今の時点でこんなんですけど。 2007/06/28: 207248 2007/06/29: 128588 うちにはぜんぜん来なくなった。 アクセス偏ってる? >>799 2007/06/28:74892 LF 1000で待ちかまえてるし、まだまだ余裕なのに やっぱ偏りあるみたい? >>802 うちはキャッシュは200MBの設定です。 キャッシュの多いとこかぁ・・・少ないしなぁ。 ていうか、漏れんとこローンの残高ならいっぱいあるorz。 お客多い人、キャッシュの魅力というよりVIPやアニメ、ニュースカテの第二フロント担当を掴まされてるのでは? たぶんうちは物理物性板担当とどっかであぶれた人のキャッシュを取りに行く係orz. うちのはLF450で非力なのに、アクセスがひっきりなくきてて変だなぁと思っていたが、 >>806 なるほどと思って、キャッシュの中身のぞいてみた。 実況とかニュー速とかオンラインゲーム系とかピンク系の鯖が多めだった・・・ あ、VIPもあるわorz あんまり正確じゃないかもしれないけど、こんな感じ。 # cut -d \" -f2 /var/log/apache2/access.log | grep orz.cgi/- | cut -d - -f2 | cut -d / -f2-3 | sort | uniq -c | sort +0nr | less 10949 news22.2ch.net/newsplus 9892 news21.2ch.net/mnewsplus 8299 wwwww.2ch.net/news4vip 6324 game11.2ch.net/arc 5080 music8.2ch.net/visual 5007 news21.2ch.net/slotk 4568 music8.2ch.net/musicjg 4419 ex20.2ch.net/soccer 3864 music8.2ch.net/visualb 3684 ex21.2ch.net/tvd 3674 ex21.2ch.net/wcomic 3645 life8.2ch.net/shapeup 3602 life8.2ch.net/baby 3450 live25.2ch.net/ogame 3416 human7.2ch.net/uwasa 3391 game11.2ch.net/gamerobo 3125 love6.2ch.net/ex 3015 hobby9.2ch.net/occult 2968 ex20.2ch.net/base 2958 news21.2ch.net/slotj 2938 tv11.2ch.net/jr 2762 human7.2ch.net/4649 2675 life8.2ch.net/female 2605 human7.2ch.net/ms 2564 hobby9.2ch.net/siki 2537 money6.2ch.net/pachik 2373 ex23.2ch.net/net 2368 love6.2ch.net/pure 2271 tv11.2ch.net/geinin 2194 hobby9.2ch.net/keitai 2171 anime2.2ch.net/doujin 2165 news23.2ch.net/news 2162 tv11.2ch.net/jan 2116 love6.2ch.net/lovesaloon 2089 life8.2ch.net/kankon >>808 >人気メニューが目白おし。これはきゃっしゅの文明開化だぁ〜 >808氏のコマンド借りまして。 上位に来てる板がほとんど一緒と言うのがなんとも。 偏りは無いのかなぁ? 5149 news22.2ch.net/newsplus 4497 news21.2ch.net/mnewsplus 3827 wwwww.2ch.net/news4vip 2769 game11.2ch.net/arc 2213 news21.2ch.net/slotk 2204 music8.2ch.net/musicjg 2136 music8.2ch.net/visual 2047 ex20.2ch.net/soccer 1949 ex21.2ch.net/wcomic 1834 music8.2ch.net/visualb 1731 ex21.2ch.net/tvd 1686 live25.2ch.net/ogame 1662 life8.2ch.net/shapeup 1658 life8.2ch.net/baby 1642 human7.2ch.net/uwasa 1585 game11.2ch.net/gamerobo 1539 ex20.2ch.net/base 1441 news21.2ch.net/slotj 1428 love6.2ch.net/ex 1371 hobby9.2ch.net/occult 1346 life8.2ch.net/female 1330 human7.2ch.net/4649 1312 money6.2ch.net/pachik 1311 human7.2ch.net/ms 1286 tv11.2ch.net/jr 1267 ex23.2ch.net/net 1184 tv11.2ch.net/geinin 1144 hobby9.2ch.net/keitai 1130 hobby9.2ch.net/siki 1101 love6.2ch.net/pure Good morning everybody! Have a nice orz day! >788 お。直します。 >789 数学って面白いよね >790 l50でアクセスしてもnじゃないけど? 新は新着じゃなくて最新の新です。 >794 if rand($total) < $loadfactor でないかい? >795 昔ベンチしたときはtrの方が賢かったです。 >797 手動で消すのはやめてください。 それが嫌なら普通にserver_maxを使ってください。 >798 キャッシュを再利用(=2chに新しくとりに行かない)する有効時間ってことです。 取得済みのデータの延命です。 >789、>794を参考に直したー。 どもですどもです。 次やることリスト ・モリタポ(アクセス)集計 ・エラー対策(Loadfactor強制減少、登録抹消) ・履歴機能(+アクセス解析) 利用上、運用上の注意事項も増えたしそろそろまとめっていうか総合ヘルプが欲しいよね え?言い出しっぺの法則?なにそれ、食べれるの みんな、昼休みさんが来ましたよ。 ていうか、メニューが出なくなってない? カテゴリーが3つしか出ない・・・。 明きからにおかしいです・・・。 >>815-516 http://orz.2ch.io/p から行けばいいんじゃね? エラー鯖多すぎで使えんが。 まちや外部以外の2ちゃん内部が取れてないか 消失してる。 弱って鰯化した鯔鯖さんがいるもよう。 下手に半殺し状態で残ったりすると消えないわ使えないわのデススパイラルになる羊羮 >・エラー対策(Loadfactor強制減少、登録抹消) 抜き打ち検査で登録抹消しますか? >822 調べてないです。 中央鯖にアクセスがなけりゃ削除って感じで。 お、治った。カテ一覧データ更新が詰まってたんかな。 >>821 抹消された場合の通知と復旧したときの再登録方法さえあれば それでいいのでは? 鯖官がどれだけエラーが出てるのかわかりやすく見れるようになるといいですね・・・。 >>812 新アルゴリズムかなり調子良いッス! スワップちゃんが居なくなりました。ありがたや 試しに新getBaseURL()を1万回ぶんまわして 確率シミュレーションしたところ、ほぼLFに応じた 選択回数順でソートできるみたいなので、 選択アルゴリズム的にも問題なさそうですね。 今のところ、LF=1000に設定されている16鯖が 約50%の確率で選択されているというしむれーしょん結果でした。 >>823 1時間に1回チェックして反応なければ休止扱いでbaseリストから削除 次のチェックで反応あれば復活でbaseリストに再登録とか。 監視所は?それと監視内容。 携帯から自分のORZの客になる方法がわからんので使用FEELの検証ができん。 >>823 orz.cgi に1分間隔ぐらいででhttpping打って 連続でエラーが返ってきたらbase.txtからはずすとか? そろそろ昼休みさんのお帰りですね。 うちには150くらいしか来なかった。 うち、こんなんです。 2007/06/29: 191567 なんかお客さんを一手に引き受けてるのかな。 またー >>839 上には上がいるから大丈夫。 2007/06/29: 406210 ↑ >>837 だった・・・orz 上には上がいるから大丈夫。 2007/06/29: 406210 分散のイメージとしては最初のコップがLF1000の16鯖で、 そっから溢れたら順次弱小鰯に回る、と。 これでOK? >>842 確立だから、アクセスが少なかろうと弱小鯖にアクセスはあると思う >>841 それはすごいですね。 うちのも処理が滞っている兆候はないんで、キャッシュ容量の違いによる 呼ばれる頻度の違いなんだろうか。 >>811 > l50でアクセスしてもnじゃないけど? 何のことですか? > 新は新着じゃなくて最新の新です。 他のメニューじゃ最新にするときは、URL末尾/nになってレス番1は表示しないようになってますよ。 2007/06/25: 22900 2007/06/26: 19410 2007/06/27: 62311 2007/06/28: 177797 2007/06/29: 130160 LF-1000だけどこんなもんだよ(´・ω・`) なんか拡張子の無いファイルが大量に出来てるんだけど、これ消しちゃっていいのかな? こんな感じ。 http://orz2.emkeeper.com/files.gif 2007/06/29: 485032 複数のドメインでアクセスできるのが原因。orz設置の数は1つです。 >>847 中身はbase.txtっぽいですね。ファイル名はPIDかな、なんだろ。 週末キタワァ*・゜゚・*:.。..。.:*・゜(n‘∀‘)η゚・*:.。. .。.:*・゜゚・* !!!!! モリタポ発表マダァ-?(・∀・ )っ/凵チンチン リンク先に飛べないの、どうにかならんですかいな(^^; クッションページwho.sakura.ne.jpが503。 Loadfactorを1にすると数百のアクセスで抑えられるみたいですね ちゃんと効いてます >>847 うちにもそれできてる。base.txtっぽいけどサイズが違う(これが9188バイトでbaseは8816) *.cgi; update2.cgi update3.cgi これらも消したらダメなのか? SpeedyCGIデフォルト設定ではメモリ食いすぎワロタwwwwww 今まで1.5とかだったLAが20まで一気に上がったw メモリ512MBじゃ厳しいらしい。 設定煮詰めるのが面倒なのでやめました。 以下チラ裏 Apache2.2系だとモジュールでコンパイルエラー出るので、 http://sourceforge.net/tracker/index.php?func=detail&aid=1111235&group_id=2208&atid=302208 このパッチを当ててください。 cd /hoge/CGI-SpeedyCGI-2.22/mod_speedycgi2 ここにパッチファイルを置く。 patch -p1 < patch-mod_speedycgi2.c perl Makefile.PL make make test make install でapacheのモジュールも入るはず。 もちろん先にそのひとつ上のディレクトリでspeedyのインストールを忘れずに。 ◆garnetGnNkタンに無断で公開してもいいのか分かりませんが、Loadfactor/LimitLA/LimitProc/NoMakeListに 対応したadmin.cgi改訂版を勝手に作ってみた。 っていうか、admin.cgiの中のフォームの部分と書き込みの部分を追加しただけだけど。 ◆garnetGnNkタンの正式版公開まで使いたい人は使ってください。 "http://ud.gs/40687" ;にてDLパス"orz"でダウンロードできます。 #心配な人はソース見比べてみてね。 あ、◆garnetGnNkタンが勝手に公開するな!と言って貰えばすぐに消しますのでお知らせを。 >>847 で、結局ナニ? そのファイル? エロい人 教えて 捨てていいの? orzディレクトリ以下に1200個ほどのファイルが 作成されてるんだけどこれは何ですか? ファイル名は5桁の数字 中身はbase.txtとboard.txtの2種類 タイムスタンプは12:00〜12:26 >>864 そのファイルを手っ取り早く消すコマンドは? ありますか?・・・ 俺もできてた。 60個以上あって、サイズはほとんど同じだが、 桁違いのサイズのが2つあった。全て6/29 12:00代にできたもの。 >>868 どうみてもLoadfactorです。本当に(ry landtoのほうにはできてなかったな。なんなんだろう・・・ >>869 あ、ホントだ… 20が多いからモリタポだと思った・ >>811 手元の環境だとファイルハンドルから読み込む場合はchompの方が早いようです CentOS4 CelD352 This is perl, v5.8.8 built for i386-linux-thread-multi Benchmark: timing 1000 iterations of chomp_fn, tr_op... chomp_fn: 0 wallclock secs ( 0.25 usr + 0.02 sys = 0.27 CPU) @ 3703.70/s (n=1000) (warning: too few iterations for a reliable count) tr_op: 1 wallclock secs ( 0.31 usr + 0.03 sys = 0.34 CPU) @ 2941.18/s (n=1000) (warning: too few iterations for a reliable count) Rate tr_op chomp_fn tr_op 2941/s -- -21% chomp_fn 3704/s 26% -- use strict; use warnings; use Benchmark qw/timethese cmpthese/; use IO::File; cmpthese( timethese(1000, { chomp_fn => sub { my $fh = IO::File->new("base.txt") or die $!; while (<$fh>) { chomp; } close $fh; }, tr_op => sub { my $fh = IO::File->new("base.txt") or die $!; while (<$fh>) { tr/\r\n//d; } close $fh; }, }) ); DProf使ってみた 運用のスレッド一覧を読み込んだとき(100件表示) Total Elapsed Time = 1.635112 Seconds User+System Time = 0.315112 Seconds Exclusive Times %Time ExclSec CumulS #Calls sec/call Csec/c Name 12.6 0.040 0.040 4 0.0100 0.0100 Exporter::import 6.35 0.020 0.020 1 0.0200 0.0200 warnings::BEGIN 3.17 0.010 0.010 1 0.0100 0.0100 POSIX::bootstrap 3.17 0.010 0.010 1 0.0100 0.0100 Socket::bootstrap 3.17 0.010 0.010 2 0.0050 0.0050 AutoLoader::import 3.17 0.010 0.010 1 0.0100 0.0100 Bbstable::logging 3.17 0.010 0.010 1 0.0100 0.0099 DatControl::PutList 3.17 0.010 0.010 4 0.0025 0.0025 DatControl::MakeContent 3.17 0.010 0.030 3 0.0033 0.0100 vars::BEGIN 3.17 0.010 0.010 8 0.0012 0.0012 vars::import 3.17 0.010 0.040 4 0.0025 0.0099 main::BEGIN 3.17 0.010 0.020 4 0.0025 0.0049 DatControl::GetRequest 3.17 0.010 0.030 3 0.0033 0.0099 XSLoader::load 2.86 0.009 0.009 102 0.0001 0.0001 main::z2h 0.00 0.000 0.000 1 0.0000 0.0000 AutoLoader::AUTOLOAD このスレを表示したとき(30件表示) Total Elapsed Time = 3.606437 Seconds User+System Time = 0.326437 Seconds Exclusive Times %Time ExclSec CumulS #Calls sec/call Csec/c Name 12.2 0.040 0.040 4 0.0100 0.0100 DatControl::MakeContent 9.19 0.030 0.030 4 0.0075 0.0075 Exporter::import 6.13 0.020 0.020 1 0.0200 0.0200 warnings::BEGIN 6.13 0.020 0.020 5 0.0040 0.0039 DatControl::BEGIN 6.13 0.020 0.020 30 0.0007 0.0007 main::MakeRes 3.06 0.010 0.010 2 0.0050 0.0050 AutoLoader::import 3.06 0.010 0.010 1 0.0100 0.0099 DatControl::MakeCache 3.06 0.010 0.079 1 0.0100 0.0794 Bbstable::get 3.06 0.010 0.010 4 0.0025 0.0025 Socket::inet_aton 3.06 0.010 0.030 3 0.0033 0.0100 vars::BEGIN 3.06 0.010 0.069 2 0.0050 0.0347 DatControl::get 3.06 0.010 0.060 3 0.0033 0.0198 Bbstable::BEGIN 0.00 0.000 0.000 1 0.0000 0.0000 AutoLoader::AUTOLOAD 0.00 0.000 0.000 1 0.0000 0.0000 POSIX::load_imports 0.00 - -0.000 1 - - Digest::MD5::bootstra えと、漏れは今から披露宴の挨拶頼まれてて出るところなんだけど、 カツラずれてないか誰か見てくんないかな? OK? イケてる? 私のサイトだけでしょうか? server_max=15 にしても cache ディレクトリ全体が(7MBほど)膨れているのは。 ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 07.5.5 2024/06/08 Walang Kapalit ★ | Donguri System Team 5ちゃんねる