【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17
■ このスレッドは過去ログ倉庫に格納されています
peko作戦について語るスレです。 サーバロケーションPIEに関する話題もこちらで。 <現在の主要なテーマ> ・oyster243(BBQ/dnscache)の突然死対策&cobra2245セットアップによる2台体制化 ・oytser902(memories)のFreeBSD 5.3化 ・「雪だるま作戦」による、スケーラブルなサーバ群構築 ・read.cgi/bbs.cgiの細かな調整・詰め ・携帯サーバのプライベート側スイッチのグレードアップ検討 ・各種作戦・プロジェクトとの連携 ・FreeBSDのさらなるチューニング詰め <関連スレッド> ■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1 http://qb5.2ch.net/test/read.cgi/operate/1105035540/ ■ 自動地震速報@2ch をつくろう http://qb5.2ch.net/test/read.cgi/operate/1106583619/ ■ テレビ番組欄@2ch をつくろう 第2話 http://qb5.2ch.net/test/read.cgi/operate/1107366393/ <関連サイト> レンタルサーバー maido3.com 2ちゃんねるの転送量: http://server.maido3.com/pie/ MRTGによる統計情報: http://mumumu.mu/mrtg/ 2ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html <前スレ> 【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16 http://qb5.2ch.net/test/read.cgi/operate/1102087698/ >>177 ノシ 工事の明確な時間とかわかればお願いしますです。。。(´・ω・`) >>177 local-host-namesにいままでfind.2ch.net無かった‥orz 足しときました。 >>182 あ、ブ(りゃ の中の人だ。 ごぶさたです。 ちわちわ。 色々お手間かけてすみません。 &ありがとうございます。 >>177 aa5の代わりの新型牡蠣鯖マダ―(・∀・)―ン 物凄い低コストで実行中のプログラムから LA を取る方法ってありますか? C , Perl おっ そりつかって、、、 高LA時のread.cgiの挙動を変えるのに挑戦してみよう。 意味無かったら止めるけどさ、 お、これは例の ex9 的対策(半自動で人大杉にするとか)かしら。 LAだけだと、微妙かもですね。 bananaのLA=10は今の状況だと正直もうだめぽだけど、 tiger/cobraのLA=10はまだ余裕とか、そのへんのバランスは考慮したいかも。 (昔なつかしい「お茶飲め」と同じ理屈です) このへんは、何らかの形でconfigurableにすればいいのかな。 ex7で「ミニ雪だるま」の実験をはじめた。 具体的には、port 80にsquidをかましてみた。 squid + mod_rpaf を利用。 httpdは、127.0.0.1経由でアクセス。 どのくらいキャッシュが効くかとか、果たして意味があるのかとかは、未知数。 しばらく観察ということで。 >>191 mrtgはとってますでしょうか ・・・とおもったけど、既存のex7の統計の変化でわかりますねw というわけで、備忘録。 【ミニ雪だるま作戦】ex7で15:30ごろまで書けたのに急に書けなくなった人はこちらへ http://qb5.2ch.net/test/read.cgi/operate/1110179194/ で、 117 名前:root▲ ★[sage] 投稿日:05/03/07 16:43:34 ID:???0 今のまとめ: ・YBBから書き込めない、スレ立てできない ・一部2ちゃんねるビューワでスレ取得時に416エラーが出る ・〃スレ取得ができない場合がある(たぶん原因は上と同じか) ・i.i2ch.netとかt2 t3とかから見られない・読めない・書けない、c.2ch.netからは正常 といったところか。 一部.jpなISPからも、書けない人がいたのかも。 YBBから書き込めない、スレ立てできない、は、なんとなく理解できたんで、 対策できると思います→設定の問題 416エラーは、Apacheとsquidの相性の問題とか設定の問題がありそう→精査が必要 i2ch.netやt2/t3からだめなのも、たぶん上と同じか。 あと、squidの状況としては、 httpd_accel_with_proxy on で cache_dir aufs /usr/local/squid/cache 128 16 256 の方が、 cache_dir null /tmp の時よりも圧倒的にシステムの負荷が少なかったので、 ローカルキャッシュありの方が、やはりよさげか。 MRTGのほうは、どうだろう。 refresh_patternのところの、override-lastmod と reload-into-imsは、 やめたほうがよさげ。< 416 エラー対策 negative_ttl 0 にしないといけないっぽい。 いろいろ検索していたら、こんなの出てきた。5年前か。 2chのサーバとしてFreeBSDを採用してみる例 http://piza.2ch.net/log/unix/0008251/957884791.html ミニ雪だるま実験 続き ex7.2ch.netだけでなく、tiger503.maido3.comや206.223.150.110でもアクセス可能にした。 YBB書けない問題は、mod_rpafにパッチをあてて対応した。 416エラーは、squidをrange_offset_limit -1にしたら出なくなった。 これからのチェックポイントと解決すべき課題 ・雪だるまのローカルキャッシュが、どのくらい働くのか ・雪だるまのhttpアクセラレーションが、どのくらい働くのか ・i.i2ch.net / t1 t2 t3 が動かない問題の解決 残るTODO: ・携帯プライベートネットワーク用スイッチの件 ・oyster243の件 本日は、ここまで。 squid のソースをざっと見てみると,どうやら HTTP/1.0 ベースで作られているようですね. HTTP/1.0 では,リクエストに Connection ヘッダがない場合のデフォルトが close なのが http://qb5.2ch.net/test/read.cgi/operate/1109941496/845-847n の原因かと. また,chunked 転送ができないので Content-Length 指定のない CGI 出力などは Keep-Alive にはできない,と.HTTP/1.1 利用なら Apache の mod_proxy となりますか. あと,read.cgi 出力の効果的なキャッシュのためには,やはり Last-Modified 吐いた方がいいのかも...... >>202 を見ると、ローカルキャッシュのヒット率が30%ぐらいですね。 ディレイ0秒、しかもcgi出力のキャッシュなし(下記)でこの成績なのは、なかなか。 acl QUERY urlpath_regex \.cgi cgi-bin \? no_cache deny QUERY 確かにHTTP/1.1なら、Apacheのほうがいいかもしれないですね。 Apacheでやるとなると、客の相手するやつはやっぱりworker MPMですかね。 別サーバなら、preforkでもいいのかもですが。 そういえば、Last-Modifiedがないんですね。 だとするとキャッシュさせても、あんまり意味がない予感。 以降は、雪だるま作戦かな。 TODO: memoriesのアクセスログを1つに出力する 難易度: 楽 ★★★ ひさびさにPV(ページビュー)当てクイズでも・・・ Part1 http://qb5.2ch.net/test/read.cgi/operate/1104955745/194-195 ディスクキャッシュは、掲示板型だと(特にex7やlive系だと)、 逆に重荷になるらしい。 雪だるま作戦のスレでもSunOsさんが書いていたけど、メモリキャッシュにいかに乗せるか、 が、重要なポイントらしい。 あと、後ろに回したhttpdは、KeepAliveをそのままで動かしていると、 Kばっかりになって逆効果になる場合も、どうやらあるらしい。 といったところか。 # request_header_max_size 20 KB # for long URL of offlaw.cgi request_header_max_size 40 KB と、 # reply_header_max_size 20 KB # for long URL of offlaw.cgi reply_header_max_size 40 KB を、増やした。下のほうは、念のため。 で、 liveb1をフロントエンド化へと。親はlive15で。 menu.2ch.net 土地作りしました。 PV計測の仕掛けを導入済み。 とりあえず、これで見えます。 http://menu.peko.2ch.net/ ということで、以下のDNS登録依頼を。 +menu.2ch.net:206.223.151.10 >>212 確認したです。 http://menu.2ch.net/ さて、これからアカウント情報発射しておきます。 ・ひ(りゃ ・おじさん ・まほらさん ・サザンさん ・ボヤッキーさん こっち向きの話なので いつの間にか正式リリース予定が近づいていたり Upload to ftp-master. 2 Apr 2005 ttp://www.freebsd.org/releases/5.4R/schedule.html >215 暇だったのでさらに調べたところ、6.0も今年中に来そうでしかもその際にGCC4.0を 標準搭載する模様です。 もう、5.4-PRERELEASE ぐらいのはず。 こんどのはかなり安定度上げる方向みたいですね。 個人的には、ひそかに期待していたりします。 いや5.4Rは4/4の予定だけど、順調に遅れてます。 ということで、DNS登録依頼いきます。 まずは第一段階、ex10とlive20の追加。 (新規追加) +ex10.2ch.net:206.223.151.225 +live20.2ch.net:206.223.150.110 土地作りはできています。 ex10 と live20 に、fox.cgi のしくみを入れました。cron設定済み。 この後の流れ: 1) DNS登録 (>>220 ) by maido3.comの中の人 2) ex10とlive20に掲示板システム入れ込み 3) ex7の板をex10に、live8の板をlive20に全部移転 4) ex7とlive8の中身を全部memoriesに.退避 5) ex7とlive8のDNSの変更 6) ex10とlive20のF22のへの登録 by 受験生さん 7) 同、配布スクリプトとかへの登録(バーボンとか、ファイル配布関連とか) 8) 必要ならbbyliveの更新とか 9) memories内のread.cgi配布プログラムへの登録とか、ひ)りゃが作ったやつへの登録とか 10) httpdの数やら-M値やらを再設定・調整しなおすとか 11) 禁断の果実・SuExec・read.cgiのリミッターを調整しなおすとか あと、私のほうでは稼動後に、 某MRTGの更新 某serverlist.htmlの更新 監視所の中の人たちに、例のやつをお願いする >>223 みえますかね。 見えるなら、たんたんとやりますか。 http://ex10.2ch.net/ http://live20.2ch.net/ まず、ex7 => ex10 、次に live8 => live20 というかんじで。 ほいほーい もうすぐ出発だから、本格的には今晩かな、、、 一旦止めてざっくりやる方式の予感。 本日深夜or明朝 live8 , ex7 全部止まります >>225 了解です。ざっくり方式すか。 そのつもりで あら、暴発(なんか最近多いな)。 そのつもりでいます。 で、単独スレ立てといたほうがよさげなんで、そのへん、やっときます。 どうも。大丈夫そうですね。 じゃ、今夜にでも作戦開始で。 【転校生作戦】ex7とlive8の板たちは一時的に全部止まります[3/15] http://qb5.2ch.net/test/read.cgi/operate/1110865649/ 【Project Peko】 ついに再発動おめでとうございます。 oyster901の真の実力が明らかになるときがキタ━━━━━(゚∀゚)━━━━━!!!! さて、どうなることやら。>>234 ex7(= tiger503)は、300投稿まではゆとりでこなしました。 でも、400投稿はふうふうでした。500はもうだめぽでした。 HDDはtiger503と同じしろものなので、実際には同じところで止まるかもしれません。 メモリは、倍載っています。これがうまく効く事を期待していますが、さて、どうなるか。 もちろん、OSが64bitでメモリアクセスが高速なことは、プラスに働くと信じています。 つか、関係スレを読まずに質問ですが、901を雪だるまに使う、ということでせうか? そのへんがようわかりませんが。 雪だるまはいろいろな局面ですね。 まずは、live15 + liveb1 あたりかなと。 ネットワーク工事はさすがに今週中には終わるだろうから、 来週あたりからそっち方面は、ぼちぼちと。 >>237 らじゃ ということは今回の件は雪だるまとは別件? >>238 今後ex10やlive20で関連する実験をするかもしれませんが、 直接関係するわけではないですね。 単に、サーバの限界値をみたいということで。 ex10.2ch.net ↓ 206.223.151.225 ↓ ('・c_・` ) @ oyster901.peko.2ch.net ですよね? 可能なら逆引きおながいしますーm(_ _)m >>221 1) 2) 3) 6) 7) 8) 9) 完了 4) live8 完了 ex7 進行中 10) 11) 明日以降、動かしながら 5) いきます。 以下のDNSの変更をよろしくお願いします。 (現在) +ex7.2ch.net:206.223.150.110 +live8.2ch.net:206.223.151.225 (変更後) +ex7.2ch.net:206.223.151.230 +live8.2ch.net:206.223.151.230 ex10, live16, live20 で、禁断の果実(speedy_backend直接起動)を有効にしました。 この影響で、ex7とlive8の過去ログが一時的に見られなくなっています。 >>243 が終わってDNSが浸透すると、復活します。 >>244 ex10、speedy_backendの暴走が起こりますね。 結果、speedy_backendがたまっていく。 ex10だけ、一時的にはずしました(元の状態)。 今のex10のセッティングは1280 + -M32。 >>245 /usr/local/bin/speedy_backendを以下のシェルスクリプトに変更し、 本物は/usr/local/sbin/speedy_backendに置いて、 ex10の禁断の果実を再度有効にした。 #! /bin/sh - # speedy_backend with CPU time limit # created by mumumu, 2005/3/16 ulimit -t 120 exec /usr/local/sbin/speedy_backend $* >>246 今1プロセスspeedy_backendの暴走が起こりましたが、 ちゃんと120sec(2min)になった時点で自爆することを確認しました。 これで、相当耐久力あがったはず。 live16とlive20にも入れてこよう。 >>247 done. 落ち着いたら、ex10実験スレを立てるか。 ex10だけどんどん暴走プロセスがたまっていくので、 -t 30 にした。 live16 / live20 も -t30 にした。 あと、5分に1回動く統計処理を軽くする必要があるかな、とチラシの裏。< ex10 実際に使ってるかわからないけど重要修正のようですので投下しておきます。 [patch] ip_fastfwd.c: fast forward will crash the system in 5.x ttp://www.freebsd.org/cgi/query-pr.cgi?pr=kern/78893 >>253 どもです。 2ちゃんねるのサーバは、net.inet.ip.fastforwarding=0 っすね。 >>255 どうみたってsunの鯖つかってますが peko作戦の鯖は確かtyan系統だったかと(違ったらスマソ) >>257 確認しました。 >>258 TTL = 300 なので、正しく実装されてれば、 おっつけ、かわるはず。 しばらくしたらディスクあけるために、前のところにあるファイルを消します。 旧 live8 と 旧 ex7 から古いファイルを消去し、HDDを空けた。 いずれも、memoriesに収容済み。 今日は重くならなかった、、、とすると。 投稿数は大幅には変わっていないから、>>251 が効いたのか、 あるいは live8 と ex7 の offlaw.cgi がいなくなったからか。 >>261 ひとつ質問でーす offlaw.cgiって何かしらの媚薬(speedyとか)を盛ってましたっけ? # そもそもofflaw.cgiのコール数が少ない罠でしょうけど >>262 なんにも。普通のCGIのはず(C)。 コール数はきちんと見てないけど、直感的には結構ばかにならんかもです。 特に ex7 の過去ログとか、何GBytesもあったりしたし。 >>263 そーなるとDSOいれてもいいかも。。。 狐さんと相談してみては >>264 「どうしますかねぇ」みたいな話は、既に(りゃ。 >>265 (りゃ していないですよw で、手をつけたらmemoriesの負荷が恐ろしいぐらい軽くなる悪寒 >>267 ふむ、RINGすか。 米国にあるサーバから使うのはあれですけど、いいんではないかしら。 あと、同じ名前付けてDNSラウンドロビン使うんなら、stratumはそろえた方がいいかもです。 >>268 そろえるのはとても無理だと思いますよ。 >>269 ふうむ、、、。 なら、stratumごとにグループ名を変えるとか。 s1.ntp.ring.gr.jp s2.ntp.ring.gr.jp どうも、bbs.cgiが暴走するみたいなので、禁断の果実をいったんやめた。< ex10 / live16 / live20 で、そのかわりといってはなんだが、 speedy フロントエンドとバックエンドの間の通信に使う一時ファイルを、ジンギスカン上に作るようにしてみた。 (-T/md/tmp/speedy を追加) #!/usr/local/bin/speedy -- -M32 -b1048576 -t660 -T/md/tmp/speedy ex7が重い重い重い重い重い重い重いtiger503 http://qb5.2ch.net/test/read.cgi/operate/1096837151/739-741 It appears Tiger503's boot partition is damaged. I do not know if it is the drive or the files. Are these SCSI drives setup to mirror? If so, then I belive it is file damage. Otherwise, probably the hard drive. ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 07.5.5 2024/06/08 Walang Kapalit ★ | Donguri System Team 5ちゃんねる