【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17
■ このスレッドは過去ログ倉庫に格納されています
peko作戦について語るスレです。 サーバロケーションPIEに関する話題もこちらで。 <現在の主要なテーマ> ・oyster243(BBQ/dnscache)の突然死対策&cobra2245セットアップによる2台体制化 ・oytser902(memories)のFreeBSD 5.3化 ・「雪だるま作戦」による、スケーラブルなサーバ群構築 ・read.cgi/bbs.cgiの細かな調整・詰め ・携帯サーバのプライベート側スイッチのグレードアップ検討 ・各種作戦・プロジェクトとの連携 ・FreeBSDのさらなるチューニング詰め <関連スレッド> ■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1 http://qb5.2ch.net/test/read.cgi/operate/1105035540/ ■ 自動地震速報@2ch をつくろう http://qb5.2ch.net/test/read.cgi/operate/1106583619/ ■ テレビ番組欄@2ch をつくろう 第2話 http://qb5.2ch.net/test/read.cgi/operate/1107366393/ <関連サイト> レンタルサーバー maido3.com 2ちゃんねるの転送量: http://server.maido3.com/pie/ MRTGによる統計情報: http://mumumu.mu/mrtg/ 2ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html <前スレ> 【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16 http://qb5.2ch.net/test/read.cgi/operate/1102087698/
refresh_patternのところの、override-lastmod と reload-into-imsは、 やめたほうがよさげ。< 416 エラー対策 negative_ttl 0 にしないといけないっぽい。 いろいろ検索していたら、こんなの出てきた。5年前か。 2chのサーバとしてFreeBSDを採用してみる例 http://piza.2ch.net/log/unix/0008251/957884791.html ミニ雪だるま実験 続き ex7.2ch.netだけでなく、tiger503.maido3.comや206.223.150.110でもアクセス可能にした。 YBB書けない問題は、mod_rpafにパッチをあてて対応した。 416エラーは、squidをrange_offset_limit -1にしたら出なくなった。 これからのチェックポイントと解決すべき課題 ・雪だるまのローカルキャッシュが、どのくらい働くのか ・雪だるまのhttpアクセラレーションが、どのくらい働くのか ・i.i2ch.net / t1 t2 t3 が動かない問題の解決 残るTODO: ・携帯プライベートネットワーク用スイッチの件 ・oyster243の件 本日は、ここまで。 squid のソースをざっと見てみると,どうやら HTTP/1.0 ベースで作られているようですね. HTTP/1.0 では,リクエストに Connection ヘッダがない場合のデフォルトが close なのが http://qb5.2ch.net/test/read.cgi/operate/1109941496/845-847n の原因かと. また,chunked 転送ができないので Content-Length 指定のない CGI 出力などは Keep-Alive にはできない,と.HTTP/1.1 利用なら Apache の mod_proxy となりますか. あと,read.cgi 出力の効果的なキャッシュのためには,やはり Last-Modified 吐いた方がいいのかも...... >>202 を見ると、ローカルキャッシュのヒット率が30%ぐらいですね。 ディレイ0秒、しかもcgi出力のキャッシュなし(下記)でこの成績なのは、なかなか。 acl QUERY urlpath_regex \.cgi cgi-bin \? no_cache deny QUERY 確かにHTTP/1.1なら、Apacheのほうがいいかもしれないですね。 Apacheでやるとなると、客の相手するやつはやっぱりworker MPMですかね。 別サーバなら、preforkでもいいのかもですが。 そういえば、Last-Modifiedがないんですね。 だとするとキャッシュさせても、あんまり意味がない予感。 以降は、雪だるま作戦かな。 TODO: memoriesのアクセスログを1つに出力する 難易度: 楽 ★★★ ひさびさにPV(ページビュー)当てクイズでも・・・ Part1 http://qb5.2ch.net/test/read.cgi/operate/1104955745/194-195 ディスクキャッシュは、掲示板型だと(特にex7やlive系だと)、 逆に重荷になるらしい。 雪だるま作戦のスレでもSunOsさんが書いていたけど、メモリキャッシュにいかに乗せるか、 が、重要なポイントらしい。 あと、後ろに回したhttpdは、KeepAliveをそのままで動かしていると、 Kばっかりになって逆効果になる場合も、どうやらあるらしい。 といったところか。 # request_header_max_size 20 KB # for long URL of offlaw.cgi request_header_max_size 40 KB と、 # reply_header_max_size 20 KB # for long URL of offlaw.cgi reply_header_max_size 40 KB を、増やした。下のほうは、念のため。 で、 liveb1をフロントエンド化へと。親はlive15で。 menu.2ch.net 土地作りしました。 PV計測の仕掛けを導入済み。 とりあえず、これで見えます。 http://menu.peko.2ch.net/ ということで、以下のDNS登録依頼を。 +menu.2ch.net:206.223.151.10 >>212 確認したです。 http://menu.2ch.net/ さて、これからアカウント情報発射しておきます。 ・ひ(りゃ ・おじさん ・まほらさん ・サザンさん ・ボヤッキーさん こっち向きの話なので いつの間にか正式リリース予定が近づいていたり Upload to ftp-master. 2 Apr 2005 ttp://www.freebsd.org/releases/5.4R/schedule.html >215 暇だったのでさらに調べたところ、6.0も今年中に来そうでしかもその際にGCC4.0を 標準搭載する模様です。 もう、5.4-PRERELEASE ぐらいのはず。 こんどのはかなり安定度上げる方向みたいですね。 個人的には、ひそかに期待していたりします。 いや5.4Rは4/4の予定だけど、順調に遅れてます。 ということで、DNS登録依頼いきます。 まずは第一段階、ex10とlive20の追加。 (新規追加) +ex10.2ch.net:206.223.151.225 +live20.2ch.net:206.223.150.110 土地作りはできています。 ex10 と live20 に、fox.cgi のしくみを入れました。cron設定済み。 この後の流れ: 1) DNS登録 (>>220 ) by maido3.comの中の人 2) ex10とlive20に掲示板システム入れ込み 3) ex7の板をex10に、live8の板をlive20に全部移転 4) ex7とlive8の中身を全部memoriesに.退避 5) ex7とlive8のDNSの変更 6) ex10とlive20のF22のへの登録 by 受験生さん 7) 同、配布スクリプトとかへの登録(バーボンとか、ファイル配布関連とか) 8) 必要ならbbyliveの更新とか 9) memories内のread.cgi配布プログラムへの登録とか、ひ)りゃが作ったやつへの登録とか 10) httpdの数やら-M値やらを再設定・調整しなおすとか 11) 禁断の果実・SuExec・read.cgiのリミッターを調整しなおすとか あと、私のほうでは稼動後に、 某MRTGの更新 某serverlist.htmlの更新 監視所の中の人たちに、例のやつをお願いする >>223 みえますかね。 見えるなら、たんたんとやりますか。 http://ex10.2ch.net/ http://live20.2ch.net/ まず、ex7 => ex10 、次に live8 => live20 というかんじで。 ほいほーい もうすぐ出発だから、本格的には今晩かな、、、 一旦止めてざっくりやる方式の予感。 本日深夜or明朝 live8 , ex7 全部止まります >>225 了解です。ざっくり方式すか。 そのつもりで あら、暴発(なんか最近多いな)。 そのつもりでいます。 で、単独スレ立てといたほうがよさげなんで、そのへん、やっときます。 どうも。大丈夫そうですね。 じゃ、今夜にでも作戦開始で。 【転校生作戦】ex7とlive8の板たちは一時的に全部止まります[3/15] http://qb5.2ch.net/test/read.cgi/operate/1110865649/ 【Project Peko】 ついに再発動おめでとうございます。 oyster901の真の実力が明らかになるときがキタ━━━━━(゚∀゚)━━━━━!!!! さて、どうなることやら。>>234 ex7(= tiger503)は、300投稿まではゆとりでこなしました。 でも、400投稿はふうふうでした。500はもうだめぽでした。 HDDはtiger503と同じしろものなので、実際には同じところで止まるかもしれません。 メモリは、倍載っています。これがうまく効く事を期待していますが、さて、どうなるか。 もちろん、OSが64bitでメモリアクセスが高速なことは、プラスに働くと信じています。 つか、関係スレを読まずに質問ですが、901を雪だるまに使う、ということでせうか? そのへんがようわかりませんが。 雪だるまはいろいろな局面ですね。 まずは、live15 + liveb1 あたりかなと。 ネットワーク工事はさすがに今週中には終わるだろうから、 来週あたりからそっち方面は、ぼちぼちと。 >>237 らじゃ ということは今回の件は雪だるまとは別件? >>238 今後ex10やlive20で関連する実験をするかもしれませんが、 直接関係するわけではないですね。 単に、サーバの限界値をみたいということで。 ex10.2ch.net ↓ 206.223.151.225 ↓ ('・c_・` ) @ oyster901.peko.2ch.net ですよね? 可能なら逆引きおながいしますーm(_ _)m >>221 1) 2) 3) 6) 7) 8) 9) 完了 4) live8 完了 ex7 進行中 10) 11) 明日以降、動かしながら 5) いきます。 以下のDNSの変更をよろしくお願いします。 (現在) +ex7.2ch.net:206.223.150.110 +live8.2ch.net:206.223.151.225 (変更後) +ex7.2ch.net:206.223.151.230 +live8.2ch.net:206.223.151.230 ex10, live16, live20 で、禁断の果実(speedy_backend直接起動)を有効にしました。 この影響で、ex7とlive8の過去ログが一時的に見られなくなっています。 >>243 が終わってDNSが浸透すると、復活します。 >>244 ex10、speedy_backendの暴走が起こりますね。 結果、speedy_backendがたまっていく。 ex10だけ、一時的にはずしました(元の状態)。 今のex10のセッティングは1280 + -M32。 >>245 /usr/local/bin/speedy_backendを以下のシェルスクリプトに変更し、 本物は/usr/local/sbin/speedy_backendに置いて、 ex10の禁断の果実を再度有効にした。 #! /bin/sh - # speedy_backend with CPU time limit # created by mumumu, 2005/3/16 ulimit -t 120 exec /usr/local/sbin/speedy_backend $* >>246 今1プロセスspeedy_backendの暴走が起こりましたが、 ちゃんと120sec(2min)になった時点で自爆することを確認しました。 これで、相当耐久力あがったはず。 live16とlive20にも入れてこよう。 >>247 done. 落ち着いたら、ex10実験スレを立てるか。 ex10だけどんどん暴走プロセスがたまっていくので、 -t 30 にした。 live16 / live20 も -t30 にした。 あと、5分に1回動く統計処理を軽くする必要があるかな、とチラシの裏。< ex10 実際に使ってるかわからないけど重要修正のようですので投下しておきます。 [patch] ip_fastfwd.c: fast forward will crash the system in 5.x ttp://www.freebsd.org/cgi/query-pr.cgi?pr=kern/78893 >>253 どもです。 2ちゃんねるのサーバは、net.inet.ip.fastforwarding=0 っすね。 >>255 どうみたってsunの鯖つかってますが peko作戦の鯖は確かtyan系統だったかと(違ったらスマソ) >>257 確認しました。 >>258 TTL = 300 なので、正しく実装されてれば、 おっつけ、かわるはず。 しばらくしたらディスクあけるために、前のところにあるファイルを消します。 旧 live8 と 旧 ex7 から古いファイルを消去し、HDDを空けた。 いずれも、memoriesに収容済み。 今日は重くならなかった、、、とすると。 投稿数は大幅には変わっていないから、>>251 が効いたのか、 あるいは live8 と ex7 の offlaw.cgi がいなくなったからか。 >>261 ひとつ質問でーす offlaw.cgiって何かしらの媚薬(speedyとか)を盛ってましたっけ? # そもそもofflaw.cgiのコール数が少ない罠でしょうけど >>262 なんにも。普通のCGIのはず(C)。 コール数はきちんと見てないけど、直感的には結構ばかにならんかもです。 特に ex7 の過去ログとか、何GBytesもあったりしたし。 >>263 そーなるとDSOいれてもいいかも。。。 狐さんと相談してみては >>264 「どうしますかねぇ」みたいな話は、既に(りゃ。 >>265 (りゃ していないですよw で、手をつけたらmemoriesの負荷が恐ろしいぐらい軽くなる悪寒 >>267 ふむ、RINGすか。 米国にあるサーバから使うのはあれですけど、いいんではないかしら。 あと、同じ名前付けてDNSラウンドロビン使うんなら、stratumはそろえた方がいいかもです。 >>268 そろえるのはとても無理だと思いますよ。 >>269 ふうむ、、、。 なら、stratumごとにグループ名を変えるとか。 s1.ntp.ring.gr.jp s2.ntp.ring.gr.jp どうも、bbs.cgiが暴走するみたいなので、禁断の果実をいったんやめた。< ex10 / live16 / live20 で、そのかわりといってはなんだが、 speedy フロントエンドとバックエンドの間の通信に使う一時ファイルを、ジンギスカン上に作るようにしてみた。 (-T/md/tmp/speedy を追加) #!/usr/local/bin/speedy -- -M32 -b1048576 -t660 -T/md/tmp/speedy ex7が重い重い重い重い重い重い重いtiger503 http://qb5.2ch.net/test/read.cgi/operate/1096837151/739-741 It appears Tiger503's boot partition is damaged. I do not know if it is the drive or the files. Are these SCSI drives setup to mirror? If so, then I belive it is file damage. Otherwise, probably the hard drive. Tyger! Tyger! burning bright, In the forests of the night, What immortal hand or eye Could frame thy fearful symmetry? 虎よ! 虎よ! あかあかと燃える 闇くろぐろの 夜の森に どんな不死の手 または目が おまえの怖ろしい均整を つくり得たか? Tyger! Tyger!輝き、Inを燃やす、夜、Whatの不滅の手 または目のCouldの森林が縁どるあなたの恐ろしい対称? 無断超訳 Tiger503のbootパーティションが逝ったぽ。 ハードディスクが逝ったのかファイルが逝くったのかはシラネ。 SCSIドライバの設定をミラーしているんなら、ファイルが逝ったと思われ。 そうじゃないのなら、ハードディスクがシボンヌ。 ……直前のバックアップまで巻き戻るですみますように(-人-)ナムナム 3/16まで入ってたex7の分のログは既にSumaディスクのほうに保管済で、 いまtiger503にはいってるのは3/16〜のlive20のログだけなはずだから。。 まぁ不幸中の幸いってやつだけどな、 boot partitionがdだだけなら別システムに繋げば吸い出せるでしょうけど…‥ >284 >273の3行目をよく読んでみよう。RAIDは論理破壊には全くの無力だ。 やはり、HDDですか。 向こうのスタッフと調整する必要ありですね。 すすめます。 システムディスク(disk #1)なら、ディスク交換してOSインストール、 /homeが入っているユーザディスク(disk #2)なら、 システムディスク側にある定時バックアップから戻すということで。 今日6:00の段階の、disk #2 => disk #1へのバックアップは、とれているようです。 DUMP: Date of this level 0 dump: Sun Mar 20 13:00:16 2005 DUMP: Date of last level 0 dump: the epoch DUMP: Dumping snapshot of /dev/da1s1d (/home) to /var/backup/L0/dumper-home.dump DUMP: mapping (Pass I) [regular files] DUMP: Cache 8 MB, blocksize = 65536 DUMP: mapping (Pass II) [directories] DUMP: estimated 365168 tape blocks. DUMP: dumping (Pass III) [directories] DUMP: dumping (Pass IV) [regular files] DUMP: DUMP: 373993 tape blocks on 1 volume DUMP: finished in 78 seconds, throughput 4794 KBytes/sec DUMP: level 0 dump on Sun Mar 20 13:00:16 2005 DUMP: Closing /var/backup/L0/dumper-home.dump DUMP: DUMP IS DONE pc2鯖がバックトゥザフューチャーしたときのこと思い出した。 今度は失敗しないでね(はぁと root▲ ★たん、がんばって♪乙〜 FOX ★死ね TODO: tiger503 トラブル対応 TODO: pc5の土地をmemoriesに造成 >>289 バックトゥザネイチャーうんこを思い出した。 memories上に、土地作りできました。 http://pc5.peko.2ch.net/ DNS変更依頼いきます。 (現在) +pc5.2ch.net:206.223.151.55 (変更後) +pc5.2ch.net:206.223.151.230 >>293 収容 & memoriesへの展開作業、入ります。 ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 07.5.5 2024/06/08 Walang Kapalit ★ | Donguri System Team 5ちゃんねる