【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16
■ このスレッドは過去ログ倉庫に格納されています
peko作戦について語るスレです。 サーバロケーションPIEに関する話題もこちらで。 <現在の主要なテーマ> ・read.cgiのmod_cgidso化によるパフォーマンスアップ ・bbs.cgiのSpeedyCGI化によるパフォーマンスアップ ・FreeBSD 5.3Rへのサーバ更新作業&さらなるチューニング <関連板・スレッド> また挑戦。@2ch掲示板 http://dso.2ch.net/myanmar/ また挑戦2。@2ch掲示板 http://dso.2ch.net/yangon/ bbs.cgi再開発プロジェクト4 http://qb5.2ch.net/test/read.cgi/operate/1101984763/ read.cgi再開発スレ http://qb5.2ch.net/test/read.cgi/operate/1087199303/ <関連サイト> レンタルサーバー maido3.com 2ちゃんねるの転送量: http://server.maido3.com/pie/ MRTGによる統計情報: http://mumumu.mu/mrtg/ 2ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html <前スレ> 【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part15 http://qb5.2ch.net/test/read.cgi/operate/1093068260/ >>585 あ、思い出してきました。fox.cgiとかでかかわったですね。 あのころはOSが不安定で、暗い時代でした。 毎時別にするですか。できると思います。 すみませんがこれから奥様とちょっとお出かけなので、今夜あたりにでも。 >>586 206.223.152.90 = blackgoat3 206.223.152.95 = blackgoat4 syslogの設定変えればいけるんとちゃいますかね # 確か相当前にどこぞで似たような話がありましたが、どこだったっけ 以下雑談スマソ >>587 奥様ってよぶとrootさんらしくないですね 今年最後のおれさまメモ。Accept: */* を送って来ないVodafone 3G端末への対策。 携帯→2ch運用情報スレッド14 http://qb5.2ch.net/test/read.cgi/operate/1103457589/477-486 478 名前:root▲ ★[] 投稿日:04/12/31 07:06:52 ID:??? これでどーだ。 # for PHP #AddType application/x-httpd-php .php #AddType application/x-httpd-php-source .phps # XXX AddHandler php-script php AddType text/html php 今年はまさに、激動の1年。 年明けの韓国F5団来訪対応に始まり、live系、ex系への挑戦、過去ログサーバの構築、 携帯用システムの構築にbbspinkの充実、 OSの不安定に涙を流しながら耐えた数ヶ月を経た後、11月ごろからようやく本来の力を発揮、 そしてbbs.cgiの大幅改良にread.cgiのメモリ常駐化等、 休む間もなくここまできた、というかんじでした。 サーバロケーションもHEからPIEへと変わり、大幅な体質改善が図られました。 何が起こるかわからないのがここの醍醐味。 さて来年は、どんな年になるのか。 というわけで、来年もどうぞよろしくお願いいたします。 >>593 あけおめです。 今年も健康にご留意され、獅子奮迅の活躍を期待しております。 http://qb5.2ch.net/test/read.cgi/operate/1102681336/587 587 :root▲ ★ :04/12/31 21:36:32 ID:??? >>585 過去ログは1日に1回ひまなとき(朝6時とか)にdatサーバで処理とか、 あるいは、memoriesあたりに自動で格納するとか。 ってかんじですか。で、まずは、 ・フロント 3台 - banana + 増設ネットワークカード ・datサーバ 1台 - banana + 増設ネットワークカード + 増設メモリ512M ・相互接続用スイッチ 1台 といったかんじですかね。 これでよろしければ、場所確保お願いします。 >>597 諸事情を考えるとまずいかもですが、とりあえず提案してみます。 datサーバを内部オンリーでNFSしてってのはだめでしょうかね ・フロントはジンギスカン ・フロントとdatサーバは増設NICでつなぐ(これで外部へはポートを空けなくてすむ) ・終わったdatから毎朝6時に/md/から/export/へ というわけで、今年もぼちぼちと。 oyster243(BBQ)のハングアップ、2回目か。 メモリディスク(md)に置いてからなんとなく多そうなので、それ系の問題か。 syslogには特にメッセージなし。 >>597 NFSでやるというのはありえますね。 でも、ローカルキャッシュが効く方向で考えたいかも。 >>600 それはフロントで? FreeBSDはどうかしりませんが、本家たるsolarisはできそうな悪寒 >>601 フロントすね。 できるだけフロント⇔バックのI/Oを減らしつつ、 うまく仕事を分業がすると。 どっかにSolaris10を入れてみてはいかがなものかなどとほざいてみるテスト oyster243(BBQ)の自動起動を入れますた(Rock54式/cronで監視) あと、777系スクリプトの最適化をやっています。 (現状、DNS関連が重すぎて処理が追いついていってない模様) >>604 おつです。 DNS関連が重いというのは、oyster243での話かしら。 >>605 ホスト名の逆引きをする部分でinet_aton等を使っていましたので、Net::DNS::Resolverに変更しました。 結果、処理を完遂するのに30分近く掛かっていたのが、2分以内で完了するようになりました。 (実は、cronにせっつかれて重複動作していました(苦笑)@Boo80を取ってくる装置) >>606 あ、いつも動いてたget_なんちゃらですか。 なんかいつも動いていたので、気になってはいたのですけど。 おつでした。 >>601 だとすると実況系の過去ログ閲覧のdisk traffic次第ですね >>603 まだ正式リリースされていないものをいれるのは、 またrootさんの経験がないOSをいれるのはどうかと Solarisは旧SunOS 3.5からSolaris 2.6まで、 それはもうばっちりやらせていただきました。 /etc/systemとか、いじりまくり。 SPARC版での話ですが。 フロントエンドにSolarisのCacheFSというのは、確かにありかも。 しかし、FreeBSDのvr、Solaris 10で動くのかしら。 Solaris 7、8、9、10での主な新機能や改善点を どなたかここにでも書いていただけると。 で、Solaris 10は使途もフリーになったので (今までは商用は有料だった)、確かにちょっとありかも。 >>610 補足 > しかし、FreeBSDのvr、Solaris 10で動くのかしら。 vr0: <VIA VT6102 Rhine II 10/100BaseTX> port 0xe400-0xe4ff mem 0xee001000-0xee0010ff irq 11 at device 18.0 on pci0 miibus0: <MII bus> on vr0 ukphy0: <Generic IEEE 802.3u media interface> on miibus0 ukphy0: 10baseT, 10baseT-FDX, 100baseTX, 100baseTX-FDX, auto vr0: Ethernet address: 00:30:18:22:14:24 がSolarisで動くか、ってことです。 あと、昔のSolaris 2.6/i386は、相当重かった記憶も。 「やっぱSolarisはSPARCかなぁ」と思ったもんですが、 そのへんはどうなんだろ。 Googleの結果。いちおうあるのか。 Free NIC drivers for x86 Solaris http://homepage2.nifty.com/mrym3/taiyodo/ root ★さーん news19 を dso化きぼん >>615 ついに来ましたか。 これから、作業するです。 .so 拡張子と read.cgi を dso で動くようにしました。< news19 >>610 そいつは失礼しますた・・・・ >>611 ええええええええ まじでやりますか?おもしろそー 7:ろくでもなかったらしい 8:http://jp.sun.com/software/solaris/8/ (x86はこのころから) 9:http://jp.sun.com/software/solaris/9/ 10:nisサポートがきられた、amd64正式サポート! 動作確認のために、dso.2ch.netのread.cgiを入れたら、、、。 なんか、動作が変に。 リモートコンソールも応答なくなった、、、。 リブート必要かも。 >>622 ごめんなさいです。 動作確認をしようとおもたんですが。 よく考えれば、read.so で入れればよかったわけか。ショボーン リモートコンソールはつながったので、 リブートいただいたところをシングルユーザで操作して、 今入れたread.cgiを削除すれば、元に戻るはず。 tiger509.maido3.com りぶーとしますー 現在の read.cgi@dso をいれますー/いれてくださいー シングルユーザでリモートコンソール経由で操作して、 read.cgi関連を元に戻して、再度リブート中。 dsoの組み込みは、されている状態です。 ジンギスカン入れているので、立ち上がったら復帰が必要かと。 上がりました。 復帰とread.cgiの入れ替えは、おまかせします。 しばらくシステム側の様子観察するです。 …ということで既に mod_cgidso は入った状態なので、 read.cgi を入れれば、動くはず。 read.cgi が動いたのを確認しました。 ちとでかけてくるです。遅い初詣。 FreeBSDは触ったこと無いけど、WebのパフォーマンスはSolaris<Linuxだな zOS上でも、WebパフォーマンスだけはAIX<Linuxだった WebのパフォーマンスでいうのならLinux<FreeBSD Solaris 10 ではネットワークスタックも FireEngine というコードネームで 更新されてパフォーマンス向上が図られているということですね.Sun 自身が 出しているベンチマークの数値を額面通りに受け取るかはともかくとしても. 今dsoなサーバ: cobra / live8 tiger / ex7 live16 news19 banana / ex9 live16とnews19でもこの設定を解除した。 bbs.cgiとread.cgiでもKeepAlive有効。 #SetEnvIf Request_URI ^/test/bbs\.cgi nokeepalive #SetEnvIf Request_URI ^/test/subbbs\.cgi nokeepalive #SetEnvIf Request_URI ^/test/read\.cgi nokeepalive read.cgi再開発スレ http://qb5.2ch.net/test/read.cgi/operate/1087199303/516- tigerサーバ、すべてread.cgiをmod_cgidso化。 同時に read.cgi / subbbs.cgi / bbs.cgi における nokeepalive を廃止。 これをコメントアウト。 #SetEnvIf Request_URI ^/test/bbs\.cgi nokeepalive #SetEnvIf Request_URI ^/test/subbbs\.cgi nokeepalive #SetEnvIf Request_URI ^/test/read\.cgi nokeepalive これを追加。 LoadModule cgidso_module libexec/apache2/mod_cgidso.so # for mod_cgidso <IfModule mod_cgidso.c> AddHandler dso-script so </IfModule> <IfModule mod_cgidso.c> <Files read.cgi> SetHandler dso-script </Files> </IfModule> >>633 NFSはsolaris>linuxだそうな kernel2.6でどれだけうpしたかしらんけど、 最低でも2.7ブランチまではクリティカルなところには入れられないしw 掲示板ありのtigerサーバのRLimitCPUを、 RLimitCPU 30 から、 RLimitCPU 120 にしました。 SpeedyCGI化に伴い、CPU時間によるリミッター値を上げ。 (ex7/live8/live16では既に実施済みだったものを、全サーバに反映) http://www.apple.com/jp/xsan/ ふむふむ、こういうのがあるのですねφ(・_・) メモメモ > 同時に read.cgi / subbbs.cgi / bbs.cgi における nokeepalive を廃止。 まだsubbbs.cgiあるの? >>641 今日出たxserveの最新版にあわせて発売されました xserveは1台375〜500オイスター。無制限ライセンスつき! 案外今検討されている実況システムに向いているかも。。。 Single Processor ¥346,290 (本体価格¥329,800) 2.0GHz PowerPC G5 512K 二次キャッシュ 1GHz システムバス 1GB DDR400 ECC SDRAM 80GB Serial ATA Drive Mac OS X Server(無制限ライセンス) デュアル ギガビット Ethernet ビデオカードなし コンボドライブ Dual Processor ¥461,790 (本体価格¥439,800) Dual 2.3GHz PowerPC G5 各512K 二次キャッシュ 1.15GHz システムバス 1GB DDR400 ECC SDRAM 80GB Serial ATA Drive Mac OS X Server(無制限ライセンス) デュアル ギガビット Ethernet ビデオカードなし コンボドライブ Cluster Node ¥346,290 (本体価格¥329,800) Dual 2.3GHz PowerPC G5 各512K 二次キャッシュ 1.15GHz システムバス 512MB DDR400 ECC SDRAM 80GB Serial ATA Drive Mac OS X Server(10ライセンス) デュアル ギガビット Ethernet ビデオカードなし 基本状態でこれ……高い…www 参考:Dual Proseccorを最高までBTOした結果 - デュアル 2.3GHz PowerPC G5 - 8GB DDR400 ECC SDRAM - 8x1GB - 1200GB ADM [3x400GB Serial ATA] - SuperDrive(DVD-R/CD-RW) - ハードウェア RAID PCI カード(下段スロット) - ギガビット Ethernet PCI-X カード(上段スロット) - Mac OS X Server Unlimited クライアントライセンス - アクセサリキット - Xserve RAID 5600G/ 14x400G/ 2x2GB FC/ 1GB Cache - AppleCare Premium Service and Support Plan for Xserve 本体価格 ¥2,731,800 消費税 ¥136,590 小計 ¥2,868,390 >>644 って、memories2をつくるわけじゃないし、ディスクはそんなにイラネ >>646 追記 #この場合の参考は価格面でつ。言葉足りませんでしたort 1年ぐらい前のpekoスレでXserve RAIDを推薦したときは無下に候補から落とされたよなぁ…… まぁFreeBSD/amd64から使うには無謀だとは思うけど。 >>648 確かあれは、memoriesを作っているときの文脈で、 値段の問題とか、そこまでの高速なのはとりあえずいらないとか、 そういう問題だったように記憶しているです。 で、SATA RAID + FibreChannel に落ち着いたと。 今回のは高速性が大事な局面なので、 bananaでパイロットした後で本物を作るフェーズになれば、候補になりうるのかも。 とくにFSBが既存のx86系アーキとくらべても激速ですからね >>650 追加 サウスブリッジもHyperTransportなんでcobraよりはやいはず 一番のネックはまたしてもディスク回転数か・・・・ http://www.wdc.com/jp/products/current/retailkits/WD740GDRTL.asp は10krpmだけど、今の主力であるCheetah 15Kより劣る上に新xserveには対応しているのか? 突っ込めば動くだろうけど、それでいいのか? というもんだいかしら。 >>651 回転数というより、それ、SCSI-SATA変換かましてるから そっちのほうがネックじゃよ それにそれはSATAIIちゃうし (同じ回転数のSCSIドライブよりかなり落ちる) ここしばらくで、立て続けに2つ5.3Rにfixが入りました。 Topic: NFS Server may panic under certain load patterns Topic: sk(4) driver instability on SMP systems NFSは雪だるま作戦で使うかもしれないので、適用必要すね。 skドライバはとりあえず2ちゃんねるでは関係ないけど、関係する人は多いかなと。 雪だるまって何のことかと思ったらこれか。 ■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1 http://qb5.2ch.net/test/read.cgi/operate/1105035540/l50 qa.2ch.net @banana386(live14) に作ります。 基本セット入れればいいのかな? < qa.2ch.net 儀式依頼です。 ■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1 http://qb5.2ch.net/test/read.cgi/operate/1105035540/86-87 (新規追加) +liveb1.2ch.net:206.223.151.135 http://qa.2ch.net/ の準備が出来ました 板を作ることが可能になりました。 dat保持数は10,000に設定されていまーす。 >>662 というわけで、bananaサーバ方面は .htaccess で制限かけて、 tiger/cobraサーバ方面は、昨年も使ったやつを、とりあえずごにょごにょと。 ex7、なぜかhttpdの数が減っていたので、リスタートした。 この設定だったら、ひまな状態でも減らないと思うんだけど、なんでだろ。 <IfModule prefork.c> StartServers 1024 MinSpareServers 5 MaxSpareServers 1024 ServerLimit 1024 MaxClients 1024 MaxRequestsPerChild 1000000 </IfModule> >>666 何らかの要因で httpd が終了しても,MinSpareServers まで スペアの httpd が減らないと新たな httpd が立ち上がらないとか. httpd 終了の要因としては...... ・ MaxRequestsPerChild 回リクエストを処理した. ・ segfault で死んだ. ・ etc. >>667 ふーむ、MinSpareServersを1024にすればいいのかしら。 意外に、read.cgi内でexitしてたりして。 >>668 ずっと 1024 をキープしたいとすればそうですね. >>670 そうなってると,確かに httpd ごと終了しちゃいます...... がんがんread.cgiが起動されてるnews19ではそんなことないっすね。 ex7は既にちょっと減少していたりします。>>667 かなと。 ということでこれにしました。 本日の「7期該当なしショック」の時に1280に増やしても問題なさそうだったので、 tigerサーバはこれでいこうかなと。 <IfModule prefork.c> StartServers 1280 MinSpareServers 1280 MaxSpareServers 1280 ServerLimit 1280 MaxClients 1280 MaxRequestsPerChild 1000000 </IfModule> ex7、live17以外のサーバのhttpdの数を1024に戻す予定。 (hobby7/game10は後で) ひさしぶりに、設定ミス(と思われる)で落としてしまった。鬱。 ex7も他と同様、httpdを1024固定にした。 1280だと、かえってつらそうすね。(live17はread.cgi率が少ないため、1280のまま) game10 hobby7 も 1024 固定に設定。 banana201 を 5.3R にバージョンアップしました。 (www.2ch.net/www2.2ch.net/yakin.cc) これで、RAIDカード入れて中身を初期化する予定のcobra2245と 慎重にバージョンアップする必要があるため現地に行けたら作業しようと思っている oyster902 = memoriesを除き、 私が見ているサーバはすべてFreeBSD 5.3Rになりました。 これでとりあえず、バージョンアップ系の工事は一段落のはず。 寝る前に気がついたので。 例の攻撃かも & 大量スワップアウト騒ぎで、bbs.cgi (speedy) の -t660 を -t60 に変えたわけですが、 そもそも10分で自爆するようにbbs.cgiで設定していたような気がするので、 -t660 は、実は正しい設定だったような気がしてきました。 …でも今日はFOXさんが早寝しているので、 とりあえず今は設定を変えず、とりえあずそのままにしておくことにします。 覚え書き: パフォーマンスダウンが起こっていたサーバ: pc5 hunan5 music4 idol.bbspink.com で、pc5にはtiger/coraに今入れているフィルタと同じものを入れてもらっています。(by Jim-san) tigre/cobraはフィルタ実装済。 .htaccess からは、はずしてあります。 以上、現状のまとめ。 どもども 月曜から復帰予定でーす -t660 は 11分ということで設定しました。 それ自身は問題ないかと、 bbs.cgi が引きがねでいろいろ起るのはbbs.cgiに存在する問題点かと 長い戦いとなるでしょう。 bananaの5.3化もやる予定ではあったりして、 これもまた長い戦いになる予感。 一方、史上最大の爆撃を受けているようですが、 序盤のジャブ一発目なのか、はたまた渾身のストレートだったのか、、、 なんせ破壊力は韓国の数十倍は楽にあると予想できますから。 でも LAが上昇して負荷が高い状態になるのは ここ数週間の経験からいくと read.cgi 起因だす。 何らかのきっかけで read.cgi 暴走 サーバが忙しくなって swap 開始 bbs.cgi の処理が物凄く時間がかかって 書き込み処理事態が swap out 見た目 <speedy_back> が大量に存在。 でも これを見て bbs.cgi の問題とみたり サーバの設定の問題とみたりしてもうまく行かなかったです。 原因は read.cgi の暴走。 枯れるまでじっと待とうread.cgi もう月曜日だし^^; ( ̄□ ̄;)海外・・・・orz >>683 > -t660 は 11分ということで設定しました。 > それ自身は問題ないかと、 そうですね。これで問題が出るようだと、本質的なことが解決できてない、って ことになるです。 > なんせ破壊力は韓国の数十倍は楽にあると予想できますから。 どっかに「回線がうんこ」って書いてあったような気がしましたが、 うんこだったとしても、数の力はすごいし。 ここの掲示板が他に対してたまに発揮しているのとか見ると、思うです。 例えばUDとか。 で、>>685 の read.cgi の暴走ですが、 dso 化されてしまうと、今のbananaの設定ではその様子が見えないのです。 で、もしよろしければ、pc5 human5 idol.bbspink.com あたりで、 security.bsd.see_other_uids=0 を一時的に外していただけると、うれしかったりします。 ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 07.5.5 2024/06/08 Walang Kapalit ★ | Donguri System Team 5ちゃんねる