peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。
<現在の主要なテーマ>
・oyster243(BBQ/dnscache)の突然死対策&cobra2245セットアップによる2台体制化
・oytser902(memories)のFreeBSD 5.3化
・「雪だるま作戦」による、スケーラブルなサーバ群構築
・read.cgi/bbs.cgiの細かな調整・詰め
・携帯サーバのプライベート側スイッチのグレードアップ検討
・各種作戦・プロジェクトとの連携
・FreeBSDのさらなるチューニング詰め
<関連スレッド>
■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1
http://qb5.2ch.net/test/read.cgi/operate/1105035540/
■ 自動地震速報@2ch をつくろう
http://qb5.2ch.net/test/read.cgi/operate/1106583619/
■ テレビ番組欄@2ch をつくろう 第2話
http://qb5.2ch.net/test/read.cgi/operate/1107366393/
<関連サイト>
レンタルサーバー maido3.com 2ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
2ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html
<前スレ>
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16
http://qb5.2ch.net/test/read.cgi/operate/1102087698/
探検
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17
■ このスレッドは過去ログ倉庫に格納されています
1root▲ ★
05/02/03 05:34:37ID:???02005/03/26(土) 11:04:31ID:DkIsp7+H0
ちゅーか違うホストに接続している同容量のHDDにdailyでpdumpfs_sshするとかなら
すぐに出来るのでは。
RAID1は論理ミスには弱いけど、違うホストへのpdumpfsなら耐えられる。
すぐに出来るのでは。
RAID1は論理ミスには弱いけど、違うホストへのpdumpfsなら耐えられる。
2005/03/26(土) 14:09:24ID:J98YQk0h0
>>610
ポリウェルさんは残念ながら「バックアッププロダクト」をお持ちで無いようですorz
どうやら少なくともラックマウント系はオプションっぽい模様。
どうしてもpolywellさんというのであればお問い合わせしたほうがいいかもです。
ポリウェルさんは残念ながら「バックアッププロダクト」をお持ちで無いようですorz
どうやら少なくともラックマウント系はオプションっぽい模様。
どうしてもpolywellさんというのであればお問い合わせしたほうがいいかもです。
2005/03/26(土) 17:06:44ID:DkIsp7+H0
>612
1年ぐらい前にpc鯖の誤消去事件があったときにroot★氏が話題にしていたけど。
要するにテープじゃなくて別のサーバーにデータをdailyで保存しておきますか。
という話。
サーバーはCPUの速度は全然いらないのでPentium3とかでもOk。
HDDの容量さえあればいい。
1年ぐらい前にpc鯖の誤消去事件があったときにroot★氏が話題にしていたけど。
要するにテープじゃなくて別のサーバーにデータをdailyで保存しておきますか。
という話。
サーバーはCPUの速度は全然いらないのでPentium3とかでもOk。
HDDの容量さえあればいい。
テープドライブ扱ってるメーカー少ないようですねぇ
とりあえず、有名所だけピックアップしておきます。
(日本語ページのみですけどアメリカでも扱っています。)
HP
ttp://h50146.www5.hp.com/products/storage/tape/index.html
IBM
ttp://www-6.ibm.com/jp/storage/products/tape/
とりあえず、有名所だけピックアップしておきます。
(日本語ページのみですけどアメリカでも扱っています。)
HP
ttp://h50146.www5.hp.com/products/storage/tape/index.html
IBM
ttp://www-6.ibm.com/jp/storage/products/tape/
617じじぃ その4 ◆HETAREzfq.
2005/03/26(土) 17:47:23ID:+O6+ZIZA0 http://www.sony.jp/products/Professional/DataArchive/products/sait_drive/index_saite1300.html
コレは200まんえん
http://www.hitachi.co.jp/Prod/comp/OSD/tplib/prod/small/l2_20/
コレもとてもたかいのぅ
http://www.sw.nec.co.jp/products/istorage/product/backup/t40a/index.shtml
300まんえんじゃー
>>613
どんなのを扱っておるのか、問い合わせたほうがええじゃろうねぃ
Polywellを通してサポを受けられればそれが一番ええじゃろうし
コレは200まんえん
http://www.hitachi.co.jp/Prod/comp/OSD/tplib/prod/small/l2_20/
コレもとてもたかいのぅ
http://www.sw.nec.co.jp/products/istorage/product/backup/t40a/index.shtml
300まんえんじゃー
>>613
どんなのを扱っておるのか、問い合わせたほうがええじゃろうねぃ
Polywellを通してサポを受けられればそれが一番ええじゃろうし
618じじぃ その4 ◆HETAREzfq.
2005/03/26(土) 18:02:14ID:+O6+ZIZA0 U160/320 モノのテープドライブを選ぶんじゃと
FC変換しるハブを別途買うひつようが出てくるんでなかべか?
ようワカランけんども、
FC変換しるハブを別途買うひつようが出てくるんでなかべか?
ようワカランけんども、
2005/03/26(土) 18:29:17ID:J98YQk0h0
じじいさん
2chの要求レベル相当のバックアップソリューションは
大抵堅牢性が強く求められるんで、
ちょっとしたものでもミリオン単位で飛びますよ
テープドライブをsuma直結にする(ってできるのかわかりませんけど)か、902につなぐのか・・・
後者のほうが管理上現実的な気がするのは私だけでしょうかね
2chの要求レベル相当のバックアップソリューションは
大抵堅牢性が強く求められるんで、
ちょっとしたものでもミリオン単位で飛びますよ
テープドライブをsuma直結にする(ってできるのかわかりませんけど)か、902につなぐのか・・・
後者のほうが管理上現実的な気がするのは私だけでしょうかね
620じじぃ その4 ◆HETAREzfq.
2005/03/26(土) 18:37:32ID:+O6+ZIZA02005/03/26(土) 18:59:44ID:J98YQk0h0
たぶん設置場所の関係からラックマウント機器でないとつらいという制約もあるでしょうし、
そのうえ圧縮つきで1TB以上を確保しておく必要があります。
さらに>>610でrootさんが言っているけどオートチェンジャーつきとなると
sumaの数倍は●がとびまくりそうです・・・
そのうえ圧縮つきで1TB以上を確保しておく必要があります。
さらに>>610でrootさんが言っているけどオートチェンジャーつきとなると
sumaの数倍は●がとびまくりそうです・・・
2005/03/26(土) 19:07:17ID:J98YQk0h0
>>621の条件を満たすとなるとこれくらいですかねー
金銭的に極めてつらいでしょうね。。。。
ttp://www-6.ibm.com/jp/storage/products/tape/lto/3581.html
ttp://h50146.www5.hp.com/products/storage/tape/ssl1016_sdlt/index.html
金銭的に極めてつらいでしょうね。。。。
ttp://www-6.ibm.com/jp/storage/products/tape/lto/3581.html
ttp://h50146.www5.hp.com/products/storage/tape/ssl1016_sdlt/index.html
623じじぃ その4 ◆HETAREzfq.
2005/03/26(土) 19:30:23ID:+O6+ZIZA0624FOX ★
2005/03/26(土) 19:44:33ID:???0 そんなに高いんですか、、、
うーむ
うーむ
625じじぃ その4 ◆HETAREzfq.
2005/03/26(土) 20:36:19ID:+O6+ZIZA0 >>624
ねだんはPolywell次第じゃないかのう
正規代理店として持ってこれるブツがあるなら値引きも期待出来るで、
でも、少なくともsuma並のねだんはするとおもうんじゃが
ただたんに鯖を組むだけなら100まんえん以下で済むとおもうでよ
↓の2Uのケースに、てきとうなRAIDカードでも組み込んでミラーさせて
(http://www.polywell.com/us/rackservers/poly2012ai.asp)
大きいS-ATAHDD(今は400GBが最大)を何発か入れればそんなもんで済むべ
でも、テープを持ち出すからには
何か鯖をたてるだけでは実現できないメリットがあるとおもうんじゃが、、
それはどんなんだべか?
ねだんはPolywell次第じゃないかのう
正規代理店として持ってこれるブツがあるなら値引きも期待出来るで、
でも、少なくともsuma並のねだんはするとおもうんじゃが
ただたんに鯖を組むだけなら100まんえん以下で済むとおもうでよ
↓の2Uのケースに、てきとうなRAIDカードでも組み込んでミラーさせて
(http://www.polywell.com/us/rackservers/poly2012ai.asp)
大きいS-ATAHDD(今は400GBが最大)を何発か入れればそんなもんで済むべ
でも、テープを持ち出すからには
何か鯖をたてるだけでは実現できないメリットがあるとおもうんじゃが、、
それはどんなんだべか?
2005/03/27(日) 02:56:52ID:f1aGpjqc0
NetVault を使うとハードディスク上にバーチャルテープライブラリを構築できますが、
そんな事するくらいなら普通に pfsdump でも使った方がましですな
そんな事するくらいなら普通に pfsdump でも使った方がましですな
2005/03/27(日) 03:42:48ID:qGX/Vuds0
memoriesもう一個立てて、半手動で同期とっとけばいいんじゃない
2005/03/27(日) 09:30:35ID:G9RKHihM0
もう、RAID-5でも0+1でもいいから、HDDで堅牢性を求めた方が安上がりで、楽な気がする。
もしくは、>627みたいに、鯖間でミラーリングするとか。
テープドライブまで使う必要があるのかどうか・・・。
もしくは、>627みたいに、鯖間でミラーリングするとか。
テープドライブまで使う必要があるのかどうか・・・。
2005/03/27(日) 11:49:25ID:nI+UA9p70
各鯖の空きHDDをひとつのHDDとして見立ててバックアップに使うシステムとか。
あ、一個でもクラッシュしたらパーか
つかえねーww
あ、一個でもクラッシュしたらパーか
つかえねーww
2005/03/27(日) 12:02:31ID:WTPE7ojU0
631じじぃ その4 ◆HETAREzfq.
2005/03/27(日) 17:29:14ID:nfigY5zo0 テープの利点というんは、メディアを持ち運び出来る点かのう、
データを管理人の手元においたり、ブラジルで使ったりとかも
可能になってくるんでなかべか、
利用法によっては鯖代の足しになったり鯖負荷低減になったりしるかものう
あとは、巻き戻しポイントを複数用意出来るという点かのう
1ヶ月前のデータじゃとダメだという場合、2ヶ月前、3ヶ月前と
さらに前のデータを用意出来るのは状況によっては有意義かも試練
…ほかに利点はあるべか、
データを管理人の手元においたり、ブラジルで使ったりとかも
可能になってくるんでなかべか、
利用法によっては鯖代の足しになったり鯖負荷低減になったりしるかものう
あとは、巻き戻しポイントを複数用意出来るという点かのう
1ヶ月前のデータじゃとダメだという場合、2ヶ月前、3ヶ月前と
さらに前のデータを用意出来るのは状況によっては有意義かも試練
…ほかに利点はあるべか、
2005/03/27(日) 18:03:09ID:WTPE7ojU0
memoriesの場合は導入直後にフルバックアップをとって、
その後は各種プログラムなどの仕様変更や新規収容があったときに
差分をとるやり方をすれば問題ないかと。
そういった理由でオートチェンジャーは必要性は薄いと思います。
で、メディアはJimさんが地理的に離れたところに設置した耐火金庫へ放り込んでおく、と。
その後は各種プログラムなどの仕様変更や新規収容があったときに
差分をとるやり方をすれば問題ないかと。
そういった理由でオートチェンジャーは必要性は薄いと思います。
で、メディアはJimさんが地理的に離れたところに設置した耐火金庫へ放り込んでおく、と。
633FOX ★
2005/03/27(日) 23:29:31ID:???0 root★さんいますか?
bbs.cgi@ex10 を更新しても反映されないような仕様ですか?
bbs.cgi@ex10 を更新しても反映されないような仕様ですか?
634root▲ ★
NGNG >>633
そんなはずはないですが、、、。
なんか、一時的に該当時間、何か様子が変だったみたい。
で、テープですが、入れ替えしないでとれると
手間がないかな、ってかんじで、チェンジャーつきがいいのかなと。
でも高いなら、チェンジャーはあきらめて、とる時はPIEに人がいて、
テープを差し替える、というのでも、十分な気がします。
上記を想定すると、オペレーションは、概ねこんなかんじかなと。
フルダンプ用のテープを2セット用意しておき(例えばAとBとする)、
1)最初にAにフルダンプをとる
2)次にmemoriesに収納があった時にBにフルダンプをとる
3)その次の収納の際にはAにとる、以下2)と3)を繰り返す
これにより、一世代前のテープが常に存在するので、
万一テープにとっている間にSumaがクラッシュしたり、
間違ってテープを上書きしてしまっても、被害を最小限にとどめられる。
で、増分とってもいいんですが、今の更新頻度と手間を考えると、
毎回フルダンプをとっても、十分(たぶん、収納のタイミングでとるだけでいいから)
なのではないかなと。
そんなはずはないですが、、、。
なんか、一時的に該当時間、何か様子が変だったみたい。
で、テープですが、入れ替えしないでとれると
手間がないかな、ってかんじで、チェンジャーつきがいいのかなと。
でも高いなら、チェンジャーはあきらめて、とる時はPIEに人がいて、
テープを差し替える、というのでも、十分な気がします。
上記を想定すると、オペレーションは、概ねこんなかんじかなと。
フルダンプ用のテープを2セット用意しておき(例えばAとBとする)、
1)最初にAにフルダンプをとる
2)次にmemoriesに収納があった時にBにフルダンプをとる
3)その次の収納の際にはAにとる、以下2)と3)を繰り返す
これにより、一世代前のテープが常に存在するので、
万一テープにとっている間にSumaがクラッシュしたり、
間違ってテープを上書きしてしまっても、被害を最小限にとどめられる。
で、増分とってもいいんですが、今の更新頻度と手間を考えると、
毎回フルダンプをとっても、十分(たぶん、収納のタイミングでとるだけでいいから)
なのではないかなと。
636動け動けウゴウゴ2ちゃんねる
2005/03/28(月) 02:46:55ID:bxHbdtRo0 >>635
偽???Σ(゚Д゚)))
偽???Σ(゚Д゚)))
637動け動けウゴウゴ2ちゃんねる
2005/03/28(月) 02:56:10ID:xVPp8nl2O 携帯からスレ立てる事は出来ますか?
教えてください
教えてください
639じじぃ その4 ◆HETAREzfq.
NGNG640某47 ◆ap/yuix/tw
NGNG 収容→バックアップ→元を消去
で完璧ですね
で完璧ですね
641FlashLight ◆f.lightAf6
2005/03/28(月) 03:18:15ID:esiLHTHI0 >>635
工工エエエエエ(´Д`)エエエエエ工工
工工エエエエエ(´Д`)エエエエエ工工
2005/03/28(月) 03:49:36ID:Tmqz5W5k0
バックアップは日本全国で分散されて保存さえれてるってのはだめなの?w
2005/03/28(月) 04:13:35ID:GtkEYULa0
memoriesに収容されているのは.dat.gz, .html, .html.gzの3つで
他のもの全て(index.html, subject.txt)を含めても
.dat.gzさえあれば復元できるはず。
で、全てテキストな.datの圧縮率を1/3程度と仮定すると
最大1.5Tあるmemoriesのデータでも
全体の1/5、つまり300GのHDD一台でバックアップできるはず
と、暴論を述べてみる。
圧縮しての保持形態や復元作業の手間(時間ではなく手間)などを考えると
そのまま保存できるテープ等のデバイスの方が良いことは間違いないんだけど。
他のもの全て(index.html, subject.txt)を含めても
.dat.gzさえあれば復元できるはず。
で、全てテキストな.datの圧縮率を1/3程度と仮定すると
最大1.5Tあるmemoriesのデータでも
全体の1/5、つまり300GのHDD一台でバックアップできるはず
と、暴論を述べてみる。
圧縮しての保持形態や復元作業の手間(時間ではなく手間)などを考えると
そのまま保存できるテープ等のデバイスの方が良いことは間違いないんだけど。
644偽FOX ★
2005/03/28(月) 04:15:27ID:???0 DVDに焼くってのも出来る?
>644
出来ないこともないですけどDVDの枚数と焼き時間がトンでもないことに(滝汗
DVD−R 1枚あたり約4G
1枚焼く時間 最速クラスで約6分
仮に1Tだとしたら250枚なので
6x250=1500分 約25時間(滝汗
しかもそこまで連続焼きにドライブが耐えられないと思われ
出来ないこともないですけどDVDの枚数と焼き時間がトンでもないことに(滝汗
DVD−R 1枚あたり約4G
1枚焼く時間 最速クラスで約6分
仮に1Tだとしたら250枚なので
6x250=1500分 約25時間(滝汗
しかもそこまで連続焼きにドライブが耐えられないと思われ
646偽FOX ★
2005/03/28(月) 04:31:31ID:???0 ぐわん !!
そなのか、
そなのか、
2005/03/28(月) 04:33:58ID:PFbY7Qsv0
ホントに焼けるな
2005/03/28(月) 04:38:08ID:I1xB3MUe0
テープにバックアップしたものを、リストアすることなんか
永久にないと考えたほうがいいですよ
ただ、保存したという自己満足だけ
永久にないと考えたほうがいいですよ
ただ、保存したという自己満足だけ
国内価格だけどこのクラスなら比較的に安くてテープコストも安いみたいです。
ttp://www.plathome.co.jp/detail.html?scd=11850316
ttp://www.plathome.co.jp/detail.html?scd=11850316
>649
アメリカだとここまで下がってます。
ttp://www.costcentral.com/proddetail/HP_StorageWorks_Ultrium_215/C7492B/D33101/
アメリカだとここまで下がってます。
ttp://www.costcentral.com/proddetail/HP_StorageWorks_Ultrium_215/C7492B/D33101/
2005/03/28(月) 04:52:11ID:Pg0oPgw00
BDにしようぜとか言ってみた
2005/03/28(月) 05:34:36ID:Ns+eLADC0
>>651
おまいは俺か
おまいは俺か
2005/03/28(月) 06:36:50ID:U9dwtCGr0
2005/03/28(月) 10:23:45ID:lb5gNAZH0
655動け動けウゴウゴ2ちゃんねる
2005/03/28(月) 10:29:55ID:1qd5mCai0 こんにちは。
似たようなスレに投稿してみたけど、そこよりもこっちの方が活発なので再投稿。
2ch 第二投稿なので、いまいち投稿の仕方などの雰囲気がつかみ切れていないが。
提案としては、HTML 生成圧縮済のページを URL でハッシュして、メモリ上に保存。
以下、ほぼコピペ。
基本動作は
if(URL を元に HTML ページのハッシュを生成と検索)
{ ハッシュテーブルからキャッシュを送信}
else // 見付からない
{ HTML 生成、送信して、ハッシュに保存 }
HTML 済の保存場所としては、
1. 一つのプロセスが常駐できるなら on-memory
2. mfs または tmpfs
3. local fs
ハッシュテーブルは多段式にして優先順位を元に高速アクセスできる所に生成済ページを保存
アクセス数と最終リクエストによる優先順を保持して、1 または 2 と 3 を併用できたらいいとは思うけど。
新しくアクセスされたところは 1(2) に残り古いページは 3 に移って、そのうち消去。
記事の数やメモリの量にもよるけど読者が多いところに有効。
とっても大雑把だけど雰囲気ぐらいはつかめまつか?
似たようなスレに投稿してみたけど、そこよりもこっちの方が活発なので再投稿。
2ch 第二投稿なので、いまいち投稿の仕方などの雰囲気がつかみ切れていないが。
提案としては、HTML 生成圧縮済のページを URL でハッシュして、メモリ上に保存。
以下、ほぼコピペ。
基本動作は
if(URL を元に HTML ページのハッシュを生成と検索)
{ ハッシュテーブルからキャッシュを送信}
else // 見付からない
{ HTML 生成、送信して、ハッシュに保存 }
HTML 済の保存場所としては、
1. 一つのプロセスが常駐できるなら on-memory
2. mfs または tmpfs
3. local fs
ハッシュテーブルは多段式にして優先順位を元に高速アクセスできる所に生成済ページを保存
アクセス数と最終リクエストによる優先順を保持して、1 または 2 と 3 を併用できたらいいとは思うけど。
新しくアクセスされたところは 1(2) に残り古いページは 3 に移って、そのうち消去。
記事の数やメモリの量にもよるけど読者が多いところに有効。
とっても大雑把だけど雰囲気ぐらいはつかめまつか?
2005/03/28(月) 10:38:43ID:zZZdYwRS0
memoriesを2機にしてバックアップ兼負荷分散がいいのでは?
657root▲ ★
2005/03/28(月) 14:00:01ID:???02005/03/28(月) 15:42:53ID:BRV6lzf/0
>655
DHT(分散ハッシュ)でググレ。P2P研究関係とか。
あと実績がある硬い仮想ファイルシステムじゃないと2chに導入するのはムズイような。
DHT(分散ハッシュ)でググレ。P2P研究関係とか。
あと実績がある硬い仮想ファイルシステムじゃないと2chに導入するのはムズイような。
2005/03/28(月) 16:21:14ID:c3x449bx0
660じじぃ その4 ◆HETAREzfq.
NGNG >>650
おおっ 安いのう
おらが>>617で出したソニーのFCなブツもこうなっておる
ソニーのブツは互換性が全くなさそうじゃからそもそもアレなんじゃが、
http://www.getplus.co.jp/product.asp?product=652039
\1,666,717(税込)
http://www.costcentral.com/proddetail/Sony_SAITe1300FS/SAITE1300FS/C92636/
$7,683.60
>>657
Reffiさんがだしたサイトをみるに、FCモノ限定じゃと
少なくとも6000ドルはみたほうがよいようじゃのう
おらには出せない金額ではない(虎の倍)ように思えるけんども、
そのへんはサンダルをこよなく愛するえらい人的にはどうなんだべなぁ?
ところで、メディアの種類には拘らないのけ?
国内の関係者が使っておるブツと互換性があるブツを選べば
今後いろいろと(新しい)使いかたがあるとおもうんじゃが、、
おおっ 安いのう
おらが>>617で出したソニーのFCなブツもこうなっておる
ソニーのブツは互換性が全くなさそうじゃからそもそもアレなんじゃが、
http://www.getplus.co.jp/product.asp?product=652039
\1,666,717(税込)
http://www.costcentral.com/proddetail/Sony_SAITe1300FS/SAITE1300FS/C92636/
$7,683.60
>>657
Reffiさんがだしたサイトをみるに、FCモノ限定じゃと
少なくとも6000ドルはみたほうがよいようじゃのう
おらには出せない金額ではない(虎の倍)ように思えるけんども、
そのへんはサンダルをこよなく愛するえらい人的にはどうなんだべなぁ?
ところで、メディアの種類には拘らないのけ?
国内の関係者が使っておるブツと互換性があるブツを選べば
今後いろいろと(新しい)使いかたがあるとおもうんじゃが、、
2005/03/28(月) 23:51:05ID:7lPO497X0
662sage
2005/03/29(火) 11:42:05ID:SI5rK2pm0 >>658
ふ〜ん、そんなのもあるんだね。
後でゆっくり読んでみるよ。
いいたかったのとはちょっと違う。
今は「 read.cgi がリクエストが来たら、各リクエストごとに dat から HTMLを生成している。」がいまの実装であっているかい?
違っていたら、この提案は意味なし。
read.cgi がファイルにアクセスして、HTML 生成をするのはかなりの作業だと思う。それを、一回毎に HTML を生成、破棄しいないでプロセスにキャシュしておくのはどうかというのが提案。
squid などで、試しているキャシュに似ている。
Apache が read.cgi を含むプロセスと、何らかの通信をするなどして、一つのプロセスが常駐する必要がある。
一段目のキャッシュとして malloc 等で割り当てたメモリに HTML を保存する。
そこに、URL が存在したら、それをそのまま socket に流す。
一段目のキャシュに無かったら、二段目だ。
こっちもハッシュの鍵はURL。
こっちでは、HTML ではなくて、生成圧縮済の HTML へのパス。
例えば、/var/tmp/read.cgi_cache_file。
これは、一段目のキャッシュが大きくなった時にファイルに書き込む。
IO が発生するが dat を読んで、HTML を作って、圧縮するよりは、速いはず。
二段目にも無かったら、dat を読むしか無いね。
HTML を作ったら今度は送信するだけでなく、一段目のキャッシュに保存。
しばらく経つと、キャッシュも大きくなるから、何らかの優先順位を決めて、一段目のは二段目に移動。
二段目のは削除。
キャッシュにハッシュ関数を使うってだけ。P2P のとは全くの別物。
仮定としては、メモリと /var/tmp (一時保存のHD)等は余裕があって、ユーザは書き込みよりも、読者の方が多い。
アクセスの多い板はある程度限られている。
ふ〜ん、そんなのもあるんだね。
後でゆっくり読んでみるよ。
いいたかったのとはちょっと違う。
今は「 read.cgi がリクエストが来たら、各リクエストごとに dat から HTMLを生成している。」がいまの実装であっているかい?
違っていたら、この提案は意味なし。
read.cgi がファイルにアクセスして、HTML 生成をするのはかなりの作業だと思う。それを、一回毎に HTML を生成、破棄しいないでプロセスにキャシュしておくのはどうかというのが提案。
squid などで、試しているキャシュに似ている。
Apache が read.cgi を含むプロセスと、何らかの通信をするなどして、一つのプロセスが常駐する必要がある。
一段目のキャッシュとして malloc 等で割り当てたメモリに HTML を保存する。
そこに、URL が存在したら、それをそのまま socket に流す。
一段目のキャシュに無かったら、二段目だ。
こっちもハッシュの鍵はURL。
こっちでは、HTML ではなくて、生成圧縮済の HTML へのパス。
例えば、/var/tmp/read.cgi_cache_file。
これは、一段目のキャッシュが大きくなった時にファイルに書き込む。
IO が発生するが dat を読んで、HTML を作って、圧縮するよりは、速いはず。
二段目にも無かったら、dat を読むしか無いね。
HTML を作ったら今度は送信するだけでなく、一段目のキャッシュに保存。
しばらく経つと、キャッシュも大きくなるから、何らかの優先順位を決めて、一段目のは二段目に移動。
二段目のは削除。
キャッシュにハッシュ関数を使うってだけ。P2P のとは全くの別物。
仮定としては、メモリと /var/tmp (一時保存のHD)等は余裕があって、ユーザは書き込みよりも、読者の方が多い。
アクセスの多い板はある程度限られている。
663root▲ ★
2005/03/29(火) 12:15:42ID:???0 >>662
メモリキャッシュ→ファイルのキャッシュ→従来の方法 っていうことですか。
こないだ、ミニ雪だるま作戦でちょっと試したやつですね。
こないだはread.cgiの出力はノーキャッシュでやったのでsubject.txtだけでしたが、
それでも2〜3割はメモリキャッシュからヒットしました。(旧ex7の場合)
ということで、read.cgiでも同じことができるなら、
news系とかpc系とかのようにROMの多い板では、相当の節約になる気がしていたりします。
メモリキャッシュ→ファイルのキャッシュ→従来の方法 っていうことですか。
こないだ、ミニ雪だるま作戦でちょっと試したやつですね。
こないだはread.cgiの出力はノーキャッシュでやったのでsubject.txtだけでしたが、
それでも2〜3割はメモリキャッシュからヒットしました。(旧ex7の場合)
ということで、read.cgiでも同じことができるなら、
news系とかpc系とかのようにROMの多い板では、相当の節約になる気がしていたりします。
2005/03/29(火) 12:26:07ID:Z+3+49+w0
>>663
実況だとメモリキャッシュ、通常だとファイルキャッシュ重視の構成にするといいのでしょうかね。
そういう意味で膨大なキャッシュシステムを構築している、
それもクラスタリングはあくまでその補完でしかないGoogleってすごすぎですね。
できるならGoogleのエンジニアのお知恵を拝借したいぐらいでしょう>雪だるま作戦
実況だとメモリキャッシュ、通常だとファイルキャッシュ重視の構成にするといいのでしょうかね。
そういう意味で膨大なキャッシュシステムを構築している、
それもクラスタリングはあくまでその補完でしかないGoogleってすごすぎですね。
できるならGoogleのエンジニアのお知恵を拝借したいぐらいでしょう>雪だるま作戦
2005/03/29(火) 13:38:02ID:SI5rK2pm0
2005/03/29(火) 13:58:13ID:6su+Z18t0
2005/03/29(火) 15:27:24ID:SI5rK2pm0
>>666
ありがとです。
スレと squid の FAQ を読んでみました。
基本的に考え方は同じですね。
ただ、いまいちわからなかったのが read.cgi で生成される記事です。
こちらの方も squid がしっかり効いているのでしょうか?
CGI を通したページは最終更新日を調べられないので、キャッシュできないような気がするのですが。
ありがとです。
スレと squid の FAQ を読んでみました。
基本的に考え方は同じですね。
ただ、いまいちわからなかったのが read.cgi で生成される記事です。
こちらの方も squid がしっかり効いているのでしょうか?
CGI を通したページは最終更新日を調べられないので、キャッシュできないような気がするのですが。
よくわからないけど、このへん?
http://dso.2ch.net/test/read.cgi/myanmar/1101888913/l50
http://dso.2ch.net/test/read.cgi/myanmar/1101888913/l50
670ピロリ
2005/03/29(火) 20:34:44ID:dxmcKdOG0 今日は濃厚精子が出たなぁ、、。
2005/03/29(火) 20:36:05ID:3RIeNFRs0
2005/03/29(火) 20:36:07ID:YrqIcCAn0
>>670
エロイのは良くないと思います(><)
エロイのは良くないと思います(><)
2005/03/29(火) 20:37:02ID:Z+3+49+w0
>>670
子でなくて液ではないかと(をい
子でなくて液ではないかと(をい
2005/03/29(火) 21:25:38ID:qKYs36NZ0
>>670
ピロリ元気そうだなw
ピロリ元気そうだなw
セキュリティホール情報
ttp://home.jp.freebsd.org/cgi-bin/showmail/announce-jp/1286
ttp://home.jp.freebsd.org/cgi-bin/showmail/announce-jp/1286
2005/03/30(水) 09:51:30ID:xdJi6gM20
655 です。
>>668
似たような試みは既にいろいろとされているんですね。
もしかして、邪魔なだけ?
>> 669
655 です。
たぶん今のままでは無理かも知れないです。
設定を見直せばうまくいくかも。
こぴぺ
ttp://squid.robata.org/ReverseProxy_top.html
CGIスクリプトやアクティブサーバページズなどの動的なコンテンツはキャッシュする事ができません。
プロキシは静的なページのコンテンツのみをキャッシュできます。
4つの尤も重要なヘッダーのタグは:
* Last-Modified: プロキシにページの最終更新日を知らせます。
* Expires: キャッシュからいつ削除するかをプロキシに知らせます。
* Cache-Control: いつプロキシにキャッシュされるべきかを指示します。
* Pragma: プロキシにページをキャッシュすべきかどうかを指示します。
http://squid.robata.org/squid2.0-conf.html
TAG: hierarchy_stoplist
このリストに記述されたワードがURLの中に見つかると、隣接キャッシュではなく直接サーバにリクエストを行います。隣接キャッシュを使いたくないオブジェクトのために使ってください。
このオプションは複数回指定できます。デフォルトは、'cgi-bin'と'?'を含むURLの場合に直接オブジェクトを持ってきます。
# hierarchy_stoplist cgi-bin ?
>>668
似たような試みは既にいろいろとされているんですね。
もしかして、邪魔なだけ?
>> 669
655 です。
たぶん今のままでは無理かも知れないです。
設定を見直せばうまくいくかも。
こぴぺ
ttp://squid.robata.org/ReverseProxy_top.html
CGIスクリプトやアクティブサーバページズなどの動的なコンテンツはキャッシュする事ができません。
プロキシは静的なページのコンテンツのみをキャッシュできます。
4つの尤も重要なヘッダーのタグは:
* Last-Modified: プロキシにページの最終更新日を知らせます。
* Expires: キャッシュからいつ削除するかをプロキシに知らせます。
* Cache-Control: いつプロキシにキャッシュされるべきかを指示します。
* Pragma: プロキシにページをキャッシュすべきかどうかを指示します。
http://squid.robata.org/squid2.0-conf.html
TAG: hierarchy_stoplist
このリストに記述されたワードがURLの中に見つかると、隣接キャッシュではなく直接サーバにリクエストを行います。隣接キャッシュを使いたくないオブジェクトのために使ってください。
このオプションは複数回指定できます。デフォルトは、'cgi-bin'と'?'を含むURLの場合に直接オブジェクトを持ってきます。
# hierarchy_stoplist cgi-bin ?
2005/03/30(水) 19:00:44ID:VanXO3cT0
>676
英語FreeBSD MLのnectarの投稿もよまずにあいまいなこと書くなよー。
スラッシュドットにもストーリーあるよ。
telnet使ってなければ言うほど深刻でもない。
英語FreeBSD MLのnectarの投稿もよまずにあいまいなこと書くなよー。
スラッシュドットにもストーリーあるよ。
telnet使ってなければ言うほど深刻でもない。
681root▲ ★
NGNG ざっと読んできた。
怪しいところにtelnet なんちゃら 25とかtelnet なんちゃら 80とかいうのは意外とやってるから、
気をつけるに越したことはないってかんじかなと。
怪しいところにtelnet なんちゃら 25とかtelnet なんちゃら 80とかいうのは意外とやってるから、
気をつけるに越したことはないってかんじかなと。
2005/03/31(木) 00:02:59ID:/UKzBozk0
ジンギスカン仕様のサーバが止まったり移転したり飛んだりする度に
設定が飛んでしまうのは何とかならないものでしょうか。
名無しやローカルルールは再依頼してもらえば済みますが、
スレ立て規制のホストリストまでリセットされていつもクソスレが大量に乱立します。
(スレ立て規制値はかなり厳しいのですが、これじゃ意味がない)
書き込みはサーバが飛んでも消えないように、ホストリストも同様にしていただけるとありがたいのですが。
設定が飛んでしまうのは何とかならないものでしょうか。
名無しやローカルルールは再依頼してもらえば済みますが、
スレ立て規制のホストリストまでリセットされていつもクソスレが大量に乱立します。
(スレ立て規制値はかなり厳しいのですが、これじゃ意味がない)
書き込みはサーバが飛んでも消えないように、ホストリストも同様にしていただけるとありがたいのですが。
684元祖FOX ★
2005/03/31(木) 00:10:43ID:???0 >スレ立て規制のホストリスト
これはやってないような・・・
こんどやろう
これはやってないような・・・
こんどやろう
685動け動けウゴウゴ2ちゃんねる
2005/03/31(木) 14:46:12ID:vvWhBtTt0 /etc/make.conf はいじってるのかな?
超簡単なベンチマーク・・・
dd if=/dev/zero of=/dev/null bs=1024 count=2000000
超簡単なベンチマーク・・・
dd if=/dev/zero of=/dev/null bs=1024 count=2000000
686root▲ ★
NGNG とりあえず、雪だるまなしの状態のcobraでは
-M64あたりが中庸を得ているみたい。
tigerものびを見ていると、-M48あたりが中庸な値かも。
たぶん雪だるま化した時は、今の-M128とかでもいける可能性も、あるかも。
-M64あたりが中庸を得ているみたい。
tigerものびを見ていると、-M48あたりが中庸な値かも。
たぶん雪だるま化した時は、今の-M128とかでもいける可能性も、あるかも。
687元祖FOX ★
2ちゃんねる07/04/01(金) 01:48:08ID:???0 read.cgi にリミッターつけて 128の方が良いに一票
688root▲ ★
NGNG live16/live20 を -M64 => -M48
ex10 を -M128 => -M64
にそれぞれ変えた。
ex10が重い重い重い重い重い重い重いoyster902
http://qb5.2ch.net/test/read.cgi/operate/1111933915/176-180
ex10 を -M128 => -M64
にそれぞれ変えた。
ex10が重い重い重い重い重い重い重いoyster902
http://qb5.2ch.net/test/read.cgi/operate/1111933915/176-180
689root▲ ★
NGNG >>687
やっぱ、それでいきますかねぇ。
個人的にread.cgiにはリミッター、入れたくないんですよね。
んじゃ、今日の様子見て、ex10はLA=30、live16/20はLA=20ぐらいでリミッター入れることにしますか。
やっぱ、それでいきますかねぇ。
個人的にread.cgiにはリミッター、入れたくないんですよね。
んじゃ、今日の様子見て、ex10はLA=30、live16/20はLA=20ぐらいでリミッター入れることにしますか。
691root▲ ★
NGNG で、ひとつ提案なのですが、今回の負荷試験が終わるまでは、
わたしにめんじて、狼のTYPE2と一連のSamba/timeclose/timecountも一時的に解除しませんか。>>687
どうも、人が多いんじゃなくて、単なる連投板みたいですが、
それでもセッティング出しには、やはりご協力いただきたいのです。
わたしにめんじて、狼のTYPE2と一連のSamba/timeclose/timecountも一時的に解除しませんか。>>687
どうも、人が多いんじゃなくて、単なる連投板みたいですが、
それでもセッティング出しには、やはりご協力いただきたいのです。
692元祖FOX ★
2ちゃんねる07/04/01(金) 01:58:59ID:???0 ほかの板集めてきますー
693root▲ ★
NGNG live16 / live20 を、LA=20 で人大杉がかかるようにした。
これは他のtigerと同じ値。
>>692
他ですか。
やはり、例によって1ピースを少なくする路線なのかなぁ。
というか、ほんとは人が少ないってわかっちゃった以上、
もう「ブレーメン」という単位が出来た頃の、あなたじゃないってことなのかもね。
これは他のtigerと同じ値。
>>692
他ですか。
やはり、例によって1ピースを少なくする路線なのかなぁ。
というか、ほんとは人が少ないってわかっちゃった以上、
もう「ブレーメン」という単位が出来た頃の、あなたじゃないってことなのかもね。
694讃岐 ◆IamaVIPdCI
NGNG >>691
解除するなら告知してくるよ
解除するなら告知してくるよ
2ちゃんねる07/04/01(金) 02:10:17ID:ebNVghfZ0
古いログを掘り出してみる。
http://qb3.2ch.net/test/read.cgi/operate/1068017802/816
http://qb3.2ch.net/test/read.cgi/operate/1068017802/172
いまミニ雪だるまでsquid噛ましてるんであれば
静的コンテンツは専用のhttpd立ててそっちに扱わせると軽くならないですかねー
http://qb3.2ch.net/test/read.cgi/operate/1068017802/816
http://qb3.2ch.net/test/read.cgi/operate/1068017802/172
いまミニ雪だるまでsquid噛ましてるんであれば
静的コンテンツは専用のhttpd立ててそっちに扱わせると軽くならないですかねー
697動け動けウゴウゴ2ちゃんねる
2ちゃんねる07/04/01(金) 02:14:40ID:TDKuYLnl0 >>695
単なる連投板じゃないかもしれません
474 名前:動け動けウゴウゴ2ちゃんねる[] 投稿日:2005/03/31(木) 22:16:29 ID:cbsbJk4L0
狼は連投が激しいとかいうけど120秒規制になった時
VIPも狼並みに書き込み数減少した
単なる連投板じゃないかもしれません
474 名前:動け動けウゴウゴ2ちゃんねる[] 投稿日:2005/03/31(木) 22:16:29 ID:cbsbJk4L0
狼は連投が激しいとかいうけど120秒規制になった時
VIPも狼並みに書き込み数減少した
2ちゃんねる07/04/01(金) 02:16:01ID:YvA+mE1M0
Apache2はIntel Compilerだとかなり高速化されるそうだ。
でも商用Webサーバーで使っているとライセンス的にはどうなんだろね。
でも商用Webサーバーで使っているとライセンス的にはどうなんだろね。
699root▲ ★
NGNG >>696
どうも。例のpoundでURL見て振り分けるってやつですか。
考えてみる価値は、あるのかも。
あの頃よりも、だいぶいろいろなことがわかったので、
いろいろ研究してみる価値は、ありそうですね。
どうも。例のpoundでURL見て振り分けるってやつですか。
考えてみる価値は、あるのかも。
あの頃よりも、だいぶいろいろなことがわかったので、
いろいろ研究してみる価値は、ありそうですね。
2ちゃんねる07/04/01(金) 06:49:49ID:YvA+mE1M0
ああ
http://qb3.2ch.net/test/read.cgi/operate/1068017802/816
これ書いたの俺か。
>700
いちおうportsがlang/iccにあります。
ライセンス周りを手動で手続きしてdistfilesにもってくる感じで。
http://qb3.2ch.net/test/read.cgi/operate/1068017802/816
これ書いたの俺か。
>700
いちおうportsがlang/iccにあります。
ライセンス周りを手動で手続きしてdistfilesにもってくる感じで。
703655
2ちゃんねる07/04/01(金) 08:36:57ID:u059DgD70 新米のでいまいちつかめていないところが多いです。
どのスレを見ればいいのかわからなかったり、古くて信じればいいのかわからなっかったり。
指摘して頂いたり、ポインタなどを示してくれると助かります。
>> 696
ちょいと返事がおかしいですけど、Linux の noatime は *BSD よりもはずです。
Linux は非同期書き込みしかできないから。
今でも、サーバは全て noatime で運用しているのでしょうか?
softupdate だと noatime よりも遅くなるが、/root を小さくしておくと、
FreeBSD 5 系は fsck を後ろで動かしつつ、システムが動きます。
そのため、起動がとても早い。
noatime では無理じゃないかな。
をを、いかなきゃ!
どのスレを見ればいいのかわからなかったり、古くて信じればいいのかわからなっかったり。
指摘して頂いたり、ポインタなどを示してくれると助かります。
>> 696
ちょいと返事がおかしいですけど、Linux の noatime は *BSD よりもはずです。
Linux は非同期書き込みしかできないから。
今でも、サーバは全て noatime で運用しているのでしょうか?
softupdate だと noatime よりも遅くなるが、/root を小さくしておくと、
FreeBSD 5 系は fsck を後ろで動かしつつ、システムが動きます。
そのため、起動がとても早い。
noatime では無理じゃないかな。
をを、いかなきゃ!
2ちゃんねる07/04/01(金) 09:11:14ID:YvA+mE1M0
マルコフ連鎖で自動生成された文章かな?
/rootってのは/のことか?
background fsckとnoatimeの関係性について何を言いたいのか良く理解できん。
/rootってのは/のことか?
background fsckとnoatimeの関係性について何を言いたいのか良く理解できん。
2ちゃんねる07/04/01(金) 11:23:58ID:CHg6tMTU0
2ちゃんねる07/04/01(金) 11:54:26ID:YvA+mE1M0
いちおうマジ解釈すると、703はasyncとnoatimeを混同しているってことなのかもね。
ext3よりもUFS2(+softupdate)は全然良いFSだと思う。
ext3よりもUFS2(+softupdate)は全然良いFSだと思う。
2ちゃんねる07/04/01(金) 12:30:09ID:CHg6tMTU0
>>706
softupdateといえばcobra導入当初disableだったにもかかわらず実況に耐えたという伝説がありますな。
softupdateといえばcobra導入当初disableだったにもかかわらず実況に耐えたという伝説がありますな。
709root▲ ★
NGNG KeepAliveTimeout 10 => 5
を、live20とex10で実験開始。
を、live20とex10で実験開始。
710root▲ ★
NGNG うへへ、負荷さがった。< ex10
■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 【速報】任天堂「Switch2」6月5日発売決定 価格は税込4万9980円 マリオカート新作と同時発売!新機能も発表 ★2 [Ailuropoda melanoleuca★]
- 【速報】任天堂「Switch2」6月5日発売決定 価格は税込4万9980円 マリオカート新作と同時発売!新機能も発表 ★3 [Ailuropoda melanoleuca★]
- ニンテンドースイッチ2詳細発表のダイレクトは今晩4月2日22時から [パンナ・コッタ★]
- 【米高騰】イオン、カリフォルニア産と国産のブレンド米販売へ 4kg 3002円 「国産米が高すぎる」と消費者の声寄せられ★3 [シャチ★]
- 【芸能】武田鉄矢、中居正広の性加害問題へのコメントに“時代錯誤”の批判殺到… フジテレビの“起用責任”問われる恐れも [冬月記者★]
- 退職代行モームリ、4月1日の代行依頼134人 [パンナ・コッタ★]
- 任天堂、世界中で炎上 「日本人だけ割安にするレイシスト企業」「白人差別で反DEI違反、トランプは制裁すべき」 [175344491]
- Switch2 日本49980円 アメリカ449ドルだった…真の愛国企業に涙 [268244553]
- 【悲報】外人、日本人だけ優遇した任天堂にブチギレwwwwwwwww [705549419]
- 【朗報】Switch2、49800円
- 片山さつき「商品券10万円は安倍総理は不問。石破はやっちゃ駄目🙅」 [245325974]
- 【速報】Switch2、49980円!!! [126042664]