X



トップページ運用情報
1001コメント297KB

【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part14

■ このスレッドは過去ログ倉庫に格納されています
0001root ★
垢版 |
04/06/20 02:40ID:???
peko作戦について語るスレです。
サーバの新ロケーション、PIEに関する話題もこちらで。

現在の主要なテーマは、
・新ロケーション、PIEの安定化
・pekoサーバ突然死の原因究明
となります。

レンタルサーバー maido3.com 2ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
2ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html

PINKちゃんねるで現在進行中のama作戦については、こちら。

【Project ama】PINKちゃんねる特化型サーバ構築作戦 Part2
http://qb3.2ch.net/test/read.cgi/operate/1082721809/l50

携帯電話特化型サーバ構築作戦については、こちら。

【Love Affair】携帯からのアクセスに対する考察・次の一手 Part1
http://qb5.2ch.net/test/read.cgi/operate/1075887465/

前スレ
【Project peko】2ch特化型サーバ構築作戦 Part13
http://qb5.2ch.net/test/read.cgi/operate/1085678587/
0799まぐろん ◆Ctm6ZKuo5w
垢版 |
04/08/09 14:47ID:jRJwi0Vz
>>797
Yahoo!BB全部みれました
0802動け動けウゴウゴ2ちゃんねる
垢版 |
04/08/09 16:28ID:rG4R/YqC
>>800
あれれ さっきは見えたんだけどなぁ
今丸見え
0803root ★
垢版 |
04/08/10 00:06ID:???
一時的にLA=200ぐらいいったけど、それなりにゆとりあったような。< ex7
ジンギスカン(メモリディスク)+思い切ったセッティング(httpdの最大数を増やしてある)の効果か。
0804root ★
垢版 |
04/08/10 01:20ID:???
live16, live17でsubject.txtの飛びが多発。
mdmfsの設定を変更。

従来: /etc/fstabで以下のように設定。

md /md mfs rw,nosuid,noatime,-s20m,-i2048 0 0

現在: 起動時に以下のコマンドを実行。
これにより以前と比較してmallocベース、softupdateなし、asyncに変更。

mdmfs -M -S -o async,nosuid,noatime -s 20m -i 2048 md0 /md
0805root ★
垢版 |
04/08/10 01:58ID:???
再度変更。asyncをやめ、sotupdateを復活。

mdmfs -M -o nosuid,noatime -s 20m -i 2048 md0 /md
0806root ★
垢版 |
04/08/10 02:54ID:???
原因はf22だったもより、、、。
0807動け動けウゴウゴ2ちゃんねる
垢版 |
04/08/10 02:54ID:D+i8GQWj
ttp://www.janog.gr.jp/meeting/janog14/abstract.html#07231600
DNS Demystified 〜 あなたの知らないDNSの世界

このPDFは興味深かかったよ。
dnscacheのmultilogは確かに負荷がでかいな。
あとWITH_PERSISTENT_MMAPするとbindと勝負できると思うのだが。
0810動け動けウゴウゴ2ちゃんねる
垢版 |
04/08/10 11:27ID:+ukUfDab
>>809
ttp://www.cenatek.com/store/category.cfm?Category=15
だと1GBで999ドル、4GBで2999ドル。
懲罰鯖か実況鯖用に1GB入れて実験してみるのもいいのでわ?
0812root ★
垢版 |
04/08/10 18:25ID:???
>>809-810
たぶん1Gもいらないんですよね。

だって、public_html/livecxとかの下をまるごとシリコンに入れることになるだけだから。
今もdatとkako以外を入れてますが、20Mとかで足りています。
kakoはシリコンディスクにする必要ないから、ライブなdatが増えるだけすよね。

ジンギスカンの設定見て「あぁ、おじさんにまたやられた」と思いました。
実はライブな掲示板をライブに動かすだけなら、ディスク容量はそんなに食わないわけです。
0819動け動けウゴウゴ2ちゃんねる
垢版 |
04/08/10 22:32ID:RETGHr2F
そりはフラッシュメモリと間違えてない?

シリコンぢすくは、余ったDRAMかSRAMをバッテリーバックアップして
ATAなりなんなりに変換している。
0821root ★
垢版 |
04/08/10 23:36ID:???
live8:

hint.acpi.0.disabled="1"

だと落ちなくなるけど、シングルCPUモード、かつ全然パフォーマンスが出なくなるので、

hint.apic.0.disabled="1"

に変更。APICを切ってしまうので、やはりシングルCPUモード。

>>820
ひさしぶりにみたような。
0824root ★
垢版 |
04/08/11 01:23ID:???
>>822
いろいろな道をたどって、

1)
read.cgiを起動する状態だと、Cobra/Tigerともに突然死しやすい
で、どうやらそれは負荷によらない

2)
Tigerサーバ: ACPIを止めてSMP/APICを切り、シングルCPUにする
Cobraサーバ: APICを切ってシングルCPUにする

ことで、1)の状況は起こらなくなる

3)
Cobraサーバは、超高負荷の後の中負荷ぐらいの頃に落ちやすい

というところまでわかりました。

個人的には現在、特にCobraサーバのBIOSまわりとか、
FreeBSDのACPI/APICまわりのコードなどを、最も疑っていたりします。

特にFreeBSD 4.x/i386では起こらなかったハングアップが5.x/i386で起きているあたりが(りゃ。
0826▲:/usr/local/bin/ch2 -o i686 ◆P8fXJj6wwo
垢版 |
04/08/11 10:20ID:dtbo6asP
>>811
10月3日リリース予定・・・ですか。

まあ気長に待ちましょう。
RCが出た段階でexを人柱にしてみるテストを実施するのもありかも。

これが出ない限り?は新しいpeko/Cobraは投入できないわけですし・・・。
>>824はコードの問題<バグ>が最有力でしょうし。
0827まぐろん ◆Ctm6ZKuo5w
垢版 |
04/08/11 18:53ID:e7X7xGkq
blackgoat.2ch.netサーバのLAがみたいんですけどみれますか?
0829動け動けウゴウゴ2ちゃんねる
垢版 |
04/08/11 21:05ID:SD6EUYX/
>>824
おつかれさまです('-'=)

違う機種で同じように落ちるのは、OSっぽいって事ですか

ついにWindowsServer導入?!ヾ('-')ノ
選択として仮Linuxとかは無しなの?('-'?)


そういえば、、、なんでバナーナは落っこちないのー?(?-?)
0831root ★
垢版 |
04/08/11 23:01ID:???
>>829
OSっぽいか、BIOS問題か、あるいはその両方か。

で、結局のところシングルCPUモードに設定すれば落ちないと。< Cobra, Tiger

そういえばbananaはPen 4 singleですが、シングルCPU設定(SMP/APICなし)のほうが
FreeBSDでは高パフォーマンスで動きますね(手元のマシンでいくつかベンチマークしてみた)
Pen4のHTT/FreeBSD 5.xだと、SMPするオーバーヘッドのほうが性能向上を上回っている模様。

Linuxは別にきらいなわけではなく、単純に私の経験値がないだけで。
0832root ★
垢版 |
04/08/12 01:32ID:???
ACPIなしにするとCobra同様TigerサーバもディスクI/Oのパフォーマンスがとても悪くなるので、
ACPIを有効にした。これで本来予定していたディスクI/O速度になるはず。

ただしAPICを切っているので、あいかわらずシングルCPUモード。< Cobra/Tiger
0833動け動けウゴウゴ2ちゃんねる
垢版 |
04/08/12 01:37ID:aDmLy1Ms
>>831
えーと去年の秋ぐらいにも同じことを聞いたかもしれませんが、念のためってことで。
HyperThread有効のときは/etc/sysctl.confで
machdep.cpu_idle_hlt=1
machdep.hlt_logical_cpus=0
をしてますよね?
0834root ★
垢版 |
04/08/12 01:43ID:???
>>833
FreeBSD 5.2.1なので、上記はデフォルトで1かと。

%sysctl -a | grep machdep.cpu
machdep.cpu_idle_hlt: 1

下は、FreeBSD 5.2.1にはないような。
0835root ★
垢版 |
04/08/12 01:46ID:???
あ、そっか。

今options SMPを切っているので、出ないです。< 下
0837root ★
垢版 |
04/08/12 02:40ID:???
今のbananaは全部HTT切ってある気がします。>>836
0838動け動けウゴウゴ2ちゃんねる
垢版 |
04/08/12 03:34ID:aDmLy1Ms
machdep.cpu_idle_hltは非SMPの時はデフォルトで1なのですが、SMP時はデフォルト0に。
あと後藤大地さんの去年の冬あたりのUNIX USER記事にいろいろとHTT時の最適化は書いて有りましたね。
5.2.1Rの機能紹介記事だったかな。
0839FOX ★
垢版 |
04/08/12 13:55ID:???
>>829
( ̄ー ̄)ニヤリッ
0841まぐろん ◆Ctm6ZKuo5w
垢版 |
04/08/12 17:28ID:b54lLgZl
>>828
教えてくださってありがとうございました
0847root ★
垢版 |
04/08/13 00:30ID:???
>>807
ようやく読みました。とても面白いですね。

DNS/BINDの内部を(しかも軽視されがちなDNSキャッシュサーバの振る舞いについて)
ここまできちんと調査した結果は、初めて見たかもしれません。

2ちゃんねるの場合DNSキャッシュサーバを軽くできると、
それはそのままbbs.cgiの軽量化に直結するわけで、
このあたりはいずれまた、じっくり試してみることにします。

>>840
ちょっと前から話題のしろものですか。
「FreeBSD 3.xは間違いだった、FreeBSD 5.xはさらなる間違いだ」でしたっけ。

意外にFreeBSD6とかあたりで、DragonflyBSDで入った機能が相当取り込まれたりして。
0848FOX ★
垢版 |
04/08/13 20:24ID:???
live8 ですが先日までは 450/min の書き込みをこなしていたのに
現在は 200/min でへこたれるのはなぜなんでしょか?

http://ch2.ath.cx/load/live8.html
0851root ★
垢版 |
04/08/14 02:01ID:???
>>848
このところ特によく落ちたので、シングルCPU設定に一時的に変えているせいですね。(>>821 >>824)

シングルCPU設定だとマシンが落ちることはありませんが(LA=600とかなっても落ちない)、
Cobraサーバの場合、半分以下のパフォーマンスしか出ないようです。

これまでのgame6等でのCobraサーバの不安定の原因も、
マルチプロセッサモードでの動作の問題ということで、ほぼ間違いないようです。

これがFreeBSDのバグなのか、サーバのBIOSの問題なのか
(BIOSの更新で直る場合があったらしい)、
あるいは他の原因なのかは、まだわかっていません。

なお、Tigerサーバも同じ傾向の模様(少なくともex7では)であったため、
現在Cobraサーバ同様にシングルCPU設定になっています。

Tigerの場合Cobraほどの激しい性能低下はないみたいですが、
FreeBSD 4.x/HE.NET時代のパフォーマンスは、出ていないです。
0852root ★
垢版 |
04/08/14 02:03ID:???
オリンピックに向けて、
落ちてもその都度リブートをすればいいということで、
マルチプロセッサモードに設定してみますか?>live8/live16/live17

そうすれば、今の倍以上はいけるはず。
0853root ★
垢版 |
04/08/14 02:08ID:???
補足:

携帯用サーバ、BBQ/dnscacheとして使用しているCobraサーバは、
マルチプロセッサモードで動いています。

しかし、BBQ/dnscacheサーバは一度も落ちていないし、
携帯用サーバも、それほど頻繁には落ちていない。

特にread.cgiとの相性が悪い模様。
0855未承諾広告※ ◆TWARamEjuA
垢版 |
04/08/14 02:16ID:RvRv/xNh
>>854
perlcc を通した read.cgi という手もあるかもしれないですね。
perlcc された bbs.cgi の実績からして。

read.cgi も configure が付いていると、もうちょっと柔軟にコンパイル出来るのかな?
0857root ★
垢版 |
04/08/14 02:18ID:???
>>855
ん、Cバージョンをやめると言っています?
0858root ★
垢版 |
04/08/14 02:26ID:???
あとは、read.cgiについてmod_cgidsoを入れてみるという手は、あるかも。
0859 ◆cZfSunOs.U
垢版 |
04/08/14 02:29ID:eAK3Pg3b
>>858
それやるのなら,一応作者なんでサポートします......
0861ひろゆき@どうやら管理人 ★
垢版 |
04/08/14 04:12ID:???
バイナリでも毎回起動コストがかかるCと、
メモリに常駐するPHPだと、PHPのほうがよかったりするのかな、、、
0863ひろゆき@どうやら管理人 ★
垢版 |
04/08/14 04:27ID:???
おぉ、すばらしい。。
これって、mod_cgidsoの入ってないサーバでは、
単なるバイナリとして動くんですか?
0864 ◆cZfSunOs.U
垢版 |
04/08/14 04:31ID:eAK3Pg3b
>>863 mod_cgidso に対応するバイナリは通常の実行ファイルじゃなくて
共有オブジェクト(Windows でいえば DLL のようなもの)なので,
それ単体では実行できませんので,mod_cgidso が入ってなければ
従来の CGI を使ってもらうことになります......
0865ひろゆき@どうやら管理人 ★
垢版 |
04/08/14 04:33ID:???
google先生に聞いてもほとんど情報がなかったんですが、、、
0866 ◆cZfSunOs.U
垢版 |
04/08/14 04:35ID:eAK3Pg3b
>>865 まぁ,積極的にプロモーションしてるものでもないので......
0869 ◆cZfSunOs.U
垢版 |
04/08/14 05:14ID:eAK3Pg3b
>>867 (w
まぁ,mod_cgidso 作成の経緯は,元々 read.cgi 改良の目的の一環としてと
いうことだったので,その意味では 2ch 発祥であるとはいえるかと......
0870ひろゆき@どうやら管理人 ★
垢版 |
04/08/14 05:38ID:???
おぉ、、そだったんですか、、、
0872▲:/usr/local/bin/ch2 -o i686 ◆P8fXJj6wwo
垢版 |
04/08/14 10:15ID:eiBBWcnt
mod_cgidso+改良read.cgiで直ったりして・・・

>>855
automakeとautoconfつかえば作れるはずです。
設定ファイルを多少書く必要がありますが。

参照:autoconf / automake を使ってみよう!
ttp://shimaki-hp.hp.infoseek.co.jp/autoconf/book1.html
0874留守番 ★
垢版 |
04/08/14 18:01ID:???
>>869
もしよろしければメールいただけると嬉しいです。

yakin@80.kg
0879root ★
垢版 |
04/08/15 21:36ID:???
とりあえず目に付いた >>861 だけ。

んと、いわゆる中間コードをキャッシュするしくみ(PHP Acceleratorのような)を入れないと、
毎回コンパイルがかかるので、PHPのほうが不利ですね。
(乱暴に言ってしまうと、Cで言うと毎回gccが動くようなもの)

PHP Acceleratorはc系のフロントエンドにも入れてあります。効果はかなり大きいですが、
特にamd64系で、たまに挙動不審になることがあるみたい。
0880留守番 ★
垢版 |
04/08/15 22:10ID:???
所詮インタプリタはインタプリタかと、
0882留守番 ★
垢版 |
04/08/15 22:19ID:???
機動性ではインタプリタだけど、、、
0883▲:/usr/local/bin/ch2 -o i686 ◆P8fXJj6wwo
垢版 |
04/08/16 10:27ID:sGZaJDbi
PHPはZend Optimzer使えばまだましな模様。
ちなみにフリー。
ttp://www.zend.com/store/free_download.php?pid=13

ソース:PHP-USER-JP ML
ttp://ns1.php.gr.jp/pipermail/php-users/2001-July/000883.html
0884root ★
垢版 |
04/08/16 10:55ID:???
>>883
PHP関連はc系列でいろんなものを実地に試してみて、
結局APC Acceleratorが一番効果あったので、それにしていたりします。

Zend Optimizerも試してみましたが、それなりに効果あるものの
APC Acceleratorとの併用ができないみたいでした。

これとか、
http://www.php-j.com/tutorial/php/phpA.php
0885▲:/usr/local/bin/ch2 -o i686 ◆P8fXJj6wwo
垢版 |
04/08/16 14:47ID:sGZaJDbi
>>884
あらら、既に検証済みでしたか、スマソです。
公式メンテナの最適化ツールより効果ありとはね・・・

これ以上やろうとするとバイナリ化でしょうけど、Zend Encorderは高い・・・。
そこでperlccのphpバージョンが無いか探したらこんなんみつけました。

PHPCC ttp://www.phpcc.net/

ただ、サイトがドイツ語なんですけど。。。
0886動け動けウゴウゴ2ちゃんねる
垢版 |
04/08/16 14:52ID:sGZaJDbi
>>885
あ、それ以前に
・Zend encoaderはFreeBSD非対応。。。
・phpccはDLに要登録っぽい
0887root ★
垢版 |
04/08/17 10:35ID:???
9月頭に、つかの間の夏休みを米国西海岸で過ごそうと算段中。
休みの都合で、2泊4日の強行日程だったりして。

完全プライベートなので、今回はこないだの5月よりはまとめて確保できると思っていますが、
滞在中に現地で可能な作業としては、何があるかなと。

- Cobra, TigerのBIOSの更新
- リモートコンソール関連作業
- ちょっと強気なOS(current., snap, beta等)を入れてみる

あと他には↓
0890犬野ぽち
垢版 |
04/08/17 12:31ID:tMSBYMCs
> 887
>
> - ちょっと強気なOS(current., snap, beta等)を入れてみる

FreeBSD5/Netnice。

9月頭であれば、現地までお伺いして作業を手伝わせて頂けまつ。
といっても、まず、パッチを作らなければダメですけれども。

今の予定であれば、9月までにはなんとか...。
0891root ★
垢版 |
04/08/17 14:54ID:???
これ、今の2chでdual CPUでシステムがハングアップしてしまうことと関係あるんだろうか。
今はオフ(FreeBSD 5.2.1のデフォルト)、currentではオンになっているようにみえる。

# ADAPTIVE_MUTEXES changes the behavior of blocking mutexes to spin
# if the thread that currently owns the mutex is executing on another
# CPU.
options ADAPTIVE_MUTEXES
0894root ★
垢版 |
04/08/17 15:38ID:???
>>892-893
もうちょっと調べてみてから、ex7で実験してみますか。
0895見習い▲ ★
垢版 |
04/08/17 15:59ID:???
tiger509 , 510
到着しました

tiger509 = news19.2ch.net with ジンギスカン予備工事
tiger510 = hobby7.2ch.net with ジンギスカン予備工事

でお願いしますー
0898root ★
垢版 |
04/08/18 05:01ID:???
ということで、

# ADAPTIVE_MUTEXES changes the behavior of blocking mutexes to spin
# if the thread that currently owns the mutex is executing on another
# CPU.
options ADAPTIVE_MUTEXES

の機能を有効にして、

# MUTEX_WAKE_ALL changes the mutex unlock algorithm to wake all waiters
# when a contested mutex is released rather than just awaking the highest
# priority waiter.
options MUTEX_WAKE_ALL

の機能をcurrentから5.2.1Rにバックポートしてみた。

ex7でSMPをオンにして実験開始。さてどうなるか。
0899root ★
垢版 |
04/08/18 13:46ID:???
さて、儀式いきます。
以下をDNSに追加お願いします。

+news19.2ch.net:206.223.152.65
+hobby7.2ch.net:206.223.152.70
■ このスレッドは過去ログ倉庫に格納されています

ニューススポーツなんでも実況