X



トップページ運用情報
1001コメント326KB

【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17

■ このスレッドは過去ログ倉庫に格納されています
0001root▲ ★
垢版 |
05/02/03 05:34:37ID:???0
peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。

<現在の主要なテーマ>
・oyster243(BBQ/dnscache)の突然死対策&cobra2245セットアップによる2台体制化
・oytser902(memories)のFreeBSD 5.3化
・「雪だるま作戦」による、スケーラブルなサーバ群構築
・read.cgi/bbs.cgiの細かな調整・詰め
・携帯サーバのプライベート側スイッチのグレードアップ検討
・各種作戦・プロジェクトとの連携
・FreeBSDのさらなるチューニング詰め

<関連スレッド>
■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1
http://qb5.2ch.net/test/read.cgi/operate/1105035540/
■ 自動地震速報@2ch をつくろう
http://qb5.2ch.net/test/read.cgi/operate/1106583619/
■ テレビ番組欄@2ch をつくろう 第2話
http://qb5.2ch.net/test/read.cgi/operate/1107366393/

<関連サイト>
レンタルサーバー maido3.com 2ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
2ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html

<前スレ>
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16
http://qb5.2ch.net/test/read.cgi/operate/1102087698/
0401動け動けウゴウゴ2ちゃんねる
垢版 |
2005/03/25(金) 01:37:58ID:I1vqxWiA0
>>392
ぶっちゃけた話、IEだけでもdat2htmlアドオンがあるだけで違うと思うけど、
アドオンの開発の仕方をしらんのでつくれませんのでこの話は霧散しますた
0402root▲ ★
垢版 |
2005/03/25(金) 01:38:20ID:???0
>>397
えっと、ファンのコントロールとかもあるですね。
きょうびの機械はCPUをゆっくりにすると、それを感知してファンもゆっくりになったりするです。

>>399
個人的には、圧縮かかっている回数が他のサーバに比べて異常に高いんではないかと推測。
で、>>398
0403root▲ ★
垢版 |
2005/03/25(金) 01:41:26ID:???0
というか、温度を見てファンがゆっくりになったりするですね。
CPUがゆっくりになると、温度上昇も少ないわけで。

そういえば以前(去年だったかな)、
低消費電力バージョンのOpteronの搭載を売りにしている1Uサーバのメーカが、
私の知り合いのところに、売り込みに来てたです。
最近はサーバファームも、エコロジーの時代だと言っていました。
0404FOX ★
垢版 |
2005/03/25(金) 01:43:30ID:???0
つまり

軽くなった原因をdeflateを止めたからだと「結論つける」ならば、

を否定したいだけだったり、
これを肯定するなら本当に結論はでてしまっているよ
0405root▲ ★
垢版 |
2005/03/25(金) 01:47:09ID:???0
>>404
私も、それじゃつまんないなと思っています。
で、>>395 の第3パラグラフとか、ex10 は他と比べて圧縮され率が異常に高いんじゃないかとか、
いろいろ考えていたわけです。

確かに deflete はそれなりにコスト高いもののひとつだとわかったわけですが、>>304 に立ち返ると、さてどうなのか。
0406じじぃ その4 ◆HETAREzfq.
垢版 |
2005/03/25(金) 01:48:36ID:+EtwiaUg0
>>397
6800rpmモノじゃとファン1個当たり0.5Aとか喰うからのぅ

>>403
246だすか?
アレならメモリも今のより早くなりますのう、
DDR400が使えるだす
0407FOX ★
垢版 |
2005/03/25(金) 01:50:05ID:???0
「deflate を止めたら軽くなった」は結論の根拠なんかじゃなく
問題解決への糸口だと言ってくれ〜

もしくは勘違いだったと、
0408root▲ ★
垢版 |
2005/03/25(金) 01:50:48ID:???0
で、これまでの実験から考えてみると、

・HDDはまだ天井を見ていないようだ => まだのぞみがある
・メモリを増やすと、効果は望めるのか => 仮にメモリを8Gとかにしたとして、どのようなチューニングを施すべきなのか
つまり、増やしたメモリをどう使うのがいいのか。OSにまかせるのか、あるいはセッティングを変えるのか

といったところが、要検討な点、、、なのかしら。

oyster243が今たまたま使われていないので、一時的にメモリをひっぺがして、
数日だけoyster901に入れてみるとか。
0409FOX ★
垢版 |
2005/03/25(金) 01:51:52ID:???0
>>406
cobra はそんなのが 10個とか20個ついているんじゃなかったかなぁ
tiger も結構なもんです
0410動け動けウゴウゴ2ちゃんねる
垢版 |
2005/03/25(金) 01:52:07ID:mh1RZsj+0
>>399
データがCPUに行って圧縮されて戻ってくるなわけで上り下りで2倍の
帯域を使うわけでバスがネックになってるとか思い付きを書いてみる
0411root▲ ★
垢版 |
2005/03/25(金) 01:55:35ID:???0
>>407
さて、問題解決の糸口だと言うためには、それなりの裏づけが必要なわけです。

で、どのあたりにその糸口があるのか。
たぶんそれは、次以降の実験フェーズで明らかにしていくべきなんではないかと。

「deflete を止めたら軽くなった」という事実がまずあった。
でもそれだけじゃ、なんかあたりまえなわけです。コストかけなくしたんだから。
というか、別のコスト(= 転送量)に転嫁しただけで。

圧縮をうまくやりつつ、HDDというかI/Oの力を発揮させつつ、
うまく力を発揮させられないか、
というか、>>407 でいうところの解決すべき「問題」とはそもそも何なのか、というところから、
考えてみる必要があるような気がするです。
0412FOX ★
垢版 |
2005/03/25(金) 02:00:01ID:???0
現 ex10 で実験を行っている目的は
逆に live8 では駄目だった理由ですが、

私は投稿数の積分値に置いています。

つまり 一日の投稿総数。
ある瞬間重くなる(突然のアクセス増)をなくするのではなく
一日の総数での極大地をつぐりたい。
次の瞬間ぱっと立ち直ってさくさく動けばいいのですから、
0413root▲ ★
垢版 |
2005/03/25(金) 02:01:02ID:???0
一時的に、「subject.txtだけno-gzip」にしてみた。
この時間だと、あんまり参考にならないかも。

ex10だったらsubject.txtだけno-gzip、という設定は、.htaccess的にどうやるのかな。
0414FOX ★
垢版 |
2005/03/25(金) 02:02:10ID:???0
× つぐりたい
○ さぐりたい
0415root▲ ★
垢版 |
2005/03/25(金) 02:04:07ID:???0
>>412
ふむ。

持続力というか、サーバのキャパシティの問題ですね。
包容力のある、でっかいサーバをめざす、という方向かしら。

300投稿/分 とか 400投稿/分 の状態がずっと続いても、問題なく動くと。
0416FOX ★
垢版 |
2005/03/25(金) 02:06:49ID:???0
>>415
なぜなら 2ちゃんねるのほとんどの板はそれが重要かと、
例外はlive系だけ
0417root▲ ★
垢版 |
NGNG
liveだけ、とは言わないですが(理由は下記)、圧倒的多数の普通の板は、そうですね。

「どーん」に耐えなきゃいけないのは、live系、eq/eqplusと、あとは私が言うところの「アツい板」達かな。
いわゆる「突沸」するところ。

思いつくままにあげると、anime, shar, keiba, soccer あとどこだろ。
なんにせよ、感情のままに何かが起きるみたいな。
0418FOX ★
垢版 |
2005/03/25(金) 02:16:50ID:???0
んで ex10 における実験で目指したいところは

1) 一日投稿数の増加
2) 一撃からの回復の早さ

です。
1) のためには当然最大速度の向上も必要です 500/min 楽勝とか
0419 ◆Reffi/bQ.c
垢版 |
2005/03/25(金) 02:17:29ID:i5ON7vkv0
deflateが重くする原因は何処なのか調べた方が良さそうですね。
まずはメモリ増設で何処まで軽減するかチューニングしながら様子見するとか
0420じじぃ その4 ◆HETAREzfq.
垢版 |
2005/03/25(金) 02:18:17ID:+EtwiaUg0
>>408
oyster243、全く使われておらんと?
(BBQはどうなっただすか!?)

ほんとうに全く使ってないなら、243にi386版をインスコすて
ex10の中身をそっくり移すと面白いのかも知れぬ

ソレでOSとcgiの現状がどうなのかがわかるで、
結果として>>395の下段の検証がある程度出来るかもでよ
i386版はかなり練れておるはずじゃからね


…あと、量産型Cobraのメモリは512Mモジュール使用でなかったかのう、
  高価な1Gモジュール入りはプロトタイプな901、902だけでなかったべか?
  そのへんどうだったべ?
0422root▲ ★
垢版 |
NGNG
>>420
単純に、増設工事の完了を、待っていたです。
前半は私が忘れていた(たぶんJimさんもメールを見落としていた)だけど。
0423root▲ ★
垢版 |
NGNG
>>420
> …あと、量産型Cobraのメモリは512Mモジュール使用でなかったかのう、
>   高価な1Gモジュール入りはプロトタイプな901、902だけでなかったべか?

だったはず。少なくともcobra2244〜2246は512Mモジュールでした。
901 243がどうだったかは、再確認が必要かと。
0424動け動けウゴウゴ2ちゃんねる
垢版 |
2005/03/25(金) 02:23:36ID:XlGPITPL0
>>419
「deflateが重くする原因」の主たるものは、そのCPUの占有率によります。
0425root▲ ★
垢版 |
NGNG
…そういえばtiger503時代も、転送量の割に負荷が高かった記憶が。
投稿数が多いせいだというのはもちろんあるわけだけど、subject.txt の転送数も
効いているのかも。
0426 ◆Reffi/bQ.c
垢版 |
2005/03/25(金) 02:33:18ID:i5ON7vkv0
>424
と言うことはCPUを4WayにすればCPU占有率下がるのかなぁって思ったんだけど
さすがに導入費&維持コストかかり過ぎなので今年登場するデュアルコアに期待
って所ですねぇ
(おなじ2Wayでも実質4Way相当)
0427じじぃ その4 ◆HETAREzfq.
垢版 |
2005/03/25(金) 02:37:06ID:+EtwiaUg0
「面白いスレがたたないかなー」ということで
みんなで一生懸命subject.txtをとりまくるわけなんだべか、、

>>422
ああ、そっちの都合だったのけー
0428root▲ ★
垢版 |
NGNG
>>413 をex10のhttpd.confで設定することで、.htaccess から設定をはずした。
で、.htaccess を再配布。

これで、ex10についてだけ、subject.txtのみ圧縮しない、というモードになったはず。
これで明日のラッシュアワー(21:00-24:30あたり)、動かしてみるか。

転送量の比較もしてみよう。
つまり、転送量が大きく増えなくて(全部mod_deflateだと12Mぐらい、全部なしだと20Mぐらいだった)、
負荷が上がらないなら、この設定はサーバのキャパシティ向上には相当意味があることになると。
0429root▲ ★
垢版 |
NGNG
>>427
というか、専用ブラウザでsubject.txtを超高速でとりまくるのは、
実はサーバにとってはかなり痛かったってことなんじゃないかと。
0430 ◆Reffi/bQ.c
垢版 |
2005/03/25(金) 02:41:57ID:i5ON7vkv0
まさかsubject.txtを毎秒取りに行ってる香具師とかいるんじゃないかと言ってみるテスト
下手するとコンマ何秒の世界だったりして
0431root▲ ★
垢版 |
NGNG
一時期「ミニ雪だるま」の実験をした時、subject.txt のヒット率が
異常に高かったのを覚えています。

たぶん、一部の2ちゃんねるビューワで、
相当な勢いでsubject.txtをとっているものがあるんじゃないかと、推測していたり。
0432FOX ★
垢版 |
2005/03/25(金) 02:55:56ID:???0
調べてみますか、、、 < subject.txt/UA
0433root▲ ★
垢版 |
NGNG
>>432
ex10で例のfox.cgiをごにょごにょするのが、一番手軽でよさげかも。
0434動け動けウゴウゴ2ちゃんねる
垢版 |
2005/03/25(金) 03:00:15ID:0TpS8m1q0
あと、気が向いたら
DeflateCompressionLevel 1
も試してみてくださいな。

圧縮後のサイズは平均15%程度大きくなるけど
CPU負荷はかなり低くなると思いますよ。
0435FOX ★
垢版 |
2005/03/25(金) 03:00:39ID:???0
ex10.2ch.net サーバ
.txt 呼び出し回数 = 32646

deny from 206.223.152.95 #(289) 0.89%
deny from 206.223.152.90 #(267) 0.82%
deny from 210.135.98.230 #(238) 0.73%
deny from 219.113.242.218 #(223) 0.68%
deny from 222.15.3.135 #(195) 0.6%

0436root▲ ★
垢版 |
NGNG
>>435
上2つはblackgoatの予感、、、だけど、blackgoat並みにとってるやつ、
結構いるのね。
0437FOX ★
垢版 |
2005/03/25(金) 03:02:36ID:???0
上位五個

206.223 は blackGoat かな?
1h で約300回は全然キャシュが効いていないような、

全体としては誰かが極端に多く取得じゃなく
みんなで激しく取得という印象
0440root▲ ★
垢版 |
NGNG
今ディレイ1分だから、60回…ってのを期待しているのかしら。
ちょっと、設定見直してみるか。
0441FOX ★
垢版 |
2005/03/25(金) 03:06:54ID:???0
1) blackgoat が二台とも来ているのは仕様?
2) blackgoat は60秒delayなんだから一時間で 60回
  (6板あるから 300回かな?)
0442動け動けウゴウゴ2ちゃんねる
垢版 |
2005/03/25(金) 03:11:00ID:XlGPITPL0
>>435
deny from 210.135.98.230 #(238) 0.73%

Network Information: [ネットワーク情報]
a. [IPネットワークアドレス] 210.135.98.0/24
b. [ネットワーク名] BARTOK-NET
f. [組織名] 株式会社ジェンマエンジニアリング
g. [Organization] Gemma Engineering
m. [管理者連絡窓口] AS116JP
n. [技術連絡担当者] AS116JP
p. [ネームサーバ] ns0.bartok.ad.jp
p. [ネームサーバ] ns1.bartok.ad.jp
[割当年月日] 2004/03/13
[返却年月日]
[最終更新] 2004/03/13 17:52:02(JST)
0443root▲ ★
垢版 |
NGNG
>>441
1) 振り分けは、c.2ch の中の人たちがやっているです。
ex10の板をどう分けるかに依存しているですね。
確か今は、ある板についてどっちかのblackgoatしか使わないはずだから、
例えば3つの板をBG3、別の3つの板をBG4とか、やっているはず。

6板で300回が理論値だとすると、倍近い、、、。のかな。
0447FOX ★
垢版 |
2005/03/25(金) 03:13:41ID:???0
.txt で抽出しているから
別の .txt の可能性もあるかも?

って他に .txt あったっけ?
0449 ◆Reffi/bQ.c
垢版 |
2005/03/25(金) 03:16:38ID:i5ON7vkv0
>447
あとぶった叩いているとしたらsubback.htmlですかねぇ。。。
0450FOX ★
垢版 |
2005/03/25(金) 03:22:31ID:???0
20分間だけど、

ex10.2ch.net サーバ
subback.html 呼び出し回数 = 5497

deny from 210.148.132.211 #(329) 5.99%
deny from 222.226.64.131 #(176) 3.2%
deny from 61.125.72.89 #(133) 2.42%

0451root▲ ★
垢版 |
NGNG
さすがに、ねむくなってきた。

今のblackgoat[34]の関連部分の設定は以下のとおりです。
これで1分のディレイのはず、なんですが、設定しくってるかな。

refresh_pattern . 1 0% 1 override-lastmod reload-into-ims
0453root▲ ★
垢版 |
NGNG
refresh_pattern . 1 0% 60 override-lastmod reload-into-ims

にしてみた。< BG3/BG4
不具合があったら、知らせてください。
0454root▲ ★
垢版 |
NGNG
2:00-3:00の1時間のデータ。

%fgrep txt access_log_2005032409 | grep -v subject | wc -l
306

subject.txt 以外。
ほとんどhead.txtみたい。
一部2ちゃんねるビューワで、投稿時にローカルルールを読み込んでるとかですね。

%fgrep txt access_log_2005032409 | grep subject | wc -l
32478

subject.txt の総数

%fgrep dat access_log_2005032409 | wc -l
232263

dat直読みの総数

%wc -l access_log_2005032409
337262 access_log_2005032409

全体のアクセス数
0455root▲ ★
垢版 |
NGNG
dat直読みが23万回に対して、subject.txtが32000回か。
1割以上もあると。

で、dat直読みで差分取得の場合は圧縮がかからないのに対し、
subject.txtは必ず全取得で、必ず圧縮がかかっていたわけだから、
負荷に占める割合は、結構な比率なのかも。

で、圧縮すると小さくなるかというと、そりゃなるかもしれないけど、
コストに対する見返りは、ex10みたいな板の場合、どうなんだろう。

いずれにせよ、今日の試験結果に注目ということで。
おやすみなさい。
0461動け動けウゴウゴ2ちゃんねる
垢版 |
2005/03/25(金) 12:39:20ID:7JJXAx+l0
【 html化されたこのスレを読んでいるお前へ 】

おい、お前。そう、お前だよ。
「このスレおもろいから見てみ」「2ちゃんの歴史に残る名スレだぜ」とか言われてホイホイと
このhtml化されたスレを見にきた、お前のことだ。
どうだ?このスレおもしれーだろ。
でもな、お前はこのスレを読むだけで、参加することはできねーんだよ。
可愛そうにな、プププ。
俺は今、ライブでこのスレに参加してる。
すっげー貴重な経験したよ。この先いつまでも自慢できる。
まあ、お前みたいな出遅れ君は、html化されたこのスレを指くわえて眺めてろってこった。
0463 ◆BDFCNV1.to
垢版 |
2005/03/25(金) 14:03:43ID:D+RoBIL80
>>371

Tiger503 status

I did:
rm -f /usr/local/etc/rc.d/apache2.sh
rebooted, and system still does not start normally. I do not know about this configuration or problem. It locks up on boot displaying the contents of an HTML file of sorts.
I have setup a remote ip KVM for you to try and work on the problem:
http://**********
user:******
pass:******
Click "Remote Access"

Please let me know if there is something else we can do.
0464動け動けウゴウゴ2ちゃんねる
垢版 |
2005/03/25(金) 14:06:35ID:wsQZNJev0
誰か、解読!
0465動け動けウゴウゴ2ちゃんねる
垢版 |
2005/03/25(金) 14:09:35ID:bVLqq69J0
>>371

Tiger503状態

私はしました:
rm-f/usr/地方の/など/rc.d/apache2.sh
通常、リブートされるのとシステムスチール写真は始動しません。 私はこの構成か問題に関して知りません。 それは、種類のHTMLファイルのコンテンツを表示しながら、ブーツの上にロックされます。
あなたが問題に働いてみるように、私はリモートip KVMをセットアップさせます:
http://**********
ユーザ: ******
通ってください: ******
「遠隔アクセス」をクリックしてください。

私たちができる他の何かがあれば、私に知らせてください。
0466動け動けウゴウゴ2ちゃんねる
垢版 |
2005/03/25(金) 14:12:04ID:wsQZNJev0
>>466
どうも、
これはジムさん?シーンさん?
0470動け動けウゴウゴ2ちゃんねる
垢版 |
2005/03/25(金) 14:26:24ID:kJI5n79N0
Tiger503の状態について

私は次のコマンドをやった:
rm -f /usr/local/etc/rc.d/apache2.sh
ところがリブートしても、依然システムは正常に起動しないです。このconfiguration or 問題については分からないですね。起動時、一種のHTMLファイルの目次を表示するところで固まってしまう。
この問題の解決のために、a remote ip KVMをセットアップしといたよ。
http://**********
user:******
pass:******
"Remote Access"をクリックしてね。

他に私たちになにかできることがあったら教えてください。
0477root▲ ★
垢版 |
2005/03/25(金) 14:56:07ID:???0
I understand the current situation.
But unfortunately, now I am taking the Shinkansen. So, It is difficult for me
to operate remote IP KVM now. And I will be online again about 6 PM or later.
Please wait for a while.
0478動け動けウゴウゴ2ちゃんねる
垢版 |
2005/03/25(金) 14:57:19ID:9+P8skHr0
もっと簡単に言えば
・rootさんの言った通りにやってみたけど、うまくいかなかったよ
・リモートアクセスできる装置を入れといたから、rootさんがなんとかしてくれ
ってだけの話
0483ひろゆき@どうやら管理人 ★
垢版 |
NGNG
果報は寝て待てと。
0489動け動けウゴウゴ2ちゃんねる
垢版 |
2005/03/25(金) 15:14:32ID:FMwpRCG+0
記念カキコ!

>>483
サイン下さい
0492動け動けウゴウゴ2ちゃんねる
垢版 |
2005/03/25(金) 15:33:31ID:JflDIWZF0
>>483
どうも、ひろゆきさん。いつもblog見てます。
がんばってください。
0493FOX ★
垢版 |
2005/03/25(金) 15:33:47ID:???0
また ねるんですか、、、
0494動け動けウゴウゴ2ちゃんねる
垢版 |
2005/03/25(金) 15:34:27ID:I1vqxWiA0
>>477
> I understand the current situation.
現状了解です。
> But unfortunately, now I am taking the Shinkansen. So, It is difficult for me
しかし間の悪いことに今新幹線に乗っているんですよ
> to operate remote IP KVM now. And I will be online again about 6 PM or later.
なんでIP KVMにリモートで入るのはむずいですね。6時すぎにはオンラインになれると思うので
> Please wait for a while.
それまでまっててください。
0496動け動けウゴウゴ2ちゃんねる
垢版 |
2005/03/25(金) 15:48:10ID:c99ObfSS0
ひろゆきのペニスチンカスたまりすぎ!!くさ!!!
0497動け動けウゴウゴ2ちゃんねる
垢版 |
2005/03/25(金) 15:50:40ID:c99ObfSS0
ってかひろゆきってさチンカスをビンにためてるんでしょ?
きもいんだけど
0499動け動けウゴウゴ2ちゃんねる
垢版 |
2005/03/25(金) 16:26:58ID:Q9L9K2vz0
>>483
キタワァ*・゚゚・*:.。..。.:*・゚(n‘∀‘)η゚・*:.。..。.:*・゚゚・* !!!!!
0500動け動けウゴウゴ2ちゃんねる
垢版 |
2005/03/25(金) 16:43:06ID:fPXximFS0
とりあえず、DRAMの価格も下がってる事ですし、ECC Registeredのメモリ増設(ry

負荷の主因=CPUとすれば、
バス幅が足りない→Opteron4way化しか手が無い
CPU使用率増大→CPU格上げ(Opteron248とか250とか)とか、4way化とか
実は、メモリが足引っ張ってました→さらに高速なメモリ使用か、量を増やすか、OC(ry
■ このスレッドは過去ログ倉庫に格納されています

ニューススポーツなんでも実況