2ch特化型サーバ・ロケーション構築作戦 Part19

**root▲ ★** · NG

2ch特化型サーバ・ロケーション構築作戦のスレッドです。

・２ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更まわりの関連作業・調整事項
・２ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携

等を取り扱います。

現在、複数サーバによる連携により、
サーバ能力のさらなるスケールアップをめざすための「雪だるま作戦」が進行中です。
雪だるま作戦は、現在以下のスレで雑談しながら進行中です。

＜主な関連スレッド＞
【しらたま】雪だるま作戦に思いを馳せながら雑談するスレッド Part11
http://aa5.2ch.net/test/read.cgi/nanmin/1121875871/

＜主な関連リンク＞
ブレーメンメーター: http://mumumu.mu/bremen/
ＭＲＴＧによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねるサーバ負荷監視所: http://ch2.ath.cx/load/
2ch 鯖監視係。: http://sv2ch.baila6.jp/
2ch CGI 軽量化: http://sunos.saita.ma/2ch-cgi-lw.html

**root▲ ★** · NG

**root▲ ★** · NG

即死逃れのために、少し何か書いておくか。

＜雪だるま作戦について＞
バックエンド側でリクエストを受け付け、書き込み関連プロセス、
subject.txt subback.html index.html 作成等の処理を一元的に行う
bbsd(bbs daemon)が◆cZfSunOs.Uさんの手により日の目を見、
実現に向けて動き出した。

フロントエンド側とバックエンド側でファイルの共有(バックエンド側にある
datファイル、subject.txt等)を、フロントエンド側から見られるようにする
必要がある)については、各種の方法があるうち、まず最も安易に実現
可能なNFS(Network File System)を試してみたが、FreeBSDのNFS、
特にクライアント側の実装上の問題により、NFSでの共有は断念する
こととなった。

現在、Apacheのプロキシ・キャッシュ機能を活用する方向で、
この問題の解決を図ろうとしている。

**root▲ ★** · NG

(続き)
bbsdのほうはかなりの投稿数をさばげることが判明しており、
現在の状況で既に、1スレに対し15秒で1000投稿をさばくことが
可能であることが確認できている。

また、index.html subback.html subject.txt を bbsd が常に監視し、
一元的に管理することになるので、完成した暁にはいわゆる「板とび」の
リスクを低減することも可能になる(復帰の手間が少なくなる)という効果も
期待できる。

なおbbsdは雪だるまサーバだけではなく、単品での利用も可能なので、
技術的には２ちゃんねるのすべてのサーバにおいて、活用が可能である。

ただし、各種スクリプト(いわゆる呪文)をbbsd対応にする必要があるため、
全サーバへの完全導入のためには、各種呪文間の整合性をとる必要が
あることはいうまでもない。そしてそれは２ちゃんねるの構造上、実は容易ではない。

**動け動けウゴウゴ２ちゃんねる** · NG

operate も即死判定があるのか･･･

**root▲ ★** · NG

>>1 に書くの忘れた。

携帯系サーバのMRTGによる統計情報: http://mumumu.mu/mrtgc/mrtg-rrd.cgi/

＜Love Affair作戦について＞
電車男サーバ・電車男スイッチの導入により、特にau系サーバにおいて
顕著であった過負荷の問題は一応回避され、現在サーバ負荷については、
一応小康状態となっている。

ただし、au系・DoCoMo系については現在もアクセス数が急速に増大しており、
今後もこの傾向は当分続くと考えられるため、今後を考慮した場合、
予断を許さない状況であることに変わりはない。

今後はさらなる増強を行い、AAS(ASCII Art Scope)機能の導入、
公開用datキャッシュサーバ(いわゆる白山羊)の導入を実施していく予定である。

**root▲ ★** · NG

＜携帯系の規制系問題について＞
携帯系では現在、
・BBM
・Rock54M
・Samba24
の規制が有効になっており、PCでのIPアドレスをキーとした規制に相当するものとして、
携帯電話の固有番号による規制・識別が実施されている。

ただし現在携帯については、バーボンハウス規制は無効となっており、
連投バーボン・スレ立てバーボン・リロードバーボンのいずれも動作していない。
これらについては、今後の開発が必要であるという認識であり、
試験をクリアした若者が、いろいろとがんがる手はずになっているという話である。

**root▲ ★** · NG

＜実況およびゆり戻しについて＞
さまざまな経緯を経て、live20サーバは「強い子」に成長し、
今や木曜日の22:00からのドラマを除き、
ほとんどの番組の負荷を受け止められるまでに至った。

また「ゆり戻し」についても、野球・サッカーサーバへの
Cobdaサーバの独立投入により、大きな破綻を起こすサーバは、
animeサーバのみ、しかも土曜日の18:30から10分程度のみとなった。

ただしこれは史上まれに見る「強敵」であり、news4vipの投稿数を
余裕で支えているex11と同一ハードウェアスペックのサーバを、
LA=200になるぐらいまで追い込んでしまうものである。
これについては今後も、苦しい戦いが続いていくと考えざるを得ない。

live20はまた、先日メモリを倍増する強化が実施され、
live16とのメモリ換装手術を経て、どうやら安定したようである。
これにより従来の倍程度、あるいはそれ以上の負荷をさばけるのでは
ないかと、皮算用していたりするが、その結果は木曜夜まで、定かではない。

**動け動けウゴウゴ２ちゃんねる** · 2005/07/21(木) 04:42:10

明日というか、今晩ですけどネ

**root▲ ★** · NG

＜FreeBSD＞
5.2.1Rはひどい品質であり、特にSMP環境では全く実用に耐えなかった。
これについては5.3Rで大幅な体質改善が図られ、通常の用途であれば特に問題なく
使用できるまでに至った。

しかしNFSのような「クリティカルな条件で使用している人が少ない」ものについては、
機能が十分にこなれていないためか、現在でもまだ問題が残っているようである。

しかし、FreeBSDの5系は大方の予想通り短命であるらしく、
既にRELENG_6のブランチが切られており、現在既に6.0-BETA1の状態となっており、
今後1ヶ月～数ヶ月のうちにはリリースエンジニアリングも整い、
FreeBSD 6.0-RELEASEが出ることは、ほぼ間違いない様子である。

ということでFreeBSD 6系については、とりあえずさわってみようとは思っていたりする。

**root▲ ★** · NG

＜直近の私の予定＞
7月末～8月上旬あたりまで、日本にいませんです。

**root▲ ★** · NG

＜前スレからの積み残しの課題＞

・read.cgiのJavScript
936 名前：▲ ◆cZfSunOs.U [sage] 投稿日：2005/07/15(金) 01:07:42 ID:fuPqNteQ0
一応メモ書き

bbsd が作る index.html では >>705 が入りました．
あとは read.cgi の JavaScript も http://www2.2ch.net/snow/index.js
を使ってもらって，bbs.cgi では NAME, MAIL の Cookie 設定処理をパスすれば
この件は一件落着になります，と．

**root▲ ★** · NG

(続き)

・先日の件がらみ
937 名前：root▲ ★[sage] 投稿日：2005/07/19(火) 02:26:40 ID:???0 ?###
ということで、

・.htaccess の大きな deny list は、確実にサーバ資源を消費する
・ほんとのDoS攻撃、特にPerl CGIに対してのDoS攻撃に対する対策
・「ある程度２ちゃんねるのことを知っていて、かつ頭がおかしい人」に対する対策

**root▲ ★** · NG

938 名前：root▲ ★[sage] 投稿日：2005/07/19(火) 02:26:53 ID:???0 ?###
あと、これか。

129 ：FOX ★ ：2005/07/18(月) 17:18:11
qb6 がしっかり動いていれば
バーボン等の仕組みがちゃんとはたらき
今回程度の攻撃はしのげたはずなんだが、
いかんせん qb6 が落ちてしまった。

落ちた原因はqb6にとっても重い Perl で書いた cgi があり
それをぶん回されたんだな、

週明けからサーバ配置買える作業します。
重要なところは秘匿するとか、分離するとかいろいろ

161 ：FOX ★ ：2005/07/18(月) 17:25:53
普通というか今まで(たとえば韓国や中国から)の攻撃では
２ちゃんねるの仕組みを相手が知らないため
qb5, qb6, BBM等が攻撃されることは無かったんだな
まぁ　今回は詳しいやつが故意にやったと、

また　串等でやられた場合はわりと気兼ねなくはじけるので気にしないんだが
今回は　つなぎかえながら自分のISPのIPアドレスを名乗りながら
どうどうとやってきたと、また大きなISPなので死ぬほど(日本最大?)IPアドレス
割り当てられていると

**root▲ ★** · NG

940 名前：root▲ ★[sage] 投稿日：2005/07/19(火) 02:44:53 ID:???0 ?###
>>937
> .htaccess の大きな deny list は、確実にサーバ資源を消費する

これはそろそろ、SunOSさん謹製のmod_authz_iplist を入れる時期か。
2番目は、>>938 をたんたんと。
3番目は、、、さて。

**root▲ ★** · NG

950 名前：資材二課 ★[sage] 投稿日：2005/07/19(火) 14:37:57 ID:???0
秋になったら資源供給のばらつきや動いていないとこを一気になおそう。
サーバ投入も含めて、
どうしてかって? ちょこちょみこ直してもまたすぐいろいろ発生するから
あとでまとめてやりましょってとこです。

雪だるま用 tiger が二台やってきます(明日? あさって?)
これを今どこどこが苦しいからと言って転用しないと決心しようってことですー

**動け動けウゴウゴ２ちゃんねる** · 2005/07/21(木) 05:09:45

いつもお疲れ様です。
出張先の時差＝出張先からの活動可能な時間帯などお教えいただければ
みんながちょっと安心できるかも知れませんｗ

**root▲ ★** · NG

＜その他の課題・問題点など＞

・家庭の保守を怠ると不具合が発生する件
・SKのMクラスのNHへの加算率が、昨年から突然70%に変わっていた件
・SQが6ヶ月オープンをYクラスからBクラスに変えた件

**root▲ ★** · NG

>>17
詳細が決まり次第、ぼちぼちってかんじですね。
相変わらず、ぎりぎりまで細かいところが決まらないんで。

現地はネットワークありで、ホテルもネットワークがあるのをとったんで、
例によってあちこちからフシアナする予定。

**root▲ ★** · NG

…というわけで20ぐらいまで進めておけばさすがに即死はないだろうと勝手に推測して、
今日はそろそろ寝ることにするです。おやすみなさい。

**動け動けウゴウゴ２ちゃんねる** · 2005/07/21(木) 05:14:51

>>20
いつもお疲れ様です。おやすみなさい

**動け動けウゴウゴ２ちゃんねる** · 2005/07/21(木) 05:15:42

いいゆめを

**動け動けウゴウゴ２ちゃんねる** · 2005/07/21(木) 05:17:25

その他の課題・問題点その１をクリアできるよう、強制オフライン・deny等の措置を
皆で検討する必要ありですねｗ

・・・それではおやすみなさい。

**動け動けウゴウゴ２ちゃんねる** · 2005/07/21(木) 10:02:41

新スレおめです。

>>2
Part11 http://qb3.2ch.net/test/read.cgi/operate/1082990543/　(なぜか未HTML化)

…これ、そろそろHTMLにしませんか？ｗ

▲ ◆SANUKI/VII · NG

qb3時代のはほとんど未html

**動け動けウゴウゴ２ちゃんねる** · 2005/07/21(木) 14:19:47

ここではこのスレだけみたいだから
ちょっと気になったのです >>25

**動け動けウゴウゴ２ちゃんねる** · 2005/07/21(木) 14:34:12

携帯で
＞連投バーボン・スレ立てバーボン・リロードバーボン
どんなネ申業だよｗｗｗｗ

**root▲ ★** · NG

>>27
sec2chdとか見ていると、神業でもないように見えます。
なんか、携帯で連投しまくり。

▲ ◆SANUKI/VII · NG

携帯でも使ってるメニューによっては●も使えるみたいですし

**動け動けウゴウゴ２ちゃんねる** · 2005/07/21(木) 16:05:17

工エｴェｪ（´д｀）ｪェｴエ工工

でもさすがにスレ立てバーボンは無理じゃない？ｗ

**root▲ ★** · 2005/07/22(金) 01:54:21

あとで2件、メモっておこう。

・メモリトラブル/BIOS設定/リモートKVM話 at live20
・httpd/SpeedyCGIチューニング話 at live20

**root▲ ★** · 2005/07/22(金) 03:30:11

・httpdセッティング

メモリ4Gに伴い、httpdを増やしている。
ただし、2048(live20の倍)まで増やすのは増やしすぎで、スワップアウトこそ発生しないものに、
メモリ資源がやや貧しくなり、キャッシュメモリへの割り当てが少なくなるためか、
逆に高負荷時のパフォーマンスがいまいちになる傾向が見るけられた。

そのため、初期数1536、最大数1792 (1536 + 256)に設定を変えた。
(従来のlive20では896と1152)

これでもhttpdが売り切れになることはなく、無碍に多いときよりもよりうまく動作するようだ。

・SpeedyCGIセッティング

いろいろ試した結果、-M64では処理待ちのspeedy(bbs.cgi)があふれ返り、
-M128では処理しようとするバックエンドspeedy_backendの効率が悪くなるため、
とりあえず-M96にしておくことにした。

**root▲ ★** · 2005/07/22(金) 03:34:54

・tiger503 BIOS設定変更

・PowerSavingsの設定

無効に変更した。
これによりパワーセーブモードに誤って入らなくなるはず。
前はCustomizedかつ設定0になっていたので、
無効になっていたような気がするが、念のために再設定。

・ECCエラー発生時の割り込みの設定を変更

これまでは「ECCエラーが起こっても割り込みは発生させない」になっていたが
(ECCそのものは有効だった)、これを割り込み(NMI)が発生するように変更した。
これでFreeBSDにも、何か伝わるはず。

・上記以外の設定の確認

上記以外に問題となりそうな設定上の問題は、発見されなかった。

**root▲ ★** · 2005/07/22(金) 03:37:35

・BIOS設定/リモートKVMの話。

現在tiger5xxサーバについては、リモートコンソール経由で触る場合、
特別な処理(オペレータの介在)が必要になってしまう。

問題の原因解明には未だ至っていない。

参考:
【焼き鳥】負荷監視所_20050720
http://live14.2ch.net/test/read.cgi/liveplus/1121860283/786-794

**root▲ ★** · 2005/07/22(金) 03:37:58

転載

786 名前： ◆MUMUMUhnYI [sage] 投稿日：2005/07/21(木) 23:53:49 ID:B2JZ82ht
>>784
キーボード(とマウス?)なんですよね。
PIEで使っているKVMスイッチはデイジーチェインでつなぐブツなのです。
で、ACPIとの相性が悪くて、旧tiger(tiger5xx)だけ、FreeBSDの立ち上げ時に
パニックして止まってしまうという。

で、ACPI切ると上がるのですが、
そうすると別のところでハングアップして、止まってしまうです。

キーボードとマウスをつけていてもシステムBIOS画面は、問題なくKVM経由操作できるです。
FreeBSD＊だけ＊が、だめ。

で、キーボードとマウスをはずすと、ちゃんと上がる。
OSが上がっている時に、途中から刺しても大丈夫。

bananaと新tigerでは問題は起こってないので、
問題はかなり根深い気がします。

PIEに行ったら、旧tigerのBIOSを最新版に上げてみようかなと、
思っていたり。

787 名前： ◆MUMUMUhnYI [sage] 投稿日：2005/07/21(木) 23:56:55 ID:B2JZ82ht
症状は、これとかこれと同じです。
XeonでSMPの時で、しかもブート時に、
特定の種類のマザーボードでしか、起こらない模様。

AP #1 (PHY# 1) failed
http://lists.freebsd.org/pipermail/freebsd-smp/2003-June/000185.html
AP #1 (PHY#1) failed! Panic (y/n)?
http://lists.freebsd.org/pipermail/freebsd-stable/2005-February/012216.html

**root▲ ★** · 2005/07/22(金) 03:39:14

790 名前： ◆MUMUMUhnYI [sage] 投稿日：2005/07/22(金) 00:01:15 ID:B2JZ82ht
というわけで、今日BIOSの設定を少しいじったのですが、

・tiger503をリモートから落とす
・SeanさんにKVMスイッチのキーボードとマウスをtiger503にアタッチしてもらう
・私がBIOSの設定をKVM経由でいじる
・SeanさんにKVMスイッチのキーボードとマウスをtiger503からデタッチしてもらう
・Seanさんにtiger503を立ち上げなおしてもらう→FreeBSDが立ち上がる

という手順が、必要になりました。

KVMスイッチのキーボードをつけると同じパニックを起こして立ち上がらない
という症状は、tiger503以外のtigerでも同じように発生したので、
tiger5xxについてはどれも、そうなるようです。

**root▲ ★** · 2005/07/22(金) 03:40:24

・tigerでもkern.ipc.maxpipekvaがあふれた件

【焼き鳥】負荷監視所_20050720
http://live14.2ch.net/test/read.cgi/liveplus/1121860283/779-782

782 名前： ◆MUMUMUhnYI [sage] 投稿日：2005/07/21(木) 23:46:00 ID:B2JZ82ht
このメッセージは、例の数分間の仮死状態の時に、出ていたですね。

対策するには、これを、
kern.ipc.maxpipekva=20971520

cobraと同じ値、つまり倍にすればいいはずなんだけど(下記)、
kern.ipc.maxpipekva=41943040

もしまずい場合ハングアップとかカーネルパニックなので、
リブート入れてもらわないと直せないからなぁ。

しかも、リモートコンソールをいじれないといけないと。

リモートコンソールは後でoperateのスレで報告しますが、
tiger503ではいつもつけておくのは、難しいのです。

さて、どうすべか。

783 名前： ◆MUMUMUhnYI [sage] 投稿日：2005/07/21(木) 23:47:27 ID:B2JZ82ht
でもspeedy_backendの並列度を微調整したので、
再現しないと、信じることにするかな。

少なくとも来週の夜10時までは、間違いなくこんな局面にはならないだろうし。

**root▲ ★** · NG

気分転換に、自分の環境(PIEじゃなくて、システムコンソールを手でさわれる別の場所)で
FreeBSD 6.0-BETA1を試し中。

とりあえず教科書どおりの手法で、FreeBSD 5.4Rからのアップグレードは無事完了。

**root▲ ★** · NG

% uname -a
FreeBSD むぎゅ 6.0-BETA1 FreeBSD 6.0-BETA1 #4: Fri Jul 22 20:47:22 JST 2005 root@むぎゅ:/usr/src/sys/i386/compile/むぎゅ i386

ATAのドライバがモジュールに対応したですね。
こうやると、ATA関係を外出しにできるみたい。

カーネルconfigから以下を全部コメントアウト
#device ata
#device atadisk # ATA disk drives
#device ataraid # ATA RAID drives
#device atapicd # ATAPI CDROM drives
#device atapifd # ATAPI floppy drives
#device atapist # ATAPI tape drives
#options ATA_STATIC_ID # Static device numbering

/boot/loader.confに以下を追加
ata_load="YES"
atapci_load="YES"
ataisa_load="YES"
atadisk_load="YES"
atapicd_load="YES"

こんなかんじ。
% kldstat
Id Refs Address Size Name
1 11 0xc0400000 37d280 kernel
2 1 0xc077e000 190c accf_data.ko
3 1 0xc0780000 2284 accf_http.ko
4 1 0xc0783000 2ee24 ipl.ko
5 5 0xc07b2000 d2ac ata.ko
6 1 0xc07c0000 19d9c atapci.ko
7 1 0xc07da000 22bc ataisa.ko
8 1 0xc07dd000 3938 atadisk.ko
9 1 0xc07e1000 77b8 atapicd.ko
10 16 0xc07e9000 57528 acpi.ko

**動け動けウゴウゴ２ちゃんねる** · 2005/07/22(金) 21:58:46

root▲ ★板（臨時）実況可ｸﾙ━━ﾟ+.ヽ(≧▽≦)ﾉ.+ﾟ━━ ｯ ! ! !

**root▲ ★** · NG

どうも、高速なメモリチップに変えただけで、
同じメモリ容量でも、live16のパフォーマンスが一回りよくなったようです。

Seanさんによると、

・これまで旧tigerサーバ(tiger5xx)に入っていたメモリ: PC2100 512MBytes x 4
・live16(tiger507)に新しく刺したメモリ: PC3200 1GBytes x 2

とのこと。

ちなみにlive20(tiger503)は、PC2100 512MBytes x 8 (メモリスロット満タン)

**動け動けウゴウゴ２ちゃんねる** · 2005/07/22(金) 23:44:44

>>41
tiger507ってFSB800でしたっけ？
ならCPUとメモリは同じ帯域だからスムーズでしょうw

む P061198250019.ppp.prin.ne.jp · 2005/07/22(金) 23:57:48

533すね。
2513以降は800のはず。

**動け動けウゴウゴ２ちゃんねる** · 2005/07/23(土) 00:27:24

>>43
ありゃ。わざわざ出先から乙です。

ということはボトルネックはFSBに・・・・w

**動け動けウゴウゴ２ちゃんねる** · 2005/07/23(土) 00:45:37

出先と言うより、ベッドの上なんじゃ。。。

**ヾ（ﾟﾊﾟ）ﾉ** ◆f0.zuburi6 · 2005/07/23(土) 01:43:21

モジュール枚数の減によってアクセスがスムーズになったに１０メモリ

**動け動けウゴウゴ２ちゃんねる** · 2005/07/23(土) 01:52:44

そんなわけないでしょCL違うならまだわかるけど、

一番の違いは理論帯域で1.5倍違うこと

**動け動けウゴウゴ２ちゃんねる** · 2005/07/23(土) 01:53:11

そのマシンでもっとも遅いメモリモジュールに合わせたクロックで動くの
法則に従ってみんなPC2100してたんじゃないだろーか

**動け動けウゴウゴ２ちゃんねる** · 2005/07/23(土) 02:08:38

あーそうでした、、、

交換前　PC2100動作　FSB533だけどFSB400
今はPC3200だけどPC2700動作　FSB533

でよろしいのかしら。この辺知識があやふやなもので。なにせ

プロセッサのFSBが最高400MhzならばPC2100
プロセッサのFSBが最高533MhzならばPC2700
プロセッサのFSBが最高800MhzならばPC3200

とピークにあわせて買ってますからね・・・

**モーマン☆鯛。＠p2** · 2005/07/23(土) 02:22:47

>>49
あっそうかPC2100か。対応を勘違いしてた＞FSBとPC値
さんきゅー