2ch特化型サーバ・ロケーション構築作戦 Part19

**root▲ ★** · NG

2ch特化型サーバ・ロケーション構築作戦のスレッドです。

・２ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更まわりの関連作業・調整事項
・２ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携

等を取り扱います。

現在、複数サーバによる連携により、
サーバ能力のさらなるスケールアップをめざすための「雪だるま作戦」が進行中です。
雪だるま作戦は、現在以下のスレで雑談しながら進行中です。

＜主な関連スレッド＞
【しらたま】雪だるま作戦に思いを馳せながら雑談するスレッド Part11
http://aa5.2ch.net/test/read.cgi/nanmin/1121875871/

＜主な関連リンク＞
ブレーメンメーター: http://mumumu.mu/bremen/
ＭＲＴＧによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねるサーバ負荷監視所: http://ch2.ath.cx/load/
2ch 鯖監視係。: http://sv2ch.baila6.jp/
2ch CGI 軽量化: http://sunos.saita.ma/2ch-cgi-lw.html

**root▲ ★** · NG

**root▲ ★** · NG

即死逃れのために、少し何か書いておくか。

＜雪だるま作戦について＞
バックエンド側でリクエストを受け付け、書き込み関連プロセス、
subject.txt subback.html index.html 作成等の処理を一元的に行う
bbsd(bbs daemon)が◆cZfSunOs.Uさんの手により日の目を見、
実現に向けて動き出した。

フロントエンド側とバックエンド側でファイルの共有(バックエンド側にある
datファイル、subject.txt等)を、フロントエンド側から見られるようにする
必要がある)については、各種の方法があるうち、まず最も安易に実現
可能なNFS(Network File System)を試してみたが、FreeBSDのNFS、
特にクライアント側の実装上の問題により、NFSでの共有は断念する
こととなった。

現在、Apacheのプロキシ・キャッシュ機能を活用する方向で、
この問題の解決を図ろうとしている。

**root▲ ★** · NG

(続き)
bbsdのほうはかなりの投稿数をさばげることが判明しており、
現在の状況で既に、1スレに対し15秒で1000投稿をさばくことが
可能であることが確認できている。

また、index.html subback.html subject.txt を bbsd が常に監視し、
一元的に管理することになるので、完成した暁にはいわゆる「板とび」の
リスクを低減することも可能になる(復帰の手間が少なくなる)という効果も
期待できる。

なおbbsdは雪だるまサーバだけではなく、単品での利用も可能なので、
技術的には２ちゃんねるのすべてのサーバにおいて、活用が可能である。

ただし、各種スクリプト(いわゆる呪文)をbbsd対応にする必要があるため、
全サーバへの完全導入のためには、各種呪文間の整合性をとる必要が
あることはいうまでもない。そしてそれは２ちゃんねるの構造上、実は容易ではない。

**動け動けウゴウゴ２ちゃんねる** · NG

operate も即死判定があるのか･･･

**root▲ ★** · NG

>>1 に書くの忘れた。

携帯系サーバのMRTGによる統計情報: http://mumumu.mu/mrtgc/mrtg-rrd.cgi/

＜Love Affair作戦について＞
電車男サーバ・電車男スイッチの導入により、特にau系サーバにおいて
顕著であった過負荷の問題は一応回避され、現在サーバ負荷については、
一応小康状態となっている。

ただし、au系・DoCoMo系については現在もアクセス数が急速に増大しており、
今後もこの傾向は当分続くと考えられるため、今後を考慮した場合、
予断を許さない状況であることに変わりはない。

今後はさらなる増強を行い、AAS(ASCII Art Scope)機能の導入、
公開用datキャッシュサーバ(いわゆる白山羊)の導入を実施していく予定である。

**root▲ ★** · NG

＜携帯系の規制系問題について＞
携帯系では現在、
・BBM
・Rock54M
・Samba24
の規制が有効になっており、PCでのIPアドレスをキーとした規制に相当するものとして、
携帯電話の固有番号による規制・識別が実施されている。

ただし現在携帯については、バーボンハウス規制は無効となっており、
連投バーボン・スレ立てバーボン・リロードバーボンのいずれも動作していない。
これらについては、今後の開発が必要であるという認識であり、
試験をクリアした若者が、いろいろとがんがる手はずになっているという話である。

**root▲ ★** · NG

＜実況およびゆり戻しについて＞
さまざまな経緯を経て、live20サーバは「強い子」に成長し、
今や木曜日の22:00からのドラマを除き、
ほとんどの番組の負荷を受け止められるまでに至った。

また「ゆり戻し」についても、野球・サッカーサーバへの
Cobdaサーバの独立投入により、大きな破綻を起こすサーバは、
animeサーバのみ、しかも土曜日の18:30から10分程度のみとなった。

ただしこれは史上まれに見る「強敵」であり、news4vipの投稿数を
余裕で支えているex11と同一ハードウェアスペックのサーバを、
LA=200になるぐらいまで追い込んでしまうものである。
これについては今後も、苦しい戦いが続いていくと考えざるを得ない。

live20はまた、先日メモリを倍増する強化が実施され、
live16とのメモリ換装手術を経て、どうやら安定したようである。
これにより従来の倍程度、あるいはそれ以上の負荷をさばけるのでは
ないかと、皮算用していたりするが、その結果は木曜夜まで、定かではない。

**動け動けウゴウゴ２ちゃんねる** · 2005/07/21(木) 04:42:10

明日というか、今晩ですけどネ

**root▲ ★** · NG

＜FreeBSD＞
5.2.1Rはひどい品質であり、特にSMP環境では全く実用に耐えなかった。
これについては5.3Rで大幅な体質改善が図られ、通常の用途であれば特に問題なく
使用できるまでに至った。

しかしNFSのような「クリティカルな条件で使用している人が少ない」ものについては、
機能が十分にこなれていないためか、現在でもまだ問題が残っているようである。

しかし、FreeBSDの5系は大方の予想通り短命であるらしく、
既にRELENG_6のブランチが切られており、現在既に6.0-BETA1の状態となっており、
今後1ヶ月～数ヶ月のうちにはリリースエンジニアリングも整い、
FreeBSD 6.0-RELEASEが出ることは、ほぼ間違いない様子である。

ということでFreeBSD 6系については、とりあえずさわってみようとは思っていたりする。

**root▲ ★** · NG

＜直近の私の予定＞
7月末～8月上旬あたりまで、日本にいませんです。

**root▲ ★** · NG

＜前スレからの積み残しの課題＞

・read.cgiのJavScript
936 名前：▲ ◆cZfSunOs.U [sage] 投稿日：2005/07/15(金) 01:07:42 ID:fuPqNteQ0
一応メモ書き

bbsd が作る index.html では >>705 が入りました．
あとは read.cgi の JavaScript も http://www2.2ch.net/snow/index.js
を使ってもらって，bbs.cgi では NAME, MAIL の Cookie 設定処理をパスすれば
この件は一件落着になります，と．

**root▲ ★** · NG

(続き)

・先日の件がらみ
937 名前：root▲ ★[sage] 投稿日：2005/07/19(火) 02:26:40 ID:???0 ?###
ということで、

・.htaccess の大きな deny list は、確実にサーバ資源を消費する
・ほんとのDoS攻撃、特にPerl CGIに対してのDoS攻撃に対する対策
・「ある程度２ちゃんねるのことを知っていて、かつ頭がおかしい人」に対する対策

**root▲ ★** · NG

938 名前：root▲ ★[sage] 投稿日：2005/07/19(火) 02:26:53 ID:???0 ?###
あと、これか。

129 ：FOX ★ ：2005/07/18(月) 17:18:11
qb6 がしっかり動いていれば
バーボン等の仕組みがちゃんとはたらき
今回程度の攻撃はしのげたはずなんだが、
いかんせん qb6 が落ちてしまった。

落ちた原因はqb6にとっても重い Perl で書いた cgi があり
それをぶん回されたんだな、

週明けからサーバ配置買える作業します。
重要なところは秘匿するとか、分離するとかいろいろ

161 ：FOX ★ ：2005/07/18(月) 17:25:53
普通というか今まで(たとえば韓国や中国から)の攻撃では
２ちゃんねるの仕組みを相手が知らないため
qb5, qb6, BBM等が攻撃されることは無かったんだな
まぁ　今回は詳しいやつが故意にやったと、

また　串等でやられた場合はわりと気兼ねなくはじけるので気にしないんだが
今回は　つなぎかえながら自分のISPのIPアドレスを名乗りながら
どうどうとやってきたと、また大きなISPなので死ぬほど(日本最大?)IPアドレス
割り当てられていると

**root▲ ★** · NG

940 名前：root▲ ★[sage] 投稿日：2005/07/19(火) 02:44:53 ID:???0 ?###
>>937
> .htaccess の大きな deny list は、確実にサーバ資源を消費する

これはそろそろ、SunOSさん謹製のmod_authz_iplist を入れる時期か。
2番目は、>>938 をたんたんと。
3番目は、、、さて。

**root▲ ★** · NG

950 名前：資材二課 ★[sage] 投稿日：2005/07/19(火) 14:37:57 ID:???0
秋になったら資源供給のばらつきや動いていないとこを一気になおそう。
サーバ投入も含めて、
どうしてかって? ちょこちょみこ直してもまたすぐいろいろ発生するから
あとでまとめてやりましょってとこです。

雪だるま用 tiger が二台やってきます(明日? あさって?)
これを今どこどこが苦しいからと言って転用しないと決心しようってことですー

**動け動けウゴウゴ２ちゃんねる** · 2005/07/21(木) 05:09:45

いつもお疲れ様です。
出張先の時差＝出張先からの活動可能な時間帯などお教えいただければ
みんながちょっと安心できるかも知れませんｗ

**root▲ ★** · NG

＜その他の課題・問題点など＞

・家庭の保守を怠ると不具合が発生する件
・SKのMクラスのNHへの加算率が、昨年から突然70%に変わっていた件
・SQが6ヶ月オープンをYクラスからBクラスに変えた件

**root▲ ★** · NG

>>17
詳細が決まり次第、ぼちぼちってかんじですね。
相変わらず、ぎりぎりまで細かいところが決まらないんで。

現地はネットワークありで、ホテルもネットワークがあるのをとったんで、
例によってあちこちからフシアナする予定。

**root▲ ★** · NG

…というわけで20ぐらいまで進めておけばさすがに即死はないだろうと勝手に推測して、
今日はそろそろ寝ることにするです。おやすみなさい。

**動け動けウゴウゴ２ちゃんねる** · 2005/07/21(木) 05:14:51

>>20
いつもお疲れ様です。おやすみなさい

**動け動けウゴウゴ２ちゃんねる** · 2005/07/21(木) 05:15:42

いいゆめを

**動け動けウゴウゴ２ちゃんねる** · 2005/07/21(木) 05:17:25

その他の課題・問題点その１をクリアできるよう、強制オフライン・deny等の措置を
皆で検討する必要ありですねｗ

・・・それではおやすみなさい。

**動け動けウゴウゴ２ちゃんねる** · 2005/07/21(木) 10:02:41

新スレおめです。

>>2
Part11 http://qb3.2ch.net/test/read.cgi/operate/1082990543/　(なぜか未HTML化)

…これ、そろそろHTMLにしませんか？ｗ

▲ ◆SANUKI/VII · NG

qb3時代のはほとんど未html

**動け動けウゴウゴ２ちゃんねる** · 2005/07/21(木) 14:19:47

ここではこのスレだけみたいだから
ちょっと気になったのです >>25

**動け動けウゴウゴ２ちゃんねる** · 2005/07/21(木) 14:34:12

携帯で
＞連投バーボン・スレ立てバーボン・リロードバーボン
どんなネ申業だよｗｗｗｗ

**root▲ ★** · NG

>>27
sec2chdとか見ていると、神業でもないように見えます。
なんか、携帯で連投しまくり。

▲ ◆SANUKI/VII · NG

携帯でも使ってるメニューによっては●も使えるみたいですし

**動け動けウゴウゴ２ちゃんねる** · 2005/07/21(木) 16:05:17

工エｴェｪ（´д｀）ｪェｴエ工工

でもさすがにスレ立てバーボンは無理じゃない？ｗ

**root▲ ★** · 2005/07/22(金) 01:54:21

あとで2件、メモっておこう。

・メモリトラブル/BIOS設定/リモートKVM話 at live20
・httpd/SpeedyCGIチューニング話 at live20

**root▲ ★** · 2005/07/22(金) 03:30:11

・httpdセッティング

メモリ4Gに伴い、httpdを増やしている。
ただし、2048(live20の倍)まで増やすのは増やしすぎで、スワップアウトこそ発生しないものに、
メモリ資源がやや貧しくなり、キャッシュメモリへの割り当てが少なくなるためか、
逆に高負荷時のパフォーマンスがいまいちになる傾向が見るけられた。

そのため、初期数1536、最大数1792 (1536 + 256)に設定を変えた。
(従来のlive20では896と1152)

これでもhttpdが売り切れになることはなく、無碍に多いときよりもよりうまく動作するようだ。

・SpeedyCGIセッティング

いろいろ試した結果、-M64では処理待ちのspeedy(bbs.cgi)があふれ返り、
-M128では処理しようとするバックエンドspeedy_backendの効率が悪くなるため、
とりあえず-M96にしておくことにした。

**root▲ ★** · 2005/07/22(金) 03:34:54

・tiger503 BIOS設定変更

・PowerSavingsの設定

無効に変更した。
これによりパワーセーブモードに誤って入らなくなるはず。
前はCustomizedかつ設定0になっていたので、
無効になっていたような気がするが、念のために再設定。

・ECCエラー発生時の割り込みの設定を変更

これまでは「ECCエラーが起こっても割り込みは発生させない」になっていたが
(ECCそのものは有効だった)、これを割り込み(NMI)が発生するように変更した。
これでFreeBSDにも、何か伝わるはず。

・上記以外の設定の確認

上記以外に問題となりそうな設定上の問題は、発見されなかった。

**root▲ ★** · 2005/07/22(金) 03:37:35

・BIOS設定/リモートKVMの話。

現在tiger5xxサーバについては、リモートコンソール経由で触る場合、
特別な処理(オペレータの介在)が必要になってしまう。

問題の原因解明には未だ至っていない。

参考:
【焼き鳥】負荷監視所_20050720
http://live14.2ch.net/test/read.cgi/liveplus/1121860283/786-794

**root▲ ★** · 2005/07/22(金) 03:37:58

転載

786 名前： ◆MUMUMUhnYI [sage] 投稿日：2005/07/21(木) 23:53:49 ID:B2JZ82ht
>>784
キーボード(とマウス?)なんですよね。
PIEで使っているKVMスイッチはデイジーチェインでつなぐブツなのです。
で、ACPIとの相性が悪くて、旧tiger(tiger5xx)だけ、FreeBSDの立ち上げ時に
パニックして止まってしまうという。

で、ACPI切ると上がるのですが、
そうすると別のところでハングアップして、止まってしまうです。

キーボードとマウスをつけていてもシステムBIOS画面は、問題なくKVM経由操作できるです。
FreeBSD＊だけ＊が、だめ。

で、キーボードとマウスをはずすと、ちゃんと上がる。
OSが上がっている時に、途中から刺しても大丈夫。

bananaと新tigerでは問題は起こってないので、
問題はかなり根深い気がします。

PIEに行ったら、旧tigerのBIOSを最新版に上げてみようかなと、
思っていたり。

787 名前： ◆MUMUMUhnYI [sage] 投稿日：2005/07/21(木) 23:56:55 ID:B2JZ82ht
症状は、これとかこれと同じです。
XeonでSMPの時で、しかもブート時に、
特定の種類のマザーボードでしか、起こらない模様。

AP #1 (PHY# 1) failed
http://lists.freebsd.org/pipermail/freebsd-smp/2003-June/000185.html
AP #1 (PHY#1) failed! Panic (y/n)?
http://lists.freebsd.org/pipermail/freebsd-stable/2005-February/012216.html

**root▲ ★** · 2005/07/22(金) 03:39:14

790 名前： ◆MUMUMUhnYI [sage] 投稿日：2005/07/22(金) 00:01:15 ID:B2JZ82ht
というわけで、今日BIOSの設定を少しいじったのですが、

・tiger503をリモートから落とす
・SeanさんにKVMスイッチのキーボードとマウスをtiger503にアタッチしてもらう
・私がBIOSの設定をKVM経由でいじる
・SeanさんにKVMスイッチのキーボードとマウスをtiger503からデタッチしてもらう
・Seanさんにtiger503を立ち上げなおしてもらう→FreeBSDが立ち上がる

という手順が、必要になりました。

KVMスイッチのキーボードをつけると同じパニックを起こして立ち上がらない
という症状は、tiger503以外のtigerでも同じように発生したので、
tiger5xxについてはどれも、そうなるようです。

**root▲ ★** · 2005/07/22(金) 03:40:24

・tigerでもkern.ipc.maxpipekvaがあふれた件

【焼き鳥】負荷監視所_20050720
http://live14.2ch.net/test/read.cgi/liveplus/1121860283/779-782

782 名前： ◆MUMUMUhnYI [sage] 投稿日：2005/07/21(木) 23:46:00 ID:B2JZ82ht
このメッセージは、例の数分間の仮死状態の時に、出ていたですね。

対策するには、これを、
kern.ipc.maxpipekva=20971520

cobraと同じ値、つまり倍にすればいいはずなんだけど(下記)、
kern.ipc.maxpipekva=41943040

もしまずい場合ハングアップとかカーネルパニックなので、
リブート入れてもらわないと直せないからなぁ。

しかも、リモートコンソールをいじれないといけないと。

リモートコンソールは後でoperateのスレで報告しますが、
tiger503ではいつもつけておくのは、難しいのです。

さて、どうすべか。

783 名前： ◆MUMUMUhnYI [sage] 投稿日：2005/07/21(木) 23:47:27 ID:B2JZ82ht
でもspeedy_backendの並列度を微調整したので、
再現しないと、信じることにするかな。

少なくとも来週の夜10時までは、間違いなくこんな局面にはならないだろうし。

**root▲ ★** · NG

気分転換に、自分の環境(PIEじゃなくて、システムコンソールを手でさわれる別の場所)で
FreeBSD 6.0-BETA1を試し中。

とりあえず教科書どおりの手法で、FreeBSD 5.4Rからのアップグレードは無事完了。

**root▲ ★** · NG

% uname -a
FreeBSD むぎゅ 6.0-BETA1 FreeBSD 6.0-BETA1 #4: Fri Jul 22 20:47:22 JST 2005 root@むぎゅ:/usr/src/sys/i386/compile/むぎゅ i386

ATAのドライバがモジュールに対応したですね。
こうやると、ATA関係を外出しにできるみたい。

カーネルconfigから以下を全部コメントアウト
#device ata
#device atadisk # ATA disk drives
#device ataraid # ATA RAID drives
#device atapicd # ATAPI CDROM drives
#device atapifd # ATAPI floppy drives
#device atapist # ATAPI tape drives
#options ATA_STATIC_ID # Static device numbering

/boot/loader.confに以下を追加
ata_load="YES"
atapci_load="YES"
ataisa_load="YES"
atadisk_load="YES"
atapicd_load="YES"

こんなかんじ。
% kldstat
Id Refs Address Size Name
1 11 0xc0400000 37d280 kernel
2 1 0xc077e000 190c accf_data.ko
3 1 0xc0780000 2284 accf_http.ko
4 1 0xc0783000 2ee24 ipl.ko
5 5 0xc07b2000 d2ac ata.ko
6 1 0xc07c0000 19d9c atapci.ko
7 1 0xc07da000 22bc ataisa.ko
8 1 0xc07dd000 3938 atadisk.ko
9 1 0xc07e1000 77b8 atapicd.ko
10 16 0xc07e9000 57528 acpi.ko

**動け動けウゴウゴ２ちゃんねる** · 2005/07/22(金) 21:58:46

root▲ ★板（臨時）実況可ｸﾙ━━ﾟ+.ヽ(≧▽≦)ﾉ.+ﾟ━━ ｯ ! ! !

**root▲ ★** · NG

どうも、高速なメモリチップに変えただけで、
同じメモリ容量でも、live16のパフォーマンスが一回りよくなったようです。

Seanさんによると、

・これまで旧tigerサーバ(tiger5xx)に入っていたメモリ: PC2100 512MBytes x 4
・live16(tiger507)に新しく刺したメモリ: PC3200 1GBytes x 2

とのこと。

ちなみにlive20(tiger503)は、PC2100 512MBytes x 8 (メモリスロット満タン)

**動け動けウゴウゴ２ちゃんねる** · 2005/07/22(金) 23:44:44

>>41
tiger507ってFSB800でしたっけ？
ならCPUとメモリは同じ帯域だからスムーズでしょうw

む P061198250019.ppp.prin.ne.jp · 2005/07/22(金) 23:57:48

533すね。
2513以降は800のはず。

**動け動けウゴウゴ２ちゃんねる** · 2005/07/23(土) 00:27:24

>>43
ありゃ。わざわざ出先から乙です。

ということはボトルネックはFSBに・・・・w

**動け動けウゴウゴ２ちゃんねる** · 2005/07/23(土) 00:45:37

出先と言うより、ベッドの上なんじゃ。。。

**ヾ（ﾟﾊﾟ）ﾉ** ◆f0.zuburi6 · 2005/07/23(土) 01:43:21

モジュール枚数の減によってアクセスがスムーズになったに１０メモリ

**動け動けウゴウゴ２ちゃんねる** · 2005/07/23(土) 01:52:44

そんなわけないでしょCL違うならまだわかるけど、

一番の違いは理論帯域で1.5倍違うこと

**動け動けウゴウゴ２ちゃんねる** · 2005/07/23(土) 01:53:11

そのマシンでもっとも遅いメモリモジュールに合わせたクロックで動くの
法則に従ってみんなPC2100してたんじゃないだろーか

**動け動けウゴウゴ２ちゃんねる** · 2005/07/23(土) 02:08:38

あーそうでした、、、

交換前　PC2100動作　FSB533だけどFSB400
今はPC3200だけどPC2700動作　FSB533

でよろしいのかしら。この辺知識があやふやなもので。なにせ

プロセッサのFSBが最高400MhzならばPC2100
プロセッサのFSBが最高533MhzならばPC2700
プロセッサのFSBが最高800MhzならばPC3200

とピークにあわせて買ってますからね・・・

**モーマン☆鯛。＠p2** · 2005/07/23(土) 02:22:47

>>49
あっそうかPC2100か。対応を勘違いしてた＞FSBとPC値
さんきゅー

**root▲ ★** · NG

チラシの裏:

・live20の早朝自動バックアップを今日だけストップ
・live20の統計情報処理を一時停止

これらは、例の番組終了後に元に戻す予定。

**root▲ ★** · NG

>>51
> ・live20の統計情報処理を一時停止

処理を => 処理の一部を

**動け動けウゴウゴ２ちゃんねる** · 2005/07/24(日) 06:26:16

rootﾀｿｵﾂｶﾚﾁｬｿ
働き杉な希ガスけどｶﾞﾝｶﾞって

|-`).｡ｏO（若いのが育てば rootﾀｿの負担分が減ってぇぇんやけど、、、）
|-`).｡ｏO（表面上見えないだけで多少居たりするんかな、、、）

**root▲ ★** · NG

>>51-52 を元に戻した。

**root▲ ★** · NG

メモリ4Gのtigerでは、

/boot/loader.conf
#kern.ipc.maxpipekva=20971520
を、
kern.ipc.maxpipekva=41943040

にしても問題なさげなので(tiger2523で今確認)、後で増やしておこう。

対象: live20 live22 live22x1 (live22x2 live22x3)

これで、木曜日と今日起こったlive20が数分無反応になるのは、防げるはず。

**root▲ ★** · NG

>>55
live22 live22x1 done.
live20 は今夜変更予定。

現在構築中のlive22x2 live22x3は、最初からこの設定で動かそうかと。

**root▲ ★** · NG

/usr/ports/UPDATING にこんな記述が。むぎゅー。

20050722:
AFFECTS: All RELENG_6 and HEAD users of ports/packages, maintainers
of ports that interact with the compat libraries.
AUTHOR: kensmith@FreeBSD.org

The shared library version number of all shared libraries built as
part of the baseline system has been incremented in both RELENG_6
and HEAD. The overall goal is to make handling of the compat library
infrastructure easier. Each new release branch will have different
version numbers for all of the shared libraries and the compat ports
can simply include all of the shared libraries from the previous
release.

If you update your system using normal cvsup/rebuild/reinstall
mechanisms the old versions of the libraries will still be on your
system so your old ports executables will continue to work.
But you definitely should plan on recompiling and reinstalling all
of your installed ports so they get relinked against the new libraries.
If you don't take this step as time goes on "normal" updates and
installs run the risk of having executables relying on both the new
and old versions of the libraries which would cause big problems.

It will take some time for the pre-built packages available on the
FTP mirror sites to be rebuilt against the new libraries. If you
want to update your ports using the pre-built packages watch the
mailing lists for when the rebuilt packages become available.

**root▲ ★** · NG

tiger503がメモリ増設後に不安定になっている問題は、
まだ解決していない模様。

tiger503にもともと入っていたメモリと、
tiger507から持ってきたメモリの相性問題か。

休み(米国の)明けに、Seanさんと相談する予定。

**root▲ ★** · NG

とりあえず、メールを出した。

Subject: tiger503 still has suspicious hangup problem

Jim-san, Sean-san,

Today, tiger503 is encountered suspicious system hangup.

I still suspect the compatibility of memory chips.
So, do you remember that the memory chips which were originally installed in
tiger503 and moved from tiger507 were the completely same kind?
Even if the memory type is the same, the different two types of chip
vendors make system unstable.

Or, someone of 2ch user suggested me that we should check the system the
increase of heat, so, tiger503 may be exceeded its limit of cooling
capacity by adding 4 memory chips.

We need more stable server environment. Please help us.

Regards,

**root▲ ★** · NG

Seanさんから返事が来ました。

mumumu, the additional 4 memory chips borrowed from the other server was of
the same kind as original Tiger503.
So I do no think it is in-compatibility problem. Heat may be the issue.
Our space in XO is getting hotter. I will ask XO to turn on an additional
AC Unit to cool better.
It might also be preasure. Tiger503 sits on bottom of rack, under all other
servers. I will add a shelf to relive it of the weight from other
servers....this can also hold in heat.

-Sean

**root▲ ★** · NG

>>60 まとめ

・tiger507に入っていたメモリとtiger503のメモリは同じ種類
- なので、メモリの相性問題はもうないと思う

・熱問題はありうるかも
- XO(tiger503が置いてある場所)は(サーバ数の増加により)徐々に暖かくなっている
- ので、賃貸元に追加のエアコンユニットを依頼しているところ

・tiger503(= live20)は、現在ラックの一番下にある
- 重さがかかっている(tiger2522で問題になった「ひしゃげ」問題の可能性)
- 支えるためのシェルフ(棚)を追加する予定
- これで、ひしゃげ問題と熱こもり問題が解決すると思う

**動け動けウゴウゴ２ちゃんねる** · 2005/07/25(月) 14:41:09

HEの時は良かった．．．

**root▲ ★** · NG

>>62
…とは、全く思わないですね。

あの超脆弱なネットワーク(DNSクエリをくべるだけでへたれるとか、
8Mbpsぐらいで転送量が頭打ちになるルータとか)、
ファームウェアの古いHDDやエラーが上がるSCSIコントローラ、
仕様と10krpmのHDD等を平気でつけてよこすうえに
ゆっても交換してくれない(←ここ重要)とか、
あまつさえ、突然データセンター全体が停電するとか(昨年4月)、
DNSの設定をフレキシブルにやってくれないとか、などなど。

現場の立場からゆわせてもらえば、
正直、あそこに戻ることはもうありえないです。（す）

**root▲ ★** · NG

>>63
仕様と => 仕様と違う

**動け動けウゴウゴ２ちゃんねる** · 2005/07/25(月) 14:50:01

Hurricane Electronicw

**動け動けウゴウゴ２ちゃんねる** · 2005/07/25(月) 16:00:33

HEの時に比べれば（一寸余計なこともしてくれるけど）
至れり尽くせりって感じですか？

**root▲ ★** · 2005/07/25(月) 16:29:41

>>66
自由度というか、フレキシビリティは明らかに上がったですね。
…というか、それがPIEを作った目的のひとつであるとうかがっております。

**動け動けウゴウゴ２ちゃんねる** · 2005/07/25(月) 16:30:13

>>63-64
そんなひどいどころでよく数年やってられたものですね

運用周りはPIE立ち上げ初期ぐらいからみてますけど、
HEとPIEは雲泥の差だったんだな、と。
そりゃJimさんが切れるわけですw

**root▲ ★** · NG

>>68
最初は、ちゃんとしていたらしいです。

HEについては、root権限ありモニターサーバの件とか(初代newsplus.jp)で、
2002年あたりから私も少しかかわりました。
その頃は、悪くなかったです(FreeBSDの問題を解決してもらったりしました)。

くわしいことは知りませんが、個人的には、2003年の後半あたりから、
加速度的にどんどんひどくなっていったように、覚えているです。

**動け動けウゴウゴ２ちゃんねる** · 2005/07/25(月) 16:37:53

しかし、１Uの場所代でタワー型が置けるってのが…

**root▲ ★** · NG

>>70
それは、メリットのひとつだったのかもですね。

でも肝心のインフラやサーバやサポートが >>63 だと、ちと。

**動け動けウゴウゴ２ちゃんねる** · 2005/07/25(月) 16:51:43

>>69
なるほど。
・・・・インフラを増強する体力が無かったんですかね（ケチったとも取れるけど）w

**ヾ（ﾟﾊﾟ）ﾉ** ◆f0.zuburi6 · 2005/07/25(月) 19:51:03

熱問題について
ttp://h50146.www5.hp.com/products/servers/proliant/whitepaper/wp019_040430/p03.html
案外シビアなものですえぇえぇ。

**動け動けウゴウゴ２ちゃんねる** · 2005/07/25(月) 19:52:04

もう家庭のPCの知識じゃ役に立たないなぁ。

**動け動けウゴウゴ２ちゃんねる** · 2005/07/25(月) 20:03:29

今更気付いたけどpekoの文字が消えてたんだ。

**動け動けウゴウゴ２ちゃんねる** · 2005/07/25(月) 23:25:51

分からない単語を調べては…ついていこうとするだけで、
何だか勉強になる気がするのです。

いや、多分気のせいかも。

**root▲ ★** · NG

live20の件について、Seanさんとちと相談中。
詳細は追って。

**root▲ ★** · NG

Seanさんと打ち合わせている最中に、いきなり何もしていないのに死にました。

ということで、緊急にtiger503の場所を移動する方向で調整中。
(同一ラック内の一番上)

**root▲ ★** · NG

Sean (11:54 AM) :
I have moved Tiger503 to top of rack.

**root▲ ★** · NG

Sean (11:55 AM) :
If it continues to be unstable then only idea I hve is that one of the memory modules
is not seeted properly, or was damaged durring upgrade. ...
Me (11:56 AM) :
I think your guess is probably good. We should continuously check the status of tiger503.
Sean (11:56 AM) :
ok...I will. If it goes down again I will remove the new 4 sticks of RAM
and see if it will run stable with the original 4.
Sean (11:57 AM) :
If so, I will take RAM to tester and replace bad module.
Me (11:58 AM) :
Ok, thank you. I will check tiger503 status carefully.

**root▲ ★** · NG

ということで、

・ラックの一番上に移動(already done)、まずは注意深く様子見
・まだ不安定なら、メモリモジュールがうまく刺さっていないか、
刺すときにいまいちなことが起こったかあたりを疑ってみる
・その場合原因きりわけのため、新しく刺した4枚のメモリを抜いて
元の状態に戻してみる
・それで安定するようなら、抜いたほうのメモリをテストしてみて、
まずいモジュールがあれば交換する

ということで。

**ヾ（ﾟﾊﾟ）ﾉ** ◆f0.zuburi6 · 2005/07/26(火) 18:24:58

ちぇっくぽいんつ。
・歪みの可能性を考えて,メモリが抜けかかってないか(→うまく刺さっていない)
・できれば落ちた直後にあけてみて,熱のもち具合(本体内各所)を肌で感じてみる
メモリを第一に疑うならこの辺からー

あと,上でもあったけど
・メモリのCL値が変えられるならば落としてみる＠BIOS
とかとか。

**動け動けウゴウゴ２ちゃんねる** · NG

筐体内のえあふろーのさいけんとうもひつようなのかのう

**動け動けウゴウゴ２ちゃんねる** · 2005/07/27(水) 12:35:44

ラックマウントか、、一番上なら上半身裸状態キボンヌ

**ヾ（ﾟﾊﾟ）ﾉ** ◆f0.zuburi6 · 2005/07/27(水) 12:44:55

>>84
むしろ裸んぼは風が当たらないと危険なのだー

**動け動けウゴウゴ２ちゃんねる** · 2005/07/27(水) 13:52:51

裸に風っていうと、T.M.REVOLUTION.状態かー

▲ ◆SANUKI/VII · NG

過激で最高？

▲ ◆SANUKI/VII · NG

に、さぁ、行こう

だったかな

**root▲ ★** · 2005/07/27(水) 17:21:22

# XXX
hw.physmem=3753062400

を、tiger503 の /boot/loader.conf に追加して、メモリの使用量を新tigerと同じにしてみた。

当然、
real memory = 3753062400 (3579 MB)
avail memory = 3673165824 (3503 MB)

となり、3.5Gしか使わないようになった。

なんだかまじないとしか思えないけど、とりあえず。

**root▲ ★** · 2005/07/27(水) 17:25:30

<チラシの裏>

・メモリディスクありのサーバをリブートする手順

0) operateにお知らせを出す
1) httpdを落とす
2) httpdが自動で上がらないように設定する
3) メモリディスクをバックアップする
4) リブートする
5) メモリディスクの内容を戻す
6) httpdが自動で上がるように設定を戻す
7) httpdを立ち上げる
8) operateにお知らせを出す

</チラシの裏>

**動け動けウゴウゴ２ちゃんねる** · 2005/07/27(水) 18:00:35

(´-`).｡ｏＯ（httpdって自動で上がる必要あるんだろうか．．．）

**動け動けウゴウゴ２ちゃんねる** · 2005/07/27(水) 18:29:03

次からの為に、なのかな…？
その時は手動で立ち上げても。

**root▲ ★** · 2005/07/27(水) 18:40:36

Seanさんに >>89 をやった旨、メールしました。

Sean-san,

Today, tiger503 encountered suspicious system hangup again, and it is
already APC remote rebooted by the inside person of maido3.com.
So, the problem is still not solved.

And after that, I added an entry in /boot/loader.conf entry as seen
below:

# XXX
hw.physmem=3753062400

This limits the memory usage until 3.5G in FreeBSD. I heard that some
kind of motherboards should reserve for 32bit PCI DMA area.
Of couse, this is temporary fix and I am not sure that whether this
fix is effective or not.

>>91-92
自動で上がるようにしておかないと、私がいない時とか忙しい時に
リモートリブートがかかった場合に、どきどき。

**root▲ ★** · 2005/07/27(水) 18:43:26

FreeBSD-SA-05:18.zlib

またか。

**root▲ ★** · 2005/07/27(水) 18:47:54

もう一つきた。

FreeBSD-SA-05:19.ipsec

IPv6だけか。

◆TWARamEjuA · NG

memoriesが、何となくいやんなお時間に墜ちちゃったかも？

要請逝ってきますですです。

**root▲ ★** · NG

>>96
おつでした。

中身をチェックしていますが、前にもちょっと起こった、/varがいっぱいなはずがないのに
いっぱいになった(ように見える)というやつのようです。
いろいろやってみて、結局、

Apache停止
mv apacheのログのディレクトリ aaa
mkdir apacheのログのディレクトリ
rm -rf aaa
Apache再起動

で、直りました。(しかし、ログがそんなにでかいようには見えなかった)

システムディスク(/var)で起こったので、aac (Adaptec RAID)の問題、、、かも。
RAID 1の状態にはなっていて、エラーが上がったわけではありませんでした。

Sumaストレージ(実際に過去ログが入っているほう)は、正常の模様。

**root▲ ★** · NG

Seanさん & 関係者に出したメール:

Sean-san,

I am still investigating and checking the status of tiger503, but
I think the cause of this problem is software (and system BIOS),
not the system hardware.

But it is just complicated, I will try to describe this problem as
below, but I am not sure I can describe all of my thinking (but I dare
to try it).

In the new version tigers (2522, 2523, 2524 nd 2525), system BIOS
detects 4 gig memory, but FreeBSD automatically reduces upper
512MB memory block.

In /usr/src/sys/i386/i386/machdep.c:

#ifndef PAE
if (smap->base >= 0xffffffff) {
printf("%uK of memory above 4GB ignored\n",
(u_int)(smap->length / 1024));
goto next_run;
}
#endif

This code seems to be affected at above 4GB memory environment, but some
kinds of motherboards are affected at "just" 4GB memory. I verified
this is affected at all above new version of tigers (they have 4GB
memory).

(続く)

**root▲ ★** · NG

I investigate this strange behavior and I found some documents, and they
described that it is reserved area for 32bit PCI DMA, and it is the
limit of 32bit OS environment. As a practical matter, all 4GB version
of cobras (64bit OS) are very fine and detects 4GB memory in linear.

Certainly, FreeBSD supports PAE (Physical Address Extension) feature, it
is for breaking this 32bit address limit (e.g. see #ifndef in above code).
But current FreeBSD's PAE code is very poor and under development. I
tried to enable PAE feature at tiger2522 at June, but this makes
unstable the whole of the system.

But its reservation should be automatically occurred. The new tigers'
BIOS automatically do this, but the original tiger (tiger503) seems to
be not. So, we may need to upgrade the system BIOS of tiger503.

But tiger503 may hang up in a several days in another problem, the cause
of the problem is still not decided, and I want to continue the
investigation and checking the status of tiger503 for more several days.

Regards,

**動け動けウゴウゴ２ちゃんねる** · 2005/07/28(木) 20:46:13

↓要約