【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part18

220.117.237.222＠root▲ ★ · NG

peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。

＜現在の主要なテーマ＞
・「Love affair作戦」による、携帯系サーバの大幅強化・外向けdat供給サーバの構築
・「雪だるま作戦」による、スケーラブルなサーバ群構築
・BBQの2台体制化・RAID1化
・FreeBSD 5.4Rの導入検討
・各種作戦・プロジェクトとの連携
・FreeBSDのさらなるチューニング詰め

＜主な関連スレッド＞
【Love Affair】携帯からのアクセスに対する考察・次の一手 Part3
http://qb5.2ch.net/test/read.cgi/operate/1095146311/
■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1
http://qb5.2ch.net/test/read.cgi/operate/1105035540/

＜主な関連サイト＞
MRTGによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねる/PINKちゃんねる稼動中のサーバ一覧: http://mumumu.mu/serverlist.html
２ちゃんねるサーバ負荷監視所: http://ch2.ath.cx/load/
2ch 鯖監視係。: http://sv2ch.baila6.jp/

＜前スレ＞
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17
http://qb5.2ch.net/test/read.cgi/operate/1107376477/

◆Reffi/bQ.c **＠ｒｅｆｆｉ@報告人 ★** · 2005/06/24(金) 02:30:09

Problem Report amd64/82555: Kernel Panic - after i connect to my "amd64" from another network bsd box [ssh session]. "nve0" don't work corectly, system hang up, or message and then hang up
ttp://www.freebsd.org/cgi/query-pr.cgi?pr=amd64/82555

**root▲ ★** · NG

>>770
nve0: <NVIDIA nForce MCP9 Networking Adapter> port 0xb400-0xb407 mem 0xfebf9000-0xfebf9fff irq 23 at device 10.0 on pci0
nve0: Ethernet address 00:11:5b:c5:e4:89

これですか。6-CURRENT っていうぐらいで。

ちなみにnveは、5.4RまでのFreeBSDでは動かないです。

**root▲ ★** · NG

The Giant-lock Breaker, rwatsonのインタビュー。
http://www.osnews.com/story.php?news_id=10951

**動け動けウゴウゴ２ちゃんねる** · NG

>>772
今よみはじめ。

rwatson (= Robert Watson) だけじゃなくて、大御所勢揃いか。
jhb (= John Baldwin) に scottl (= Scott Long) 。

**root▲ ★** · NG

>>773 は、わたし。

**動け動けウゴウゴ２ちゃんねる** · NG

http://school5.2ch.net/
IPアドレス： http://206.223.149.235/~ch2scho5/
バーチャルホスト変換前： http://banana366.maido3.com/~ch2scho5/

http://hobby8.2ch.net/
IPアドレス： http://206.223.150.10/~ch2hobb8/
バーチャルホスト変換前： http://banana370.maido3.com/~ch2hobb8/

http://bubble4.2ch.net/
IPアドレス： http://206.223.150.15/~ch2bubb3/
バーチャルホスト変換前： http://banana371.maido3.com/~ch2bubb3/

**root▲ ★** · NG

◆　雪だるま作戦に思いを馳せながら雑談するスレッド Part2
http://aa5.2ch.net/test/read.cgi/nanmin/1118138260/604-606

というわけで、PAEにはまった私でした。
しかし、aboveじゃないだろ。> printf

**root▲ ★** · 2005/06/25(土) 16:04:06

旧バーチャルホストのmemoriesへの収容に伴い、以下の変更をお願いします。

(現在)
+school4.2ch.net:206.223.149.235
+bubble3.2ch.net:206.223.150.15
+hobby5.2ch.net:206.223.150.10

(変更後)
+school4.2ch.net:206.223.151.230
+bubble3.2ch.net:206.223.151.230
+hobby5.2ch.net:206.223.151.230

**資材二課 ★** · 2005/06/25(土) 16:23:22

>>777 done

**動け動けウゴウゴ２ちゃんねる** · NG

http://money4.2ch.net/
IPアドレス： http://206.223.151.140/~ch2mone4/
バーチャルホスト変換前： http://banana228.maido3.com/~ch2mone4/

http://sports9.2ch.net/
IPアドレス： http://206.223.150.240/~ch2spo9/
バーチャルホスト変換前： http://banana233.maido3.com/~ch2spo9/

http://tv8.2ch.net/
IPアドレス： http://206.223.150.235/~ch2tv8/
バーチャルホスト変換前： http://banana232.maido3.com/~ch2tv8/

**root▲ ★** · NG

旧バーチャルホストのmemoriesへの収容に伴い、以下の変更をお願いします。

(現在)
+money3.2ch.net:206.223.151.140

(変更後)
+money3.2ch.net:206.223.151.230

**root▲ ★** · NG

また、Perl祭りかいな。

/usr/ports/UPDATING

20050624:
AFFECTS: users of lang/perl5.8
AUTHOR: tobez@FreeBSD.org

lang/perl5.8 has been updated to 5.8.7. You should update everything
depending on perl. The easiest way to do that is to use
perl-after-upgrade script supplied with lang/perl5.8. Please see
its manual page for details.

**root▲ ★** · NG

あと、これも影響あり。

20050622:
AFFECTS: users of ftp/proftpd-*
AUTHOR: flz@FreeBSD.org

ProFTPd binary moved from ${PREFIX}/libexec to ${PREFIX}/sbin. People
using proftpd with inetd must use ${PREFIX}/sbin/in.proftpd (or
${PREFIX}/sbin/proftpd which is just the same). Read the commit log
and diffs for more information.

◆TWARamEjuA · NG

>>781
DB_Fileが最新になるのでほのかに期待（苦笑）＠現状1.809→1.811

**root▲ ★** · NG

>>783
banana238ですか。

機を見て、Perl更新してみますかね。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/26(日) 22:15:33

/usr/local/bin/perl-after-upgrade を忘れずによろしく。

man perl-after-upgrade　も見てね。

**root▲ ★** · NG

>>785
どもです。>>781 にもあるですね。

**rsk** ◆rsk/X37OOg · NG

perl-after-upgradeのお陰でPerl祭りにならずに済むっぽいです。
あと、perlをportupgradeしたとき最後に自動でperl-after-upgradeが走ってたような気が。
# でもチキンなのでモジュールは全部作り直した。

**資材二課 ★** · 2005/06/26(日) 22:51:41

>>780
done

**root▲ ★** · NG

投入予定のtiger姉妹、Perl祭りに対応中、、、。

結局、ApacheからPHP、net-snmpに至るまで全部入れ替えなので、
トラディショナルな方法(pkg_deleteしてmakeしなおし)で入れなおしと。
ううむ、めんどい。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/29(水) 03:18:40

「portupgrade -fすりゃええやん」（松本人志）

**root▲ ★** · NG

うーむ。

PAEありのカーネルは、不安定なようです。

ソフトウェアのコンパイルや、パッケージの追加の際に
突然リブートがかかってしまいます。

リモートコンソール経由でいくつかBIOSの設定を変えてみたりしたのですが、
いまだ問題は解決していません。

ううむ、困った。

ここは思い切って、そういった制限のない64bitOSを入れてもらうべきなのか。

**root▲ ★** · NG

>>790
うん。
普通のは、たぶんそれでいいんだと思うです。

でも、make時にいろいろオプション指定しまくっているnet-snmpとか、
Apacheとかは、どうすればいいのかしら。

# このへん、実はあまり知識がなかったり。

**動け動けウゴウゴ２ちゃんねる** · NG

( ﾟдﾟ)つ[この辺で名無しで質問とか…？]

UNIX
http://pc8.2ch.net/unix/
Linux
http://pc8.2ch.net/linux/

**root▲ ★** · NG

名無しはいまいちなので(理由は前にもどっかで書いたです)、
おじゃまする時は、常にコテハンっすね。

しかも伽羅作れないので、常に同じコテハンで。

で、体調がまだいまいちなんで、とりあえずmake通ったところで今日は寝るです。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/29(水) 03:41:46

>792
>でも、make時にいろいろオプション指定しまくっているnet-snmpとか、
>Apacheとかは、どうすればいいのかしら。

俺は/usr/local/etc/pkgtools.confのMAKE_ARGSに

'www/apache2' => '-DWITHOUT_IPV6',
'net-mgmt/net-snmp' => 'NET_SNMP_SYS_CONTACT="admin@example.jp"
NET_SNMP_SYS_LOCATION="JUN, Tokyo"',
'security/hpn-ssh' => 'WITH_OPENSSH_CHROOT=y',

みたいに書いている。
あとAFTERINSTALLに後処理ワンライナー書いたり。

**root▲ ★** · NG

>>795
なるほど、pkgtools(5)と/usr/local/etc/pkgtools.conf.sampleを読めとゆってますね。

rubyか、、、。

**root▲ ★** · NG

で、PAEの件ですが、手がかりになるかどうかわかりませんが、
突然リブートがかかった時は、dmesgに、

em0: Link is up 1000 Mbps Full Duplex

とかしか、残らないんですよね。
で、panicしてもいないので、savecoreも効かないし。

ううむ、何かデバイスドライバのDMAとかに、虫さんがいるんだろうか。
ちなみにそんなに変な構成ではないです。
Etherはemが2つだし、SCSIはmpt。

**root▲ ★** · NG

これの、
http://www.freebsd.org/doc/en_US.ISO8859-1/books/handbook/kernelconfig-config.html

ここを読んでみるか。

8.4.1 Large Memory Configurations (PAE)

**動け動けウゴウゴ２ちゃんねる** · 2005/06/29(水) 03:58:34

>伽羅作れない
るー美とか見た記憶が

**root▲ ★** · NG

むぎゅー。
http://lists.freebsd.org/pipermail/freebsd-current/2004-July/031650.html

**root▲ ★** · NG

>>800
Look at kern.maxvnodes and trim is down to a smaller amount if it's more
than about 100,000. This of course depends on your workload. If you
really need a lot of cached vnodes, then you'll need to tune elsewhere.

Scott

で、

%sysctl kern.maxvnodes
kern.maxvnodes: 100000

ううむ。

**root▲ ★** · NG

あとはこれか。

/usr/src/sys/i386/conf/NOTES
#
# Change the size of the kernel virtual address space. Due to
# constraints in loader(8) on i386, this must be a multiple of 4.
# 256 = 1 GB of kernel address space. Increasing this also causes
# a reduction of the address space in user processes. 512 splits
# the 4GB cpu address space in half (2GB user, 2GB kernel).
#
options KVA_PAGES=260

**root▲ ★** · NG

>>802
/*
* Size of Kernel address space. This is the number of page table pages
* (4MB each) to use for the kernel. 256 pages == 1 Gigabyte.
* This **MUST** be a multiple of 4 (eg: 252, 256, 260, etc).
*/
#ifndef KVA_PAGES
#ifdef PAE
#define KVA_PAGES 512
#else
#define KVA_PAGES 256
#endif
#endif

これは、一応適切、、、なようだ。

**root▲ ★** · NG

あと、もう一つ(私のチェックが甘かったのですが)、
2台来たtigerのうち片方(SCSI仕様の方)が、dual CPUを正しく認識していないようです。

切り分けのため、PAEなし、SMPありのカーネルを作って、確認中。

**root▲ ★** · NG

PAEなしSMPありのカーネルを作ったところ、ちゃんとCPUを4つ認識しました。
ううーむ。

もう1回、カーネルづくりをやり直してみるか。

**root▲ ★** · NG

しょぼい、ミスをしていました。
カーネル、作り直し。

**root▲ ★** · NG

SCSI版(姉)も、ちゃんとCPUを4つ認識しました。

これで、再度ソフトウェアの入れなおしをやってみるか。

**root▲ ★** · NG

やはり、落ちますね、、、。

何か、セッティング的に必要かなと。

**root▲ ★** · NG

コンソールを見ると、今度はpanicしたようです。
bufdaemonがpanic: page faultしたと出ているです。

しかし、swap spaceが4Gしかとられていないので、dumpに失敗しました。
で、
Fatal: doule fault:
...
boot called on cpu#0

と出て、止まってしまいました。

これになると、電源を切って入れてもらわない限り
リモートコンソールがあっても、どうしようもないです。ううむう。

**root▲ ★** · NG

doule => double

**root▲ ★** · NG

…と書いていたら、リブートしはじめました。

作業できるかも。

**root▲ ★** · NG

上がりました。

まずは、/home があるHDDから5Gほどもらって、クラッシュダンプ用のデバイスを作ろう。

**root▲ ★** · NG

>>812
done.
これで、クラッシュダンプはちゃんととれるはず。

妹の方も、この設定入れよう。

**root▲ ★** · NG

もう1回コンパイル。
今度は、普通にpanicしました。

さて、ちゃんと立ち上がるのか。

**root▲ ★** · NG

うーむ、dumpはとれたっぽいんですが、
やはり panic: double fault: になるようです。

**root▲ ★** · NG

…で、止まってしまいました。

supervisor read page not present だそうです。ううむ。

**root▲ ★** · NG

で、数分したところで、リブートが始まりました。

やはり、リブートはかかるみたいです。

**root▲ ★** · NG

で、クラッシュダンプはうまくとれていませんでした。ううむ。

とりあえず、

kern.maxvnodes=64000

にして、再度挑戦中。

**root▲ ★** · NG

…って書いていたら、また死にました。
今度はコンソールにpanicも出ずに、いきなり、、、。

ううむぅ。

**root▲ ★** · NG

よく見たら、画面には k とだけ出ていました。
何か表示しようとはしたみたい。

いずれにせよ、今度は完全にハングアップした模様。
Ctrl-Alt-Delも効かないですね。
さすがに、命運つきたか。

**root▲ ★** · NG

…リブート依頼するです。

で、PAEなしのカーネルに替えて、
makeしなおしが全部通るか、検証するです。

これは、明日以降か、、、。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/29(水) 08:52:06

>>root▲ ★氏
よくわかりませんがお疲れ様でした。
明日以降も頑張ってください。

**root▲ ★** · NG

リブートをかけていただきました。
PAEなしのカーネルに換装して、再度トライ。

**root▲ ★** · NG

PAEありではpanicやハングアップを繰り返し、どうしても通らなかったものが、
(具体的にはPHPと周辺モジュールのmake)
PAEなしのカーネルでは、さっくり通りました。

もう2回ぐらい同じことを回してみますが、
原因はやはりPAEな気がします。

うーーーむ。

**root▲ ★** · NG

全部消して全部作り直す、を2周やりました。
特に問題は出ませんでした。

とすると、やはりPAE関連でほぼ確定か。

さて、どうするか。

◆ANGLERlqvM · 2005/06/29(水) 11:43:38

ttp://www.atm.tut.fi/list-archive/freebsd-stable-2005/msg04807.html
この辺はヒントになりますかね？

**root▲ ★** · NG

>>826
読んでみるです。

なんか、中国語だ。
http://in2.wiki.ptt.cc/-4GB,+PAE,+AMD64,+FreeBSD

**root▲ ★** · NG

>>826
これっぽいですね。どもです。

あとで、スレッドを読んでみるです。

**root▲ ★** · NG

usbd_enable="YES"

これを disable にしろってか。

**root▲ ★** · NG

usbd_enable="NO"

にして、PAEありのカーネルに再度換装。

**root▲ ★** · NG

だめですね。いきなり死にました。

usbd.c を読んでいますが、/dev/usb? がなければ、
結局何もしないように見えるし。

もうちょっと調べてみるです。

**root▲ ★** · NG

いきなり => make cleanで消している間にいきなり

**root▲ ★** · NG

KVMつないでみたら、パニックしてクラッシュダンプをとっている最中でした。
さて。

**root▲ ★** · NG

クラッシュダンプを書いている途中、4032まで書いたところで、
mpt1: IOC Bus Reset: Port 1
Aborting dump due to I/O error
status == 0x59, scsi status == 0x0

とか言って、止まりました。
4G以上のダンプは、とれないのか?

いずれにせよ、リブート依頼へと。

もうちょっとやってだめなら、64bit OSを素直に入れてもらうか。

**root▲ ★** · NG

リブート要請しました。

…めしに、いってくるです。

◆ANGLERlqvM · 2005/06/29(水) 12:31:06

お疲れ様です。中国語のページを翻訳して見ましたが
意味不明でした（汗　うーむ。。。
ttp://www.freebsd.org/cgi/man.cgi?query=pae&sektion=4&manpath=FreeBSD+5.4-RELEASE

**動け動けウゴウゴ２ちゃんねる** · 2005/06/29(水) 12:48:59

むしろ中国語を英語に翻訳したほうが文法的にベターだとおもいますが>>836

◆ANGLERlqvM · 2005/06/29(水) 13:05:18

>>837
ttp://www.mezzofanti.org/translation/
ここを使えばいけますね。
『WorldLingo』を使ってばいいみたい。

◆ANGLERlqvM · 2005/06/29(水) 13:20:47

>>827翻訳済み

ttp://angler.ddo.jp/image/PAE.txt

**root▲ ★** · NG

会議終わって、座席に戻りました。

リブートいただけていました。
これから、>>839 を読んでみるです。

**root▲ ★** · NG

KVA_PAGES=1024 を入れれと。
で、mpt(4) はいまいちかもしれんと。

**root▲ ★** · NG

>>802-803 がらみですね。

やってみるか。

**root▲ ★** · NG

>>841 を入れました。

ちょっと、空きメモリが減りました。

-avail memory = 4194709504 (4000 MB)
+avail memory = 4192100352 (3997 MB)

これから、ごにょごにょしてみるです。

**root▲ ★** · NG

…止まりました。ううむ。

**root▲ ★** · NG

panicして落ちるときはいつも、
supervisor read, page not present って言って落ちるですね。

**root▲ ★** · NG

ということで、このパターン。

落ちるけど、クラッシュダンプ(savecore)がとれない、というところまで
全く同じ。
http://lists.freebsd.org/pipermail/freebsd-current/2004-September/038683.html

結構この事例って、報告されているですね。
で、どれも明確な回答がないような。

◆ANGLERlqvM · 2005/06/29(水) 14:17:02

うーん。。。何なんだろう。。。

**root▲ ★** · NG

というか、

・設定で回避する方がいい
なのか、
・素直に64bit OSを入れたほうがよい
(Cobraでは4G memは全く問題なく動いている)

のか、っていう話ですね。

で、32bit+PAEで使うメリットは、Apacheをはじめとするコマンドが使う、
メモリの大きさです。

32bit modeの方が、より少ないメモリスペースで一つのhttpdが動きます。
つまり、32bit+PAEにすることで、より多くのhttpdを常駐させられる可能性がある。

今のlive20ではmem=2Gで最大値1024で動かしていますから、
mem=4Gで動かせるなら、単純計算でその倍にできるかもしれないわけです。
64bit modeだと、そうはいかないですね。

というわけで今回の作戦では、できれば32bit mode+PAEを何とかしたいかなと、
思っていたりします。

ただこれは致命傷なわけではなく、64bit modeには64bit modeのよさがあるので、
ある程度試してだめだったら、64bit modeのOSに入れなおしてもらうと思うです。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/29(水) 14:24:38

オカ板の出番かね?

**資材二課 ★** · 2005/06/29(水) 14:26:48

4Gにチャレンジはまた今度にするに一票
3G でも 3.5Gでもokということで、

**動け動けウゴウゴ２ちゃんねる** · 2005/06/29(水) 14:27:33

姉：64bit
妹：32bit

関係ないけど、そんな事考えてみた

**root▲ ★** · NG

>>849
今回は昨年のやつと違って、原因がどこにあるかは
マクロ的に概ね見当がついているので、
いまのところは、必要ないかなと。

◆ANGLERlqvM · 2005/06/29(水) 14:30:20

私的には、ネタ切れっす。。。
悔しーー！

**root▲ ★** · NG

>>850
もったいないお化けが出る状態で動かす、ってことですか。
つまり、mem 3.5Gで動かすと。

実利的には、それかもですね。
ハードウェア的にはメモリインターリーブ聞くので、問題ないだろうし、
それでもたぶん、httpdは相当増やせるし。

今日私が寝るまでいろいろトライしてだめだったら、
それでいくことにするです。

**資材二課 ★** · 2005/06/29(水) 14:32:16

目的は「雪だるまの構築」ですから、
土台はあとでup gradeもできますし、

**root▲ ★** · NG

了解です。>>855

物理的に障害があるわけでもなく、
64bit modeで動かせば概ね問題なさげなんで、
目的遂行を優先に、動きますか。

で、私は、あそこの >= を > にしてみようかなー、とか、
無謀なことを考え中。
ちょうど 4G だし。

**資材二課 ★** · 2005/06/29(水) 14:36:15

3.5G 32bit でおねがいします。
64bitのデバックは目的じゃないので、

**root▲ ★** · NG

>>857
はい。

> で、私は、あそこの >= を > にしてみようかなー、とか、

は、いま失敗したんで(3.5G状態は変わらなかった、どうも、リザーブをとるようですね)、
従来の仕様(tiger2513等と同じ)、32bit modeで動かすことにするです。

◆ANGLERlqvM · 2005/06/29(水) 14:43:04

あまり関係ないとは思いますが、貼るだけ貼っときますね。
ttp://h50146.www5.hp.com/products/software/oe/bsd/support/faq_freebsd/freebsd_1.html

**root▲ ★** · NG

>>859
既に私が知っている話だったです。

◆ANGLERlqvM · 2005/06/29(水) 14:47:34

では、>>858で進行ですね。。。

**資材二課 ★** · 2005/06/29(水) 14:49:25

なにかどこかで、携帯の統計取りはじめたのを耳にしたのですが、
是非　是非　携帯用バーボンを導入してくださいまし。

1) 同じスレとか同じ板に沢山書き込み
↓
2) そいつの固有番号を BBQ へ自動放り込み

**root▲ ★** · NG

というわけで、32bit modeでいくです。

しかし「ちょうど4G」なんだから、
なんとか、BIOSレベルでごにょごにょできないかなー。
あきらめがわるいなー。

でも人生、時には、見切りも必要なんだろうなぁ。

**root▲ ★** · NG

>>862
sec2chdを見ていると、必要なのは広告撃退のしくみ(BBX)と、
連投ペナルティの仕組み(バーボン)な気がしているです。

で、携帯用BBXは、導入しようとしているです。
たぶんわりと簡単にできると思います。
そのうちoperateにスレ立てて、すすめようかと。

携帯用バーボンですか。
ずいぶん昔にメールもらったような気がするので、
それを掘り起こしてみますか。

**資材二課 ★** · 2005/06/29(水) 14:55:32

ちなみに現在は携帯からは無制限のアクセスが可能な状態です
投稿しようが、読み込もうが、

スレ立て規制・samba24は効く、

携帯からの広告爆撃は特に困ってはいない(現在)

**root▲ ★** · NG

>>865
> 携帯からの広告爆撃は特に困ってはいない(現在)

相対的にってことですね。
で、どうせ芋掘りして、焼くわけだしと。

てなわけで、バーボンが最優先の課題ということですか。

リロードバーボンは仕込むなら c 側ってことになりますね。
たぶんそれより先に、投稿バーボンを何とかできないかと。

今の投稿バーボンの実装って、BBSからフックしてるんでしたっけ。
だとすると、BBMからフックする形が自然ですね。きっと。

若者も交えて、すすめることになるのかなと。

**資材二課 ★** · 2005/06/29(水) 15:02:18

そですそです　< 相対的に

それで、期限付き(2hとか)で自動で焼けると良いのだが、

**root▲ ★** · NG

直感的には、

m と m2 で投稿に使われた固有IDの情報を集める
ｘ秒間に y 回以上投稿があったら、z 秒間BBMに突っ込む

という実装ですかね。

うーん、3サザン人日ぐらいかなぁ。

**動け動けウゴウゴ２ちゃんねる** · 2005/06/29(水) 15:05:47

携帯での実況はどうなりますか？