2ch特化型サーバ・ロケーション構築作戦 Part53

**動く動くウゴウゴ２ちゃんねる** · NG

2ch特化型サーバ・ロケーション構築作戦のスレッドです。

・２ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更関連の各種作業や調整事項
・２ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携

等を取り扱います。

前スレ:2ch特化型サーバ・ロケーション構築作戦 Part52
http://qb5.2ch.net/test/read.cgi/operate/1277651499/

**動け動けウゴウゴ２ちゃんねる** · 2010/06/30(水) 17:07:22

pv_entry_max = (shpgperproc * maxproc) + (((((availmem - 1) * 2) + 1) / pagesize) - firstpage)

でしたっけ？

**む＠出先** · 2010/06/30(水) 17:17:52

>>120
さらっとソース diff しました。

華麗なるダブルバッファ方式、というかんじに見えますた。
昔あった edd というやつを思い出しました。とてもいいふいんき(なぜか（りゃ)にみえます。

あと、
-#define MAX_AIO_READ (2*1024*1024)
+#define MAX_AIO_READ (4*1024*1024)

というのもしぶいです。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/30(水) 17:19:54

本当にhayabusaは、ギリギリ(アウト？)な場面を経験するごとに、
むむむさんが、「こんなこともあろうかと」と現れて、
対策を実装していくんだな。
なんか、実機が手元にないところも探査機に似ている。

**む＠出先** · 2010/06/30(水) 17:21:48

と思ったら、

8097 root 1 67 r23 20312K 3952K CPU1 1 1:04 100.00% logbuffer

なんか、暴走してしまった。
ログファイルもとられないな。

とりあえず元に戻した。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/30(水) 17:31:40

>>126
LAが跳ね上がってるし・・・

http://ch2.ath.cx/hayabusa.html

**む＠出先** · 2010/06/30(水) 17:32:26

>>127
それは、さっきのhttpd再起動の影響かと。

>>126 のテストは www2 でやっています。

**む＠出先** · 2010/06/30(水) 17:37:45

＞SunOSさん

デバッガでさらっと見てみたら、

while ( aio_read(&aiocbr) && errno == EAGAIN ) sched_yield();

ここでぐるぐるしているみたいです。

**む＠出先** · 2010/06/30(水) 17:38:36

あ、ちがうかも。

sched_yield は他にもあるのか。
もうちょっとしらべてみます。

**む＠出先** · 2010/06/30(水) 17:40:46

(gdb) where
#0 0x0000000800acf98c in sched_yield () from /lib/libc.so.7
#1 0x00000000004024d5 in Logbuffer::loop (this=0x7fffffffe970) at logbuffer.cpp:228
#2 0x0000000000402d44 in main () at logbuffer.cpp:407

**む＠出先** · 2010/06/30(水) 17:42:55

>>131 で確定ですね。228行目。

これで、デバッグできるのかしら。

◆cZfSunOs.U · 2010/06/30(水) 17:49:06

>>129-132 どうもすみませんです．で，228行目でループということだと
aio_write() が EAGAIN でずっと失敗し続けてるということに......
なぜそうなるのか，しばらく思案してみます......

**む＠出先** · 2010/06/30(水) 18:02:21

>>133
どもです。

ちなみにその状態の時、ログファイルは吐かれておらず、
httpdは応答を返せない状態になるようです。

**む＠出先** · 2010/06/30(水) 18:19:49

>>133
/usr/src/sys/kern/vfs_aio.c

結局、ここにいって、EAGAIN になっているみたい。

/*
* Queue a new AIO request. Choosing either the threaded or direct physio VCHR
* technique is done in this code.
*/
int
aio_aqueue(struct thread *td, struct aiocb *job, struct aioliojob *lj,
int type, struct aiocb_ops *ops)
{
struct proc *p = td->td_proc;
struct file *fp;
struct socket *so;
struct aiocblist *aiocbe, *cb;
struct kaioinfo *ki;
struct kevent kev;
struct sockbuf *sb;
int opcode;
int error;
int fd, kqfd;
int jid;

if (p->p_aioinfo == NULL)
aio_init_aioinfo(p);

ki = p->p_aioinfo;

ops->store_status(job, -1);
ops->store_error(job, 0);
ops->store_kernelinfo(job, -1);

if (num_queue_count >= max_queue_count ||
ki->kaio_count >= ki->kaio_qallowed_count) {
ops->store_error(job, EAGAIN);
return (EAGAIN);
}
(以下略)

**む＠出先** · 2010/06/30(水) 18:21:54

%grep kaio_qallowed_count *
vfs_aio.c: int kaio_qallowed_count; /* (*) maxiumu size of AIO queue */
vfs_aio.c: ki->kaio_qallowed_count = max_aio_queue_per_proc;
vfs_aio.c: ki->kaio_count >= ki->kaio_qallowed_count) {
%grep max_aio_queue_per_proc *
vfs_aio.c:static int max_aio_queue_per_proc = MAX_AIO_QUEUE_PER_PROC;
vfs_aio.c:SYSCTL_INT(_vfs_aio, OID_AUTO, max_aio_queue_per_proc, CTLFLAG_RW,
vfs_aio.c: &max_aio_queue_per_proc, 0,
vfs_aio.c: ki->kaio_qallowed_count = max_aio_queue_per_proc;

で、、、。

%sysctl -a | grep max_aio_queue_per_proc
vfs.aio.max_aio_queue_per_proc: 256

うーむー、まじかいな。

**む＠出先** · 2010/06/30(水) 18:24:26

%sysctl vfs.aio.max_aio_queue_per_proc=1024
vfs.aio.max_aio_queue_per_proc: 256 -> 1024

わーい。うごいた。

**む＠出先** · 2010/06/30(水) 18:25:09

ということで、

・SunOSさんのコーディングには虫はいないらしい
・FreeBSD側のチューニングが必要だったらしい

ということの模様。

**む＠出先** · 2010/06/30(水) 18:26:44

というわけで、このへんをチューニングすれば、
もっといい結果が得られるかもしれない、ということが新たに判明。

%sysctl vfs.aio
vfs.aio.max_buf_aio: 16
vfs.aio.max_aio_queue_per_proc: 1024
vfs.aio.max_aio_per_proc: 32
vfs.aio.unloadable: 0
vfs.aio.aiod_lifetime: 30000
vfs.aio.aiod_timeout: 10000
vfs.aio.num_buf_aio: 0
vfs.aio.num_queue_count: 513
vfs.aio.max_aio_queue: 1024
vfs.aio.target_aio_procs: 4
vfs.aio.num_aio_procs: 4
vfs.aio.max_aio_procs: 32

◆cZfSunOs.U · 2010/06/30(水) 18:28:34

>>134-139 なるほど，そういうことでしたか．

#define AIO_BUF_WRITE_NUMBER (512)

これがデフォルトの vfs.aio.max_aio_queue_per_proc より大幅に大きかったと......

**む＠出先** · 2010/06/30(水) 18:31:02

>>140
結局いつもどおり、カーネルソースを当たるかんじでした。

例によって全部読むんじゃなくて、必要なところをちょこちょことやって、
それっぽいのを grep して、sysctl であたりをつける、みたいな。

>>135-137 が割と、いつもやっていることを如実に示してますです。
この例ではうまくいったわけですが、しくった時にはシステム即死で。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/30(水) 18:37:35

なるほど、まったく分からん

**ビグレックス** · 2010/06/30(水) 18:40:55

ビグレックス：http://www.kanpoebay.com/product/22.html

**む＠出先** · 2010/06/30(水) 18:41:11

/etc/sysctl.conf @ www2 に、とりあえず、

# tuning for aio(4)
vfs.aio.max_aio_queue_per_proc=1024

を追加した。

ほかは、今時間あんまりとれないので、とりあえずあとで。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/30(水) 18:44:34

>>143
SUCCESS: 200 OK [逆引き不可] +1pt.

**む＠出先** · 2010/06/30(水) 18:52:54

＜今日の設定内容＞
・logbufferの優先度を speedy_backendよりも上げる → 完了 @ hayabusa

＜今日の検討・準備事項＞
・bbs.cgiの書き込み部分をaio対応にできるとうれしいかも
・SunOSさん版logbufferがaio_readに加え、aio_writeにも対応した
・そのlogbufferを動かすには、FreeBSD側のチューニングが必要になるとわかった
・そのほかにもvfs.aio関係をいじると、効率が上がるかもしれない

＜明日以降の作業依頼予定＞
・aio_read/aio_write両対応版SunOSさんlogbufferのインストール依頼
・同時に、/etc/sysctl.confに設定追加（スペシャルセッティング９）

スペシャルセッティング９の設定内容は、これから詰めるかんじで。

**む＠出先** · 2010/06/30(水) 18:53:50

そんなわけで、都合によりこれからしばらくオフライン。
今日は早寝モードかも。

**む＠出先** · 2010/06/30(水) 19:11:57

>>146 もう一つあった。

・vm.pmap.shpgperproc の値の24G版最適値の検討と設定 (>>117-121)

**動け動けウゴウゴ２ちゃんねる** · 2010/06/30(水) 22:32:04

流れが・・止まった・・・・

**動け動けウゴウゴ２ちゃんねる** · 2010/06/30(水) 23:06:13

昨日の様なビックウェーブは当分無さそうだから、しばらくは淡々と作業って
感じでしょうかね。
判った事も色々あったし、また順調に経験値が上がったって事で。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/30(水) 23:09:58

ジブリ祭りにも例のヤツ来ないしなあ。
耳すまってどうして実況早くなるのか判らん。
なんかネタあったっけ。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/30(水) 23:22:18

当分暇そうだよね、、、

暇は暇なりに何か作っておこうかなぁ
http://qb5.2ch.net/test/read.cgi/operate/1277651499/211
これを見越して、SSDのSMARTグラフ増えそうなんでグラフの方はページを分けようかと
ついでに児童生成するようにしよう。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/30(水) 23:32:37

児童生成(;ﾟ∀ﾟ)=3ﾊｧﾊｧ

**動け動けウゴウゴ２ちゃんねる** · 2010/06/30(水) 23:38:50

>>152
アグネスがくるぞｗ

**動け動けウゴウゴ２ちゃんねる** · 2010/06/30(水) 23:55:30

>>151
序盤のコンクリートロード～♪とか、ラストの「けっこんしよう！」からEDの流れは
徹底的にレスしてる。
それ以外は知らない。

原作通りの夢落ちネタだったらラストもっと加速してたのかなあとか、ふと思った事は
無くもない。

◆amidaMovTg · 2010/06/30(水) 23:59:10

飛べない豚はただの豚ですこしはレスがつくだろうけれど、W杯ほどつくはずがありませんからねぇ。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 00:04:14

新鯖のおみくじ機能ってどうなってるんだろうか

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 00:07:41

日本は負けたけどW杯は並のスポーツ中継以上にはまだ盛り上がるだろ？

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 00:11:30

kamomeおみくじ無くなってしまった

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 00:11:44

地上波見てるのはにわか

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 00:17:46

kamome.2ch.netにおみくじいれてくだしあ＞＜

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 00:17:56

. (・o・)」　はにわハオ！
.「|　　|

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 00:38:31

アサガオ涼しいよ～http://ch2.ath.cx/

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 00:59:08

asagaoサーバーできたのかと思ったｗ

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 01:05:39

>>163
おお！7月になったからか！
無機質なグラフのページでもこういうのがあるのは良いなあｗ

p2-user: 783728 p2-client-ip: 118.5.37.47 · 2010/07/01(木) 01:17:44

test

**trick ★** · 2010/07/01(木) 01:18:11

とりあえず児童化でけた。もう眠い
http://trickbox.70.kg/smart/

BIG-serverの中の人へ、できればリンク直していただけるとありがたいです。
前：http://trickbox.70.kg/smart/#hayabusa.2ch.net
今：http://trickbox.70.kg/smart/hayabusa.html

おやすみなさい。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 01:22:56

GJ＆乙です。やっぱyutori7のE9が気になりますね…

**はんだごて** ◆HANDAGOT9E · NG

trickさん、お疲れ様でした～

99から98に下がったんですね。gimpoに至っては80まで下がってますし・・・(´・ω・)

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 02:17:14

>>158
後は深夜ばかりだから、無理じゃないかなあ。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 02:33:47

http://www.maido3.com/server/news/20100630.html
昨日の鯖は惨敗だったのか？俺的にはそこまで惨敗って感じがしないんだがｗ

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 02:35:07

ネット弁慶は単なる配慮である。
現実では言えないといっているがガツンと真実を話してしまうと
相手を傷つけてしまうだろう。
(中傷ではなく問題点)

◆TIGOI/DrzHH9 · 2010/07/01(木) 02:43:08

＞おきつねさんの勝ちはどーんでも詰まりもしないような勝ち方？
これを基準にするのなら惨敗なのでは？

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 03:46:04

あ、そういえば昨日で7.2Rのセキュリティサポートが終了したんだっけか・・・
http://gihyo.jp/admin/clip/01/fdt/201004/05

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 04:04:08

ん、2chの掲示板鯖としてはいわゆる5代目namidame（tiger3527）位しか導入されてないのか。

かつ退役済みだから関係なかったか。

**ょぅιﾞょの見物人** ◆YoJo69//rM · 2010/07/01(木) 09:22:46

もうFreeBSD 8.1にしようぜ。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 09:58:25

もうメモリ1TBにしようじぇ

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 10:04:51

その前にx86から脱却しようぜ

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 10:15:50

pc11が退役すれば掲示板鯖はx86から脱却できるぜ

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 10:19:47

じゃあIAから脱却しようぜ

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 10:37:20

>>167
公式のあるのになんて作った?
http://happy.70.kg/ch2smart/

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 10:43:33

>>181
何か勘違いしてるみたいだけど先に作ったのtrickさんだよ。
ついでにどっちも別に公式じゃないし…

[´・ω・｀] c-24-21-8-154.hsd1.or.comcast.net · 2010/07/01(木) 11:10:45

これとか見てると、apache自体も限界があるようだからなあ…
自分では限界が来るまでapache使ったことがないので分からないけど…

Apache conf file for very heavy load servers...
http://forums.freebsd.org/showthread.php?t=2096

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 11:16:27

そろそろ、にちゃんねる専用ブラウザならぬ、にちゃんねる専用HTTPサーバーの開発だ。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 11:20:13

そういえば２ちゃんねるでOS作っていなかったっけ？

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 12:13:53

kamomeの板のsubject.txtなんかおかしくないか？

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 12:22:10

なんかっていわれても

**root▲▲ ★** · 2010/07/01(木) 12:28:55

・SunOSさん版logbuffer(aio_read/aio_write両対応版)のインストール依頼
・上記に伴う、aio(4)関連のチューニングの新規追加（スペシャルチューニング９）

午後2時前後に依頼します。
たぶん午後3時ぐらいの作業開始をめど。

作業はchangi設定をはずしてからしないといけないので、
hayabusaとkamomeで、それぞれ30分ぐらいずつはかかるはず。

スペシャルセッティング９の解説と内容は、別途またここに。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 13:40:54

>>97-99
おお、bbs.cgiの再々開発だと思ったら胸熱。
bbs.cgiの再開発に着手した頃のスレッドを読んで、遙か歩んできた道を見てさらに胸熱。

**root▲▲ ★** · 2010/07/01(木) 14:09:27

＜むむむスペシャルセッティング９：
aio(4)対応版(SunOSさん版)logbuffer導入に伴うシステムチューニング＞

1) /usr/local 配下をメモリディスクにする設定を一時的に解除する

2) Apache を起動しないように設定する

3) サーバをリブートし、再起動を確認する

4) 別送した logbuffer プログラムを展開・インストールする

% tar xzf logbuffer.tar.gz
% cd logbuffer
% make
% su
# make install

5) aio(4)が有効になるように、/boot/loader.confに設定を追加する
(既に設定済みですが、設定手順を明確にするためにここに記述)

aio_load="YES"

6) SunOSさん版logbufferが正しく動作するように、/etc/sysctl.confに設定を追加する

# tuning for aio(4)
vfs.aio.max_aio_queue_per_proc=1024

7) /usr/local 配下をメモリディスクにする設定を復活させる

8) Apache を起動するように設定する

9) リブートし、httpd と logbuffer の起動を確認する

**root▲▲ ★** · 2010/07/01(木) 14:14:39

私の準備ができたら、
>>190 を、tiger3552 = hayabusa と tiger3551 = kamome で
実施してもらうための依頼を出します。

hayabusa = tiger3552 15:00 JST作業開始
作業時間は問題なければ30分ぐらい

kamome = tiger3551 15:30 JST以降に作業開始
作業時間は問題なければ30分ぐらい

で、いこうと思います。

logbufferのソースは、依頼の後に別便で送ります。

**root▲▲ ★** · 2010/07/01(木) 14:18:42

なお、それぞれの作業中は、hayabusa と kamome は利用できなくなります。

**root▲▲ ★** · 2010/07/01(木) 14:25:48

>>190-192

今、作業依頼をお願いした。

◆cZfSunOs.U · 2010/07/01(木) 14:34:40

ふと思ったんですが，changi 設定使う場合でも
HDD に保持する元の内容は例えば /usr/local-hdd とかに置いておいて
そこから md 上の /usr/local にコピーする形にすれば，
中身更新する際のリブートが不要になるんじゃないかと．

**root▲▲ ★** · 2010/07/01(木) 14:36:25

>>194
ありかもですね。

portsの保守性を下げず、
かつうまくやる設定がしたいところです。

そう考えるとむしろ、/usr/local-md なのかも。
いずれにせよ、一考の余地ありで。

**root▲▲ ★** · 2010/07/01(木) 15:00:46

予定通り開始するとの連絡ありました。

tiger3552 bbs.cgi 停止。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 15:02:08

ｽﾞｽﾞﾁｬｰﾝ書き込みできないんですけど

**root▲▲ ★** · 2010/07/01(木) 15:12:33

作業おわり @ hayabusa

**root▲▲ ★** · 2010/07/01(木) 15:14:07

問題なさげなかんじ。

特に問題なければ、
kamome で同じ作業を 15:30 からで。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 15:14:23

はやっ

**root▲▲ ★** · 2010/07/01(木) 15:21:51

昔はプチプチとやっていたジンギスカンな板の板復帰を、
自作の fukkiall.sh で一撃でやるようにしたので、少し楽になりますた。

これに相当するのを起動時に児童実行、じゃないや自動実行するようにすれば、
ジンギスカンな板があっても、運用が楽になるのかしら。

**root▲▲ ★** · 2010/07/01(木) 15:25:12

tiger3551 の作業依頼は、15:30 に別途出す予定。
作業内容は tiger3552 と同じ。

**root▲▲ ★** · 2010/07/01(木) 15:30:46

tiger3551 = kamome

作業依頼した。
bbs.cgi停止。

**ちきちーた ★** · 2010/07/01(木) 15:33:42

>>201
どんどん機械に支配されていく
だれも気にかけない板だったら復帰かけなくてok

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 15:34:32

落ちるの忘れてた

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 15:35:13

>>204
お宅らしい発言

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 15:35:44

そんな哀しいことゆうなよぉ

**root▲▲ ★** · 2010/07/01(木) 15:36:03

>>204
あら、りょうかいです。

ひと系でうまくいってるなら、わざわざ変える必要なさそうですね。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 15:36:05

>>204
さすが

**root▲▲ ★** · 2010/07/01(木) 15:42:03

作業おわり @ kamome

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 15:43:45

かもめでおみくじができるようになんとかしてください

**ちきちーた ★** · 2010/07/01(木) 15:45:21

りょうかいー

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 15:47:09

全部大吉にしてー

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 15:57:32

『鯖落ちスレをチェックして「板名＋復帰してー」のレス数をカウントし、
ある一定数を超えたらその板を復帰』

自動的にやるにしてもこれくらいの遊びは必要だな。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 15:58:13

>>212
まだー？

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 16:00:38

>>212
おみくじ確認した
おいちゃんありがとー

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 16:00:55

技術論も精神論も2ch論も人それぞれなんだから好きにすればいいよ

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 16:01:04

そのうち削除も規制も機械がやるようになるのさ。解除モナ。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 16:13:51

で、おいちゃんはメーテルと旅にでるんだ

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 16:17:11

鯖を統合するに当たって、板を減らしたいのか

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 16:18:17

>>212
やった！
おみくじどーもでした

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 16:22:08

>>212
おいちゃんありがとー

**動け動けウゴウゴ２ちゃんねる** · 2010/07/01(木) 16:58:38

これ、どうなりましたか？

2ch特化型サーバ・ロケーション構築作戦 Part48
http://qb5.2ch.net/test/read.cgi/operate/1276848371/324-
路線b)
PCSVからの投稿は一切お断りする