2ch特化型サーバ・ロケーション構築作戦のスレッドです。
・2ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更関連の各種作業や調整事項
・2ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携
等を取り扱います。
前スレ:2ch特化型サーバ・ロケーション構築作戦 Part52
http://qb5.2ch.net/test/read.cgi/operate/1277651499/
2ch特化型サーバ・ロケーション構築作戦 Part53
■ このスレッドは過去ログ倉庫に格納されています
NGNG
349root▲▲ ★
2010/07/03(土) 00:44:46ID:???0350root▲▲ ★
2010/07/03(土) 00:45:38ID:???02010/07/03(土) 00:46:45ID:BxPSv0bc0
logbufferの消失
LAえらいことになってますね
LAえらいことになってますね
352root▲▲ ★
2010/07/03(土) 00:51:04ID:???0 top で一番上にlogbufferがはりついて、
きちんと今までよりも多く、CPUを使ってくれてたんですよね。
で、いいかんじじゃん、って思ってたら、
突然 top から logbuffer が消えてなくなって、
LA がみるみる急上昇していき、speedy_backend がどばどばと詰まり始めた。
この間、画面を見るだけで、キーボードでの操作ができなかった。
みるみるうちにLA=1000近くにまでなった。
で、ようやく触れるようになってすかさず ps で探すと、
R 状態になった logbuffer がいた。
(このときtopのWindowでやったので、topは見れず)
しかし、logbufferの通産CPU処理時間が異常に少なくなっていたので、
logbuffer 自体が終了してしまっていたんだと思う。
で、次にtopを動かすと、logbufferが一番上に復活してて、
既に正常に戻りはじめていた。
きちんと今までよりも多く、CPUを使ってくれてたんですよね。
で、いいかんじじゃん、って思ってたら、
突然 top から logbuffer が消えてなくなって、
LA がみるみる急上昇していき、speedy_backend がどばどばと詰まり始めた。
この間、画面を見るだけで、キーボードでの操作ができなかった。
みるみるうちにLA=1000近くにまでなった。
で、ようやく触れるようになってすかさず ps で探すと、
R 状態になった logbuffer がいた。
(このときtopのWindowでやったので、topは見れず)
しかし、logbufferの通産CPU処理時間が異常に少なくなっていたので、
logbuffer 自体が終了してしまっていたんだと思う。
で、次にtopを動かすと、logbufferが一番上に復活してて、
既に正常に戻りはじめていた。
353root▲▲ ★
2010/07/03(土) 00:51:59ID:???0 %ls -l /logbuffer.core
-rw------- 1 root wheel 3813376 Jun 29 09:51 /logbuffer.core
これ保管しておこう。
-rw------- 1 root wheel 3813376 Jun 29 09:51 /logbuffer.core
これ保管しておこう。
2010/07/03(土) 00:52:00ID:ve+/oe9d0
そしてオランダは逆転勝ちです
2010/07/03(土) 00:52:14ID:bl6Xl3vU0
>>349
してがカレーとキムチ間違えて出しそうになったとき・・・かな?
してがカレーとキムチ間違えて出しそうになったとき・・・かな?
356root▲▲ ★
2010/07/03(土) 00:53:33ID:???0 というか、mode 600 か。自分ではとれないな。
中の人にこの core ファイルを私あてに送ってもらうように、
お願いしておこう。
と言っても、明日と明後日は会社の行事で私はおでかけ&オフラインの予定。
中の人にこの core ファイルを私あてに送ってもらうように、
お願いしておこう。
と言っても、明日と明後日は会社の行事で私はおでかけ&オフラインの予定。
357root▲▲ ★
2010/07/03(土) 00:54:35ID:???0 でも、core ができるような落ち方したので、
デバッグは可能な予感がするです。
デバッグは可能な予感がするです。
2010/07/03(土) 00:54:40ID:EtUTnjpA0
>>349
BS11でテロキターの辺りかな?
BS11でテロキターの辺りかな?
2010/07/03(土) 00:55:03ID:ve+/oe9d0
タイミング的にブラジル選手に一発レッドカードのときでしょうか。
2010/07/03(土) 00:56:50ID:EtUTnjpA0
361root▲▲ ★
2010/07/03(土) 00:58:24ID:???0 0時37分〜0時38分JSTあたりの挙動が、
変だったようです。
あ、、、でも今見たら、このlogbufferのcoreは、
今回のやつじゃないな。
だから意味なさげ。
%env TZ=JST-9 ls -l /logbuffer.core
-rw------- 1 root wheel 3813376 Jun 30 01:51 /logbuffer.core
変だったようです。
あ、、、でも今見たら、このlogbufferのcoreは、
今回のやつじゃないな。
だから意味なさげ。
%env TZ=JST-9 ls -l /logbuffer.core
-rw------- 1 root wheel 3813376 Jun 30 01:51 /logbuffer.core
362root▲▲ ★
2010/07/03(土) 01:03:27ID:???0 >>352
> で、ようやく触れるようになってすかさず ps で探すと、
> R 状態になった logbuffer がいた。
ターミナルのスクロールバッファに残ってた。
今見ると D (ディスクI/O待ち)もあるな。
%ps axww | grep logbuffer
32562 ?? D 0:00.06 /usr/local/sbin/logbuffer
%ps axww | grep logbuffer
32562 ?? R 0:00.06 /usr/local/sbin/logbuffer
32577 p1 R+ 0:00.02 grep logbuffer
%ps axww | grep logbuffer
32562 ?? D 0:00.07 /usr/local/sbin/logbuffer
32580 p1 R+ 0:00.00 grep logbuffer
%ps axww | grep logbuffer
32562 ?? R 0:00.07 /usr/local/sbin/logbuffer
32582 p1 R+ 0:00.00 grep logbuffer
%ps axww | grep logbuffer
32562 ?? R 0:00.07 /usr/local/sbin/logbuffer
32584 p1 R+ 0:00.00 grep logbuffer
%ps axww | grep logbuffer
32562 ?? D 0:00.07 /usr/local/sbin/logbuffer
32586 p1 R+ 0:00.01 grep logbuffer
%ps axww | grep logbuffer
32562 ?? R 0:00.07 /usr/local/sbin/logbuffer
32588 p1 R+ 0:00.00 grep logbuffer
%!ps
ps axww | grep logbuffer
32562 ?? R 0:00.13 /usr/local/sbin/logbuffer
32615 p1 R+ 0:00.00 grep logbuffer
%!ps
ps axww | grep logbuffer
32562 ?? R 0:00.24 /usr/local/sbin/logbuffer
32619 p1 L+ 0:00.01 grep logbuffer
> で、ようやく触れるようになってすかさず ps で探すと、
> R 状態になった logbuffer がいた。
ターミナルのスクロールバッファに残ってた。
今見ると D (ディスクI/O待ち)もあるな。
%ps axww | grep logbuffer
32562 ?? D 0:00.06 /usr/local/sbin/logbuffer
%ps axww | grep logbuffer
32562 ?? R 0:00.06 /usr/local/sbin/logbuffer
32577 p1 R+ 0:00.02 grep logbuffer
%ps axww | grep logbuffer
32562 ?? D 0:00.07 /usr/local/sbin/logbuffer
32580 p1 R+ 0:00.00 grep logbuffer
%ps axww | grep logbuffer
32562 ?? R 0:00.07 /usr/local/sbin/logbuffer
32582 p1 R+ 0:00.00 grep logbuffer
%ps axww | grep logbuffer
32562 ?? R 0:00.07 /usr/local/sbin/logbuffer
32584 p1 R+ 0:00.00 grep logbuffer
%ps axww | grep logbuffer
32562 ?? D 0:00.07 /usr/local/sbin/logbuffer
32586 p1 R+ 0:00.01 grep logbuffer
%ps axww | grep logbuffer
32562 ?? R 0:00.07 /usr/local/sbin/logbuffer
32588 p1 R+ 0:00.00 grep logbuffer
%!ps
ps axww | grep logbuffer
32562 ?? R 0:00.13 /usr/local/sbin/logbuffer
32615 p1 R+ 0:00.00 grep logbuffer
%!ps
ps axww | grep logbuffer
32562 ?? R 0:00.24 /usr/local/sbin/logbuffer
32619 p1 L+ 0:00.01 grep logbuffer
363root▲▲ ★
2010/07/03(土) 01:04:44ID:???0 top の出力ではそのおかしくなっていた間、
"Lock" なプロセスがたくさんいたようだ。
"Lock" なプロセスがたくさんいたようだ。
364root▲▲ ★
2010/07/03(土) 01:07:04ID:???0 さて、どうするのがいいのか。しかし情報量不足は否めないな。
ちなみにlogbufferが該当時間 core 吐いた、というsyslogはなかった。
ちなみにlogbufferが該当時間 core 吐いた、というsyslogはなかった。
2010/07/03(土) 01:12:07ID:+djtaS2E0
実況鯖、そのぐらいの時間帯に繋がりにくくなったけど、ログを見る限り
連続して流れてる。不思議。
連続して流れてる。不思議。
2010/07/03(土) 01:13:33ID:4xHf/awQ0
一瞬重くなったけど落ちなかったな
2010/07/03(土) 01:15:47ID:R1fkNw1X0
root さんの監視信号が狂わせた。と思う。
2010/07/03(土) 01:20:28ID:EtUTnjpA0
そういやうちの会社、リバースプロキシの処理速度あげたら何故か詰まるようになって、
何事かと思ったら裏側が早くなりすぎてhttpdのバッファがあふれるようになったというオチだった。
という日記。
何事かと思ったら裏側が早くなりすぎてhttpdのバッファがあふれるようになったというオチだった。
という日記。
369root▲▲ ★
2010/07/03(土) 01:25:35ID:???0 状況証拠的には、
・高負荷時にlogbufferが突然、いなくなり、
・ログを渡す先がいなくなったhttpdがばたばたと詰まり始め、LAが急上昇し、
・それからしばらく後に、logbufferが復活し、
・httpdが元に戻った
ように見えますた。
・高負荷時にlogbufferが突然、いなくなり、
・ログを渡す先がいなくなったhttpdがばたばたと詰まり始め、LAが急上昇し、
・それからしばらく後に、logbufferが復活し、
・httpdが元に戻った
ように見えますた。
370root▲▲ ★
2010/07/03(土) 01:31:42ID:???0 で、今日はもうここまで負荷がかかるのはなさげ?
2010/07/03(土) 01:32:32ID:+djtaS2E0
>>370
次の試合は午前3時半からウルグアイ×ガーナなのでそれほど観客いないかと
次の試合は午前3時半からウルグアイ×ガーナなのでそれほど観客いないかと
372root▲▲ ★
2010/07/03(土) 01:35:07ID:???02010/07/03(土) 01:39:50ID:IJcl8une0
ウルグアイ×ガーナかわいそう
2010/07/03(土) 01:44:02ID:OtT/5/Ho0
7/3(土) 22:00 〜 01:10 TBS
2010FIFAワールドカップ・準々決勝「アルゼンチン×ドイツ」
7/3(土) 22:05 〜 00:00 NHK総合
ウィンブルドンテニス2010 「女子シングルス・決勝」
7/4(日) 03:00 〜 05:40 日本テレビ
2010FIFAワールドカップ・準々決勝「パラグアイ×スペイン」
2010FIFAワールドカップ・準々決勝「アルゼンチン×ドイツ」
7/3(土) 22:05 〜 00:00 NHK総合
ウィンブルドンテニス2010 「女子シングルス・決勝」
7/4(日) 03:00 〜 05:40 日本テレビ
2010FIFAワールドカップ・準々決勝「パラグアイ×スペイン」
375root▲▲ ★
2010/07/03(土) 01:44:24ID:???0 その時間帯(0:00JST台)のhttpdアクセスログを消えないところに保管しておこう。
(ログは古くなると消えてしまう)
後で何かわかるかもしれない。
(ログは古くなると消えてしまう)
後で何かわかるかもしれない。
376root▲▲ ★
2010/07/03(土) 01:46:11ID:???0 とりあえず hayabusa のホームにコピーしておいた。>>375
2010/07/03(土) 01:48:34ID:ve+/oe9d0
でもまあ自然復活するのであれば、運用上それほどの痛手でもないような。とりあえずは
378root▲▲ ★
2010/07/03(土) 01:50:04ID:???0 ということで、logbufferの挙動不審の原因が知りたいところ。
1) logbufferプログラムの問題
2) FreeBSDのaio(4)のチューニングが不十分
3) FreeBSDのaio(4)に虫がいる
4) 他の何か
1) logbufferプログラムの問題
2) FreeBSDのaio(4)のチューニングが不十分
3) FreeBSDのaio(4)に虫がいる
4) 他の何か
379root▲▲ ★
2010/07/03(土) 01:57:05ID:???0 別件の話ではあるけど、こんなのが。
http://www.ruby-forum.com/topic/194043
> If kernel AIO queue overflows then nginx fall back to synchronous IO.
つまり、カーネルの AIO queue は、あふれることもあると。
http://www.ruby-forum.com/topic/194043
> If kernel AIO queue overflows then nginx fall back to synchronous IO.
つまり、カーネルの AIO queue は、あふれることもあると。
380root▲▲ ★
2010/07/03(土) 01:59:41ID:???0 で、こいつらをチューニングしれ、ということの模様。
vfs.aio.max_aio_queue (default) 1024
vfs.aio.max_aio_queue_per_proc 256
vfs.aio.max_aio_per_proc 32
vfs.aio.max_aio_procs 32
今の hayabusa では、
vfs.aio.max_aio_queue_per_proc を 256 から 1024 にしてある
(SunOSさんのプログラムでは実際には512らしいですが >>140)
以外は、すべてデフォルトのまま。
vfs.aio.max_aio_queue (default) 1024
vfs.aio.max_aio_queue_per_proc 256
vfs.aio.max_aio_per_proc 32
vfs.aio.max_aio_procs 32
今の hayabusa では、
vfs.aio.max_aio_queue_per_proc を 256 から 1024 にしてある
(SunOSさんのプログラムでは実際には512らしいですが >>140)
以外は、すべてデフォルトのまま。
381root▲▲ ★
2010/07/03(土) 02:01:09ID:???0 直感では、
> vfs.aio.max_aio_queue (default) 1024
これっぽいかな。
per_proc の増やしぶりに合わせるとしたら、
1024 → 4096 かな。
でもソースさらっと当たらないと、ちょっと不安だな。
> vfs.aio.max_aio_queue (default) 1024
これっぽいかな。
per_proc の増やしぶりに合わせるとしたら、
1024 → 4096 かな。
でもソースさらっと当たらないと、ちょっと不安だな。
382root▲▲ ★
2010/07/03(土) 02:06:12ID:???0 まずは基本のこれやって、と。
%sysctl -d vfs.aio
vfs.aio: Async IO management
vfs.aio.max_buf_aio: Maximum buf aio requests per process (stored in the process)
vfs.aio.max_aio_queue_per_proc: Maximum queued aio requests per process (stored in the process)
vfs.aio.max_aio_per_proc: Maximum active aio requests per process (stored in the process)
vfs.aio.unloadable: Allow unload of aio (not recommended)
vfs.aio.aiod_lifetime: Maximum lifetime for idle aiod
vfs.aio.aiod_timeout: Timeout value for synchronous aio operations
vfs.aio.num_buf_aio: Number of aio requests presently handled by the buf subsystem
vfs.aio.num_queue_count: Number of queued aio requests
vfs.aio.max_aio_queue: Maximum number of aio requests to queue, globally
vfs.aio.target_aio_procs: Preferred number of ready kernel threads for async IO
vfs.aio.num_aio_procs: Number of presently active kernel threads for async IO
vfs.aio.max_aio_procs: Maximum number of kernel threads to use for handling async IO
%sysctl -d vfs.aio
vfs.aio: Async IO management
vfs.aio.max_buf_aio: Maximum buf aio requests per process (stored in the process)
vfs.aio.max_aio_queue_per_proc: Maximum queued aio requests per process (stored in the process)
vfs.aio.max_aio_per_proc: Maximum active aio requests per process (stored in the process)
vfs.aio.unloadable: Allow unload of aio (not recommended)
vfs.aio.aiod_lifetime: Maximum lifetime for idle aiod
vfs.aio.aiod_timeout: Timeout value for synchronous aio operations
vfs.aio.num_buf_aio: Number of aio requests presently handled by the buf subsystem
vfs.aio.num_queue_count: Number of queued aio requests
vfs.aio.max_aio_queue: Maximum number of aio requests to queue, globally
vfs.aio.target_aio_procs: Preferred number of ready kernel threads for async IO
vfs.aio.num_aio_procs: Number of presently active kernel threads for async IO
vfs.aio.max_aio_procs: Maximum number of kernel threads to use for handling async IO
383root▲▲ ★
2010/07/03(土) 02:07:34ID:???0 で、これか。
%sysctl vfs.aio
vfs.aio.max_buf_aio: 16
vfs.aio.max_aio_queue_per_proc: 1024 # 256から増やし済
vfs.aio.max_aio_per_proc: 32
vfs.aio.unloadable: 0
vfs.aio.aiod_lifetime: 30000
vfs.aio.aiod_timeout: 10000
vfs.aio.num_buf_aio: 0
vfs.aio.num_queue_count: 513
vfs.aio.max_aio_queue: 1024
vfs.aio.target_aio_procs: 4
vfs.aio.num_aio_procs: 4
vfs.aio.max_aio_procs: 32
%sysctl vfs.aio
vfs.aio.max_buf_aio: 16
vfs.aio.max_aio_queue_per_proc: 1024 # 256から増やし済
vfs.aio.max_aio_per_proc: 32
vfs.aio.unloadable: 0
vfs.aio.aiod_lifetime: 30000
vfs.aio.aiod_timeout: 10000
vfs.aio.num_buf_aio: 0
vfs.aio.num_queue_count: 513
vfs.aio.max_aio_queue: 1024
vfs.aio.target_aio_procs: 4
vfs.aio.num_aio_procs: 4
vfs.aio.max_aio_procs: 32
384root▲▲ ★
2010/07/03(土) 02:21:58ID:???0 あとはとりあえず、明日以降かな。
>>381 の、
vfs.aio.max_aio_queue=4096
を www2.2ch.net でやってみて、まずは問題なさげなのを確認。
/etc/sysctl.conf @ www2 にも追加してみた。
# tuning for aio(4)
vfs.aio.max_aio_queue_per_proc=1024
vfs.aio.max_aio_queue=4096
今日のところは、こんなかんじで。
日曜夕方までは、あまりアクセスできない見込み。
>>381 の、
vfs.aio.max_aio_queue=4096
を www2.2ch.net でやってみて、まずは問題なさげなのを確認。
/etc/sysctl.conf @ www2 にも追加してみた。
# tuning for aio(4)
vfs.aio.max_aio_queue_per_proc=1024
vfs.aio.max_aio_queue=4096
今日のところは、こんなかんじで。
日曜夕方までは、あまりアクセスできない見込み。
2010/07/03(土) 02:43:17ID:Yzdnskw40
2010/07/03(土) 03:15:33ID:OCXmAGIh0
vfs.aio.num_queue_count: 513 って現在値なのかな
すでに513も居る?
すでに513も居る?
387root▲▲ ★
2010/07/03(土) 03:38:52ID:???0 >>337
ここでいうログって芋ログのことだと思ってたんだけど違うのかな?
レスはあるけどその芋ログがないとかが起きないように、芋ログ出力の成功を経てdatへの書き出しを行っているのかなと。
まぁそんな面倒な処理にはなってない感じだけどね。
ここでいうログって芋ログのことだと思ってたんだけど違うのかな?
レスはあるけどその芋ログがないとかが起きないように、芋ログ出力の成功を経てdatへの書き出しを行っているのかなと。
まぁそんな面倒な処理にはなってない感じだけどね。
2010/07/03(土) 06:26:10ID:VevvXy2+0
ウルグアイvsガーナ 神試合だったけど伸びてないな
http://hayabusa-1gbpsgraph.maido3.com/hayabusa/
http://mumumu.mu/bremen/hayabusa.html
http://hayabusa-1gbpsgraph.maido3.com/hayabusa/
http://mumumu.mu/bremen/hayabusa.html
2010/07/03(土) 06:29:10ID:lTWs/S0Y0
面白かった、今の試合。
今日の試合で負荷実験は終わりでしょうな。
今日の試合で負荷実験は終わりでしょうな。
う〜む,何が起きてたんでしょうねぇ......<logbuffer
core は aio_write() 入れる前のやつのようですが,
いずれにせよ何かが起きてたらしいと.
>>386-387 とにかく logbuffer を詰まらせないのを目標に,
aio の並列実行数を思い切った数値にしてる感じです.
core は aio_write() 入れる前のやつのようですが,
いずれにせよ何かが起きてたらしいと.
>>386-387 とにかく logbuffer を詰まらせないのを目標に,
aio の並列実行数を思い切った数値にしてる感じです.
2010/07/03(土) 11:29:47ID:d31Bs+9e0
昨夜23時30分に変なトラフィックが来てる。
攻撃?
banana3244
http://traffic.maido3.com/IQ1Z/9xoI/G2b5/
banana3260
http://traffic.maido3.com/hEnJ/6kEK/QD9x/
攻撃?
banana3244
http://traffic.maido3.com/IQ1Z/9xoI/G2b5/
banana3260
http://traffic.maido3.com/hEnJ/6kEK/QD9x/
393外出先 ◆MUMUMUhnYI
2010/07/03(土) 11:38:25ID:RBXpFVLG0394外出先 ◆MUMUMUhnYI
2010/07/03(土) 11:54:35ID:rpUqgRi30 >>393 をkamomeとhayabusaに設定するのをお願いした。
挙動は変わると思うけど、プログラムで個別にaioに対応するより、
asyncでディスクをマウントして、sysctlのvfs.*dirty*あたりをいじるっていうのも手じゃないのかなと。
SSDとの相性は知らないけど…
asyncでディスクをマウントして、sysctlのvfs.*dirty*あたりをいじるっていうのも手じゃないのかなと。
SSDとの相性は知らないけど…
396外出先 ◆MUMUMUhnYI
2010/07/03(土) 11:59:15ID:1XjTD4BD0 >>396
聞きかじりですが、gjournaは2chのような重いサーバーには不向きかもしれません…
聞きかじりですが、gjournaは2chのような重いサーバーには不向きかもしれません…
398外出先 ◆MUMUMUhnYI
2010/07/03(土) 12:14:20ID:DB47VKZ/0 >>397
そのへん、kwskききたいです。
そのへん、kwskききたいです。
2010/07/03(土) 12:36:35ID:iHHmT97X0
rootさんの移動っぷりは異常
まさか外国行ってるとはw
まさか外国行ってるとはw
>>398
実際に試してみた人から聞いたのですが、「負荷がかかると応答しなくなる」とのことでした。
1年ぐらい前の話なので、それ以来改良されているかどうかわかりませんが…
個人的にはSoftupdate Journalingでしたっけ、あれに期待してます。
さすがに何TBでfsckはもうごめんなので…
実際に試してみた人から聞いたのですが、「負荷がかかると応答しなくなる」とのことでした。
1年ぐらい前の話なので、それ以来改良されているかどうかわかりませんが…
個人的にはSoftupdate Journalingでしたっけ、あれに期待してます。
さすがに何TBでfsckはもうごめんなので…
2010/07/03(土) 12:48:03ID:/Lw+YYGi0
末尾iが末尾0になったという報告が
帯域が変わったのかな
【news】ニュース速報運用情報591【ν】
http://qb5.2ch.net/test/read.cgi/operate/1277836049/857
857 名前:pw126228031224.24.tik.panda-world.ne.jp(126.228.31.224)[sage] 投稿日:2010/07/03(土) 05:29:00 ID:NLa/0/P00
こうだっけ
2〜3日前まではiだったんだけど
Monazilla/1.00 BB2C/1.0
帯域が変わったのかな
【news】ニュース速報運用情報591【ν】
http://qb5.2ch.net/test/read.cgi/operate/1277836049/857
857 名前:pw126228031224.24.tik.panda-world.ne.jp(126.228.31.224)[sage] 投稿日:2010/07/03(土) 05:29:00 ID:NLa/0/P00
こうだっけ
2〜3日前まではiだったんだけど
Monazilla/1.00 BB2C/1.0
2010/07/03(土) 12:51:50ID:CoFD2h/E0
ファイルシステムについて、このあたりが参考になるかも。
http://www.bsdcan.org/2010/schedule/attachments/141_suj-slides.pdf
http://jeffr-tech.livejournal.com/22716.html
http://www.bsdcan.org/2010/schedule/attachments/141_suj-slides.pdf
http://jeffr-tech.livejournal.com/22716.html
NGNG
今夜は落ちるでしょ(笑)
aioの読み書きはカーネルスレッドが行う。例えばLinuxでは[aio/0]などがそのカーネルスレッドに当たる。
そのカーネルスレッドが非preemptableなのにaioを使いまくるとLAがうなぎ登る原因になり得る。
が、Linuxの場合はカーネルのコンパイルオプションでCONFIG_PREEMPT_VOLUNTARYが有効ならば(大抵は有効になっている)、カーネル内の任意の位置をpreemptableにできる。
そのため、そのカーネルスレッド内にpreemptableな場所があれば問題はかなり軽減されるはず (が、実際preemptableな場所があるかは知らない)。
しかし、そうすると読み書き処理が遅れたままとなってしまう…。うーん、微妙? 何か勘違いしているかも。
ちなみにLinuxだとカーネルスレッドの優先具合は確かnice値の初期値が過去に-5だったぐらい(今は0だったはず)。
FreeBSDでどうかは詳しい人に任せた。
そのカーネルスレッドが非preemptableなのにaioを使いまくるとLAがうなぎ登る原因になり得る。
が、Linuxの場合はカーネルのコンパイルオプションでCONFIG_PREEMPT_VOLUNTARYが有効ならば(大抵は有効になっている)、カーネル内の任意の位置をpreemptableにできる。
そのため、そのカーネルスレッド内にpreemptableな場所があれば問題はかなり軽減されるはず (が、実際preemptableな場所があるかは知らない)。
しかし、そうすると読み書き処理が遅れたままとなってしまう…。うーん、微妙? 何か勘違いしているかも。
ちなみにLinuxだとカーネルスレッドの優先具合は確かnice値の初期値が過去に-5だったぐらい(今は0だったはず)。
FreeBSDでどうかは詳しい人に任せた。
407宿泊先 ◆MUMUMUhnYI
2010/07/03(土) 14:35:27ID:qWdwGHzN0 >なかのひと
今日記読みました。取り急ぎ。
いろんな意味で、8.0Rはおすすめできません。
ほんの少し待つと出る8.1Rでいきたいです。
(今回は比較的安産のようです)
今日記読みました。取り急ぎ。
いろんな意味で、8.0Rはおすすめできません。
ほんの少し待つと出る8.1Rでいきたいです。
(今回は比較的安産のようです)
408宿泊先 ◆MUMUMUhnYI
2010/07/03(土) 14:38:03ID:qWdwGHzN0 で、既に8.1-RC2が出ている状態なので、
8.1前提でのサーバのパッケージング作業などは、
既に進められる状態になっているはず。
8.1前提でのサーバのパッケージング作業などは、
既に進められる状態になっているはず。
409238
2010/07/03(土) 15:03:10ID:BgeAVju+0 >>255
bbsdにaioを適用したほうよいかなと思ったのは、
datなどに書き込み後、bbsdからhttpd側に応答を
返しているので、それを非同期化することで、
書き込み完了前にhttpdに戻るので、はけがよくなるかと。
ただ、今今はbbs.cgiはそんなにボトルネックに
なっていないのでは?
speedy_backendが50ぐらいしかあがっていないということは、
httpdも50ぐらいしかつかんでないと思うので、datの
読み出しだけなら、残りの約4900のhttpdで応答を返せるはずなので、
詰まらないと。
それよりかは、
・aioのパラメータチューニング
・>>148のチューニング
・FreeBSDの8.1への入れ替え(NCQの有効化)
が効果的かなと。
bbsdにaioを適用したほうよいかなと思ったのは、
datなどに書き込み後、bbsdからhttpd側に応答を
返しているので、それを非同期化することで、
書き込み完了前にhttpdに戻るので、はけがよくなるかと。
ただ、今今はbbs.cgiはそんなにボトルネックに
なっていないのでは?
speedy_backendが50ぐらいしかあがっていないということは、
httpdも50ぐらいしかつかんでないと思うので、datの
読み出しだけなら、残りの約4900のhttpdで応答を返せるはずなので、
詰まらないと。
それよりかは、
・aioのパラメータチューニング
・>>148のチューニング
・FreeBSDの8.1への入れ替え(NCQの有効化)
が効果的かなと。
>>409
>bbsdにaioを適用したほうよいかなと思ったのは、
>(ry
>それを非同期化することで、書き込み完了前にhttpdに戻る
そういう意図なら,単に bbs.cgi 側で bbsd からの応答を待たずに
戻ればいいような気はします.そうすると書き込み時のエラーが
利用者に報告されなくなりますが,aio で書き込み完了を待たず
戻るなら結局同じようなことでしょうし.
>bbsdにaioを適用したほうよいかなと思ったのは、
>(ry
>それを非同期化することで、書き込み完了前にhttpdに戻る
そういう意図なら,単に bbs.cgi 側で bbsd からの応答を待たずに
戻ればいいような気はします.そうすると書き込み時のエラーが
利用者に報告されなくなりますが,aio で書き込み完了を待たず
戻るなら結局同じようなことでしょうし.
2010/07/03(土) 16:14:36ID:nF/qHs7M0
書き込みエラーって規制でのエラーも含まれますか?
それなら止めるのは無理なんじゃないかと…
それなら止めるのは無理なんじゃないかと…
2010/07/03(土) 17:22:36ID:MzzvMGus0
>>412
そう言う観点の話が今まで無かった様な気がしましたので聞いてみた次第です。
bbs.cgiにしろbbsdにしろaio化によって書き込み後の各種メッセージを出す事が
出来なくなると言う話であれば、色々考え直さないと駄目なんじゃ無いかと。
潔くエラー通知無し仕様で突き進むってのでも良いんですけど、特に規制されてるのが
表示されないのはこの板が千客万来で大混乱する様な気がしますw
そう言う観点の話が今まで無かった様な気がしましたので聞いてみた次第です。
bbs.cgiにしろbbsdにしろaio化によって書き込み後の各種メッセージを出す事が
出来なくなると言う話であれば、色々考え直さないと駄目なんじゃ無いかと。
潔くエラー通知無し仕様で突き進むってのでも良いんですけど、特に規制されてるのが
表示されないのはこの板が千客万来で大混乱する様な気がしますw
414238
2010/07/03(土) 17:25:28ID:BgeAVju+0 >>410
aio_writeでOS側のキューに入った後のNGは
しょうがないかなと思っていました。
あと、1000overやdatサイズoverは、bbsdでチェックしているのと、
aio_writeでキューに入らなかった場合ぐらいは、書き込み
エラーを返すのがよいのかな、ぐらいの気持ちです。
aio_writeでOS側のキューに入った後のNGは
しょうがないかなと思っていました。
あと、1000overやdatサイズoverは、bbsdでチェックしているのと、
aio_writeでキューに入らなかった場合ぐらいは、書き込み
エラーを返すのがよいのかな、ぐらいの気持ちです。
415238
2010/07/03(土) 17:36:02ID:BgeAVju+0 >>414
ただ、今度はdat読み出しでブロックしそうなので、
SunOSさんの言うとおり、あえてaioを使う効果は
ないのかなとも、思います。
結局ディスクI/O以上のリクエストが来た際、どこで
待ち合わせさせるか、その際レスポンスを遅くさせないようには
どうするのかの話かなとも思います。
ただ、今度はdat読み出しでブロックしそうなので、
SunOSさんの言うとおり、あえてaioを使う効果は
ないのかなとも、思います。
結局ディスクI/O以上のリクエストが来た際、どこで
待ち合わせさせるか、その際レスポンスを遅くさせないようには
どうするのかの話かなとも思います。
2010/07/03(土) 17:49:50ID:7cdioUJs0
2010/07/03(土) 17:50:58ID:7cdioUJs0
かぶったorz
419 ◆MUMUMUhnYI
2010/07/03(土) 17:54:24ID:Iulc5ZHU0 >なかのひと
とりいそぎ。乱筆すまぬ。
dmesgを見るかぎりだと、
BIOS的にahciモードに設定変更せずに、
たぶんataモードのままで、最初の8.0Rを入れてしまった気がします。
これだと折角load ahciしても、何の効力も発揮しないです。
デバイス名が、
ataとadで認識されちゃまずいです。
変わるはず。
あと、dmesgしてahciの文字が一つも出てない時点で、
おかしいと気づかないといけない。
ざんねんですがこれだと前に進んではだめで、
PIEでの最初のOS入れの作業からやりなおしです。
とりいそぎ。乱筆すまぬ。
dmesgを見るかぎりだと、
BIOS的にahciモードに設定変更せずに、
たぶんataモードのままで、最初の8.0Rを入れてしまった気がします。
これだと折角load ahciしても、何の効力も発揮しないです。
デバイス名が、
ataとadで認識されちゃまずいです。
変わるはず。
あと、dmesgしてahciの文字が一つも出てない時点で、
おかしいと気づかないといけない。
ざんねんですがこれだと前に進んではだめで、
PIEでの最初のOS入れの作業からやりなおしです。
420 ◆MUMUMUhnYI
2010/07/03(土) 18:00:03ID:Iulc5ZHU0 で、今単にahciにかえると、
途中でかえたときとおなじになり、
例の/etc/fstabを変えないといけないのと同じパターンになりますから、
立ち上がりません。
というか今回は標準手法の確立も
たぶん目的でしょうから、
そういう意味でも、OSの入れ込み直しから
やってもらうのがよいと思います。
いずれにせよ今のままで先に進まないで!!
途中でかえたときとおなじになり、
例の/etc/fstabを変えないといけないのと同じパターンになりますから、
立ち上がりません。
というか今回は標準手法の確立も
たぶん目的でしょうから、
そういう意味でも、OSの入れ込み直しから
やってもらうのがよいと思います。
いずれにせよ今のままで先に進まないで!!
2010/07/03(土) 18:04:18ID:GDP+FQPuP
ふと思ったけど、
> ad4: 476940MB <Seagate ST3500418AS CC38> at ata2-master SATA300
これ500GBのHDDだよね
まあこのHDDは500GBプラッタものらしいから250GBプラッタもの(hayabusaに搭載されてるST3250410ASとか)より早くていいけど
> ad4: 476940MB <Seagate ST3500418AS CC38> at ata2-master SATA300
これ500GBのHDDだよね
まあこのHDDは500GBプラッタものらしいから250GBプラッタもの(hayabusaに搭載されてるST3250410ASとか)より早くていいけど
422 ◆MUMUMUhnYI
2010/07/03(土) 18:07:40ID:Iulc5ZHU0 何という名前で認識するかは、
8.0なり8.1が入ったサーバで、
man ahciして確認してくださいです。
くれぐれもですが、
一番だいじなのは手順自体を守ることではなく、
その手順というか行為が、
ちゃんと本来の目的を達成しているかどうかを
きちんと確認することです。
つまりこの場合だと「dmesgがこうなったらおk」とか、
「このコマンドでこういう出力が得られればおk」
のように、
やったことがちゃんとうまくいったのかのレビューの方法をきちと確立し、
それをもって確認してから前に進む、
というのが大事ということで。
8.0なり8.1が入ったサーバで、
man ahciして確認してくださいです。
くれぐれもですが、
一番だいじなのは手順自体を守ることではなく、
その手順というか行為が、
ちゃんと本来の目的を達成しているかどうかを
きちんと確認することです。
つまりこの場合だと「dmesgがこうなったらおk」とか、
「このコマンドでこういう出力が得られればおk」
のように、
やったことがちゃんとうまくいったのかのレビューの方法をきちと確立し、
それをもって確認してから前に進む、
というのが大事ということで。
2010/07/03(土) 18:07:51ID:HlgVPhlY0
2010/07/03(土) 18:15:08ID:hJczlnFv0
おいおい、rootさんがここまで語気を荒らげる事なんて、滅多にないぞ。
なかの人は、きちんと学べよ。
なかの人は、きちんと学べよ。
425 ◆MUMUMUhnYI
2010/07/03(土) 18:17:59ID:Iulc5ZHU0 そんなわけで、ataとadじゃなくてahciとada にならないと変です。
man ada してくださいです。
で、なんでかというと、今回のそもそもの目的は、
例のNCQを有効にすることで、
NCQはahciで認識させたうえでディスクをadではなくadaで認識させるのに成功しないと、
現時点では有効にならないからです。
man ada してくださいです。
で、なんでかというと、今回のそもそもの目的は、
例のNCQを有効にすることで、
NCQはahciで認識させたうえでディスクをadではなくadaで認識させるのに成功しないと、
現時点では有効にならないからです。
2010/07/03(土) 18:22:22ID:5Di35Uj00
この辺?
ttp://gihyo.jp/admin/clip/01/fdt/201001/04
ttp://gihyo.jp/admin/clip/01/fdt/201001/04
427 ◆MUMUMUhnYI
2010/07/03(土) 18:24:54ID:Iulc5ZHU0 そんなこんなで、
これから夕食と宴会らしいので、
少なくとも数時間程度はオフラインでふ。
語気を荒げるというか、
このままの基礎で大きなマンションを建てちゃうと、
後でマンション自体を取り壊さないといけなくなってしまい、
結局大きな手戻りが以下略。
これから夕食と宴会らしいので、
少なくとも数時間程度はオフラインでふ。
語気を荒げるというか、
このままの基礎で大きなマンションを建てちゃうと、
後でマンション自体を取り壊さないといけなくなってしまい、
結局大きな手戻りが以下略。
2010/07/03(土) 18:26:02ID:CoFD2h/E0
>>427
姉歯建築みたいな状態になってるってことですね。わかりますw
姉歯建築みたいな状態になってるってことですね。わかりますw
2010/07/03(土) 18:31:45ID:5Di35Uj00
しかしNCQやるなら量産型に入る前のどこかの実験鯖でやっておくべきだっただろうJKとしか言いようがない
430 ◆MUMUMUhnYI
2010/07/03(土) 18:33:33ID:Iulc5ZHU0 >>426
それですね。
でもカーネルをつくりなおさなくてももっと簡単にいける、
というのが、れいのload ahciのきもだったはず。
で、atadiskをnodeviceにするのとおなじことを、
6を押したあとでやらないといけないかも、
ということになるのかな。
どなたかかその方法をここに以下略。
それですね。
でもカーネルをつくりなおさなくてももっと簡単にいける、
というのが、れいのload ahciのきもだったはず。
で、atadiskをnodeviceにするのとおなじことを、
6を押したあとでやらないといけないかも、
ということになるのかな。
どなたかかその方法をここに以下略。
詳しくはPart49の>>290さんを参照ということで
ミソは、CAMを有効にする前にデバイスが認識されているとマズいということなので
BIOSで最初からAHCIモードにしておけばそもそも認識されず問題無いと
明確にnodeviceとかやるのは、ATA on CAMとかもやりたい時などで良いのでしょう
もちろんカーネルをいじって盲腸になりかねないこいつらを消すべきではありますが
ミソは、CAMを有効にする前にデバイスが認識されているとマズいということなので
BIOSで最初からAHCIモードにしておけばそもそも認識されず問題無いと
明確にnodeviceとかやるのは、ATA on CAMとかもやりたい時などで良いのでしょう
もちろんカーネルをいじって盲腸になりかねないこいつらを消すべきではありますが
2010/07/03(土) 21:00:43ID:2t3YnLEO0
【協力願】Boo2008(旧Boo80)で串を食べませんか? その8
http://qb5.2ch.net/test/read.cgi/operate/1268473561/191
cobra2245、すごく苦しそうだ
ハイブリッドTigerを入れるとかなり改善されるかな
http://qb5.2ch.net/test/read.cgi/operate/1268473561/191
cobra2245、すごく苦しそうだ
ハイブリッドTigerを入れるとかなり改善されるかな
2010/07/03(土) 21:17:35ID:5Di35Uj00
メモリだけ増やしてもすぐに使い切りそうな勢いだねbooは
2010/07/03(土) 22:02:13ID:BxPSv0bc0
手順が確立したら、hayabusaも移転になるのかな
実験鯖とはいえ、OSだけ入れ替えるのは難しそう
実験鯖とはいえ、OSだけ入れ替えるのは難しそう
2010/07/03(土) 22:26:02ID:G/IDufZ20
今swapって何か仕事してんの? なくてもよくね?
2010/07/03(土) 23:15:33ID:X1osVm3/0
smapに見えた
2010/07/03(土) 23:19:05ID:qSE7BTYf0
南西アフリカ人民機構がどうかしましたか?
2010/07/03(土) 23:32:53ID:PjEIA7ae0
>>427
ここで気をつけておかないとバッドフラグたっちゃうのか
ここで気をつけておかないとバッドフラグたっちゃうのか
2010/07/03(土) 23:48:14ID:QO69mu9+0
dat 側は MAP_SHARED な mmap() を使うというのも面白いんじゃなかろうか。
2010/07/03(土) 23:54:41ID:GYvGzLhE0
ウランをバケツで混ぜるような現場に説教しても…
手順書作って「この通りやれ」ってするしか
手順書作って「この通りやれ」ってするしか
2010/07/04(日) 00:51:14ID:JC2TH4uj0
今日は監視しないのか
>>422中段が自分に向けて言われているような気がする今日この頃。
2010/07/04(日) 02:33:48ID:JWncGtLg0
2010/07/04(日) 02:40:19ID:wAQn7FM40
http://www.asahi.com/digital/av/TKY201007030246.html
これの実況って面白そうだなぁ、でも今は殆どデジタルかなぁー
これの実況って面白そうだなぁ、でも今は殆どデジタルかなぁー
2010/07/04(日) 11:11:00ID:+fALbENt0
2010/07/04(日) 11:12:38ID:ZiT/6QvG0
まぁ民放とNHKで同時に同じ画面ってめったに無いからねぇ
2010/07/04(日) 11:18:29ID:+fALbENt0
ただ一分しかないから多分「どーん」がきて終わるだけだろうねえ
ちょっと探したら20年前の携帯TVが出てきたのでこれとワンセグで比べてみようw
ちょっと探したら20年前の携帯TVが出てきたのでこれとワンセグで比べてみようw
2010/07/04(日) 13:07:15ID:Zf7L1k8j0
>>445
面白そうだから録画予約しといた
面白そうだから録画予約しといた
■ このスレッドは過去ログ倉庫に格納されています