2ch特化型サーバ・ロケーション構築作戦 Part53

**動く動くウゴウゴ２ちゃんねる** · NG

2ch特化型サーバ・ロケーション構築作戦のスレッドです。

・２ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更関連の各種作業や調整事項
・２ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携

等を取り扱います。

前スレ:2ch特化型サーバ・ロケーション構築作戦 Part52
http://qb5.2ch.net/test/read.cgi/operate/1277651499/

**root▲▲ ★** · 2010/07/03(土) 01:07:04

さて、どうするのがいいのか。しかし情報量不足は否めないな。
ちなみにlogbufferが該当時間 core 吐いた、というsyslogはなかった。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 01:12:07

実況鯖、そのぐらいの時間帯に繋がりにくくなったけど、ログを見る限り
連続して流れてる。不思議。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 01:13:33

一瞬重くなったけど落ちなかったな

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 01:15:47

root さんの監視信号が狂わせた。と思う。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 01:20:28

そういやうちの会社、リバースプロキシの処理速度あげたら何故か詰まるようになって、
何事かと思ったら裏側が早くなりすぎてhttpdのバッファがあふれるようになったというオチだった。
という日記。

**root▲▲ ★** · 2010/07/03(土) 01:25:35

状況証拠的には、

・高負荷時にlogbufferが突然、いなくなり、
・ログを渡す先がいなくなったhttpdがばたばたと詰まり始め、LAが急上昇し、
・それからしばらく後に、logbufferが復活し、
・httpdが元に戻った

ように見えますた。

**root▲▲ ★** · 2010/07/03(土) 01:31:42

で、今日はもうここまで負荷がかかるのはなさげ?

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 01:32:32

>>370
次の試合は午前3時半からウルグアイ×ガーナなのでそれほど観客いないかと

**root▲▲ ★** · 2010/07/03(土) 01:35:07

>>371
どもです。
それだと、状況再現は難しそうすね。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 01:39:50

ウルグアイ×ガーナかわいそう

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 01:44:02

7/3(土) 22:00 ～ 01:10 TBS
2010FIFAワールドカップ・準々決勝「アルゼンチン×ドイツ」

7/3(土) 22:05 ～ 00:00 NHK総合
ウィンブルドンテニス2010 「女子シングルス・決勝」

7/4(日) 03:00 ～ 05:40 日本テレビ
2010FIFAワールドカップ・準々決勝「パラグアイ×スペイン」

**root▲▲ ★** · 2010/07/03(土) 01:44:24

その時間帯(0:00JST台)のhttpdアクセスログを消えないところに保管しておこう。
(ログは古くなると消えてしまう)
後で何かわかるかもしれない。

**root▲▲ ★** · 2010/07/03(土) 01:46:11

とりあえず hayabusa のホームにコピーしておいた。>>375

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 01:48:34

でもまあ自然復活するのであれば、運用上それほどの痛手でもないような。とりあえずは

**root▲▲ ★** · 2010/07/03(土) 01:50:04

ということで、logbufferの挙動不審の原因が知りたいところ。

1) logbufferプログラムの問題
2) FreeBSDのaio(4)のチューニングが不十分
3) FreeBSDのaio(4)に虫がいる
4) 他の何か

**root▲▲ ★** · 2010/07/03(土) 01:57:05

別件の話ではあるけど、こんなのが。

http://www.ruby-forum.com/topic/194043

> If kernel AIO queue overflows then nginx fall back to synchronous IO.

つまり、カーネルの AIO queue は、あふれることもあると。

**root▲▲ ★** · 2010/07/03(土) 01:59:41

で、こいつらをチューニングしれ、ということの模様。

vfs.aio.max_aio_queue (default) 1024
vfs.aio.max_aio_queue_per_proc 256
vfs.aio.max_aio_per_proc 32
vfs.aio.max_aio_procs 32

今の hayabusa では、
vfs.aio.max_aio_queue_per_proc を 256 から 1024 にしてある
(SunOSさんのプログラムでは実際には512らしいですが >>140)
以外は、すべてデフォルトのまま。

**root▲▲ ★** · 2010/07/03(土) 02:01:09

直感では、

> vfs.aio.max_aio_queue (default) 1024

これっぽいかな。

per_proc の増やしぶりに合わせるとしたら、
1024 → 4096 かな。

でもソースさらっと当たらないと、ちょっと不安だな。

**root▲▲ ★** · 2010/07/03(土) 02:06:12

まずは基本のこれやって、と。

%sysctl -d vfs.aio
vfs.aio: Async IO management
vfs.aio.max_buf_aio: Maximum buf aio requests per process (stored in the process)
vfs.aio.max_aio_queue_per_proc: Maximum queued aio requests per process (stored in the process)
vfs.aio.max_aio_per_proc: Maximum active aio requests per process (stored in the process)
vfs.aio.unloadable: Allow unload of aio (not recommended)
vfs.aio.aiod_lifetime: Maximum lifetime for idle aiod
vfs.aio.aiod_timeout: Timeout value for synchronous aio operations
vfs.aio.num_buf_aio: Number of aio requests presently handled by the buf subsystem
vfs.aio.num_queue_count: Number of queued aio requests
vfs.aio.max_aio_queue: Maximum number of aio requests to queue, globally
vfs.aio.target_aio_procs: Preferred number of ready kernel threads for async IO
vfs.aio.num_aio_procs: Number of presently active kernel threads for async IO
vfs.aio.max_aio_procs: Maximum number of kernel threads to use for handling async IO

**root▲▲ ★** · 2010/07/03(土) 02:07:34

で、これか。

%sysctl vfs.aio
vfs.aio.max_buf_aio: 16
vfs.aio.max_aio_queue_per_proc: 1024 # 256から増やし済
vfs.aio.max_aio_per_proc: 32
vfs.aio.unloadable: 0
vfs.aio.aiod_lifetime: 30000
vfs.aio.aiod_timeout: 10000
vfs.aio.num_buf_aio: 0
vfs.aio.num_queue_count: 513
vfs.aio.max_aio_queue: 1024
vfs.aio.target_aio_procs: 4
vfs.aio.num_aio_procs: 4
vfs.aio.max_aio_procs: 32

**root▲▲ ★** · 2010/07/03(土) 02:21:58

あとはとりあえず、明日以降かな。

>>381 の、
vfs.aio.max_aio_queue=4096

を www2.2ch.net でやってみて、まずは問題なさげなのを確認。
/etc/sysctl.conf @ www2 にも追加してみた。

# tuning for aio(4)
vfs.aio.max_aio_queue_per_proc=1024
vfs.aio.max_aio_queue=4096

今日のところは、こんなかんじで。
日曜夕方までは、あまりアクセスできない見込み。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 02:43:17

>>384
ワールドカップについては23時開始は明日が最後なので、
これ以降は日本戦のような高負荷は望めないかな。
決勝も月曜の明け方だしねぇ。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 03:15:33

vfs.aio.num_queue_count: 513 って現在値なのかな
すでに513も居る？

**root▲▲ ★** · 2010/07/03(土) 03:38:52

>>386
httpd を一時的に止めると、その値は 0 になりました。@ www2
他の値は変わりませんでした。

で、SunOSさん版logbufferを動かすと、この値は513にはりつくみたい。

♪ ◆/y.Ychk2JQ · 2010/07/03(土) 05:12:15

>>337
ここでいうログって芋ログのことだと思ってたんだけど違うのかな？
レスはあるけどその芋ログがないとかが起きないように、芋ログ出力の成功を経てdatへの書き出しを行っているのかなと。
まぁそんな面倒な処理にはなってない感じだけどね。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 06:26:10

ウルグアイvsガーナ　神試合だったけど伸びてないな
http://hayabusa-1gbpsgraph.maido3.com/hayabusa/
http://mumumu.mu/bremen/hayabusa.html

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 06:29:10

面白かった、今の試合。
今日の試合で負荷実験は終わりでしょうな。

◆cZfSunOs.U · 2010/07/03(土) 09:02:30

う～む，何が起きてたんでしょうねぇ......＜logbuffer
core は aio_write() 入れる前のやつのようですが，
いずれにせよ何かが起きてたらしいと．

>>386-387 とにかく logbuffer を詰まらせないのを目標に，
aio の並列実行数を思い切った数値にしてる感じです．

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 11:29:47

昨夜23時30分に変なトラフィックが来てる。
攻撃？

banana3244
http://traffic.maido3.com/IQ1Z/9xoI/G2b5/

banana3260
http://traffic.maido3.com/hEnJ/6kEK/QD9x/

**外出先** ◆MUMUMUhnYI · 2010/07/03(土) 11:38:25

>>391
それだとやっぱり、システム全体のキャパを大きくしておくために、
>>384 をhayabusaとkamomeに投入してもらうのがよさそうですね。

/etc/sysctl.confに追加してもらって
/etc/rc.d/sysctl restartするだけなので、動かしながら投入できます。

ぼちぼちというかんじで。

**外出先** ◆MUMUMUhnYI · 2010/07/03(土) 11:54:35

>>393 をkamomeとhayabusaに設定するのをお願いした。

[´・ω・｀] c-24-21-8-154.hsd1.or.comcast.net · 2010/07/03(土) 11:54:47

挙動は変わると思うけど、プログラムで個別にaioに対応するより、
asyncでディスクをマウントして、sysctlのvfs.*dirty*あたりをいじるっていうのも手じゃないのかなと。
SSDとの相性は知らないけど…

**外出先** ◆MUMUMUhnYI · 2010/07/03(土) 11:59:15

>>395
/home を async + gjournal とかにして、
そのへんを別途試してみる、というのはありかもですね。

[´・ω・｀] c-24-21-8-154.hsd1.or.comcast.net · 2010/07/03(土) 12:02:19

>>396
聞きかじりですが、gjournaは2chのような重いサーバーには不向きかもしれません…

**外出先** ◆MUMUMUhnYI · 2010/07/03(土) 12:14:20

>>397
そのへん、ｋｗｓｋききたいです。

**外出先** ◆MUMUMUhnYI · 2010/07/03(土) 12:23:37

>>393-394 は完了したとのこと。
田舎に移動中なので、もうすぐ電波弱くなるかも。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 12:36:35

rootさんの移動っぷりは異常
まさか外国行ってるとはｗ

[´・ω・｀] c-24-21-8-154.hsd1.or.comcast.net · 2010/07/03(土) 12:42:50

>>398
実際に試してみた人から聞いたのですが、「負荷がかかると応答しなくなる」とのことでした。
１年ぐらい前の話なので、それ以来改良されているかどうかわかりませんが…

個人的にはSoftupdate Journalingでしたっけ、あれに期待してます。
さすがに何TBでfsckはもうごめんなので…

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 12:48:03

末尾iが末尾0になったという報告が
帯域が変わったのかな

【news】ニュース速報運用情報591【ν】
http://qb5.2ch.net/test/read.cgi/operate/1277836049/857
857 名前：pw126228031224.24.tik.panda-world.ne.jp(126.228.31.224)[sage] 投稿日：2010/07/03(土) 05:29:00 ID:NLa/0/P00
こうだっけ
2～3日前まではiだったんだけど

Monazilla/1.00 BB2C/1.0

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 12:51:50

>>402
iPhone4らしいからそのせいかも
4はMicroSIMとかで帯域が多少違うかも試練

[´・ω・｀] EAOcf-391p138.ppp15.odn.ne.jp · 2010/07/03(土) 13:44:08

ファイルシステムについて、このあたりが参考になるかも。

http://www.bsdcan.org/2010/schedule/attachments/141_suj-slides.pdf
http://jeffr-tech.livejournal.com/22716.html

**動く動くウゴウゴ２ちゃんねる** · NG

今夜は落ちるでしょ（笑）

[´・ω・｀] EATcf-164p118.ppp15.odn.ne.jp · 2010/07/03(土) 14:03:24

aioの読み書きはカーネルスレッドが行う。例えばLinuxでは[aio/0]などがそのカーネルスレッドに当たる。
そのカーネルスレッドが非preemptableなのにaioを使いまくるとLAがうなぎ登る原因になり得る。
が、Linuxの場合はカーネルのコンパイルオプションでCONFIG_PREEMPT_VOLUNTARYが有効ならば(大抵は有効になっている)、カーネル内の任意の位置をpreemptableにできる。
そのため、そのカーネルスレッド内にpreemptableな場所があれば問題はかなり軽減されるはず (が、実際preemptableな場所があるかは知らない)。
しかし、そうすると読み書き処理が遅れたままとなってしまう…。うーん、微妙? 何か勘違いしているかも。
ちなみにLinuxだとカーネルスレッドの優先具合は確かnice値の初期値が過去に-5だったぐらい(今は0だったはず)。
FreeBSDでどうかは詳しい人に任せた。

**宿泊先** ◆MUMUMUhnYI · 2010/07/03(土) 14:35:27

＞なかのひと

今日記読みました。取り急ぎ。

いろんな意味で、8.0Rはおすすめできません。
ほんの少し待つと出る8.1Rでいきたいです。
（今回は比較的安産のようです）

**宿泊先** ◆MUMUMUhnYI · 2010/07/03(土) 14:38:03

で、既に8.1-RC2が出ている状態なので、
8.1前提でのサーバのパッケージング作業などは、
既に進められる状態になっているはず。

**238** · 2010/07/03(土) 15:03:10

>>255
bbsdにaioを適用したほうよいかなと思ったのは、
datなどに書き込み後、bbsdからhttpd側に応答を
返しているので、それを非同期化することで、
書き込み完了前にhttpdに戻るので、はけがよくなるかと。

ただ、今今はbbs.cgiはそんなにボトルネックに
なっていないのでは？
speedy_backendが50ぐらいしかあがっていないということは、
httpdも50ぐらいしかつかんでないと思うので、datの
読み出しだけなら、残りの約4900のhttpdで応答を返せるはずなので、
詰まらないと。

それよりかは、
・aioのパラメータチューニング
・>>148のチューニング
・FreeBSDの8.1への入れ替え(NCQの有効化)
が効果的かなと。

◆cZfSunOs.U · 2010/07/03(土) 15:20:40

>>409
>bbsdにaioを適用したほうよいかなと思ったのは、
>(ry
>それを非同期化することで、書き込み完了前にhttpdに戻る

そういう意図なら，単に bbs.cgi 側で bbsd からの応答を待たずに
戻ればいいような気はします．そうすると書き込み時のエラーが
利用者に報告されなくなりますが，aio で書き込み完了を待たず
戻るなら結局同じようなことでしょうし．

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 16:14:36

書き込みエラーって規制でのエラーも含まれますか?
それなら止めるのは無理なんじゃないかと…

◆cZfSunOs.U · 2010/07/03(土) 16:27:34

>>411 >>255 の三段落目の下産業を読めばわかるかと．

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 17:22:36

>>412
そう言う観点の話が今まで無かった様な気がしましたので聞いてみた次第です。

bbs.cgiにしろbbsdにしろaio化によって書き込み後の各種メッセージを出す事が
出来なくなると言う話であれば、色々考え直さないと駄目なんじゃ無いかと。

潔くエラー通知無し仕様で突き進むってのでも良いんですけど、特に規制されてるのが
表示されないのはこの板が千客万来で大混乱する様な気がしますｗ

**238** · 2010/07/03(土) 17:25:28

>>410
aio_writeでOS側のキューに入った後のNGは
しょうがないかなと思っていました。

あと、1000overやdatサイズoverは、bbsdでチェックしているのと、
aio_writeでキューに入らなかった場合ぐらいは、書き込み
エラーを返すのがよいのかな、ぐらいの気持ちです。

**238** · 2010/07/03(土) 17:36:02

>>414
ただ、今度はdat読み出しでブロックしそうなので、
SunOSさんの言うとおり、あえてaioを使う効果は
ないのかなとも、思います。

結局ディスクI/O以上のリクエストが来た際、どこで
待ち合わせさせるか、その際レスポンスを遅くさせないようには
どうするのかの話かなとも思います。

◆cZfSunOs.U · 2010/07/03(土) 17:49:00

>>413 早い話，少なくとも「規制されてるのが表示されない」
ということはない，というのが >>412 の趣旨です．

>>414 1000 超えとかは確かにそうですが，その場合
read.cgi などで書き込みフォームが表示されなくなりますし，
まぁエラーが表示された方が親切ではありますが，
どこまで手間をかけるかということとのかねあいですね．

>>415 そうですね．

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 17:49:50

>>413
フローとしてはフツーに考えれば、
1. 規制等の各種チェック(はじかれれば2にはいかない)
2. 外部記憶への書き込み
でしょう。
で、今話している aio_write() の件は 2 の話です。
そこに 1 の話を混ぜても仕方ないと思いますよ。

# bbsd で1のようなことをやっているのかは知りません。

で、 >>410 の「書き込み時のエラー」は 2 で発生したエラーのこと。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 17:50:58

かぶったorz

◆MUMUMUhnYI · 2010/07/03(土) 17:54:24

＞なかのひと
とりいそぎ。乱筆すまぬ。

dmesgを見るかぎりだと、
BIOS的にahciモードに設定変更せずに、
たぶんataモードのままで、最初の8.0Rを入れてしまった気がします。
これだと折角load ahciしても、何の効力も発揮しないです。

デバイス名が、
ataとadで認識されちゃまずいです。
変わるはず。

あと、dmesgしてahciの文字が一つも出てない時点で、
おかしいと気づかないといけない。

ざんねんですがこれだと前に進んではだめで、
PIEでの最初のOS入れの作業からやりなおしです。

◆MUMUMUhnYI · 2010/07/03(土) 18:00:03

で、今単にahciにかえると、
途中でかえたときとおなじになり、
例の/etc/fstabを変えないといけないのと同じパターンになりますから、
立ち上がりません。

というか今回は標準手法の確立も
たぶん目的でしょうから、
そういう意味でも、OSの入れ込み直しから
やってもらうのがよいと思います。

いずれにせよ今のままで先に進まないで!!

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 18:04:18

ふと思ったけど、
> ad4: 476940MB <Seagate ST3500418AS CC38> at ata2-master SATA300
これ500GBのHDDだよね
まあこのHDDは500GBプラッタものらしいから250GBプラッタもの(hayabusaに搭載されてるST3250410ASとか)より早くていいけど

◆MUMUMUhnYI · 2010/07/03(土) 18:07:40

何という名前で認識するかは、
8.0なり8.1が入ったサーバで、
man ahciして確認してくださいです。

くれぐれもですが、
一番だいじなのは手順自体を守ることではなく、
その手順というか行為が、
ちゃんと本来の目的を達成しているかどうかを
きちんと確認することです。

つまりこの場合だと「dmesgがこうなったらおｋ」とか、
「このコマンドでこういう出力が得られればおｋ」
のように、
やったことがちゃんとうまくいったのかのレビューの方法をきちと確立し、
それをもって確認してから前に進む、
というのが大事ということで。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 18:07:51

>>419
PIEが間違えちゃったのか
rootさんがインストール時にahciモードにする手順を作って連絡してたよね？

まあ1度間違えれば2度目は無いだろうし、良い経験になるかｗ

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 18:15:08

おいおい、rootさんがここまで語気を荒らげる事なんて、滅多にないぞ。
なかの人は、きちんと学べよ。

◆MUMUMUhnYI · 2010/07/03(土) 18:17:59

そんなわけで、ataとadじゃなくてahciとada にならないと変です。
man ada してくださいです。

で、なんでかというと、今回のそもそもの目的は、
例のNCQを有効にすることで、
NCQはahciで認識させたうえでディスクをadではなくadaで認識させるのに成功しないと、
現時点では有効にならないからです。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 18:22:22

この辺？
ttp://gihyo.jp/admin/clip/01/fdt/201001/04

◆MUMUMUhnYI · 2010/07/03(土) 18:24:54

そんなこんなで、
これから夕食と宴会らしいので、
少なくとも数時間程度はオフラインでふ。

語気を荒げるというか、
このままの基礎で大きなマンションを建てちゃうと、
後でマンション自体を取り壊さないといけなくなってしまい、
結局大きな手戻りが以下略。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 18:26:02

>>427
姉歯建築みたいな状態になってるってことですね。わかりますｗ

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 18:31:45

しかしNCQやるなら量産型に入る前のどこかの実験鯖でやっておくべきだっただろうJKとしか言いようがない

◆MUMUMUhnYI · 2010/07/03(土) 18:33:33

>>426
それですね。
でもカーネルをつくりなおさなくてももっと簡単にいける、
というのが、れいのload ahciのきもだったはず。

で、atadiskをnodeviceにするのとおなじことを、
6を押したあとでやらないといけないかも、
ということになるのかな。

どなたかかその方法をここに以下略。

[´・ω・｀] 126.26.138.58.dy.bbexcite.jp · 2010/07/03(土) 19:25:01

詳しくはPart49の>>290さんを参照ということで

ミソは、CAMを有効にする前にデバイスが認識されているとマズいということなので
BIOSで最初からAHCIモードにしておけばそもそも認識されず問題無いと

明確にnodeviceとかやるのは、ATA on CAMとかもやりたい時などで良いのでしょう
もちろんカーネルをいじって盲腸になりかねないこいつらを消すべきではありますが

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 21:00:43

【協力願】Boo2008(旧Boo80)で串を食べませんか？　その8
http://qb5.2ch.net/test/read.cgi/operate/1268473561/191
cobra2245、すごく苦しそうだ
ハイブリッドTigerを入れるとかなり改善されるかな

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 21:17:35

メモリだけ増やしてもすぐに使い切りそうな勢いだねbooは

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 22:02:13

手順が確立したら、hayabusaも移転になるのかな
実験鯖とはいえ、OSだけ入れ替えるのは難しそう

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 22:26:02

今swapって何か仕事してんの? なくてもよくね?

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 23:15:33

smapに見えた

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 23:19:05

南西アフリカ人民機構がどうかしましたか？

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 23:32:53

>>427
ここで気をつけておかないとバッドフラグたっちゃうのか

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 23:48:14

dat 側は MAP_SHARED な mmap() を使うというのも面白いんじゃなかろうか。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/03(土) 23:54:41

ウランをバケツで混ぜるような現場に説教しても…
手順書作って「この通りやれ」ってするしか

**動け動けウゴウゴ２ちゃんねる** · 2010/07/04(日) 00:51:14

今日は監視しないのか

◆TIGOI/DrzHH9 · 2010/07/04(日) 01:00:16

>>422中段が自分に向けて言われているような気がする今日この頃。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/04(日) 02:33:48

>>442
手順を作る側ならそうかもしれんな。
手順を渡される側なら余計なことは考えんな。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/04(日) 02:40:19

>>443

作る側なら目標確認は必須だが、作られた手順を使うなら
むしろ余計なことをするのは事故の元だしね
現在は手順構築時点だから無論効果を確認しながらやらないとダメな訳だけど

**動け動けウゴウゴ２ちゃんねる** · 2010/07/04(日) 10:33:37

http://www.asahi.com/digital/av/TKY201007030246.html
これの実況って面白そうだなぁ、でも今は殆どデジタルかなぁー

**動け動けウゴウゴ２ちゃんねる** · 2010/07/04(日) 11:11:00

>>445
俺はアナログとデジタル二画面で見るｗ
んでアナログの音はNHKのTVのラジオの方で聞くと

実況は多分少し盛り上がるだろうけどここに出るような影響はないと思う

**動け動けウゴウゴ２ちゃんねる** · 2010/07/04(日) 11:12:38

まぁ民放とNHKで同時に同じ画面ってめったに無いからねぇ

**動け動けウゴウゴ２ちゃんねる** · 2010/07/04(日) 11:18:29

ただ一分しかないから多分「どーん」がきて終わるだけだろうねえ

ちょっと探したら20年前の携帯TVが出てきたのでこれとワンセグで比べてみようｗ

**動け動けウゴウゴ２ちゃんねる** · 2010/07/04(日) 13:07:15

>>445
面白そうだから録画予約しといた

**動け動けウゴウゴ２ちゃんねる** · 2010/07/04(日) 17:13:43

さてさてもうすぐですね、今は鋼最終回で盛り上がってるみたいですが。

**動け動けウゴウゴ２ちゃんねる** · 2010/07/04(日) 17:15:52

見たいんだけどこれから出かけるんだよねぇ、まあしゃーない。
実況もそうだけどニュー速とかVIPとかでも盛り上がりそうな幹事だよねぇー

>>449
たった1分をｗ

**動け動けウゴウゴ２ちゃんねる** · 2010/07/04(日) 17:29:39

つべに比較動画とかあげられて
後世まで残るんだろうなー

**動け動けウゴウゴ２ちゃんねる** · 2010/07/04(日) 17:30:39

何を期待してるの？
砂嵐でるだけじゃないの？

**動け動けウゴウゴ２ちゃんねる** · 2010/07/04(日) 17:34:42

砂嵐とかピロロロロとか（名前忘れた）
生半可な番組よりは人多いよｗ

**動け動けウゴウゴ２ちゃんねる** · 2010/07/04(日) 17:40:32

よし漏れも見るぞｗ
わざとアナログでｗｗ

**動け動けウゴウゴ２ちゃんねる** · 2010/07/04(日) 17:58:02

俺も密かに楽しみにしてる

**動け動けウゴウゴ２ちゃんねる** · 2010/07/04(日) 18:01:06

終わりましたねえ

♪ ◆/y.Ychk2JQ · 2010/07/04(日) 18:01:30

アナログは全局同じ内容だったね（放送大学を除く）＠東京

**動け動けウゴウゴ２ちゃんねる** · 2010/07/04(日) 18:02:06

砂嵐で少し「どーん」が来たみたい

http://mumumu.mu/bremen/images/hayabusa_h.png

**動け動けウゴウゴ２ちゃんねる** · 2010/07/04(日) 18:02:08

なんなくこなしたって感じですか
hayabusa鯖の地デジ化テストは問題なしと

**名無し的用法** ◆v20hUhbxpM · 2010/07/04(日) 18:02:45

あーおもしろかった

別にぼろぼろの雪だるまでもあれくらい耐えられるだろ

**動け動けウゴウゴ２ちゃんねる** · 2010/07/04(日) 18:02:56

こんなんで問題で他方がアレだがな

**動け動けウゴウゴ２ちゃんねる** · 2010/07/04(日) 18:03:12

17：59の勢いコピペしそびれた(´･ω･`)

**動け動けウゴウゴ２ちゃんねる** · 2010/07/04(日) 18:03:59

>>459
ハガレンに負ける国策って・・・