2ch特化型サーバ・ロケーション構築作戦 Part21

**root▲ ★** · NG

2ch特化型サーバ・ロケーション構築作戦のスレッドです。

・２ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更関連の各種作業や調整事項
・２ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携

等を取り扱います。

現在、複数サーバによる連携により、
サーバ能力のさらなるスケールアップをめざすための「雪だるま作戦」が進行中です。
しかし、問題はあらゆる意味で山積の状態です。

また「２ちゃんねる証券取引所」をはじめとする「株」関連や「Be」の機能強化、
あるいは、次世代の携帯アクセス環境をめざした「べっかんこ作戦」の状況など、
気候も暖かくなり、そろそろ気になりだす季節にさしかかりつつある今日この頃、
あいかわらず２ちゃんねるは、刻一刻と確実に変化し続けています。

**root▲ ★** · NG

tiger2525 (= live22x3) は、HDD あぼーんとのこと。
HDD 交換・OS 再インストールで中の人と調整中。

**root▲ ★** · NG

もののけ姫までに、

・live22x3 復活 & フロントに再投入
・live22x4, live22x5, live22-2 投入 with FreeBSD 6.1-RC2 or 6.1R
・live22, live22x[12] OS バージョンアップ + Apache 更新

をめざすことにしよう。

**root▲ ★** · NG

>>325-327 は、ちと予想外の障害対応のため、明日にでも。
(core は保存しました)

今日は、そろそろこのへんで。

**root▲ ★** · NG

過去ログ(NFS経由)を、すいているlive22のパブリック側で
アクセスするようにしてみた。

**root▲ ★** · NG

live22x4, live22x5 をフロントに再投入。

・OS は 6.1-RC2
%uname -a
FreeBSD tiger507.maido3.com 6.1-RC2 FreeBSD 6.1-RC2 #0: Wed May 3 23:09:45 PDT 2006 root@tiger507.maido3.com:/var/src/sys/i386/compile/I386_TIGER_61 i386

・Apache 2.2.2 + patch + worker MPM + libthr

・カーネルパッチ(FD_SETSIZE) とりあえず導入せず

・PREEMPTION とりあえず有効

**root▲ ★** · NG

以降の予定

cobra2247 稼動
フロントエンドを切り替えつつ、バージョンアップ
バックエンドバージョンアップ(この際にはサービス停止)

**root▲ ★** · NG

cobra2247、バージョンアップの準備していたら
いきなりハングアップした。

KVM 画面もフリーズしている模様。ううむ。

**root▲ ★** · NG

見たところ、カーネルパニックしている模様。
ううむ。

ちょっと、しらべてみます。

**root▲ ★** · NG

savecore: reboot after panic: spin lock held too long

ううむ、これって。

**root▲ ★** · NG

いったん single CPU の kernel に替えてみるか。
なんだかだけど。

◆BFzK/mtqM2 · 2006/05/05(金) 00:49:56

>>347
まだソースがガシガシ更新されているから虫がいるんですかね？

**root▲ ★** · NG

>>348
まだ 6.0R のままなんですよ。< cobra2247
make buildworld の間に panic したという。

ほぼ同じハードウェア構成で 6.0R な ex14 はちゃんと動いているので、
ハードウェア障害の予感も。

**root▲ ★** · NG

カーネル作っている間にまた固まった、、、。 < cobra2247

◆BFzK/mtqM2 · 2006/05/05(金) 00:59:00

メモリかな？

**root▲ ★** · NG

しばらく待ってだめなら、リブート要請を再度出すということで。
(さっき一度出したのですが、その後ちゃんとパニックしてくれたので
いったんキャンセルした)

**root▲ ★** · NG

>>351
ありえますが、、、。どうなんだろう。

**root▲ ★** · NG

だめなようですね。

リブート要請します。< cobra2247

**root▲ ★** · NG

>>325
> あと、kern.dflssiz, kern.maxssiz, kern.sgrowsiz等は設定されてますでしょうか?
> また、Apacheの設定でThreadStackSizeは設定されてますでしょうか?

http://httpd.apache.org/docs/2.2/ja/mod/mpm_common.html#threadstacksize

スタックオーバー風呂ということなら、
大きくする、という手はあるのかも。

**root▲ ★** · NG

>>355
ありゃ、変な変換。

ま、いっか。もちょっとしたらお風呂の時間で。

**root▲ ★** · NG

<IfModule mpm_worker_module>
ThreadStackSize 262144
StartServers 64
ServerLimit 64
ThreadLimit 32
ThreadsPerChild 32
MaxSpareThreads 2048
MinSpareThreads 2048
MaxSpareThreads 2048
MaxRequestsPerChild 32000000
MaxMemFree 64000
</IfModule>

にしてみた。< live22

前に read.cgi のことをやった時に、確か SunOS さんが
65536 がデフォルトって言っていたっぽいような気がするので、
とりあえずスタックサイズを4倍にしてみたつもり。

**root▲ ★** · NG

%uname -a
FreeBSD tiger2524.maido3.com 6.1-RC2 FreeBSD 6.1-RC2 #0: Thu May 4 10:04:11 PDT 2006 root@tiger2524.maido3.com:/home/src/sys/i386/compile/I386_TINYTIGER_61 i386

@ live22x2

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 03:33:44

>>357
FreeBSD 6.x のデフォルトのスレッドスタックサイズは1MBです。

**root▲ ★** · NG

>>355 >>357
リンク先を読んでみると、

スレッドスタックサイズのデフォルト値が比較的小さく設定されているプラットホーム
(例えば HP-UX) では、自動変数用の領域で大きな容量を使用するサードパーティ製
モジュールのために Apache がクラッシュする場合もあります。そのモジュールは他の
プラットホームではスタックサイズが大きいために、快調に動作するかもしれません。
このタイプのクラッシュは、ThreadStackSize で OS のデフォルト値より大きな値を指定
することで解決します。サードパーティ製モジュールでこの処置が必要であると記載
されている場合か、Apache の出力するメッセージでスレッドスタックサイズが
小さすぎると指摘されている場合にのみ、この調整をしてください。

デフォルトスレッドスタックサイズが、Web サーバ用途に必要な量よりも明らかに
大きすぎる場合、ThreadStackSize を OS のデフォルト値よりも小さな値にすることで、
子プロセスあたりのスレッド数をより多く持たせられるようになります。このタイプの
調整は、テスト環境でウェブサーバを完全にテストできる場合に限って行なうべきです。
まれに多数のスタックが要求されるリクエストを受けることがあるかもしれないからです。
Web サーバの設定を変更すると、現在の ThreadStackSize の設定が取り消される
場合があります。

…ううむ、大きくするのがよいのか、小さくするのがよいのか。
あるいは実はあまり効果がないのか。

とりあえず、今は >>357 にしておくか。

**root▲ ★** · NG

>>359
1000000 かな。それとも 1048576 ?

◆SSu.zv/rvs · 2006/05/05(金) 03:42:26

スタックは誰が使うスタックですか?

**root▲ ★** · NG

だんだん、思い出してきました。

前は、dso 版 read.cgi でこの局面になったですね。
auto 変数で 512M のバッファとかとっていて、
それが Apache 2.0 の worker MPM ではうまく動かなかったんでした。

ちょっと、過去ログを見てみるか。

**root▲ ★** · NG

>>362
httpd の 1 スレッドのはず。

◆SSu.zv/rvs · 2006/05/05(金) 03:44:36

512M?

**root▲ ★** · NG

で、>>363 は、
SunOS さんのアドバイスで、apr_palloc() を使って動的にとるようにして、
解決したのでした。

**root▲ ★** · NG

× 512M
○ 512K

◆SSu.zv/rvs · 2006/05/05(金) 03:45:41

それはヒープ? >>366

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 03:46:14

>>361

http://www.freebsd.org/cgi/cvsweb.cgi/src/lib/libthr/thread/thr_private.h.diff?r1=1.42&r2=1.43
なので、1048576。
あと、64bit だと2MBがデフォルトですね。

65536は、5.4までのデフォルト。
(5.5は6.xと同じになるみたいです)

◆SSu.zv/rvs · 2006/05/05(金) 03:46:50

私の中ではスタックは 1M はあるという意識で組んでいたり、

**root▲ ★** · NG

read.cgi の件は、これですね。

read.cgi再開発スレ Part2
http://qb5.2ch.net/test/read.cgi/operate/1105909861/428 あたり。

**root▲ ★** · NG

>>368
そのはずです。
向こうの read.cgi スレでやったはず。

**root▲ ★** · 2006/05/05(金) 03:48:29

>>369
なるほど、5.4R までのデフォルトと変わっているですか。

>>370
そんなわけで、64k しかなかったと。

◆SSu.zv/rvs · 2006/05/05(金) 03:49:05

1スレッドのスタックとすると
.dso 等にはどれくらいの残りがあるんですかねぇ

**root▲ ★** · 2006/05/05(金) 03:49:50

ということは、これではないっぽい、、、のかな。
あるいは 1M にしたことが、副作用を呼んでいるのか。< live22x

# ってことは、Apacheのドキュメントにあるように
# あえて少なくする(5.4Rの時のように)ことも、ありなのかしら。

**root▲ ★** · 2006/05/05(金) 03:50:31

>>374
ん、ちとはっきりとはわからんです。
(そこに来るまでにどこまで消費されているか、ってことですね)

◆SSu.zv/rvs · 2006/05/05(金) 03:52:50

どれだけ同時に起動されていて
どのように使っているのかわからないので、一概には言えないけど、
もと　65536 を read.dso に渡していたならそれを巨大にするのはかなり危険かも、
ただし Apache等で必要ならまた別の話ですが、

**root▲ ★** · 2006/05/05(金) 03:55:19

>>377
live22 は read.cgi 動いてないですが、
フロントにも同じことがいえるのかもですね。 < read.cgi の話

で、FreeBSD 6.0R で変わった(でかくなった)とすると、
そこの部分を元のように＊減らして＊みる、というのは、
意味があることなのかも。

**root▲ ★** · NG

FreeBSD 6.0R では、こうか。

/*
* Miscellaneous definitions.
*/
#define THR_STACK_DEFAULT (sizeof(void *) / 4 * 1024 * 1024)

**root▲ ★** · NG

SunOS さんが試したのは、5.3R か。

read.cgi再開発スレ Part2
http://qb5.2ch.net/test/read.cgi/operate/1105909861/482

5.4R まで … 一律64K
6.0R, 5.5R 以降 … 32bit だと 1M 、64bit だと 2M

ということですか。

**root▲ ★** · NG

…ということは今の設定(>>357)は結果として、
1スレッドあたりのスタックサイズを 1/4 にしたことになるのかな。

**root▲ ★** · NG

という前提で >>360 を読むと、

> ThreadStackSize を OS のデフォルト値よりも小さな値にすることで、
> 子プロセスあたりのスレッド数をより多く持たせられるようになります。

が、とても気になりますね。

◆SSu.zv/rvs · 2006/05/05(金) 04:10:12

なるのではないかと、

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 04:11:39

通常、減らすのは、
ThreadsPerChild に 3000 とか、大きな値を指定する場合で、
普通なら減らす必要はないと思います。

**root▲ ★** · NG

つまり、これで試してみることには、おおいに意味があるかもしれないと。

**root▲ ★** · NG

>>384
ふむ、、、。

でも問題きりわけのためには、意味があるのかもですね。< 今の設定

◆SSu.zv/rvs · 2006/05/05(金) 04:14:06

スタック使いすぎでスワップが発生しているなら意味があるのではないかなぁ
そうでないなら意味ないと思う

**root▲ ★** · NG

>>387
メモリは余裕ある状態と思います。< live22

◆SSu.zv/rvs · 2006/05/05(金) 04:15:39

「スタック使いすぎで」はランボーないい方か、

子供たちにスタックを与えすぎて合計のメモリが逼迫しているならってことです

**root▲ ★** · NG

…さて、そんななか明日以降の予定。

○ live22x4, live22x5 フロントに再投入(済)
○ live22x2 OS・Apache 更新(済)
・live22x3 復活 & フロントに再投入
・live22-2 (= cobra2247) 投入 with FreeBSD 6.1-RC2 or 6.1R => まずは問題解決しないと
・live22, live22x1 OS バージョンアップ + Apache 更新

**root▲ ★** · NG

>>389
なるほど。そういう意味ですか。

…このへん、状況の整理が必要そうですね。
>>325 >>328 の kern. なんたらの話も含めて。

で、今日はちとエネルギー切れという感じです。
といったわけで、そろそろ店じまいの時間で。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 04:31:56

>>325は私の書き込みですが、
procmapを使用して、VMのマッピング状態をみることにより、
Cannot access memory at address 0xXXXXXXXX の
0xXXXXXXXX がマッピングされているのか、
そのアドレスがスレッドスタック領域内か付近か見たかったわけです。

FreeBSDはgrow stackを使用するので、スレッドスタックが1MBだとしても、
最初は128kの領域しか取りません。以後は必要において1MBまで拡張されます。
通常の状態であれば、procmapを使って稼働中のhttpdの状態を見たときは、
下の方に多くの128kの領域があるはずです。
もし、スタックが拡張されていれば128k+拡張された領域が見えます。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 04:36:01

スタックを小さくするのは、単にアドレス空間の枯渇を防ぐためですよ。

例えば某OSのデフォルトだと、スタックは1スレッドあたり10M程。
ということは、32bit環境では、どんなに頑張っても
400スレッド(事実上200以下)しか出来ないわけですね。

これを増やすために、1スレッドのサイズを減らすということで。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 04:37:17

kern.dflssiz, kern.maxssiz, kern.sgrowsiz は、
これらを設定した方が良いという意味ではなくて、
設定することにより動きが変わってくるので、確認の意味で書きました。
特に、kern.sgrowsizは、上記の最初の128kというサイズに影響を与えます。

kern.dflssiz, kern.maxssiz は、limit などで表示されるスレッドの制限に
影響を与えますが、これは最初の main スレッドの制限なので、
worker の場合はあまり関係ありません。

◆SSu.zv/rvs · 2006/05/05(金) 04:38:00

ちなみに、今話しているのはPentinumなマシンなんですよね?

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 04:51:09

>>393
そうですね。
FreeBSDはi386(32bit)だと、デフォルトのサイズは1MBなので、
デフォルトでは2500弱のスレッドしか作れないです。
よって、ThreadsPerChildもそのあたりが限界。
もし、ThreadsPerChildを3000とかにすると、pthread_create()が失敗するので、
Apacheが起動できません。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 04:55:53

>>395
それは、amd64(64bit)ではなくて、i386(32bit)の話という意味でしょうか?

◆SSu.zv/rvs · 2006/05/05(金) 04:56:31

x86といったほうがいいのだろか、

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 05:01:22

設定うんぬんということならば、
同じFreeBSDである限り、i386でもamd64でも変わらないでしょうが、
amd64だとVMのアドレス空間が莫大になるので、
アドレス空間の枯渇の問題は、ほぼ起こらないと思っていいでしょう。

**root▲ ★** · NG

おふろを出ると、話が進んでいるですね。

>>392
ふむふむ。

>>393
なるほど、わかってきました。

>>394
そういうことでしたか。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 05:07:55

なんか「おいでよどうぶつの森」の博物館の
フクロウさんを思い出したのは内緒です。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 05:10:59

あと、kern.sgrowsizを設定しているかどうかにより、
Red Zone が作成されるかどうかにも影響を与えます。

FreeBSDは Thread A のスタックと Thread B のスタックの間に
Red Zone と呼ばれるアクセス読み書き不可の領域をわざとつくり、
Thread A が Thread B のスタックを破壊するのを防ごうとします。
ただ、grow stack のせいで、デフォルトの設定だと
Red Zone が作成されないんですね。

kern.sgrowsizの設定を尋ねたのは、Red Zone が作成される設定になっているか
確認する意味もありました。

**root▲ ★** · NG

>>402
なるほど、
ということは、Red Zone を作る設定にすると、grow stack ではなくなる、
ということですか。

>>401
そのこころは、、、。

◆SSu.zv/rvs · 2006/05/05(金) 05:15:07

なんか　何十年たっても結局同じ話をしているんだなぁ
面白いっすね、

これからプログラムを書こうという人は是非ここを学んで欲しいと思ったりなんかして、
hehehe

**root▲ ★** · NG

>>404
> hehehe

表情が思い浮かんだですよ。

で、live22x3 HDD 交換完了とのこと。
これは明日以降、たんたんと。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 05:22:26

>>403
これは仕様というか、まあバグに近いものだと思いますが、、、

1) Thread Library (libpthread or libthr)は、1MB + 4k(Red Zone)の領域を
mmap()を使用して作成する。
2) カーネルは、grow stack を使用するので、実際には 128k の領域しか作らない。
3) Thread Library は、最後の 4k の領域を、mprotect()を使用して、
読み書き不可に設定する。
4) カーネルは、最後の 4k は実際にマッピングしてないので、何もしない

ということで、デフォルトでは Red Zone は作られないんですね。
なので、Red Zone を作成するためには、デフォルトの1MBという大きさを
128kより小さくするか、kern.sgrowsiz を大きく設定して、最初から大きな
領域をスタックとして割り当てるかどちらかをする必要があります。

ちなみに、これも動きの説明で、kern.sgrowsiz を設定した方が良いという
意味ではないです。

**root▲ ★** · NG

cobra2247 ですが、oyster901 = ex14 でコンパイルした
GENERIC カーネルでブートしたところ、make buildworld buildkernel 通りました。

# -j 4 つけると 1 error になり、
# /usr/obj の下にひとつ usr -> var なシンボリックリンクが必要だった。

**root▲ ★** · NG

live22x3 6.1-RC2 で復活。
これで、フロントはとりあえずの完成形に。

cobra2247 をやるか。

**root▲ ★** · NG

>>408
いや、live22x1 のバージョンアップがありますね。
live22 もか。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 16:31:02

>>409
姉（live22）のバージョンアップ作業ですが今日の深夜が無難な時間帯です。
明日はＦ１にダイバスターとサッカー、明後日はＦ１とサッカーがあります。

**root▲ ★** · NG

>>410
んじゃ、そうしますかね。

2時間程度、全部止める必要があるので。

**root▲ ★** · NG

【実況】　live22x　Part18
http://qb5.2ch.net/test/read.cgi/operate/1145623625/253

スケジュールしました。
準備しておくか。

**root▲ ★** · NG

-i 2 -I 60 → -i 10 -I 120 にした。 < bbsd

**root▲ ★** · NG

signal 10 で落ちる症状は変わらない模様ですね。

バージョンアップ前に、
いったん、 ThreadStackSize 262144 を元に戻すか。
他もいったん、設定の棚卸というかんじで。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 22:49:20

>>322の
> esp 0xb858aa3c 0xb858aa3c
> ebp 0xb858aa58 0xb858aa58
ってのは、スタックオーバーフローなんですかね？

まあ、スタック領域がこの辺にあってもおかしくは無いのですが
むしろ、バッファオーバーフローで変な領域にspが設定されている気もします。
(ebpの退避されている領域にゴミが書かれると、espにも伝播して壊れるはず)

実行環境(FreeBSD/amd64)での、スタック/ヒープ/コード(リテラル)/静的データ(bssが別ならそれも)の
それぞれのおよその配置と比べてみて
esp/ebpに設定されているのがどの領域なのかは
確認してみたいところですが。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/05(金) 22:55:44

それと、
関連スレは全然チェックしてないのですが

Signal10の原因はOSかApacheのコアだというのは間違いないのですかね？
SpeedyCGIとmod_cgidso、及びdso版read.cgiが原因という可能性は？

というのは、もし単純なバッファオーバーフローがapacheのコア部分にあったら
簡単に発見されて修正されそうな気がするので
もしバッファオーバーフローであれば、追加モジュールに原因があるのではと。

**root▲ ★** · NG

<IfModule mpm_worker_module>
StartServers 64
ServerLimit 80
MaxClients 640
ThreadLimit 16 <= 8
ThreadsPerChild 16 <= 8
MinSpareThreads 64
MaxSpareThreads 512
MaxRequestsPerChild 1000000
MaxMemFree 16000
</IfModule>

こうしてみた。 < www/menu

**root▲ ★** · NG

>>416
live22 は read.cgi 動かしてないので read.cgi (cgidso) 動いてないです。

**root▲ ★** · NG

cobra2247 準備が整いました。
あと、www2 の4号機と5号機の登録も。

まずは DNS 登録依頼いきます。

以下の追加登録をお願いします。

+live22-2.2ch.net:206.223.150.52:300
+www2f4.2ch.net:206.223.150.110:300
+www2f5.2ch.net:206.223.150.42:300

**root▲ ★** · NG

で、live22-2 を動かすには、
read.cgi と bbs.cgi を更新する必要があるですね。

もちろん、掲示板システムの入れ込みとか F22 (F15?) の起動とか、
そのへんも必要で。

◆SSu.zv/rvs · 2006/05/05(金) 23:44:55

なんでなんで?

前回その話になったとき、 live22x? を使うんじゃなく
別のvirtualをどんどん追加していくと言っていたような、

**root▲ ★** · NG

>>421
なるほどなるほど。

live22x っていう名前、変えてもいいんだった。
うっかりしていました。

news20 でよいですかね。

**root▲ ★** · NG

つまり、

cobra2247 = news20
tiger2523, 2524, 2525, 503, 507 = news20x1 ～ news20x5

**root▲ ★** · NG

というわけで >>419 はとりさげて、申請出しなおしますです。

**root▲ ★** · NG

というわけで、

live22x という名前で、複数バックエンドにする

もんだと、勘違いしていました。すんません。
news20(x) のつもりで、設定ごにょごにょしてくるです。

◆TWARamEjuA · NG

なんだか様子が変ですー
http://sv2ch.baila6.jp/server.cgi?server=memories.2ch.net

**root▲ ★** · NG

>>426
んーむ、httpd の暴走ですね。
これも原因つきとめないとなぁ。

**root▲ ★** · NG

ということで、改めて DNS 登録申請いきます。

以下の追加をお願いします。

+www2f4.2ch.net:206.223.150.110
+www2f5.2ch.net:206.223.150.42
+news20b.2ch.net:206.223.150.52
+news20f1.2ch.net:206.223.150.64
+news20f2.2ch.net:206.223.150.74
+news20f3.2ch.net:206.223.150.84
+news20f4.2ch.net:206.223.150.110
+news20f5.2ch.net:206.223.150.42
+news20.2ch.net:206.223.150.96

**root▲ ★** · NG

>>390
○live22x3 復活 & フロントに再投入(済)
○live22 OS バージョンアップ(済)

・news20 構築 DNS 変更依頼中、DNS 登録完了後作業継続予定
・live22x1 OS バージョンアップ + Apache 更新これから

**root▲ ★** · NG

#!/bin/sh
exec 2>&1
exec env - TZ="JST-9" PATH="/usr/sbin:/usr/bin:/bin:/usr/local/bin" \
LANG="ja_JP.SJIS" \
setuidgid ch2live22 /usr/local/sbin/bbsd -f \
-c -b 192.168.100.1 -d /home/ch2live22/public_html \
-i 10 -I 120 -n 8 -p 2222 -s live22x.2ch.net

bbsd の nice 値 -20 をやめてみた。(きりわけのため)

現在、PREEMPTION なし以外は、概ね通常のサーバ設定。

**root▲ ★** · NG

寝る前に、news20 関連のアカウント情報をメールしておくです。

**root▲ ★** · NG

私の環境では見えるみたい。
http://news20.2ch.net/

そのうち、done. が来るかなと。

# 掲示板システムは、news20b に作ることになるです。 > かっこいいおにいさん

▲ ◆SANUKI/VII · NG

news20ﾐｴﾀ＼(^o^)／

**動け動けウゴウゴ２ちゃんねる** · 2006/05/06(土) 14:19:28

(ﾟ∀ﾟ)

**動け動けウゴウゴ２ちゃんねる** · 2006/05/06(土) 15:29:27

おらわくわくするぞ

**動け動けウゴウゴ２ちゃんねる** · 2006/05/06(土) 18:23:49

6.1-RELEASE タグ来てますね。
ちょっとだけ遅かった?

む P061198250186.ppp.prin.ne.jp · 2006/05/06(土) 18:56:17

きましたか。
ということは今週中にはアナウンス出る感じかしら。

**動け動けウゴウゴ２ちゃんねる** · 2006/05/06(土) 19:00:14

>>437
むむむさん、memoriesが例によって例の調子です。