2ch特化型サーバ・ロケーション構築作戦 Part34

**garnet ★** · 2009/08/17(月) 16:52:30

2ch特化型サーバ・ロケーション構築作戦のスレッドです。

・２ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更関連の各種作業や調整事項
・２ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携

等を取り扱います。

前スレ:
2ch特化型サーバ・ロケーション構築作戦 Part33
http://qb5.2ch.net/test/read.cgi/operate/1249734498/

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 00:29:04

>>814
復旧の見通しはどれくらいでしょうか？
明日の朝までとかメドは立ってますか？

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 00:30:48

>>814
FreeBSD 8はgcc-4.2.1とあります。最適化は不明。
Ubuntuはgcc-4.4.1です。最適化は-march=i486 -mtune=686だったかと。

● ◆SUAMA.Cbav5m · 2009/10/02(金) 00:32:02

ちょっとalpha6起動して確かめてみるみる

**root▲▲ ★** · 2009/10/02(金) 00:34:30

>>816
セットアップはたんたんと進めているので、
(今/usr/local の下作ってます)、寝るまでには終わるかと。

で、セットアップできたらDNS変更依頼かけて、
あとはKVM接続待ちかなと。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 00:35:21

あ、AMD64(x86_64)ってありますね。
だとすれば最適化オプションの実質的な違いは無いかと。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 00:35:58

でも今日はrootさんお仕事で日中何かあったら・・・。

● ◆SUAMA.Cbav5m · 2009/10/02(金) 00:36:18

確かめた。
>>818ですね。

● ◆SUAMA.Cbav5m · 2009/10/02(金) 00:36:35

>>819だたorz

**root▲▲ ★** · 2009/10/02(金) 00:37:33

ふむふむ。>>817 >>820

FreeBSD に付属の gcc は、4.2.1 から上がりそうもないですもんね、、、。
なんだか GPL3 のライセンスがいやだという話だと噂で聞きましたが、
違ったかも。

● ◆ANGLERlqvM · 2009/10/02(金) 00:37:39

>>819
すると本格稼動は明日以降ですね。

**root▲▲ ★** · 2009/10/02(金) 00:41:13

airline 板が今だめだから、
コンパイルしてる間 engei 板でも ROM ろうと思ったら、
そこもだめだった、、、。(´･ω･｀)

仕方ない、ドイツ語版ハイジでも見るか。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 00:41:44

>>824
本当かどうかは知りませんが、llvmのclangに移行するって話を聞きました。

**root▲▲ ★** · 2009/10/02(金) 00:44:54

>>827
ぐぐったらだいちくんの記事がひっかかりました。
BSDCan 2008で発表あったのね。

【レポート】GCCに匹敵するコンパイラ?! LLVM - BSDCan2008
http://journal.mycom.co.jp/articles/2008/06/03/bsdcan6/index.html

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 00:48:58

今後の流れは、

代替サーバセットアップ→rootさんが寝るまで？
起きてから旧サーバーからのデータ移行→あれっ？
更に補完鯖にHDD乗せ替えして代替サーバーに→ほっ

ってとこ？

**root▲▲ ★** · 2009/10/02(金) 00:50:15

>>829
1行目はたぶんそんなとこです。

2行目以降は、祈りましょう。

● ◆ANGLERlqvM · 2009/10/02(金) 00:57:36

祈るしかありませんね。
gimpには+板ってWalkerだけでしたっけ？

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 00:57:48

横からですが、似たような業界で、似たようなトラブルを知ってる自分としては、
rootさんお疲れ様ですと言いたい

**root▲▲ ★** · 2009/10/02(金) 00:59:06

>>832
仕事でやってる人は大変ですね。

# 私も遠い昔はそんな仕事してますた、、、。

● ◆ANGLERlqvM · 2009/10/02(金) 01:01:03

現役です。HDD故障は本当に泣けます。
言いたいことは一杯あるけど、ごにょごにょ。。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 01:01:24

>>828
正直言ってllvmはまだ最適化がしょぼいです。
しかも大域プロファイリング技術(oprofileやperfなど)が発達してきているのでJITの手法は今後更に無意味化すると思います。

意味あったとしても経験的に分岐ミス無くして自動インライン化で一割高速化が限度でしょう。
既存の静的な技術であるgccの-fprofile-generate/-fprofile-useに比べ動的だと大域で最適化できるという利点はありますが、オーバーヘッドの事を考えるとかなりマイナスな気がします。

**root▲▲ ★** · 2009/10/02(金) 01:02:11

femnewsplus
moeplus
namazuplus
news5plus
owabiplus
scienceplus
ticketplus
wildplus

だったかな。>>831

**root▲▲ ★** · 2009/10/02(金) 01:03:49

dqnplus がここになかったら、
酒井法子被告の時に、もっとサーバダウン被害が広がっていたかと。

● ◆ANGLERlqvM · 2009/10/02(金) 01:04:01

>>836
万が一ticketplusが駄目だった場合は、Walker+記者リストを私が復旧するとして。
あとは、あらいぎまちゃんに任せよう。そうしよう。任せた。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 01:08:08

**root▲▲ ★** · 2009/10/02(金) 01:09:31

vfs.lookup_shared と、
vm.pmap.pg_ps_enabled はデフォルトで 1 になってるみたい。

/etc/sysctl.conf と /boot/loader.conf の該当行をコメントアウト。
で、リブート中。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 01:12:15

>>824
私もどこかで、gccが4.2.1で止まってるのはGPL2な最終Ver.だからというのを見た事が。
gccに限らず、FreeBSD本体にはGPL3なコードは入れたくないっぽいという話ですね。
そこに、BSDライセンスなllvmがあるからそりゃいいね！ってのが今の流れだったと思います。
大地さんの記事で、llvmに関しては現状デグレッションもあるとかいう話なので
まだ当分の間FreeBSDはgcc 4.2.1で行くんじゃないかと思います。

● ◆ANGLERlqvM · 2009/10/02(金) 01:12:53

>>839
Walker+は私。
地震速報はなまず★さん。
芸能音楽速報は赤翡翠★さん。
後はあらいぐま編集長の掌握範囲ですね。

こんな感じだったかな？

**root▲▲ ★** · 2009/10/02(金) 01:14:35

>>841
> FreeBSD本体にはGPL3なコードは入れたくないっぽいという話ですね。

そんなかんじみたいですね。

>>840
8以降はこれが標準になったということで、以下コメントアウト。

/etc/sysctl.conf
↓
#vfs.lookup_shared=1

/boot/loader.conf
↓
# enable "Superpages"
#vm.pmap.pg_ps_enabled=1

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 01:22:39

>>842
一応キャッポ設定権のあるお星様（板長）は
萌えニュース＋のオプーナ ★さん
国際ニュース＋のパキュンパキュン峰富士おρρρ ★さん
あと最近見かけないけど科学ニュース＋の外道 ★さん

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 01:23:16

復旧作業ご苦労さまです。
7月末に会社のDBサーバのUPSが逝って、Solarisのシステム関連スライスが
目茶苦茶になった時は死んだなぁ…データは外部ストレージだったから、
ほぼ無傷だったのが幸いだったけど。

>FreeBSD tiger3546.maido3.com 8.0-RC1 FreeBSD 8.0-RC1 #0: Thu Oct 1 14:16:24 UTC 2009

2chの運営さんってチャレンジャブルなんですね。
先月、自宅鯖のHDDがお逝きになって、やっと
xxx.hoge.net 7.2-RELEASE FreeBSD 7.2-RELEASE #0: Fri May 1 08:49:13 UTC 2009
に上げたばかり。8.0系は様子見中。

● ◆ANGLERlqvM · 2009/10/02(金) 01:24:13

>>844
んじゃ、その人たちが復旧するのかな？
ニュース系は大変だろうなぁ。。

**root▲▲ ★** · 2009/10/02(金) 01:27:30

>>845
とりあえず RC になったんで、、、。
そんな私ですが、さすがに HEAD ブランチで試す勇気はないです。
その点では、8.0-BETA2 を実戦投入した maido3.com の中の人のほうが
もっとチャレンジャブルかと。

そういいながらも、その昔 5.3 の BETA 版を入れて試したことあります。
ex7 だったかな。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 01:27:37

>>845
>Solarisのシステム関連スライスが目茶苦茶に
Solarisは良く知らんけども、ジャーナリングファイルシステムがあるなら電源断ぐらいで壊れないはずでは?

**root▲▲ ★** · 2009/10/02(金) 01:29:56

>>848
「人生には上り坂と下り坂と『まさか』がある」

これまでの人生で学んだことの一つです。

**赤翡翠 ★** · 2009/10/02(金) 01:30:02

データが全部飛んでしまってるなら
設定し直し大変そう。

全員の分は把握してないですし。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 01:32:32

>>839
昨日チェックしたときの記者数です。

スレ立てお手伝いさんの人数＠２ちゃんねる（抜粋）
http://gimpo.2ch.net/test/kisya.cgi
---------------------------
wildplus = 94
moeplus = 75
femnewsplus = 58
scienceplus = 46
owabiplus = 29
news5plus = 51
namazuplus = 1
musicnews = 7
ticketplus = 15

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 01:35:19

>>849
今調べた所、Solarisでは1TB未満のファイルシステムでは標準でジャーナリングファイルシステム(UFS ロギング)では無いものが作られるようです(!)
これはひどい

● ◆ANGLERlqvM · 2009/10/02(金) 01:36:10

>>850
Walker+は記録に残してるんで、復旧は可能です。
それでも時間は、そこそこかかると思いますけど（汗

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 01:41:49

>>848
それが、何故かシステム関連のスライスだけ logging が無効に設定され
てたんですよ。それで fsck かけたらえらいことに…。
立ち上げた SIer の偉いさん呼びつけて小一時間説教しましたけど。

**赤翡翠 ★** · 2009/10/02(金) 01:43:57

私が自分で設定したもの以外は知らないんですよね。

こういうのもバックアップ取っておけばよかったのかな。
（取ろうと思えば取れますね。確かに）

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 01:44:13

>>847
この辺かなあ

【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part15
http://qb5.2ch.net/test/read.cgi/operate/1093068260/

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 01:44:32

キャップのバックアップって各自でやってるのか・・・

● ◆ANGLERlqvM · 2009/10/02(金) 01:49:35

キャップのバックアップは登録者個人の判断ですよ。
私は仕事柄、＊機械は絶対に壊れるもの＊と思ってますから
記録を残していただけです。
癖みたいなものです。

qb5のHDDが死んだ場合も大変そうですが。。
まぁ、誰かがバックアップしてるでしょ。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 01:50:59

>>854
>logging が無効に設定され
あーやっぱり。
ここら辺、Linuxが一番楽ですね。ext3 (標準)かreiserfs使ってれば問題無いという。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 01:52:15

あ、最近だとext4になるのかな。まだ使ったこと無いけど。

**root▲▲ ★** · 2009/10/02(金) 02:07:20

>>856
もう5年も前ですか。
確かPIE訪問2回目ですね。

そういえば、最近ずっとPIEに行ってないですね。

**root▲▲ ★** · 2009/10/02(金) 02:10:47

さて、器できた。

DNS更新依頼してきます。

**root▲▲ ★** · 2009/10/02(金) 02:18:03

以下のDNS変更を依頼します。

・バーチャルホスト収容サーバの変更

(現状)
+gimpo.2ch.net:207.29.247.145:300

(変更後)
+gimpo.2ch.net:207.29.225.195:300

**root▲▲ ★** · 2009/10/02(金) 02:21:12

>>863
依頼済。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 02:22:56

rootたん乙です

● ◆ANGLERlqvM · 2009/10/02(金) 02:25:10

お疲れ様です。
中身の方は、明日以降かな。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 02:27:29

; <<>> DiG 9.4.3-P2 <<>> @ns1.maido3.com gimpo.2ch.net
; (1 server found)
;; global options: printcmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 24841
;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 2, ADDITIONAL: 2
;; WARNING: recursion requested but not available

;; QUESTION SECTION:
;gimpo.2ch.net. IN A

;; ANSWER SECTION:
gimpo.2ch.net. 300 IN A 207.29.225.195

変わりましたね。root さん乙です。

● ◆ANGLERlqvM · 2009/10/02(金) 02:30:39

ttp://gimpo.2ch.net/
切り替わりましたね。

p2188-ipbf3107hodogaya.kanagawa.ocn.ne.jp · 2009/10/02(金) 02:32:16

見えた＠建設予定地

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 02:32:24

予定地が見えるお。乙んこ。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 02:32:45

乙乙

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 02:38:44

乙

**root▲▲ ★** · 2009/10/02(金) 02:39:16

DNS変更完了のお知らせが来ました。
当然ですが、今は建設予定地しかありません。

KVM接続を確認でき次第、次の段階へと。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 02:39:18

gimpo.2ch.net建設予定地見えました。深夜までお疲れ様です(｀･ω･´)ゞﾋﾞｼｯ!!

● ◆ANGLERlqvM · 2009/10/02(金) 02:39:58

>>873
このまま続行ですか？

**root▲▲ ★** · 2009/10/02(金) 02:41:31

さて、おふろ入ってきます。
その間にKVMが来たら、、、。

**root▲▲ ★** · 2009/10/02(金) 02:42:35

>>875
かみのみそしる。

**root▲▲ ★** · 2009/10/02(金) 02:43:38

あ、そうそう。重要なもの忘れてた。

tiger3546.maido3.comの転送量グラフ
http://traffic.maido3.com/Cwwk/1cMG/JYBC/

● ◆ANGLERlqvM · 2009/10/02(金) 02:49:28

うへぇ。
久しぶりに寝たら負け組みの展開ですか。

**root▲▲ ★** · 2009/10/02(金) 02:56:36

>>879
いや、時が来れば寝ますよ。

「体が第一、壊したら何もできない」

これも >>849 同様、これまでの人生で以下略。

● ◆ANGLERlqvM · 2009/10/02(金) 02:58:30

>>879
そうですね。
んじゃ、寝よう。
久しぶりの寝床だし。
rootさんも無茶をしないように。

**root▲▲ ★** · 2009/10/02(金) 02:59:30

>>881
> 久しぶりの寝床

うむむ、ごむりなさらず。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 03:02:30

自律神経失調症の恐怖

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 03:08:09

アルツハイマーもね
http://slashdot.jp/science/article.pl?sid=09/09/29/0322243

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 03:10:08

尿管結石じゃね？

FOX ★尿管結石で療養中
http://tsushima.2ch.net/test/read.cgi/news/1254394426/

**root▲▲ ★** · 2009/10/02(金) 03:12:26

新しいIPアドレスをstatsに登録した。

予告なく寝落ちする予定。

**root▲▲ ★** · 2009/10/02(金) 03:19:46

さいごにメールチェックしたら、
中の人からKVMつながったというメールが来てますた。

しかし、サーバはハングしている模様。
リブート依頼中。

**root▲▲ ★** · 2009/10/02(金) 03:22:58

コンソールつかめた。
シングルユーザで上がった。

データはとりあえずあるみたい。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 03:22:59

なんというタイミングで睡眠妨害メールが来てるんだ
無理してるなら寝なさい、rootたん

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 03:23:17

rootたん、無理しないでね
｜つc■~

**root▲▲ ★** · 2009/10/02(金) 03:25:18

ネットワークも無事起きたようだ。

データ転送が完了するまで、
新しい gimpo の httpd 落とします。

>>889
どうせしばらくかかるので、データ転送流して寝ようかなと。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 03:26:45

>>891
もう、横になったほうがいいかと

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 03:27:29

寝ちゃ駄目

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 03:27:42

おお、最悪の事態は回避の予感

>>891
乙乙
ほんと何事も体が資本。おやすみなさい

**root▲▲ ★** · 2009/10/02(金) 03:29:53

/ /usr /var の無事を確認。

/home を read only で mount できるのを確認。
こういう時は /home は fsck せず、手で mount -r すること。

あとは、dump でファイル転送ということで。
70GBytes もあるから、そうすぐには終わらないな。
まずは固めたままで新gimpoに流し込もう。

**root▲▲ ★** · 2009/10/02(金) 03:33:07

dump じゃなくて tar でいくか。
いずれにしても流したらいったん寝るか。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 03:36:12

お体お大事に…

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 03:38:32

えー
dumpの方が良いような。dumpのままマウントすりゃ良いんだし

**root▲▲ ★** · 2009/10/02(金) 03:41:16

データ転送開始。
ディスクに書いてる新gimpo側のddをrtprioで活入れした。特急モード。

>>898
dump って選択してとれましたっけ。
(最近のはとれたりするかも。眠気来てちょっとあぶないのでベタなコマンドで)

# ここ ports とか src とか必要ないやつがあるんですよね、、、。

**root▲▲ ★** · 2009/10/02(金) 03:42:43

でもdumpでとっとくと便利ですよね。
特に restore i の使い勝手を覚えると、なかなか手放せません。

**root▲▲ ★** · 2009/10/02(金) 03:43:50

ということで、あとはtiger3515=旧gimpoが
とってるうちにカーネルパニックとかを起こさないことを祈ろう。

あとの作業は起床後ということで、
いったんおやすみなさい。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 03:43:53

rootたん乙です
休めるとこは休んでね

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 03:45:52

rootたん乙でした。
おやすみなさい。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 03:47:24

>>901
ご苦労さま
ｵﾔｽ～

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 03:48:02

ぐっど・ないと

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 03:49:49

>>901
乙です

**root▲▲ ★** · 2009/10/02(金) 03:51:23

さいごにmaido3.comの中のひとと、自分のメモのために、
KVMでやったことをまとめておこう。

たまにやることではあるけど。

＜シングルユーザ作業の基本＞

1) ブート画面でspaceキー入力
2) カウントダウンが止まる
3) 4を押してシングルユーザモードへ
4) /bin/shがどうの、の入力でEnter
5) # が出るので、IPアドレス直うちでネットワーク設定
5.1) cat /etc/hosts ←これでIPアドレスがわかる
5.2) ifconfig em0 xxx.xxx.xxx.xxx ←IPアドレス手で入れる
5.3) 動けばUPになった旨システムメッセージが出る
5.4) route add -net default xxx.xxx.xxx.2 ←デフォルトルート設定
6) 外の別のサーバから xxx.xxx.xxx.xxx を ping して確認

ここまでできればネットワークはOK

(続き)

**root▲▲ ★** · 2009/10/02(金) 03:51:59

(続く)
ここからは運がよければ。

fsckする。
7) fsck /
8) fsck /usr
9) fsck /var

-y つけるのは危険なので、手で確認しながらやること。

うまくいけば mount する。
10) mount /usr
11) mount /var

これでうまくいけば、通常のコマンドが使えるようになる。

もし7から10がうまくいかなかったら、
がんばって / だけで作業するか、CD-ROM つけてそっちからブートして復旧作業する。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 03:52:00

dumpってああ、FreeBSDだとそういうコマンドがあるのか。勉強不足でした。
Linuxでいうならdd if=/dev/sda | gzip -cなこと想像してました。
tarだとファイルシステムたどるので避けた方が良いです。

まぁいいや、上手くいくことを願って
乙

**root▲▲ ★** · 2009/10/02(金) 03:52:39

>>909
> tarだとファイルシステムたどるので避けた方が良いです。

ですね。
もししくったら、こんどはdumpでやります。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 03:56:14

あああああrootさんもう寝よう
働きすぎるよ体に障るよおおお
私と一緒に寝ようよおおおおお

**root▲▲ ★** · 2009/10/02(金) 03:56:55

>>908 の続き

/home が読めるか確認する。

※安易に fsck しないこと。

mount -r /home

これで mount できればもうけもの。
少なくともスーパーブロックはこわれていない。

あとは dump や tar で普通に読み出してみる。 ←今回の「今ここ」

書き込む場所は大抵ローカルにはないので、
こんなかんじで別のサーバに送る。

tar czf - ./ch2xxxx | ssh yyy.yyy.yyy.yyy -l admin dd of=ch2xxxx.tar.gz
dump 0af - /home | ssh yyy.yyy.yyy.yyy -l admin dd of=ch2xxxx.dump

CPUや冷却系がこわれてないなら、nice を使う手もある。

nice -20 tar czf - ./ch2xxxx | ssh yyy.yyy.yyy.yyy -l admin dd of=ch2xxxx.tar.gz
nice -20 dump 0af - /home | ssh yyy.yyy.yyy.yyy -l admin dd of=ch2xxxx.dump

ネットワークボトルネックだったら、dump の際に | gzip -f - とかをかます手もある。

**root▲▲ ★** · 2009/10/02(金) 03:58:25

以上は /etc/fstab がこわれていない場合に有効。
ほかにも色々注意点あるけど、このへんは現場で痛い目にあって覚えるということでｗ

ということで取り急ぎ。

>>911
こんどこそおやすみなさい。
あとはお祈り。

**root▲▲ ★** · 2009/10/02(金) 03:59:24

あ、ファイル書くほうで動く dd を rtprio 31 -(pid) などとして活入れしておくといいです。>>912

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 04:00:41

FreeBSDでループバックデバイスを使うにはvnconfigを使うと。細かな所の違いが厄介ですね。

**動け動けウゴウゴ２ちゃんねる** · 2009/10/02(金) 04:30:05

良い悪い関係無しに、このスレが伸びてると嬉しいのは俺だけじゃないはず。。
むむさん遅くまで乙。