2ch特化型サーバ・ロケーション構築作戦 Part23

◆KONAN/fu2I · NG

2ch特化型サーバ・ロケーション構築作戦のスレッドです。

・２ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更関連の各種作業や調整事項
・２ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携

等を取り扱います。

現在、複数サーバによる連携により、
サーバ能力のさらなるスケールアップをめざすための「雪だるま作戦」が進行中です。
しかし、問題はあらゆる意味で山積の状態です。

特に、成熟度を高めたリリースであるはずの FreeBSD 6.1R において、
amd64 アーキテクチャでの突然のハングアップの不具合が、深刻な問題となっています。

前ｽﾚ
http://qb5.2ch.net/test/read.cgi/operate/1150052911/

**root▲ ★** · 2006/12/10(日) 22:51:29

>>916
メモリ容量・ネットワークI/F・HDD環境・CPU種別、
あとできればマザーボードの種類あたりを。

**root▲ ★** · 2006/12/10(日) 23:00:31

APR_HAS_THREAD の有無による dso バイナリの相違について:

read.cgi再開発スレ Part2
http://qb5.2ch.net/test/read.cgi/operate/1105909861/591-597

◆BFzK/mtqM2 · 2006/12/11(月) 00:02:46

>>917
マザーボード：GA-7A8DW
メモリー：512M×4
ネットワークI/F：Broadcom　BCM5705
HDD環境：HITACHI　HUS15336EL3600×2（同チャンネル上）
SCSI：Adaptec 39320 Ultra320 SCSI adapter
CPU：Opteron240×2

**root▲ ★** · 2006/12/11(月) 00:12:01

>>919
ネットワークは bge で、SCSIは ahd ですか。
ahd なら大丈夫、ということなのかしら。

◆BFzK/mtqM2 · 2006/12/11(月) 00:20:15

>>920
違いはそれだけですね。
SCSIボードを換えることって出来るのかな？

**root▲ ★** · 2006/12/11(月) 00:21:53

>>921
それよりは、BIOS の更新とか、
そのへんのところが先かもしれないですね。

amd64 で mpt な組み合わせって、
そんなに変だと思えないですし。

**root▲ ★** · 2006/12/13(水) 22:50:13

■ 全世界的な夏時間のルール変更に伴う、サーバ設定の変更

【ぬれ煎餅】雪だるま作戦に思いを馳せながら雑談するスレッドPart44
http://aa5.2ch.net/test/read.cgi/nanmin/1164110718/934-942

とりあえず、２ちゃんねるのサーバ的に必要な作業として私が把握しているのは、

1) /usr/share/zoneinfo の下の更新 # 全サーバ対象
2) /etc/localtime の更新(追随) # 全サーバ対象
3) すずめの切り替え時(crontab の設定)の更新 # banana238対象

といったところで、

a) 今は既に冬時間だから、今作業しても影響はない
b) ファイル1台のサーバでファイルを作成して、全サーバにまとめて流し込めばいい
c) サーバリブートの必要はない
d) 作業のタイムリミットは来年の2月末

というかんじか。

**root▲ ★** · 2006/12/13(水) 23:22:53

【ぬれ煎餅】雪だるま作戦に思いを馳せながら雑談するスレッドPart44
http://aa5.2ch.net/test/read.cgi/nanmin/1164110718/947

作業必要、確定で。

FreeBSD 6.1R からは、新しい設定になっているみたい。

ただ、/etc/localtime を新しいものに更新しないと、
OS だけ新しくしても効果が出ないので(最初ちょっとあせった)、

1) /usr/share/zoneinfo を更新
2) /etc/localtime は /usr/share/zoneinfo/America/Los_Angeles から改めてコピーする

という順番が必要になると。

**root▲ ★** · 2006/12/13(水) 23:25:43

>>924 の確認方法・作業方法は、こんなかんじで。

米国太平洋時間において、

# date -r 1175420000
Sun Apr 1 01:33:20 PST 2007

となったら作業が必要。

で、その場合、/usr/share/zoneinfo の下を最新に更新してから、
改めて /etc/localtime を以下のように設定し、夏時間になることを確認。

# cp /usr/share/zoneinfo/America/Los_Angeles /etc/localtime
# date -r 1175420000
Sun Apr 1 02:33:20 PDT 2007

**root▲ ★** · 2006/12/13(水) 23:28:37

>>924
> FreeBSD 6.1R からは、新しい設定になっているみたい。

FreeBSD 5.5R も大丈夫みたい。
ということでまとめると、

・6.1R / 5.5R 以降であれば対応済み
・ただし、それ以前のバージョンからアップグレードしたことがある場合は、
/etc/localtime の再設定が必要になるので注意

**root▲ ★** · 2006/12/13(水) 23:30:10

そんなわけで、
root 権限ありサーバは、どっかで時間とって
まとめて作業しておこうかと。

モニタサーバとかも要注意と。

株価【1250】 **▲▲▲▲** ◆cZfSunOs.U · 2006/12/14(木) 06:33:19

.../zoneinfo/src/northamerica 中にこんなのがありますね．

Rule US 2007 max - Mar Sun>=8 2:00 1:00 D
Rule US 2007 max - Nov Sun>=1 2:00 0 S

株価【1250】 **▲▲▲▲** ◆cZfSunOs.U · 2006/12/14(木) 06:59:30

まぁ，ローカルタイムの計算に標準関数（localtime(_r)() とか）を使ってれば，
zoneinfo を更新すれば TZ を正しく設定してる限り自動的に追随してくれるんでしょうけど，
自前で計算してたり GMT とのオフセットを決め打ちしてたりしてるといろいろ起こりそうな......

ちなみに，2ch の各種 CGI 等でも $ENV{TZ} = 'JST-9' って入ってるのが多数ありますが，
これを $ENV{TZ} = 'Asia/Tokyo' のようにしておけば，仮に日本標準時に何らかの変更があっても
あわてずに済みますね．まぁ日本でサマータイム導入とかいう可能性はかなり低いでしょうが
（しばらく前に法案が出てたことはありましたが），zoneinfo 使わないと
$ENV{TZ} = 'JST-9JDT,M3.5.0,M10.5.0' のような結構冗長な指定になってしまうんで．

**動け動けウゴウゴ２ちゃんねる** · 2006/12/15(金) 21:37:02

('A`)

**root▲ ★** · 2006/12/17(日) 01:10:07

<チラシの裏>
・live24セット作成
http://qb5.2ch.net/test/read.cgi/operate/1166280364/48

・news20のmemories収容作業
http://qb5.2ch.net/test/read.cgi/operate/1166280364/31

・game10は私のほうの作業は完了(既にリフレッシュ工事可能なはず)
- 作業終了後に F22 の起動とかそのへん
</チラシの裏>

**root▲ ★** · 2006/12/17(日) 11:53:22

■　ニュー速はex13に入るっすかね?
http://qb5.2ch.net/test/read.cgi/operate/1166280364/115

live22x/live23 のスクリプトも、後でそうしておくと。

**root▲ ★** · 2006/12/17(日) 22:16:29

>>931
news20 の memories 収容はキャンセルで。

■　ニュー速はex13に入るっすかね?
http://qb5.2ch.net/test/read.cgi/operate/1166280364/97

これから live24 セットの器作成へと。

**root▲ ★** · 2006/12/17(日) 23:56:35

そうか、bbs.cgi の工事も必要ですね。< live24 関連

やっておくです。

**root▲ ★** · 2006/12/18(月) 00:38:30

■ 雪だるまサーバにバーチャルホストを増やす(一般的な設定以外に必要なもの)

・バックエンド

1) プライベート接続用軽量化版 httpd の設定
2) ゆっくり同期のための rsync の鍵の設定

・フロントエンド

1) /etc/hosts に live24.2ch.net を追加(プライベートアクセス用)
2) ゆっくり同期のための rsync の鍵の設定
3) ゆっくり同期スクリプトの調整
4) ゆっくり同期用 crontab の調整
5) http proxy 用設定ファイルの調整
6) public_html/test の下の調整

・read.cgi の設定(準備工事)

・bbs.cgi の設定(準備工事)

**root▲ ★** · 2006/12/18(月) 00:41:23

>>935 追加
・バックエンド

3) bbsd の設定(もう一つ増やす)

**root▲ ★** · 2006/12/18(月) 00:48:35

※ゆっくり同期はまずは止めておいて(エラーが出るので)、
バックエンドに掲示板システムが正しく入ってから、動かし始める。

**root▲ ★** · 2006/12/18(月) 02:01:47

■ 準備が整いましたので、live24 関連の DNS 設定をお願いします。

DNSに以下の追加をお願いします。

(新規追加)
+live24.2ch.net:206.223.150.96
+live24b.2ch.net:206.223.150.54
+live24f1.2ch.net:206.223.150.64
+live24f2.2ch.net:206.223.150.74
+live24f3.2ch.net:206.223.150.84
+live24f4.2ch.net:206.223.150.110
+live24f5.2ch.net:206.223.150.42

**root▲ ★** · 2006/12/18(月) 02:04:22

※フロントの bbs.cgi は、バックの準備が整うまで止めておく。

ということで、bbs.cgi の準備工事いってきます。

**root▲ ★** · 2006/12/18(月) 02:41:41

bbs.cgi / read.cgi 準備工事終了。

あとは、live24b バックエンドができてからと。

**動け動けウゴウゴ２ちゃんねる** · 2006/12/18(月) 03:04:40

さいたま

**root▲ ★** · 2006/12/18(月) 13:17:41

ピロリさんにお願い:

live22 系のサーバリフレッシュ工事をする直前に、
スレ上であらかじめ一声お知らせをくださいです。

先日の news20 の場合同様、
移転作業の前に、bbsd が subject.txt 等を握った状態になっているのを
開放する必要があるためです。

すみませんがよろしくお願いいたします。

**マァヴ** ◆jxAYUMI09s · 2006/12/18(月) 15:04:47

news20で書き込もうとすると↓になるのは既報？(^_^;)おいらだけかな？

ＥＲＲＯＲ：バックエンドサーバとの通信がタイムアウトしました(getmd5seed)。書き込みが反映されていないかもしれません。

ホスト

名前：
E-mail：
内容：

**マァヴ** ◆jxAYUMI09s · 2006/12/18(月) 15:06:07

あ、移転か(^_^;)

**root▲ ★** · 2006/12/18(月) 15:06:29

>>943
news20 には今、板がないです、、、。

**マァヴ** ◆jxAYUMI09s · 2006/12/18(月) 15:14:28

あいあい(^_^;)
スレッドが直読みできたんで気が付かなかった
http://news20.2ch.net/test/read.cgi/news/1166256068/l50

**root▲ ★** · 2006/12/18(月) 15:28:57

>>946
なるほど、了解です。

news20 のライブなスレは、強制的に dat 落ちさせておきました。

**root▲ ★** · 2006/12/18(月) 15:31:52

>>947
× ライブなスレ
○ dat落ちしていなかったスレ

**石狩の人** ◆/o....orz. · 2006/12/18(月) 16:04:41

live22xの移転っていつになるんだろうか

**動け動けウゴウゴ２ちゃんねる** · 2006/12/18(月) 16:15:28

2分後

**マァヴ** ◆jxAYUMI09s · 2006/12/18(月) 17:31:04

>938
done(^_^;)

**root▲ ★** · 2006/12/18(月) 17:57:22

>>951
どうもです。確認しました。
http://live24.2ch.net/

これで、live22x => live24 (live22 => live24b)への移転工事の
準備が整いました。

live24b、作業開始できます。

**マァヴ** ◆jxAYUMI09s · 2006/12/18(月) 18:52:01

live24f3,f4,f5の_service動いてます？(^_^;)

**root▲ ★** · 2006/12/18(月) 19:03:04

>>953
PV 計測ですか。

…と、そういえば、
_service はバックエンドにフォワードしないようにする必要があるですね。

例の軽量化作業の時に、微妙にしくった予感。
対応しておきます。

**root▲ ★** · 2006/12/18(月) 19:10:25

+ RewriteCond %{REQUEST_URI} "!/_service"
RewriteRule ^/(\w+/(?:|subject\.txt|(?:subback|index)\.html|index\.css|dat/(?:\d+\.dat)?))$ http://live22x.2ch.net:xxxx/$1 [P]

こんなのを、帰宅後にでも。

**root▲ ★** · 2006/12/18(月) 21:45:24

>>953 は、解決したはず。

**root▲ ★** · 2006/12/18(月) 21:55:04

移転後にバックエンドでやること:

・f22/f15 の調整
・全復帰の呪文の調整

このあたりは、ホスト名やbbsdとの通信ポート等が全部埋め込みのため。

株価【1310】 **▲▲▲▲** ◆cZfSunOs.U · 2006/12/19(火) 00:00:06

とりあえず，まだ CGI 側ですぐには利用しないにしても Apache 側で

SetEnv Snowman 192.168.xxx.yyy:2222
SetEnv SnowmanDB 192.168.xxx.zzz:2222

のような設定を入れておけば，徐々に CGI 側も対応させやすくなるんじゃないかと．

**root▲ ★** · 2006/12/19(火) 00:22:17

>>958
やぱり、それですかね。

雪だるまであることを示すフラグ
バックエンドサーバホスト名
バックエンドサーバIPアドレス
バックエンドサーバポート番号
バックエンドDBサーバホスト名
バックエンドDBサーバIPアドレス
バックエンドDBサーバポート番号

必要なのは、このぐらいですか。

株価【1310】 **▲▲▲▲** ◆cZfSunOs.U · 2006/12/19(火) 00:33:24

>>959 雪だるまフラグは，環境変数設定の有無で判断できるかと．
で，DB 指定用環境変数がなければ DB じゃない方の指定を流用すると．
あと，ホスト名・IP アドレスは片方だけの指定でいいのでは
（今も CGI 内部で BBSD_HOST に IP アドレスを指定してる）．

**root▲ ★** · 2006/12/19(火) 09:51:10

RELENG 6.1/AMD64 system hangs when SMP enabled
http://lists.freebsd.org/pipermail/freebsd-stable/2006-October/030146.html

ふむ。この人もSMP環境なのか。

**root▲ ★** · 2006/12/19(火) 10:19:11

関連キーワードをなんとかしようスレ
http://qb5.2ch.net/test/read.cgi/operate/1166328527/36

[cp]2.2ch.io の統計とりを。
とりあえず mumumu.mu あたりで。

**root▲ ★** · 2006/12/19(火) 10:37:34

そうか、今こそ news20b で SMP のテストをする時期だ。
と気がついた。

ちと、ためしてみるか。

**root▲ ★** · 2006/12/19(火) 10:54:40

hint.acpi.0.disabled="1"

を /boot/loader.conf に入れて、SMP カーネルで reboot してみた。
やはり、SMP にならなかった。

で、こんなのが。
http://lists.freebsd.org/pipermail/freebsd-acpi/2005-December/002293.html

**root▲ ★** · 2006/12/19(火) 11:31:21

ううむ、

debug.acpi.disabled="pci"

を /boot/loader.conf に追加して、SMP kernel でリブートしたところ、
正しくリブートできない模様。

現在リブート要請中。
しかし、コンソールオペレーションが必要かも、、、。

● ◆ANGLERlqvM · 2006/12/19(火) 11:37:03

なるほど。今はnews20bは空いてますもんね。

**root▲ ★** · 2006/12/19(火) 11:50:48

ううむ、リモートリブートでは上がらなかった模様。

**root▲ ★** · 2006/12/19(火) 12:01:48

現在、手動でのリブート中とのこと。

しかし、設定変更のせい(>>965)だとすると、
コンソールからの回復オペレーションが必要になります、、、。

**root▲ ★** · 2006/12/19(火) 13:55:03

中の人と共同で対応中、、、。ううむ。

**root▲ ★** · 2006/12/19(火) 13:59:22

"2. Boot FreeBSD with ACPI disabled"

で上げてもらうべく、調整中。

**root▲ ★** · 2006/12/19(火) 14:16:38

現地でリブートいただきました。
設定を元に戻し、再度リブートテスト中。

**root▲ ★** · 2006/12/19(火) 14:22:57

リブートテスト完了。
これで、元に戻りました。

中の方々にご迷惑をおかけしてしまいました、、、。
すみません & 対応ありがとうございました。
別途復旧の報告を入れておこうと。

今日はもう、cobra2247のテストはやめておきます。
ACPI の周辺の設定変更は、もっとじっくりやる必要がありそう。
あと、リモートコンソールの確保も、、、。

亀田のボクシングの前にデュアルCPUがうまく動けばと
色気を出してしまったけれど、
今日のところは、うまくなかったということで。

**マァヴ** ◆jxAYUMI09s · 2006/12/19(火) 14:49:47

メンテナンスですー(^_^;)

平素はBIG-server.comをご利用頂きまして
誠にありがとうございます。

2006年12月20日午前11時より2ch.netでご利用いただいております
以下のサーバのメンテナンス作業を行なわせていただきます。
---------------------------------------------------
対象となるサーバ：
tiger505.maido3.com
tiger506.maido3.com
tiger508.maido3.com
stiger104.maido3.com
stiger105.maido3.com計5台

日時：
2006年12月20日（水）午前11時～午後7時

内容：
新しいサーバラック及び電源へのサーバ本体の移動

メンテナンス作業にあたって：
IPアドレスの変更は有りません。

お客様へのお願い：
2006年12月20日（水）午前11時までに上記サーバの
シャットダウンをお願いいたします。
---------------------------------------------------
現在、上記5台のサーバが接続されているサーバラックにおいて
電源供給量が基準値をオーバーしている状態が発生しております。

この状態でサーバの稼働率が上がりサーバの消費電力が増えますと、
主電源の供給能力を超えてしまうため電力不足によるサーバダウンが
発生する可能性があります。

今回のメンテナンスでは電源の供給問題を解消し、
サーバダウンを事前に回避するためのメンテナンスです。

現在サーバが設置されているラックから新しいサーバラック及び
電源装置にサーバ本体を移動します。

サーバ本体の移動にあたりIPアドレスの変更はありません。

サーバの移動作業は12月20日午前11時から午後7時までの
8時間を予定しております。

サーバ内のデータ保護の点から12月20日午前11時までに、
サーバのシャットダウンをお願いします。

移動作業が終わりましたらネットワーク接続の確認を行った上で
作業の完了をお知らせします。

2006/12/19(火) 14:53:56

http://mumumu.mu/serverlist.html より

tiger505.maido3.com
　　　　news18.2ch.net

tiger506.maido3.com
　　　　game9.2ch.net
　　　　dso.2ch.net
　　　　etc4.2ch.net
　　　　snow.2ch.net

tiger508.maido3.com
　　　　life7.2ch.net

stiger104.maido3.com
現在空き
stiger105.maido3.com
現在空き

**マァヴ** ◆jxAYUMI09s · 2006/12/19(火) 14:55:51

つことで、12月20日午前11時から午後7時まで
tiger505.maido3.com
tiger506.maido3.com
tiger508.maido3.com
stiger104.maido3.com
stiger105.maido3.com
が止まります(^_^;)とのことです

**動け動けウゴウゴ２ちゃんねる** · 2006/12/19(火) 14:55:52

このタイミング（18:55～20:54 亀田ボクシング）でnews18か・・・
無事に終わりますように。

**root▲ ★** · 2006/12/19(火) 14:57:51

>>973
了解です。サーバの移設ですか。

tiger505 news18
tiger506 etc4/game9/dso/snow
tiger508 life7
stiger104, stiger105 現在未使用

該当サーバは明日、私のほうでシャットダウン作業します。

**マァヴ** ◆jxAYUMI09s · 2006/12/19(火) 14:59:47

>977
あいあい(^_^;)

**マァヴ** ◆jxAYUMI09s · 2006/12/19(火) 15:00:19

>977
stiger104,105はもうシャットダウンできちゃうね(^_^;)

● ◆ANGLERlqvM · 2006/12/19(火) 15:03:16

news18がメンテナンスですか。
plus系だけで、以下の板が止まるのね。。

ビジネスnews+
芸スポ速報+
femalenews+
痛いニュース+
科学ニュース+
東アジアnews+
ニュース国際+

**root▲ ★** · 2006/12/19(火) 15:28:54

アナウンス出しました。
10:45 JSTにシャットダウン予定。

サーバーダウン（鯖落ち）情報 part126
http://qb5.2ch.net/test/read.cgi/operate/1165755341/185

>>979
そうですね。電源のことを考えると
今やったほうが1日でも得かも。

**root▲ ★** · 2006/12/19(火) 15:30:29

halt -p で power off しました。 < stiger104/105

**マァヴ** ◆jxAYUMI09s · 2006/12/19(火) 15:31:10

ぅぃ(^_^;)

**動け動けウゴウゴ２ちゃんねる** · 2006/12/19(火) 20:34:19

見づらい！

**root▲ ★** · 2006/12/20(水) 00:11:16

■ /i のリンク先修復済みのサーバ(おすすめ対応)

・tigerでジンギスカンなサーバ

○は起動スクリプト修正済

game10
news18
news19 ○
hobby7
anime
ex11 ○

・cobra

ex13
ex17 ○

banana はこれから調査。

雪だるまは別途記載。

**root▲ ★** · 2006/12/20(水) 00:35:48

>>985
> banana はこれから調査。

ジンギスカン稼働中のbananaサーバは以下のとおり。
/i のリンク張替え済。起動スクリプトは別途改修が必要なはず。

live14
ex9
tmp6

**root▲ ★** · 2006/12/20(水) 00:37:28

雪だるまサーバは以下のとおり。

live22x1～live22x5
live23f1～live23f5
live24f1～live24f5 (未稼働)
news20f1～news20f5

**root▲ ★** · 2006/12/20(水) 00:41:51

2ch の現在の掲示板サーバについては、全部調べました。

bbspink は調べていません。

ということで、今すぐ改修が必要なサーバは、

game10
news18
hobby7
anime
ex13
live14
ex9
tmp6

雪だるまサーバは、別途考慮とのこと。
現在おすすめの仕組みが動いていないので、とりあえずそのままで可。

# あとで、雪だるまサーバだったらおすすめキャッシュを作らない、
# というコードを read.cgi に入れてこよう(安全のため)。

**root▲ ★** · 2006/12/20(水) 00:43:11

もうちょっとしたら、このスレの次を立ててきます。

**root▲ ★** · 2006/12/20(水) 01:19:38

2ch特化型サーバ・ロケーション構築作戦 Part24
http://qb5.2ch.net/test/read.cgi/operate/1166543133/

**ピロリ** · 2006/12/20(水) 05:02:55

>>985

game10
news18
hobby7
anime

・cobra

ex13

更新しましたー

**ピロリ** · 2006/12/20(水) 05:04:32

>>986
live14
ex9
tmp6

更新しましたー

**root▲ ★** · 2006/12/20(水) 08:42:17

>>991-992
おつでした。

そろそろ、live22 の HDD 容量がまじでやばくなってきました。
使用率 98%。

/dev/da1s1f 29633058 26690446 571968 98% /home

dso が止まる今日は、ぜひ live24 の構築と移転をば。

● ◆ANGLERlqvM · 2006/12/20(水) 09:10:41

98%って、、年内持たないような感じですね。
間違いなく。

株価【1310】 **▲▲▲▲** ◆cZfSunOs.U · 2006/12/20(水) 09:56:46

>>988 乙です．

>雪だるまサーバは、別途考慮とのこと。
># あとで、雪だるまサーバだったらおすすめキャッシュを作らない、
># というコードを read.cgi に入れてこよう(安全のため)。

雪だるまでも，bbs.cgi 用の DB と違って全フロントでデータを
シンクロさせなきゃならない性質のものではないので（単に，
おすすめ鯖への問い合わせを何回もしなくて済むようにするキャッシュなんで），
その点での心配は無用なはずですが，それとは別の問題なんですかね．

あと，該当部分のコードを見ると......雪だるまでは「キャッシュを作らない」
ではなく「サンプリングを行わない」という処理になってるようです......

**root▲ ★** · 2006/12/20(水) 10:01:11

>>995
> その点での心配は無用なはずですが，それとは別の問題なんですかね．

確かにそうですね。
これはシビアに共有する必要ないのか。

とすると、とりあえず /板名/i というディレクトリがあればいいのか。

> 「サンプリングを行わない」という処理になってるようです......

うは、、、。

いずれにせよこの制限は必要なさげなので、
該当の if 文ははずしておきます。

**動け動けウゴウゴ２ちゃんねる** · 2006/12/20(水) 13:02:17

ys origin

**動け動けウゴウゴ２ちゃんねる** · 2006/12/20(水) 13:08:08

うめ

**動け動けウゴウゴ２ちゃんねる** · 2006/12/20(水) 13:09:27

2ch特化型サーバ・ロケーション構築作戦 Part24
http://qb5.2ch.net/test/read.cgi/operate/1166543133/

**動け動けウゴウゴ２ちゃんねる** · 2006/12/20(水) 13:10:44

umw

**１００１** · Over 1000

このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。