X



【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16

■ このスレッドは過去ログ倉庫に格納されています
1root▲ ★
垢版 |
04/12/04 00:28:18ID:???
peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。

<現在の主要なテーマ>
・read.cgiのmod_cgidso化によるパフォーマンスアップ
・bbs.cgiのSpeedyCGI化によるパフォーマンスアップ
・FreeBSD 5.3Rへのサーバ更新作業&さらなるチューニング

<関連板・スレッド>
また挑戦。@2ch掲示板
http://dso.2ch.net/myanmar/
また挑戦2。@2ch掲示板
http://dso.2ch.net/yangon/
bbs.cgi再開発プロジェクト4
http://qb5.2ch.net/test/read.cgi/operate/1101984763/
read.cgi再開発スレ
http://qb5.2ch.net/test/read.cgi/operate/1087199303/

<関連サイト>
レンタルサーバー maido3.com 2ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
2ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html

<前スレ>
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part15
http://qb5.2ch.net/test/read.cgi/operate/1093068260/
202root▲ ★
垢版 |
04/12/06 23:56:49ID:???
live8のDNS logをチェック中。
問題ない模様。

これから、live16 live17 に同じものを配布します。
203root▲ ★
垢版 |
04/12/07 00:00:54ID:???
live16 live17 に配布しました。
dsoは、どうだったかな。確認します。

これで banana229 (>>200) と tiger503 以外は、復活したと思う。
204root▲ ★
垢版 |
04/12/07 00:11:22ID:???
cobra2245 の DNS キャッシュサーバをメモリディスク化する作業を実施中。
205root▲ ★
垢版 |
04/12/07 00:23:00ID:???
>>204 は完了。
206動け動けウゴウゴ2ちゃんねる
垢版 |
04/12/07 00:24:19ID:JGl7ckm+
とりあえず乙。
そしてがんばれ。
207root▲ ★
垢版 |
04/12/07 00:26:01ID:???
dso のbbs.cgiは、BBQ参照版になっていました。>>203
208動け動けウゴウゴ2ちゃんねる
垢版 |
04/12/07 00:27:13ID:JGl7ckm+
鯖落ち回復はしばらくかかりそうですか?
209root▲ ★
垢版 |
04/12/07 00:29:12ID:???
ex7 (= tiger503) と that3 travel2 book3 bubble2 (= banana229)は、
これから10分ほど待って自力復活しない場合、リブート要請出します。

復活したら、bbs.cgi 配布と。

これから banana238 の PHP 問題にとりかかります。
210動け動けウゴウゴ2ちゃんねる
垢版 |
04/12/07 00:34:16ID:JGl7ckm+
把握した。
211動け動けウゴウゴ2ちゃんねる
垢版 |
04/12/07 00:43:44ID:Vlq14OWG
>>209
どうなりましたか?
04/12/07 00:47:35ID:sXRofScD
要請か
213root▲ ★
垢版 |
04/12/07 00:52:19ID:???
# shared memory tunings
kern.ipc.shmall=16384
kern.ipc.shmmax=67108864

を /etc/sysctl.conf に入れ、sysctl コマンドで変更した。

これでどうかな。< banana238
214root▲ ★
垢版 |
04/12/07 00:53:27ID:???
>>211
とても遅くて、入れないですね。
sshもタイムアウトします。

これから、リブート要請します。
リブートされるかは、かみのみそしる。
215root▲ ★
垢版 |
04/12/07 00:57:11ID:???
要請出しました。

これで、pending な作業は、ないはず。
04/12/07 00:58:37ID:vqUaAs5c

  ∧_∧  
 ( ・∀・)  おとなしくして
 ( ∪ ∪  待ってろ。
 と__)__)
 
04/12/07 01:00:06ID:9bFTaKj+
>>213
-bash-2.05b$ php -v
PHP 4.3.9 (cli) (built: Dec 5 2004 19:51:51)
Copyright (c) 1997-2004 The PHP Group
Zend Engine v1.3.0, Copyright (c) 1998-2004 Zend Technologies

キタ━━━(゚∀゚)━━━ッ!!

※chfn したのは内緒♪@csh→bash
218root▲ ★
垢版 |
04/12/07 01:00:28ID:???
ex7 リブートかかりはじめました。
219root▲ ★
垢版 |
04/12/07 01:00:55ID:???
>>217
お、よかった。

携帯サーバを5.3Rにするときは、これ入れなきゃ。
04/12/07 01:03:00ID:vqUaAs5c
来ました
221root▲ ★
垢版 |
04/12/07 01:03:53ID:???
ex7 上がりました。
bbs.cgi を live17 と同じものにしました。

復帰依頼かけてきます。
222ヘ⌒ヽフ
垢版 |
04/12/07 01:04:15ID:+C9gyuOl
>>221
乙!!
04/12/07 01:05:01ID:voTY+Im/
御苦労様
04/12/07 01:05:17ID:KDBMgRMh
お疲れ様です。
225動け動けウゴウゴ2ちゃんねる
垢版 |
04/12/07 01:06:07ID:AjqEM8Up
お疲れ様でした
226root▲ ★
垢版 |
04/12/07 01:06:47ID:???
banana229 もリブート入りました。
bbs.cgi を投入しなおしました。

これで、全部元に戻ったはず。
04/12/07 01:11:38ID:m53VMjqr
オツカレチャーン
04/12/07 01:11:48ID:sW46Ie0d
スレッドtatesugiが参照されないで
ex7で乱立してた件も解決ですか?
229root▲ ★
垢版 |
04/12/07 01:14:26ID:???
>>228
そのへんは、別だとおもう。
04/12/07 01:15:56ID:vqUaAs5c
banana229はひとまず復帰依頼は必要なさそうです
231root▲ ★
垢版 |
04/12/07 01:18:40ID:???
>>230
ども。了解です。

伊右衛門の500mlペットを飲み中。
04/12/07 01:18:42ID:X+/LG481
乙カレー
ホントに、いや、まじで
04/12/07 01:25:20ID:NwR44+on
>>231
ジンギスカン鯖をリブートした後恒例の、
復帰依頼出して復帰してもらうの待つのと、
復帰スクリプトもらって自分で復帰するのとどっちが楽ですか?
234動け動けウゴウゴ2ちゃんねる
垢版 |
04/12/07 01:26:00ID:JGl7ckm+
今度焼肉おごります
235root▲ ★
垢版 |
04/12/07 01:32:04ID:???
>>233
どっちが楽かといえば、
自分で復帰できる方が、楽といえば楽ですね。

ログインして様子見ながら、復帰の判断をできるんで。
04/12/07 01:36:10ID:Xw+Fctcd
るーちゃん乙。
ようやく山板に書込できました。
04/12/07 01:36:31ID:sXRofScD
おつかっれちん!
04/12/07 01:38:13ID:M97V1LUo
でかした桃色吐息さん
年末年始鯖落ちゼロなら▲外すのを許可しよう
それを目標にガンガレ!!Mumumu-san
04/12/07 01:40:00ID:4Vdnt1jZ
>>235
狼をex7単独で使わせてよ
04/12/07 01:41:07ID:NwR44+on
>>235
ならFOXに復帰スクリプトもらってきてください、他の復帰屋さんにとってもいろいろ有益だと思う(LAの目安とか…)
241root▲ ★
垢版 |
04/12/07 01:41:46ID:???
RAIDカードを手配いただいたので、機を見てBBQサーバへの導入を試みることになります。
その際には、再度止まります。
やる時間・手順を見ないと。

それも含めてシステム系では、

・BBQサーバ/dnscache(oyster243)のRAID 1化
・残りのroot権限ありサーバを5.3Rにする作業を継続
・banana238のsuidperl問題

あたりか。
あとあるかな。
このスレを頭から読み直して、リストアップしとこう。
242root▲ ★
垢版 |
04/12/07 02:21:23ID:???
当面のシステム系残作業 おさらい

>>187 >>189 >>198 は解決。

残りは、
・5.3R化(>>86 = >>241)
・dnscache/BBQ周りの再配置 / RAID1 化も含む(>>241)
・上記完成後、bananaサーバの/etc/resolv.conf再設定
・BBMの引越し(rootありbananaの1台確保が必要と思われ)
・BBQその2が来たら、セットアップ
・banana238 の suidperl問題<>>241)

中長期的には、
・Anycastとかして、/etc/resolv.confのIPアドレスを持つDNSサーバを複数にする

ということで、
oyster243はdnscache+BBQ持っているので、余裕を見て1.5Gのメモリディスク、
cobra2245はdnscacheだけなので(BBMは少ない)、128Mのメモリディスク

にしました。
これでdnscacheのDNSログ領域と、rbldns(BBQ)のDNSデータ領域は、
すべてメモリディスク上に載りました。

大幅にディスクI/Oが減り、負荷も下がったことが観測されていますので、
HDDにかなり優しい仕様になったはず。

BBQのDB生成のところの効率化とかは、
受験生さんが時間とれるようになったら、ぼちぼちとりかかるかんじかなと。
243root▲ ★
垢版 |
04/12/07 03:05:29ID:???
>>242
> ・banana238 の suidperl問題<>>241)

これを直した。
http://rock54.2ch.net/bbx/klist2html.cgi?sort=time

今日は、ここまで。
244root▲ ★
垢版 |
04/12/07 23:10:55ID:???
さて、SpeedyCGIで常駐を達成した環境では、bbs.cgiについてはKeepAliveした方がいいのか、
あるいは今のようにbbs.cgiだけはKeepAliveしないで、セッションを切ったほうがいいのか。
04/12/07 23:24:50ID:6AWmVU1s
>>244
実験、実験っ(AA略
246root▲ ★
垢版 |
04/12/07 23:29:36ID:???
>>245
明日昼間、ex7の設定を変えてみるか。
で、今日と比べてみると。

今日は、httpdの空き具合は概ねいい感じ(下記)。
KKW.._.___K_C_..K._W...W..._.C__W_.KCK..KK_C__.._..._K.....CK...
KK.._..KKKKK___K.R.._..KK..KWKK_K..C..._.KK.KC._CKKWK__KCKC.K.K.
KK..KK..KK__K__.....K........K_KC.____CK.C_KK_..KK....W_K_._K.WK
K...W.K._....K._K__.C._KC.KW_K.KWK_K.KK_._K.C_K.W...__C......K.K
KK._.WW._.K._.C.K..._......__...KK._.C_KK._WK.W.KK..K.__K..._C_.
.K.K_.K._...K.KCC.K._K._RK._._KK__CK.._.._....W.C_..._.....K..C.
KK..W._..__.K....K..CKK_K..._.K.K_.K.._K.._..._.K_KC.KK.CW._..K_
.CCK..._.._._._.KWC__W..CC._.KK_._C.._KCCK._K..K_.KW_KK.....K.WK
.C.KK_.KK_K._KK__.C._.C.W...RK.W..WK_...CC..W__K_.WK_.._W.WK._.K
.K.__.K.....RKK._.KK._CK..KCK.K.C..CK_C.C.K._.._._CWCC.KW...._K_
KKC...._CK.C_K._.KKC._C_W_.C.W_.....K_.K..._.._K.KK_C...___K....
K.K_._K.._....KKKKK.__KK...WW._C_K__.W.K..CKC.K.._KC.K......KKK.

LAは今ピークで、L15~17ぐらい。

ログインすると重重だけど、
外からは軽い。
247root▲ ★
垢版 |
04/12/07 23:32:09ID:???
で、KeepAliveがうまく効くなら、

・httpdの空きがちょっと減る(ステータスKが増える)
・セッション張り直す負荷が減って、LAが多少下がる

となるかな。
で、うまくない場合は、

・httpdの空きが足りなくなって、接続待ちが出て、重く感じる
・これを解決するためにhttpdを増やしてセッションを増やすと、メモリを圧迫するかもしれない

かなと。
04/12/08 02:54:31ID:/+2u2FkF
とりあえず最悪の場合どの程度の被害になる?
一昨日みたいに書き込めなくなるくらい?
04/12/08 06:45:03ID:tHE73p53
2ちゃんねるブラウザから使うと・・・
250FOX ★
垢版 |
04/12/08 14:49:45ID:???
hobby7 ってジンギスカン予備工事済みでしたっけ?
251root▲ ★
垢版 |
04/12/08 15:17:58ID:???
>>250
sharが入る時に実施済みです。
って、今見るともうFOXさん、作業してるですね。
252root▲ ★
垢版 |
04/12/08 15:23:37ID:???
>>247
#SetEnvIf Request_URI ^/test/bbs\.cgi nokeepalive
#SetEnvIf Request_URI ^/test/read\.cgi nokeepalive

ex7で、この2行をコメントアウトした。
253FOX ★
垢版 |
04/12/08 15:25:39ID:???
えへへっ

hobby7 はジンギスカン化完了。
bbs.cgi (Speedy版)
read.cgi は今までのまま (DOS仕様ではないです)
04/12/08 15:31:02ID:ZRtlYi4m
ホントにDOS仕様だったらスゴいな。
255FOX ★
垢版 |
04/12/08 15:37:55ID:???
おっ、、、

DSO っす

banana231(hobby6) はbanana(2005セッティング)の実験につかいまーす
1) SpeedyCGI
2) DSO
3) PHP あくせら
256root▲ ★
垢版 |
04/12/08 15:44:41ID:???
>>255
了解です。

で、banana2005をめざすなら、まずはOSも上げたほうがいいですね。
現在の5.2.1Rは、来年にはFreeBSD.orgのサポートがなくなるはずです。

で、そのためには5.3Rをクリーンインストールしたほうがよさげです。
ということでhobby6をmemoriesに収容して、中身をきれいにした方がいいと思われ。
問題なければ、作業入ります。
257FOX ★
垢版 |
04/12/08 15:47:50ID:???
OS は banana は様子見でーす
たぶん再来年かと、
258root▲ ★
垢版 |
04/12/08 15:50:52ID:???
>>256
ふむ。
banana方面は、致命傷(SMPでうまく動かないとか)ないということすか。

いずれにせよ、hobby6跡地のmemories収容はやっておきますー。
で、ex9か何かを改めて作って、そちらで実験いただいた方がよいかなと。
259FOX ★
垢版 |
04/12/08 15:55:40ID:???
tar でかためましたー

hobby6p.tar
hobby6d.tar

5.3 はもう一回検討してみますが
たぶん 5.2 のままになりそうな予感。
260root▲ ★
垢版 |
04/12/08 15:57:17ID:???
>>259
了解です。
では、memoriesに土地作成します。
261FOX ★
垢版 |
04/12/08 16:11:17ID:???
>>259
固めたやつを qb6 にも転送しておいた(念のため)
262root▲ ★
垢版 |
04/12/08 16:12:37ID:???
そんでは、収容の儀式いきます。
以下の変更作業をお願いします。

# まったくの偶然ですが、似たIPアドレス。

(現在)
+hobby6.2ch.net:206.223.150.230

(変更後)
+hobby6.2ch.net:206.223.151.230
263FOX ★
垢版 |
04/12/08 16:23:32ID:???
>>262
かんりょー
264FOX ★
垢版 |
04/12/08 16:35:35ID:???
うっ でも ex9 作るの激しくめんどくさいなぁ・・・
265root▲ ★
垢版 |
04/12/08 16:48:20ID:???
>>263
変わったのを確認しました(建設予定地)
http://hobby6.2ch.net/

アカウント情報メールします。

>>264
めんどうですか、、、。
だとすると、代案としては何かあるかしら。
266FOX ★
垢版 |
04/12/08 16:58:11ID:???
ch2hobb6@banana231 を ex9.2ch.net でみえるように要請中だったり
やってくれるかどうかわからないけど、
267root▲ ★
垢版 |
04/12/08 17:04:23ID:???
>>266
おー、わがままな客だぁ(w。
bananaサーバの中の人々が、社長(仮名)への不満を爆発させないことを祈念しておこう。
268root▲ ★
垢版 |
04/12/08 17:30:53ID:???
qb6からmemoriesに
hobby6のイメージを転送中、、、。
04/12/08 17:34:47ID:ZRtlYi4m
おー、見える見える

http://ex9.2ch.net/kakolog.html
270root▲ ★
垢版 |
04/12/08 18:54:00ID:???
hobby6のmemoriesへの格納・強制dat落ち等、終了のはず。
271root▲ ★
垢版 |
04/12/08 23:23:19ID:???
ex7が重い重い重い重い重い重い重いtiger503
http://qb5.2ch.net/test/read.cgi/operate/1096837151/164

164 名前:root▲ ★[sage] 投稿日:04/12/08 23:22:38 ID:???
22:45ごろが一番重かったのかな。
http://ch2.ath.cx/load/ex7.html

その時間は、500投稿超えていたように見えるですね。

その時のApache status。
やや不足気味(予想の範囲内)なので、もうちょっとhttpdの数を増やしてもよさそうだ。

KKKK_KKKKK_KKCKWKWWKKWKWKKKKKWKKKKKWKWKKWKWKWW.WKKWWWKWK_KWKCK_K
KWKKKWCRKKKWKK_KKWWWCKKKKKKKWWCKKWKWWRKKKKCKWWKWKKKKKKWKCK_KWKKW
KWKKCKKKWWWKCCKKKKKKWWKKKKKKKWKKKWKKCWKKKWWCCWCWWKWWKWWKKWWKKWCK
_WKWKWKWKW_CCKWWWKWKKWCKKKWKKKKKWKKWCKKKKW_KKKKRKWKWKWCKKKKKKKKW
C_K_CKWKWWKKKKKWKCCCWWKKKRKWKKKKKKKKKKKKWKKKKKKKWKCKKKKKKWWKCCKK
KK_KKKKKKKWK_WKKWKKKWCKWKCKKKKKKKWWKRKKKWKKKKKKKKWW_KKW.K.KKKWCK
KKKKCW_K_WKCKRWKCKKKK_K_KKKKKWKWCWKWWKK..KKC.WWK.WKKC..KKKW.K.W.
.KKKKKKW.KKWC.KWKKWK.K...CKWK.K.KKK...KK.KKKC.CK._WC.KW.CKKK.K.K
..WK.W_KK..K.KK..W..K...C.KKWW..KWWKKK.CKKWKKKC.._K_.WK.K...K..K
...KKKC..K...WK.KK....W_KKKK_KKC.K.C...._.WK.........K.K...WK.K.
K..K...._.K.WK...K_W.KKKW.KW.K.KW.W...KKKKKKKCK.WWK..KKWKK._KK..
.KW..K.K.K.K..W.K....KK.WK.CKKKKK...C.WKK.WCWK..K..W.KWCKK..KKK.
272root▲ ★
垢版 |
04/12/08 23:23:46ID:???
ということで、httpdの数を少し増やしてみる。
273root▲ ★
垢版 |
04/12/08 23:27:50ID:???
httpdの数を、768→896に変更(live8と同じ)。
274root▲ ★
垢版 |
04/12/08 23:32:53ID:???
さっきより、だいぶ健康になったようだ。

同じLA(15ぐらい)でも、ログインしてて重さを感じなくなったので、
KeepAliveもうまく働いている予感。
275root▲ ★
垢版 |
04/12/08 23:38:25ID:???
なんだか、こんな話があるので、
live8のKeepAliveの設定をex7と同じにした。

ex7が重い重い重い重い重い重い重いtiger503
http://qb5.2ch.net/test/read.cgi/operate/1096837151/170-171
276root▲ ★
垢版 |
04/12/09 01:43:49ID:???
土地作り終わりました。

以下の儀式を依頼しておきます。
live17をmemoriesに格納 & life7 新設。
明日の予定とのこと。

(現在)
+live17.2ch.net:206.223.152.55

(変更後)
+live17.2ch.net:206.223.151.230
+life7.2ch.net:206.223.152.55
277FOX ★
垢版 |
04/12/09 13:48:49ID:???
http://life7.2ch.net/ つながるっすね、
作業始めても ok ?
04/12/09 13:55:35ID:WjDAGmsJ
live17の中身はそのまんま?
279root▲ ★
垢版 |
04/12/09 14:13:27ID:???
>>277
設定少しだけいじりますが、
掲示板的作業には差し支えないです。

>>278
そんじゃ、転送はじめます。
280root▲ ★
垢版 |
04/12/09 14:20:00ID:???
life7仕込みました。
bbs.cgiはSpeedyCGI配下となります。
read.cgiは通常(dsoじゃないです)。
281root▲ ★
垢版 |
04/12/09 14:27:38ID:???
ほえ、後でやりまーす。
[1] + Killed tar czf live17d.tar.gz _datArea
282FOX ★
垢版 |
04/12/09 14:32:36ID:???
SSH がすぐタイムアウトするん。
283root▲ ★
垢版 |
04/12/09 14:33:05ID:???
って、>>281 は自分で仕掛けたCPUtime limitにひっかかったのか。
pid 99788 (bsdtar), uid 2001, was killed: exceeded maximum CPU limit

今ごそごそしたので、再度トライ。
284root▲ ★
垢版 |
04/12/09 14:34:16ID:???
>>282
うーん、そんなはずないですが。
自宅からとか入ってますが、そういうのはないはず。
お風呂入ってても、セッション残っているし。(puttyから)

それって、入っていてぶちって切れるってことすよね。
285FOX ★
垢版 |
04/12/09 14:40:52ID:???
いつも仕方がないから top を毎回動かしています、
286FOX ★
垢版 |
04/12/09 14:46:26ID:???
質問です

life7 にlife5+life6 の板全部入れて保持数1200で
全ての板をジンギスカン化できますか?

(今日はやりませんけど)
287root▲ ★
垢版 |
04/12/09 14:50:13ID:???
>>285
アイドルが多いと切れる、って言ってますね。それ。
何分ぐらいで切れますか。

私が今いる環境(オフィス)から10分ぐらいログインして何もしないで放置してみましたが、
現象が再現しませんでした。

自宅でも再現したことないです。

そういえば、うちの実家ではそうなりました。
アドレスが変わったわけでもないのに、ぶちっと切れます。
topとか動かしていると(何かデータが流れていると)、確かに切れなかったような。
288root▲ ★
垢版 |
04/12/09 14:51:25ID:???
>>286
直感的にはできると思います。

そのぶん、メモリディスクを拡張しないといけないですね。
256Mぐらいとればいいのかな。
289root▲ ★
垢版 |
04/12/09 14:52:04ID:???
拡張工事、しときましょうか。
290root▲ ★
垢版 |
04/12/09 14:56:26ID:???
メモリディク拡張工事済み。
/mdを256Mとり、life7ユーザで書けるようになっています。
291FOX ★
垢版 |
04/12/09 14:58:09ID:???
はいー

ぼちぼち始めますが・・・
量の厚い壁の前で、うんこしてしまいそうです。
292root▲ ★
垢版 |
04/12/09 15:10:34ID:???
>>290
【life系】いてーん 断続的に止まります(life5/6)
http://qb5.2ch.net/test/read.cgi/operate/1102571660/6-7

保持数1200のgame10が、9板で32Mぐらい使っています。
34ってことは、4倍見れば大丈夫と。

つまり、さっきの拡張工事で大丈夫と思われ。
04/12/09 15:31:58ID:9BIK3VzH
>>287
PuttyはKeep Aliveをするために定期的にnull packetを送れます。
TTSSHとか使ってます?
294root▲ ★
垢版 |
04/12/09 15:37:04ID:???
>>293
今はPuttyですね。
ttsshはssh version 2への対応が遅くなったので(今はしてるという噂もありますが)、
そのときに乗り換えたです。

今度帰省した時に試してみるか。

FOXさんはPuttyのはずなので、設定方法を教えてあげると喜ぶかも。
04/12/09 16:05:10ID:aVa4SLkJ
>>294
ttssh本家はssh2に対応しないとかいってます
ttp://www.zip.com.au/~roca/ttssh.html

それに業を煮やした日本人が独自開発してます
ttp://sleep.mat-yan.jp/~yutaka/windows/index.html
296root▲ ★
垢版 |
04/12/09 16:44:13ID:???
live17のmemoriesへの格納は終了しました。
04/12/09 16:51:36ID:9e5zASpH
Vara Term もssh2対応のようです(ぼそっ)
298FOX ★
垢版 |
04/12/09 17:12:53ID:???
life5/6 -> life7 移転完了。

life5(banana273)
life6(banana307)
のどちらかを BBM の独立と考えているのですが、、、
299root▲ ★
垢版 |
04/12/09 17:16:54ID:???
>>298
お、あっちとかぶったですね。

どっちかをBBMにする件、了解です。
root権限ありサーバに変身させる必要がありますね。
300FOX ★
垢版 |
04/12/09 17:18:32ID:???
指示くださいー
301root▲ ★
垢版 |
04/12/09 17:19:29ID:???
273と307の様子見てきます。
■ このスレッドは過去ログ倉庫に格納されています