2ch特化型サーバ・ロケーション構築作戦 Part46

**動く動くウゴウゴ２ちゃんねる** · 2010/06/15(火) 01:02:06

2ch特化型サーバ・ロケーション構築作戦のスレッドです。

・２ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更関連の各種作業や調整事項
・２ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携

等を取り扱います。

前スレ:2ch特化型サーバ・ロケーション構築作戦 Part45
http://qb5.2ch.net/test/read.cgi/operate/1276518026/

[´・ω・｀] EATcf-164p118.ppp15.odn.ne.jp · 2010/06/15(火) 01:30:50

>>38
次どっかが詰まる問題が起きたときはswapoffを試して欲しいかも (swapoff -a)。
もしオーバーコミットあるとプロセスの虐殺が起きる可能性もあるけども。

**ちきちーた ★** · 2010/06/15(火) 01:31:31

>>36
更新しました

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 01:31:32

>>36
どうもでーす

>>37
また次の日本戦でねー

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 01:32:34

>>39
専ブラの移転追尾でいけたよ

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 01:33:21

∧＿∧
( ´･ω･) おつかれさまです、お茶でも飲んでﾘﾌﾚｯｼｭどぞ･･･
( つ旦O
と＿)＿) 旦旦旦旦旦旦旦旦旦旦旦旦旦旦旦旦旦旦旦旦

**root▲▲ ★** · 2010/06/15(火) 01:33:33

>>40
いきなりswapoffはこわいですね。

# do not use swap area
#vm.defer_swapspace_pageouts=1
#vm.disable_swapspace_pageouts=1

この禁断のsysctl.conf変数の封印を解く、という手もあるにはありますが、
それより先にやることがありそうな予感。

**（￣ー￣）ニヤリッ** ◆dTQkcZeb9M · 2010/06/15(火) 01:33:43

>>43
xenoだと追尾失敗するし・・・

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 01:35:15

>>46
Viewだといけたよ。こないだのまちBのヘンなのつくのといいViewとStyle/Xenoは何が違うんだろう？

**ちきちーた ★** · 2010/06/15(火) 01:35:44

>・どーん対策

これが前進すると　11台雪だるまに匹敵するようになると思う。
資源(CPU,RAM,SSD,network)のどこがどれだけ足りないのか、
CPUの性能が上がれば「はけ」もよくなるﾊｽﾞなのでhttpdの数も現状くらいで
もしくはもっと少なくてokな気がする、19日には経験できると思うー

[´・ω・｀] EATcf-164p118.ppp15.odn.ne.jp · 2010/06/15(火) 01:36:41

>>45
>この禁断のsysctl.conf変数の封印を解く
swapoffよりもそっちの方が良さげですね。

>それより先にやることがありそうな予感
いや、swapの影響はでかいですよ。

**（￣ー￣）ニヤリッ** ◆dTQkcZeb9M · 2010/06/15(火) 01:37:41

>>47
７回目で性交した。
ブラウザじゃなくて回線の所為かもしれん。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 01:43:17

本並はトラップとかできないだろ

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 01:44:26

本並って腎臓やっちゃった人だっけ？

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 01:44:54

そうだけどごめん誤爆したよ

[´・ω・｀] c-24-21-8-154.hsd1.or.comcast.net · 2010/06/15(火) 01:45:39

ここのこういう実験結果って、FreeBSD Projectに流れてるんだろうか。
かなり貴重な結果だと思うんだけど。

[´・ω・｀] EATcf-164p118.ppp15.odn.ne.jp · 2010/06/15(火) 01:53:16

貴重でも無い…とは言いきれないか。
大規模サイトは殆どLinuxだしねぇ。
YahooまでもLinuxに鞍替えしたようだし。
http://developer.yahoo.net/blog/archives/2010/02/opensourcing_traffic_server_700k_lines_of_code_9_months.html
>we decided to carve off or disable a lot of the non-Linux-specific code in order to simplify the cleanup process.

**root▲▲ ★** · 2010/06/15(火) 01:53:46

>>28 の設定が live28 に入りました。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 01:57:54

>>34
いらんこといいよってからに(´･ω･｀)

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 02:00:57

>>57
アニ関民分散して涙目ですか

**F-14N 猫型卓上戦闘機♂** · 2010/06/15(火) 02:06:27

専ブラからだと
東亜+に未だに入れないよー
P2まで追尾出来てない

**root▲▲ ★** · 2010/06/15(火) 02:11:38

＜今日の設定変更＞

1) httpd の起動数増加 1280 → 1760 → 2048 (スペシャルセッティング２)
2) /home と /hd に noatime 再設定 (一度オフにしたものを再度オン)
3) むむむスペシャルセッティング５ (zoneli状態の防止)

ということで、今日はここまで。

**root▲▲ ★** · 2010/06/15(火) 02:13:33

>>60
> 1) httpd の起動数増加 1280 → 1760 → 2048 (スペシャルセッティング２)

訂正

1) httpd の起動数増加 1280 → 1408 → 1760 → 2048 (スペシャルセッティング２)

躯 ◆NYXXN.jkik · 2010/06/15(火) 02:24:13

結局＋を対馬に戻したのか運営は本当にバカだな
芸スポと被って迷惑してたのでありがとうございました

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 02:26:35

>>62
今の鯖での限界が見えてきたから戻しただけだよ
今度入れる新鯖のテストのときにまた戻してさらに多くの板を追加するよ～

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 02:26:38

つhttp://qb5.2ch.net/test/read.cgi/operate/1276034202/

躯 ◆NYXXN.jkik · 2010/06/15(火) 02:36:37

>>63そうですかどもども～

◆cZfSunOs.U · 2010/06/15(火) 02:42:20

バーボンのところちょっと見てみましたが，そこでは
Apache の普通の combined と同じ形式のログを読むようになってるんで，
ログのローテーションさえ適宜設定しておけば，前スレで書いた

>ログは普通にファイル書き出し＆logbuffer は cron で起動して
>ログの内容を食わせる，って手もあるかもですね．

でもいけそうな気はします．logbuffer に rogatelogs 的な
機能も含まれてるなら，そこは注意する必要があるかもですが．

**root▲▲ ★** · 2010/06/15(火) 03:08:06

ベッドで携帯から >>66 を見たので起きてきて、
以前私がいただいたlogbufferのソースを、
qb6 の t* に同名のフォルダを作って、置いておいてみるテスト。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 03:10:51

>>58
てめぇ知っててやったのか
どこの誰だ名を名乗れ

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 03:22:05

>>67
vipのｽﾚなくなってるけどなんかしてる？

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 03:24:38

>>67 >>69
事故解決しました…ごめん

なんで自動で追尾してくれんかったんだろ…

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 03:29:35

ID:ivaV/nob0 はしきりにswapを外せって言ってるけど、
メモリが枯渇するかもしれない状況でそんなことやっちゃダメでしょ。
そもそもメモリのオーバーコミットもOOM killerもLinux固有の話だし。

[´・ω・｀] EATcf-164p118.ppp15.odn.ne.jp · 2010/06/15(火) 03:45:08

>>71
スワップでカーネルが遅くなるのはどのOSも同じ。詰まって全体死ぬよりかはスワップ切った方がよっぽど良い。
それと裏とってないが、FreeBSDでもメモリが足りなくなるとmallocが失敗するだけじゃなくプロセスがKILLされるという情報があった。

[´・ω・｀] EATcf-164p118.ppp15.odn.ne.jp · 2010/06/15(火) 03:48:44

というかFreeBSDは情報が少なすぎてソースコードを深く読むしか正しい解を得られそうに無い罠。面倒だからパスだけど。

[´・ω・｀] EATcf-164p118.ppp15.odn.ne.jp · 2010/06/15(火) 04:00:39

あー、そうだ、FreeBSDのカーネルのコンパイルオプションでPREEMPTIONを有効にすると良いかもね。
性能落ちるけど。

[´・ω・｀] ZU080175.ppp.dion.ne.jp · 2010/06/15(火) 05:53:05

かちゅでν速＋の板一覧追いかけてくれない（´・ω・｀）

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 05:57:21

で?

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 07:22:54

流石にこの程度で落ちていては耐えられない場面が1年に20日は出てしまってたな

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 07:58:28

>>67
rootたん携帯専ブラは何使ってるのっと

**root▲▲ ★** · 2010/06/15(火) 10:08:31

>>78
ふつうにc.2chとか、ula.ccとか、そのへん。

で、ちょっと思いついたことがあるので、
別途。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 10:12:00

>>9
>>37
eoの常連荒らしさんがこんなスレに何の御用で？

**root▲▲ ★** · 2010/06/15(火) 10:15:02

ジャストアイディアですが。

SunOSさんへ:

こんな「ライト版bbsd」があったらうれしいような気がしたのですが、
どうでしょう。

・bbs.cgi 的に WriteSnow でしている部分以外の機能は持たない
・subject.txt は握らず、書き込み要求を受け付けたら毎回開いて処理する
・SETTING.TXT を rename すると、その板は自動的にライブではなくなる
(逆にいうと止めるには SETTING.TXT を mv すればよい)

ようは bbs.cgi 的に WriteSnow の処理だけをするやつを、
他の subject.txt を勝手に書き換えるプログラム群とも、
とりあえず共存して使えるようにする、みたいな。

**root▲▲ ★** · 2010/06/15(火) 10:20:16

これが動くと、いかにも重そうな

・1000超えの判定処理
・datへの追記
・芋への追記
・今追記したdatを再度読み込む処理
・subject.txtの処理
・html/*.htmlを作る処理
・subback.htmlを作る処理
・index.htmlを作る処理

だけを、割と楽にbbsdに任せることが
できるんじゃないかなと。

**root▲▲ ★** · 2010/06/15(火) 10:37:59

解除きたのかしら。

#_2CH_\.ezweb.ne.jp
#本当でしょうね?

「本当でしょうね?」は、例のEZ番号固定化の件だと思うんですが
(違ってたらすみません)、
同じezweb.ne.jpでもPCSVやEZwifiがあるわけで、
なんだか、はるか前スレになってしまったけど、
結局報告人さんには、どんな返事が来たんだろうか。

**root▲▲ ★** · 2010/06/15(火) 10:39:34

http://qb6.2ch.net/_403/madakana.cgi

いや、下のほうにこれがあるな。
すぐまた規制されたと。

########################################
#再再発　永久規制じゃ

#6/12 http://qb5.2ch.net/test/read.cgi/sec2chd/1275119988/
_2CH_\.ezweb.ne.jp

**root▲▲ ★** · 2010/06/15(火) 10:40:56

>>84 の案件はPCSV経由での荒らしみたいですね。

つまり、まさに >>83 に該当する話と。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 10:42:08

>>79
Windows Mobileなら、q2chwmが便利だよ

**root▲▲ ★** · 2010/06/15(火) 10:45:27

>>86
入れてはあります。

PCで読むのと同じような感覚で読むには、
確かにとても便利なんですが、
例えば、電波の悪い地下鉄車内で、ちゃちゃっと operate だけチェックする、
なんていう時は、結構重たいかも。

**root▲▲ ★** · 2010/06/15(火) 10:50:44

寝ていた間に、負荷が少ない状態で、swap増えているな。
2048は、身の丈を超えている感じかな。

Swap: 8192M Total, 196M Used, 7996M Free, 2% Inuse

で、swapさせない、という選択肢もあるにはあるわけだけど、
たいていswapする時は身の丈を越えている時なので、
調整する時のめやすにはなるのかなと。

**root▲▲ ★** · 2010/06/15(火) 10:51:37

あ、ちがうちがう。

httpd の状況は変わっていない。

変わったのは、

> 1074 dnscache 1 44 0 200M 76856K select 1 2:25 0.00% dnscache

これだ。
これがまだ大きすぎるってことか。

**root▲▲ ★** · 2010/06/15(火) 10:53:48

ログファイルとりをやめたから、dnscache自体の処理も軽くなったと信じて、
もうしばらく(今日のおやつの時間ぐらいまで)様子見て、右側のサイズ、

> 76856K

に、使用メモリ容量を下げてみるのを試してみよう。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 10:56:14

>>83
報告人作戦本部スレッド★44
http://qb5.2ch.net/test/read.cgi/sec2chd/1273416573/518

今のところ、まだ返信は無さそうですね。
葱＠報告人 ★さんの報告待ちです。

**root▲▲ ★** · 2010/06/15(火) 10:59:58

>>91
はい、私も先方からのお返事を待っております。

**root▲▲ ★** · 2010/06/15(火) 11:01:08

あ、>>92 は誤解を生みますね。

私はauさんには何も送っていなくて、
葱＠報告人 ★さんからのご報告をお待ちしている、ということです。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 11:04:47

>>87
(Score:3 Insightful)

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 11:05:47

なー、ニュー速＋見られないんだけど、何やってんの？

サービス停止する期間が長すぎるし、頻発してるじゃん。　こんな計画ダメでしょ。　マジメにやってよね。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 11:07:25

>>95
普通に見れるが

ニュース速報+
http://tsushima.2ch.net/newsplus/

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 11:10:35

>>95
janeからは見えないようです

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 11:12:11

janeならツール→設定でボード一覧取得URLを↓に変えろ

http://menu.70.kg/bbsmenu.html

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 11:12:49

>>97
「ニュース速報＋」のタブを選択
スレ覧→板移転の追尾
その後で板を更新（タブをダブルクリックでおｋ）

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 11:15:56

各専ブラのスレで聞けばいいものを

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 11:16:43

運営批判したいだけでしょ

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 11:18:55

yomi.mobiで熱いスレ覧が使えなくて悲しい

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 11:23:45

すれ違いなのは、すれ違いで流しましょう
ここはサーバー落ちたスレですらないしさ
荒らしが喜ぶだけっしょ

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 11:29:31

おいちゃんがitaiten.sh [SOURCE] [DEST] ... みたいなの作って自動で更新してよ

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 11:38:32

>>104
>>98

作者は違うけど

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 11:41:16

20秒規制に戻そう

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 12:04:04

>>92-93
いえ、大丈夫ですよ。勿論解っていますから。
私は権限がないので、なにも出来ませんが・・・

2ch サーバーダウン（鯖落ち）情報　part302
http://qb5.2ch.net/test/read.cgi/operate/1276531260/477-
スレチの方々は、この辺りを参照にするとイイかもです。

**root▲▲ ★** · 2010/06/15(火) 12:13:46

順調にswap増えていっているので、
2048 はやっぱり、身の丈よりも多いみたい。

メモリ24Gのサーバに期待しよう。

last pid: 20075; load averages: 2.47, 1.66, 1.42 up 0+12:19:42 20:12:55
2112 processes:4 running, 2107 sleeping, 1 zombie
CPU states: 20.8% user, 0.0% nice, 17.5% system, 0.1% interrupt, 61.6% idle
Mem: 5875M Active, 713M Inact, 857M Wired, 238M Cache, 214M Buf, 11M Free
Swap: 8192M Total, 621M Used, 7571M Free, 7% Inuse

> 1074 dnscache 1 44 0 200M 55432K select 2 2:44 0.00% dnscache

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 12:17:49

24Gだと今の3倍だから、CPUが3倍強くなるわけじゃないにせよ、
4096ぐらいは行けるようになるのかね。
そのぐらい上げて運用できるなら、「どーん」にも耐えられそうだ

**root▲▲ ★** · 2010/06/15(火) 12:26:34

httpdが増えてくると、起動がかかって数だけ充填されるまでの時間が
無視できなくなりますね。その間は不安定な状態になるし。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 12:36:20

live28のE1、カクンと減ったなぁ
設定なのか、大きいところ無くなったからか。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 12:40:36

これまた19日に向けて調整終わったら詰め込みなおすのかな？？

[―{}@{}@{}-] p2-user: 612061 p2-client-ip: 202.33.78.114 · 2010/06/15(火) 12:48:46

新しいポート取得URLくれ

**root▲▲ ★** · 2010/06/15(火) 12:56:24

swapがだんだん危険水域に近づいてきた。

Swap: 8192M Total, 803M Used, 7389M Free, 9% Inuse

減らすとして、いくつがいいか。
1408 と 2048 の間をとってみるか。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 13:04:40

最終的には２ちゃんは3台くらいで回すんですか？

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 13:15:08

チューニング記録が作業毎に残してあるんですね
中の人乙です
http://www.maido3.com/server/zousan/nikki170.html#sp2

**root▲▲ ★** · 2010/06/15(火) 13:17:14

>>116
次に同じものをこしらえる時、これは必須ですね。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 13:19:35

>>113
>>98

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 13:40:03

今作業中かな

**root▲▲ ★** · 2010/06/15(火) 13:45:17

Swap: 8192M Total, 820M Used, 7372M Free, 10% Inuse

10%いってしまいました。
このままほっておくとまずそう。
httpdを減らす方向性ですね。

かといって、2048にしたい局面は確実にあるから。
これでいってみるか。

・とりあえず1024からスタート
・非常時には2048まで伸ばせるようにする
・平常に戻ると自然に1024に戻る

**root▲▲ ★** · 2010/06/15(火) 13:48:46

で、>>120 を実装するには、、、。

StartServers 1024
MinSpareServers 1023
MaxSpareServers 1024
ServerLimit 2048
MaxClients 2048
MaxRequestsPerChild 10000
MaxMemFree 2000

これでいいのかな。

**root▲▲ ★** · 2010/06/15(火) 13:52:24

>>121 を申請します。

**root▲▲ ★** · 2010/06/15(火) 13:56:53

>>122 done.

作業時に、一瞬Apache止まる予定。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 14:01:01

>dnscache
ローカルは32Mとかに抑えてdnscache専用鯖にバンバン投げた方が楽じゃね？

**root▲▲ ★** · 2010/06/15(火) 14:01:10

httpd の再起動作業後に、
swap outしてしまったdnscacheの再起動も、あわせてお願いした。

**root▲▲ ★** · 2010/06/15(火) 14:03:14

>>124
昔のroot権限なしサーバでは、確かそうやっていたですね。

そういえばそもそも私が２ちゃんねるで最初におもりしたのは、
そうやって作った、専用のDNSキャッシュサーバだったです。
PIEがまだない頃。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 14:05:23

>>98
ﾄﾝﾄﾝ

**root▲▲ ★** · 2010/06/15(火) 14:11:05

設定変更入った様子。

一度子供プロセスのhttpdをpkillで殺してみたけど、
今の時間だと、

%pgrep httpd | wc -l
1266

ぐらいになるかんじ。

「ひまな人」が1023より常に少なくならないようにしろ、
と設定してあるので、こんなかんじになるのは想定の範囲内。

あとは、
MinSpareServers 1023

ここのさじ加減なわけだが。

**root▲▲ ★** · 2010/06/15(火) 14:14:44

704の時の設定値、

MinSpareServers 703

あたりかな。

それに再変更依頼します。

**root▲▲ ★** · 2010/06/15(火) 14:16:50

>>129
依頼した。

この時間で1000を切るぐらいのプロセス数になると、いいかんじかなと。

**root▲▲ ★** · 2010/06/15(火) 14:33:10

%pgrep httpd | wc -l
996

こんな感じで推移している。
swapは4%ほどに減った。

Swap: 8192M Total, 356M Used, 7836M Free, 4% Inuse

とりあえずこれで観察かな。
一度リブートするといいかもしれないけど、それはまた重い番組の後ででも。

**root▲▲ ★** · 2010/06/15(火) 14:34:46

今の時点で、この設定。

StartServers 1024
MinSpareServers 703
MaxSpareServers 1024
ServerLimit 2048
MaxClients 2048
MaxRequestsPerChild 10000
MaxMemFree 2000

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 14:44:03

tsushima +約50Mbps
http://traffic.maido3.com/uSLZ/jhlK/dQI8/

schiphol +約30Mbps
http://traffic.maido3.com/SztJ/woJv/Asub/

こんなに頑張ったのに誰にも褒めてくれないtsushimaとschipholカワイソス

**root▲▲ ★** · 2010/06/15(火) 14:51:28

>>133
すげー。特にtsushima。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 15:11:01

>>133
yutori7や出戻りのなかったgimpoも、試合終了頃に凹んだり跳ねたりしてますね
live28が耐えてたらどこまでいけたんだろう

**root▲▲ ★** · 2010/06/15(火) 15:17:47

基本は、こんなかんじで。>>135

＜普通の板＞
キックオフで減る
ハーフタイムでちょっと戻る
後半でまた減る
終わった後はそれなりに盛り上がる

＜elevenとかmnewsplusとかの揺り戻し系＞
キックオフで減る
ハーフタイムで盛り上がる
後半でまた減る
試合終了直後に大爆発

＜実況板＞
キックオフ前から熱い空気に包まれる
キックオフと同時にどーん
ファインセーブでどーん
ハーフタイムでクールダウン、ビデオリプレイに合わせてグラフがピクピク
ゴールポスト直撃でどーん
シュートきまればどーん
試合終了でどーん
あとはなだらかに収束

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 15:26:43

live28 だけで n年前の２ちゃんねる全トラフィックを食い潰したとか
考え出すと、胸が熱くなるよな。みたいな話だったとさ。

**動け動けウゴウゴ２ちゃんねる** · 2010/06/15(火) 16:26:58

Live2CHだとどうすればいいの

**ちきちーた ★** · 2010/06/15(火) 16:32:18

今晩の　wether forcastはどんな感じかしら?