X
トップページ⇒運用情報
1001コメント375KB

【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part18

■ このスレッドは過去ログ倉庫に格納されています
0001220.117.237.222＠root▲ ★
垢版 |
NGNG
peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。

＜現在の主要なテーマ＞
・「Love affair作戦」による、携帯系サーバの大幅強化・外向けdat供給サーバの構築
・「雪だるま作戦」による、スケーラブルなサーバ群構築
・BBQの2台体制化・RAID1化
・FreeBSD 5.4Rの導入検討
・各種作戦・プロジェクトとの連携
・FreeBSDのさらなるチューニング詰め

＜主な関連スレッド＞
【Love Affair】携帯からのアクセスに対する考察・次の一手 Part3
http://qb5.2ch.net/test/read.cgi/operate/1095146311/
■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1
http://qb5.2ch.net/test/read.cgi/operate/1105035540/

＜主な関連サイト＞
MRTGによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html
２ちゃんねる サーバ負荷監視所: http://ch2.ath.cx/load/
2ch 鯖監視係。: http://sv2ch.baila6.jp/

＜前スレ＞
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17
http://qb5.2ch.net/test/read.cgi/operate/1107376477/
0449 ◆f0.zuburi6
垢版 |
NGNG
プロダクトナンバーが上がる方が消費電力も下がるんだ。
でもDualCore化でも消費電力3割増(測定環境が同じじゃないけど)に押さえてるのは
涙ぐましい努力のなせる業なんだろうなあ…
0452動け動けウゴウゴ２ちゃんねる
垢版 |
2005/05/20(金) 22:11:51ID:c9Nu9FFT0
248-252の比較は252が出たときの記事、ですので130nm（Rev.C）と比較する
趣旨のようです。
248-250が130nm（Rev.C）252が90nm（Rev.E）ですね。
表から推定するに、130nmの244程度の消費電力、になるのでしょうか。
従来のcobra機との比較と言う観点からは、130nmのコアと90nmの252の比較、
と言うのは外れではないのでは、と思います。
90nmの低クロック品はより、消費電力が下がるのは自明ですから。

個体差も有るでしょうからレビューの消費電力が保証されるわけでは
ないですが、90nmに移行して、252も爆熱、と言うわけではないようです。
0453 ◆f0.zuburi6
垢版 |
NGNG
そっかー,プロセスが違えば当然ではあるねえ。
でもDualCoreでも発熱が抑えられているのが確認できてるし,期待も出来る鴨かも
0454じじぃ　その４ ◆HETAREzfq.
垢版 |
NGNG
Cool'n'Quietを動かすモジュールをぶち込めば1U化については
ひじょうに期待できるとおもうんじゃが

そのモジュールの安定性はどーなんだべ？
（そもそも鯖に挿れてええブツなのかどーか、それとももう既に挿れておるのか）
0457 ◆f0.zuburi6
垢版 |
NGNG
CPU自体が持っているので,マザーの対応次第じゃないかな？＞C'n'Q
0459 ◆f0.zuburi6
垢版 |
NGNG
外部から明示的に動作を切り替えるモジュールかな？
調べてみるべか…
でもまあ,それ以前にCnQが動作するほど余裕ができるかどうかってのもあるねえ
0460 ◆f0.zuburi6
垢版 |
NGNG
あーそうか,ユーザー側でパフォーマンスを指定する事も可能なんだなあ。
こりゃいっそのことフルスロットルd(ry
0466 ◆f0.zuburi6
垢版 |
NGNG
ttp://www.fenix.ne.jp/~G-HAL/soft/nosettle/ の真ん中より少し下
>>461のサイトね。VIAに限らず使えるんじゃないかと邪推。
それよりttp://hp.vector.co.jp/authors/VA009278/amd64/ の下1/3くらい。
不具合がまだあるみたい。対処方法は書いてあるけど眠いからパスｗ
0468じじぃ　その４ ◆HETAREzfq.
垢版 |
NGNG
>>467
なんかopteronの場合はBIOSがPowerNow!をCool'n'Quietと誤認識しるらすい、
Cool'n'Quiet自体は存在せん模様


dually nForce Pro 2200 マザーボード・トリオを比べる
Asus K8N-DL, Iwill DK8ES, Tyan Thunder K8WE
（略）
（５ページ目）
K8WE, DK8WSのBIOSにはオーバークロック用のものはないが、
（略）
PowerNow（BIOS上の表示はCool'n'Quiet）と組み合わせれば、アイドル時の静穏化
http://mypage.odn.ne.jp/www/k/8/k8_hammer_trans/files/Hammer-Info.html


で、PowerNow!は夏に出る6-currentにはそれ用ドライバ標準装備だとかなんとか、
おらにはｻﾊﾟｰﾘわかりませぬが。。
0469root▲ ★
垢版 |
NGNG
○ 5月20日24:00前に発生した、XOロケーションにおける電源トラブルについて

Jimさんからの報告によると今回のトラブルの原因は、tigers、tiny tigersと
高性能スイッチに電源を供給している電源系統のオーバーロード
(使用許可容量超過)による、安全ブレーカーの断であった、とのことでした。

PIEに限らず一般的にデータセンターでは、通常このようなことが起こらないように、
各サーバやスイッチの消費電力を計算したうえで、1つの電源系統から
過剰に電源をとらないように、電源の配置をあらかじめ考慮しておくわけですが、
今回、「後付」でCPUを追加したため、1台あたりの消費電力が
当初の想定よりも大きくなり、それが6台分積み重なったことで、
電源のオーバーロードが起こってしまったわけです。

ではなぜtiny tigerをつないで動かし始めた時点でオーバーロードが発覚しなかったのか、
という点についてですが、これはあくまで私の推測ですが、たぶん該当の電源系統は
CPUを増設した時点ではたまたま「オーバーロードになるぎりぎり一歩手前の状態」
になっていたのでしょう。

で、その状態で日本が23:00を迎え、いつものようにlive20やnews19やgame10や
hobby7へのアクセスや書き込みがピークを迎え、携帯サーバやBlackGoatへの
アクセスがピークを迎えることで各サーバの消費電力が増し、
24:00のMAX値のところで「バチン」と、安全ブレーカーが働いたのだと、推測されます。

で、Jimさんたちは改めて現在の消費電力を見積もりなおし、各サーバ・スイッチの電源を
再配置することで、問題を解決したようです。

以上、原因を隠しておく方が信頼度が下がると判断し、
私の判断で状況を正直ベースで書くことにしました。
0470root▲ ★
垢版 |
NGNG
つまりまとめると、

1) 今回のトラブルの原因は、ヒューマンエラーであった
2) Jimさんたちは、今回の件により、ひとつ経験を積んだ
3) 運良く、ハードウェアや掲示板のデータそのものには、障害は発生しなかった
おまけ) ex10やetc4やqb5は、たまたま場所・電源ともに別系統だった

ということになります。

私は、今回の件については、きちんと「原因」を報告してくれたことと、
上記の「3)」と「おまけ」の部分にめんじて、今回限りという条件つきで、
許すことにしました。

ということで、game10 / hobby7 / news19 / live20 のユーザの方々、
また携帯系サーバのユーザの方々には、たいへんご迷惑をおかけいたしました。

以上です。
0472 ◆f0.zuburi6
垢版 |
NGNG
確かCnQ自体はPowerNow!の延長線上のモノだったと思ったのでそういう扱いになるかもですね＞BIOS
いづれにせよ対応待ちっすねー>>468

>>469 おつですー少し補足しますー
＞動かし始めのオーバーロードが出ない件
負荷の変動による電力増加も勿論あると推定します。その上で,
ブレーカーというものは,大抵の場合,100%の負荷でも遅延動作で落ちる事があります。
例えば1時間とか。
95%位でも２〜３時間で落ちるコトが有ります。そういう仕様・特性なのですー
0473動け動けウゴウゴ２ちゃんねる
垢版 |
2005/05/21(土) 10:42:00ID:6YOiEvoF0
>>441
でしょうねー、というかまだあまり枯れきっていないし、
なによりOSのジャンプは人間パワーが必要ですから。

>>472など
ちなみに昨今のコンピュータは動かし始めや
今回のトラブルの引き金になったようなフル稼働時が一番電気を食います。

参考までに↓
質問・雑談スレ161＠運用情報板
http://qb5.2ch.net/test/read.cgi/operate/1116584807/941
0474root▲ ★
垢版 |
NGNG
>>472
遅延動作ですか。なるほど。

>>473
実はSunOSは本業方面では3.5あたりから入って、4.xとかSolaris2.3〜2.6あたりまでは
使い倒した(NIS+とかもいちから使ったし、/etc/systemもいじり倒した)のですが、
もう概ね、忘れてるですね。

当時はAdrian Cockcroftの書いた本とかドキュメントとか、読みまくっていました。
これか。
http://www.amazon.com/exec/obidos/tg/detail/-/0131496425/qid=1116640502/sr=1-2/ref=sr_1_2/002-3909485-2440034?v=glance&s=books

だって、みんな無茶苦茶するんだもん。
0475動け動けウゴウゴ２ちゃんねる
垢版 |
2005/05/21(土) 14:59:55ID:6YOiEvoF0
>>474
Sun/Solaris使いだったのは過去の投稿で知ってます

> だって、みんな無茶苦茶するんだもん。

当時はclassicでしたっけ。無茶に敢然と堪えられるsparcとSolarisすごすぎかと。

ただスピード競争にはおいてかれてしまい、
Sparcなワークステーションはもう出ることはないでしょうね。
所属先から支給されているblade150/650MHz使ってますが、体感的にあまり早くないですし・・・

ちなみに最近荒らし対策(違)で流行してるサーバベースコンピューティングは
こないだの某社買収もあってSunの独走状態で、sparcは今後こっち路線っぽいですね

・・・とチラシの裏してみますた、スマソ
0476root▲ ★
垢版 |
NGNG
新サーバへの移行が完了しましたので、以下の削除をお願いします。

(削除)
+c-docomo2.2ch.net:206.223.151.215
+c-docomo3.2ch.net:206.223.151.210
+c-docomo4.2ch.net:206.223.151.200

で、これらのサーバの携帯用ラックからの移動手配についてはどうしましょうか。
問題なければ、私からJimさんとSeanさんにその旨連絡とります。
0477資材二課 ★
垢版 |
2005/05/21(土) 15:12:48ID:???0
>>476
DNS: 要請だしました。
移設 : わたしがコントロールしますー、(すこしだけ寝かせてから)
0479資材二課 ★
垢版 |
2005/05/21(土) 15:21:01ID:???0
この三台の移設ですが、

1) IP が変わってもok ?
2) 再インストールは必要?
0480root▲ ★
垢版 |
NGNG
>>477
了解です。

・移動対象サーバは cobra2244 cobra2246 banana704(= cobra2247)
(PIE内部では、cobra2247 は banana704 というラベルで管理されているようです)
・移動後の接続速度は100Mbpsで問題なし
・プライベート側 I/F の接続は不要

と、PIE方面にお伝えください。
0481root▲ ★
垢版 |
NGNG
>>479
1) 変わっても問題ありません。
2) してもらったほうが、都合がいいかも。

これから、システムのフルバックアップをとっておきます。
0482資材二課 ★
垢版 |
2005/05/21(土) 15:24:56ID:???0
了解です

バックアップおわったら、お知らせくださいー
たぶん移設は来週かと
0483root▲ ★
垢版 |
NGNG
cobra2244, cobra2246, cobra2247 バックアップ完了しました。
移設・再インストールしていただいて OK です。
0485root▲ ★
垢版 |
NGNG
さて、ぼちぼち oyster243 のセットアップはじめるです。
BBQの二重化へと。
0486動け動けウゴウゴ２ちゃんねる
垢版 |
2005/05/23(月) 00:27:02ID:emXzPc4Z0
もいもら

cobra244 (3G -> 4G) ex12.2ch.net (soccer関連全部)
cobra246 (2G -> 4G) ex13.2ch.net (base関連全部)
cobra247 (2G -> 4G) live21.2ch.net (live15から全部移転)

Tiger2513 ex11.2ch.net (vipのみ)
Tiger2514 anime.2ch.net (anime関連全部)

二週間くらいで出来上がるかな?
0489root▲ ★
垢版 |
NGNG
>>486
了解です。

anime は新カテゴリですか。
もはや日本の主要な文化の流れだし、いいんじゃないでしょうかね。

>>486
メモリは、現地にしかと聞いてみないとなんともいえませんが、
確か2244と2246は同じロットのメモリだった気がするので、
寄せ集めてまずは1台、4Gにしてみるとか。

それも含みで、PIE方面に聞いていただけると助かります。>>488
0490動け動けウゴウゴ２ちゃんねる
垢版 |
2005/05/23(月) 01:33:35ID:BW22G+Tw0
国内サッカーと海外サッカーは代表板ほど酷くはないのだが
いい加減サッカーだからという理由で人括りにするのはやめてもらいたい
0494root▲ ★
垢版 |
2005/05/23(月) 02:16:56ID:???0
http://qb5.2ch.net/test/read.cgi/operate/1116779014/33
33 名前：動け動けウゴウゴ２ちゃんねる[sage] 投稿日：2005/05/23(月) 01:40:22 ID:emXzPc4Z0
一年かかってpeko作戦はゴールしたんだ。
そうなんだよ。


柄にもなく、ちょっと「うるっ」と来ました。

そう言えば去年の今頃は、とても苦しかったですね。
次々に起こる原因不明のサーバダウン、そしてリブート依頼もままならず、
私もサーバの信頼性も、落ち込む一方でした。

で、その後の長期間にわたるさまざまな試行錯誤の末、
不安定の原因はシステム側の複数CPUでの処理に問題があるためとわかり、
掲示板担当のtiger/cobraサーバではCPUが2つあるのに
システム側でわざとシングルCPUの設定にして、
私もサーバも小さくなってひたすら耐え忍ぶ、雌伏の時が続きました。

その後、ex7(当時)で試していたFreeBSD 5.3Rベータ版では、
デュアルCPU設定でも問題なく動作するとわかり、
2004年10月にFreeBSD 5.3Rの正式版が出た後は、
ようやく攻めに転じることができました。

その間にも、携帯用サーバシステムの完成による携帯アクセスの分離独立・
ジンギスカン(動的html部分へのメモリディスク導入)等による体質の改善が図られ、
また、2004年11月から12月にかけてのbbs.cgiのSpeedyCGI化・read.cgiのcgidso化により、
各サーバの掲示板サーバとしてのパフォーマンスは、飛躍的に向上しました。

現在では２ちゃんねるの最強のサーバでは、ピーク時で1353投稿/min をこなし、
テキストとdatとhtmlのみで35Mbps以上の転送量を叩き出し、50万投稿/dayを難なく処理し、
そしてついには、1分で1000に達する最速スレでさえも、耐えられるようになりました。

しかしたぶん、次の山はまたすぐやってきます。
今後も気を引き締めて、今後も関係するみなさまと協力しながら、
自分なりにできる範囲でがんがっていこうかなと、思っております。
0495動け動けウゴウゴ２ちゃんねる
垢版 |
2005/05/23(月) 02:18:55ID:fV1l1OYr0
とりあえずrootさんお疲れ様。
これからも色々俺らVIPPERが迷惑かけるかも知れないけど、その時はまたヨロシクｗｗｗｗ
0497動け動けウゴウゴ２ちゃんねる
垢版 |
NGNG
rootさん、お疲れさまです。

スタコラ作戦からここまで約一年ですか
感慨深いものがあります

山を越えるとまたさらに高い山が、あるような気がしますけれど
ちょっとくらい山頂からの眺めを楽しんでください
0498▲ ◆cZfSunOs.U
垢版 |
2005/05/23(月) 08:06:18ID:qgOhZN+90
>>494 思い起こせば，いろいろ山あり谷ありでしたね．お疲れさまです．

個人的には mod_cgidso / read.cgi に関わったわけですが，最初の導入時
うまくいった！と思いきや，read.cgi 出力が不規則に乱れる問題が発生して，
root ★ さんや FOX ★ さんたちと深夜〜未明の時間帯に試行錯誤しつつ対応していた，
ってこともありましたね．その後は何とか正常に稼働しているようでほっとしています．

今後も白山羊・雪だるまなどのプロジェクトも控えていますが，引き続きよろしくです．
0499動け動けウゴウゴ２ちゃんねる
垢版 |
2005/05/23(月) 11:10:25ID:nu1x+2F20
ハードウェア、FreeBSD、PIE、2chのみなさん、ありがとうございます。
引き続きよろしくお願いします。ﾜｸﾜｸﾃｶﾃｶﾄﾞｷﾄﾞｷはまだまだ続くのです。
0500動け動けウゴウゴ２ちゃんねる
垢版 |
2005/05/23(月) 13:52:26ID:Gx0M/2C00
そいやもう雪解けも終わって………
ってそんな事言おうとしたんじゃなかった。

誰かここに詳しい人達で"(鯖とかスクリプトの面での)にちゃんねるの歴史"なんてのを作ったら
面白いかなぁ、なんて言ってみたり

自分でやろうともまだそんなに知らないので編纂できない('A`)
0503動け動けウゴウゴ２ちゃんねる
垢版 |
2005/05/23(月) 18:35:06ID:0G4vUM0E0
アニメだよ全員集合は

新・旧シャア

アニメサロン
アニメ
アニメ２
アニメ新作情報
なつかしアニメ
アニキャラ総合
アニキャラ個別
アニメ漫画速報
アニメ漫画業界

CCサクラ
エヴァ

あたりかな？

アニソン等はどうするんだろう
0505動け動けウゴウゴ２ちゃんねる
垢版 |
2005/05/23(月) 19:46:53ID:3y6anapl0
>>503
声優はanimeに入れてあげてよー。comicじゃないっすよ。

アニメ漫画速報はアニメと漫画で分割。
業界は…経緯がややこしいんだっけ、ならそのままanimeに。

空いたcomic5に週少をetc4から復帰。
余裕があるなら、週少と関連の深い漫画キャラクターをcomic6から移転。
さらに余裕なら、週刊少年漫画サロン新設。
くらいでよろしくおながいしたいなー。
0506動け動けウゴウゴ２ちゃんねる
垢版 |
2005/05/23(月) 20:23:37ID:6q5p26Nb0
懐かし系はカテゴリ鯖に入れないで即死のゆるい鯖のほうがいいと思うんだけど
ゲームのレトロ系とかも
0507じじぃ　その４ ◆HETAREzfq.
垢版 |
2005/05/23(月) 21:29:32ID:ap7r8IxX0
>>494
一段落というコトなら残っておるブツはなにか、
リストアップすて逝ったほうがええような気ガス

ところで、これから出るという新しいOSはどんな新機能があるだすか？
注目点があれば教えれ
0512動け動けウゴウゴ２ちゃんねる
垢版 |
2005/05/23(月) 21:48:34ID:OkIDbjbd0
>>508
アニメ漫画速報板はアニメと漫画に分けると
過疎化に拍車がかかるので住人から猛反対有り。
そのままの形でnews鯖に移転すればいいのではないか。と。

アニメ漫画業界板はアニメサロンの業界スレ住人が
漫画メディアと一緒にされることに対して著しいアレルギー反応があり。
アニメ業界オンリーの専門板なら移転してもいいとのこと。
0515 ◆/dAlcsdWd2
垢版 |
2005/05/23(月) 23:14:39ID:gjsyRhGp0
dcod見積もりまーだーﾁｿﾁｿ（だいぶry
0516 ◆/dAlcsdWd2
垢版 |
2005/05/23(月) 23:15:50ID:gjsyRhGp0
tasuketeもた・・・鬱回切氏
0517root▲ ★
垢版 |
NGNG
tiger2513 と 2514 が到着したそうです。

これからハードウェアをチェックし、問題なければ設定作業に入ります。

>>486
> Tiger2513 ex11.2ch.net (vipのみ)
> Tiger2514 anime.2ch.net (anime関連全部)

この2台。
0519帰ってきた100円札マン ◆100enpax7E
垢版 |
2005/05/24(火) 23:46:15ID:f4pwm+170
つ・・・ついに・・・来る！
0521NEET ◆NEETBAAGIA
垢版 |
2005/05/24(火) 23:47:34ID:CTUhjtGJ0
専用鯖ｸﾙ━━━━━━(ﾟ∀ﾟ)━━━━━━━!!!!!
0523近藤むつみ ◆623FNP15qc
垢版 |
2005/05/24(火) 23:49:08ID:EqigMJqA0
専用鯖ｸﾙｰｗｗｗｗｗｗｗｗｗｗｗ
0524 ◆J.YrnfpFog
垢版 |
2005/05/24(火) 23:49:10ID:UZ03mT1j0
ｷﾀ━━━━ヽ(_∪ __ )ﾉ━━━━!!!!
0528root▲ ★
垢版 |
NGNG
とりあえずログインはできました。
作業をたんたんとすすめたいんで、記念カキコは雑談スレあたりでどうぞです。＞各位
0532NEET ◆NEETBAAGIA
垢版 |
2005/05/24(火) 23:56:05ID:CTUhjtGJ0
>>528
乙
0534root▲ ★
垢版 |
NGNG
未知数ですね。

とりあえずdual channel SCSI仕様なので、tiger503(= live20、旧ex7)以上であることは
概ね確実かと。

ex10よりも高性能かどうかは、わかりませぬ。
0536root▲ ★
垢版 |
NGNG
dual channel SCSIじゃなくてsingle channel SCSI仕様みたいね。
でもまぁ、バス幅はネックじゃないと思うから、大勢に影響ないかな。

それより、HDDが15,000rpmじゃなくて10,000rpmですよ。
これはちと、能力に影響あるかもね。

とりあえず、おじさんに状況報告しておこう。

あと、ほんとうにdual CPUかどうかも確認しておくか。

da0 at mpt0 bus 0 target 0 lun 0
da0: <SEAGATE ST336807LC 0C01> Fixed Direct Access SCSI-3 device
da0: 320.000MB/s transfers (160.000MHz, offset 63, 16bit), Tagged Queueing Enabled
da0: 35003MB (71687372 512 byte sectors: 255H 63S/T 4462C)
da1 at mpt0 bus 0 target 1 lun 0
da1: <SEAGATE ST336807LC 0C01> Fixed Direct Access SCSI-3 device
da1: 320.000MB/s transfers (160.000MHz, offset 63, 16bit), Tagged Queueing Enabled
0538root▲ ★
垢版 |
NGNG
>>536
おじさんから「伝えました」と、返事がありました。
0539root▲ ★
垢版 |
NGNG
> dual channel SCSIじゃなくてsingle channel SCSI仕様みたいね。
> でもまぁ、バス幅はネックじゃないと思うから、大勢に影響ないかな。

この件も「パフォーマンスに影響が出る可能性がある」と伝えてあります。

dual CPUになっているかどうかは、現在確認中。
0541root▲ ★
垢版 |
NGNG
簡単な負荷試験 & dual CPUかどうかのテストを兼ねて、
make -j 8 buildworld buildkernel >& Make.log を実行中。
やはり、HDDの書き込み速度が遅い気がするですね。

手違いなら、、交換コースが妥当かと。
0542root▲ ★
垢版 |
NGNG
tiger2513
FreeBSD/SMP: Multiprocessor System Detected: 4 CPUs
cpu0 (BSP): APIC ID: 0
cpu1 (AP): APIC ID: 1
cpu2 (AP): APIC ID: 6
cpu3 (AP): APIC ID: 7

dual CPUでは、あるようだ。

tiger2514は、これから。
0543root▲ ★
垢版 |
NGNG
tiger2514も、dual CPUではあるようです。
(HTTなので、2 x 2)

FreeBSD/SMP: Multiprocessor System Detected: 4 CPUs
cpu0 (BSP): APIC ID: 0
cpu1 (AP): APIC ID: 1
cpu2 (AP): APIC ID: 6
cpu3 (AP): APIC ID: 7

ということで、

・HDDが15,000rpmものではなく、10,000rpmものであった
・SCSIコントローラがsingle channelものであった

という2つの理由のため、こちらで予期したハードウェア上の要件を満たしていません。

また HDD が交換になった場合、OSも同時に入れなおしとなってしまうため、
これ以上のインストール・セットアップ作業は意味がないと判断し、
すべてを初期状態に戻した上で、いったん返品することとしました。

これから、その旨メールを書きます。

ということで、ハードウェア仕様が完全なものになるまで、セットアップ作業は保留ということで。
0544root▲ ★
垢版 |
NGNG
メールで >>543 の状況をおじさんに伝え、
問題の解決をお願いしました。

本日の作業は、ここまでかなと。
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況