X
トップページ⇒運用情報
1001コメント297KB

【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part14

■ このスレッドは過去ログ倉庫に格納されています
0001root ★
垢版 |
04/06/20 02:40ID:???
peko作戦について語るスレです。
サーバの新ロケーション、PIEに関する話題もこちらで。

現在の主要なテーマは、
・新ロケーション、PIEの安定化
・pekoサーバ突然死の原因究明
となります。

レンタルサーバー maido3.com ２ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html

PINKちゃんねるで現在進行中のama作戦については、こちら。

【Project ama】PINKちゃんねる特化型ｻｰﾊﾞ構築作戦 Part2
http://qb3.2ch.net/test/read.cgi/operate/1082721809/l50

携帯電話特化型サーバ構築作戦については、こちら。

【Love Affair】携帯からのアクセスに対する考察・次の一手 Part1
http://qb5.2ch.net/test/read.cgi/operate/1075887465/

前スレ
【Project peko】2ch特化型サーバ構築作戦 Part13
http://qb5.2ch.net/test/read.cgi/operate/1085678587/
0104動け動けウゴウゴ２ちゃんねる
垢版 |
04/06/24 11:19ID:aUf3FGuR
グラフが変というかnews13がこのところずっと不調なわけで
LAがそれほど上がっているわけでもないのに激重で
ネットワークかハードが怪しいんだが放置されてるわけで
0105 ◆HETAREzfq.
垢版 |
04/06/24 11:25ID:4KxmtQkN
>>104
漏れは「転送量限界説」かな？とおもうのですが
このグラフが見れないことにはなんともなわけで。。。

※早朝は軽かったですよ
0107root ★
垢版 |
04/06/24 14:52ID:???
game6のApacheの設定を変えた。
メモリを節約する方向。

従来:
<IfModule prefork.c>
StartServers 64
MinSpareServers 5
MaxSpareServers 32
ServerLimit 256
MaxClients 256
MaxRequestsPerChild 100000
MaxMemFree 2048
</IfModule>

現在:
<IfModule prefork.c>
StartServers 64
MinSpareServers 5
MaxSpareServers 32
ServerLimit 160
MaxClients 160
MaxRequestsPerChild 100
MaxMemFree 1024
</IfModule>
0108root ★
垢版 |
04/06/24 15:02ID:???
cobra2247 (etc2, food5)のSCSIカードがAdaptecから
他のcobraと同じLSI Logicのカードに交換され、
転送速度が本来の速度になりました。

da0 at mpt1 bus 0 target 0 lun 0
da0: <SEAGATE ST336753LW 0006> Fixed Direct Access SCSI-3 device
da0: 320.000MB/s transfers (160.000MHz, offset 63, 16bit), Tagged Queueing Enabled
da0: 35003MB (71687372 512 byte sectors: 255H 63S/T 4462C)
da1 at mpt1 bus 0 target 1 lun 0
da1: <SEAGATE ST336753LW 0006> Fixed Direct Access SCSI-3 device
da1: 320.000MB/s transfers (160.000MHz, offset 63, 16bit), Tagged Queueing Enabled
da1: 35003MB (71687372 512 byte sectors: 255H 63S/T 4462C)

ただし、デュアルチャンネルのかたっぽに両方接続されているので、
ぼちぼちケーブルの接続方法を他のcobraと同じに変えてもらうということで。
0109動け動けウゴウゴ２ちゃんねる
垢版 |
04/06/24 17:21ID:ux5+ZCmn
0113root ★
垢版 |
04/06/25 01:02ID:???
帰宅。
今日は午後からずっとオフラインでした。どうもいろいろとあったようで。
0115root ★
垢版 |
04/06/25 01:59ID:???
>>114
私は、2ch.netのDNSコンテンツサーバの設定してないです。
(maido3.comの中の人が担当)
0116root ★
垢版 |
04/06/25 02:05ID:???
私が今のところ触れるのは、
サブドメインの分(uma.2ch.netと・peko.2ch.net)のDNSコンテンツサーバと、
DNSキャッシュサーバ(bananaサーバから/etc/resolv.confで参照されている)だけですね。

2ch.netのDNSサーバはns1.maido3.comとns2.maido3.comなので、
私は触れんです。
0117動け動けウゴウゴ２ちゃんねる
垢版 |
04/06/25 02:46ID:dXL10Gte
@ IN SOA 2ch.net. root.localhost ( ごにょごにょ　)
pc5 IN A 38.114.144.85
こんなやつの最新版どこかにないかな？
と思ったんだけど

ns1.maido3.com内で2chのも設定してるなら無理か
0119root ★
垢版 |
04/06/25 06:38ID:???
キャッシュサーバのアドレスが変わると、Rock54への登録とかも必要かな。
しかし、ねそびれた。
0120未承諾広告 ◆TWARamEjuA
垢版 |
04/06/25 06:57ID:XGdfpxru
>>119
おつですー
Rock54 関連は丁稚どんを含めて大丈夫かと思いますです。banana238 -> 206 系なので
BBX の oklist の書き換え（or 追記）が必要なのかな？
0121 ◆HETAREzfq.
垢版 |
04/06/25 12:12ID:UurQKb8N
なんか鯖用マザー新発売ってのを見つけたんで貼っておきますね。
PCIexpress16xスロットにPCIexpress4xな高速ストレージカードを繋ぐことが出来るのなら
結構すごそう。（仕様上は繋ぐことが出来るはず）
しかも内臓LANがPCIexpress1x接続。

Tyan、Intel 925/915マザーボードを発表 - RAGE XLを搭載した製品など
http://pcweb.mycom.co.jp/news/2004/06/24/014.html

http://www.tyan.com/products/html/tomcati925x.html
ftp://ftp.tyan.com/datasheets/d_s5130_100.pdf

内臓LANチップの解説
http://www.chipcatalog.com/Broadcom/BCM5721.htm
0122root ★
垢版 |
04/06/25 12:44ID:???
本日の儀式予定:

1)c-docomo, c-others生誕
2)cアドレス変更

1)は今日のごごいちあたりで。
2)は1)へのリダイレクトがうまく動いたら。
0123root ★
垢版 |
04/06/25 12:47ID:???
ということで、儀式1)をお願いします。
以下の2つの追加登録になります。

+c-docomo.2ch.net:206.223.150.140
+c-others.2ch.net:206.223.150.145
0125 ◆HETAREzfq.
垢版 |
04/06/25 13:29ID:UurQKb8N
>>124
？？

おぢさんが「done」書き込みをする前に
まさか開いちゃったの？
0128root ★
垢版 |
04/06/25 13:48ID:???
>>126
振り分けをはじめました。
続きはあっちのスレで。
0129root ★
垢版 |
04/06/25 13:54ID:???
と思いましたが、儀式第2弾があるのを忘れていました。

以下のアドレス変更をお願いします。

これでDNSが浸透した時点で(変更後しばらくかかる)、
oyster246からの携帯系の分離は完了です。

(旧)
+c.2ch.net:38.114.144.180

(新)
+c.2ch.net:206.223.150.145
0131root ★
垢版 |
04/06/25 14:19ID:???
>>130
変更を確認しました。

徐々に浸透していくと思うので、週明けあたりには概ね新cにいくようになるとおもわれ。
0133未承諾広告 ◆TWARamEjuA
垢版 |
04/06/25 15:41ID:XGdfpxru
>>132
おつですー
ところで、
c.2ch.net/_service/
は存在するのでしょうか？＠現状、c-others に飛ばされるので確認できませんでした。

# 同じ鯖なのであまり意味はないかもしれませんけれども（苦笑）
0134root ★
垢版 |
04/06/25 15:50ID:???
>>133
旧cにはないです。
新cにはあるはず。でもc-othersのやつをln -sしてあるだけ。
0135未承諾広告 ◆TWARamEjuA
垢版 |
04/06/25 17:20ID:XGdfpxru
>>134
シンボリックの件、承知しました。
同じファイルなので、巡回外したほうが良さそうですね。

♪そういえば、 VirtualHost ごとに uptime があるのもちょとばかし無駄なような気もしたりして（苦笑）
0136動け動けウゴウゴ２ちゃんねる
垢版 |
04/06/25 22:31ID:b3e33PX5
root★さん忘れているので代行
http://c-docomo.2ch.net/
IPアドレス: http://206.223.150.140/~ch2c-docomo/
バーチャルホスト変換前: http://banana404.maido3.com/~ch2c-docomo/

http://c-others.2ch.net/
IPアドレス: http://206.223.150.145/~ch2c-others/
バーチャルホスト変換前: http://banana405.maido3.com/~ch2c-others/

これはドメイン毎の移動
http://c.2ch.net/
IPアドレス: http://206.223.150.145/~ch2c/
バーチャルホスト変換前: http://banana405.maido3.com/~ch2c/
0137動け動けウゴウゴ２ちゃんねる
垢版 |
04/06/25 22:34ID:b3e33PX5
おまけ
http://aa5.2ch.net/
IPアドレス: http://206.223.147.220/~ch2aa5/
バーチャルホスト変換前: http://banana272.maido3.com/~ch2aa5/

http://off3.2ch.net/
IPアドレス: http://206.223.147.220/~ch2off3/
バーチャルホスト変換前: http://banana272.maido3.com/~ch2off3/

http://life6.2ch.net/
IPアドレス: http://206.223.148.155/~ch2life6/
バーチャルホスト変換前: http://banana307.maido3.com/~ch2life6/
0140犬野ぽち
垢版 |
04/06/26 13:07ID:QZW89QQq
>>139

はあ。探すのに苦労しました。

これの、
http://qb3.2ch.net/test/read.cgi/operate/1073058944/601-
この
661 ：root ★ ：04/02/17 20:14 ID:???
書き込みのことでしょうか？

これだとすると、全体のトラフィックの制御のように読めますから、
実況の対策として、板ごと、あるいは、スレごとにトラフィック制御
してみる、というのとは、ちょっと文脈が違うかも知れませんね。

たまたま思いついて書いてみたのですけれども、なにぶん、
2chのシステムをあまり理解していないもので、はずしていたら
ごめんなさい。

でわ。
0142root ★
垢版 |
04/06/26 15:49ID:???
>>138
netniceは、いまのとこFreeBSD 4.xだけみたいですね。
将来性はきわめて有望(いろいろつかいでがありそう)なので、
かなりおもしろそう。
0143犬野ぽち
垢版 |
04/06/26 15:56ID:QZW89QQq
2ch的には、FreeBSD5.xが必要になりますか？
0145犬野ぽち
垢版 |
04/06/26 16:08ID:QZW89QQq
分かりました。できるだけ頑張ってみます。

もし差支えがなければ、直接コンタクトを頂ければ、
よりご希望に添った形に持っていけるかも知れません。
0147root ★
垢版 |
04/06/26 16:21ID:???
おぉ。すばらしいです。

ただ、実際に使うかどうかはわかんないです。
あと、i386じゃなくてamd64にも対応してほしいかも。

私のメールアドレスはこちらのリンクにあるやつになりますです。
http://mumumu.mu/
0148動け動けウゴウゴ２ちゃんねる
垢版 |
04/06/26 18:51ID:HPccLOF2
mod_netniceは面白そうではあるんだけれど、サーバからの出力の
帯域を絞る形で動作しそうなので、結果としてリクエストのはけが悪
くなる予感。リクエストのはけが悪いとapacheの仕組みからいって、
MaxClientsいっぱいまでhttpdが起動し、最悪の場合それが全部
read.cgiあるいはbbs.cgiを実行することになるので、サーバ負荷が
心配だったり。

mod_limitipconn2(/usr/ports/mod_limitipconn2にある)あたりだと、
同IPアドレスからの同時接続数を制限できるので、行儀の悪い
クライアントによる負荷を軽減できる可能性があるので検討の価値
があるかもしれません。

でも、当面考えるべきはbbs.cgiの改良だと思う。具体的には、
http://qb5.2ch.net/test/read.cgi/operate/1076666901/743-744
を簡略化した感じで、
1. datファイルヘの書き込みおよびsubject.txtや板topの更新を専門
　 に行うデーモンプロセスを作る。
2. bbs.cgiは書き込み許可のチェックとか書き込みのサニタイジングなど、
　 個々のPOSTリクエスト単位で閉じている仕事だけを受け持つように
　 し、実際の書き込みはデーモンに丸投げする。
削除関連などdatファイルやsubject.txtに触る仕事の実体を全てデーモン
プロセスにまかせられれば、デーモンプロセス自体の実装には特に工夫
しなくても、効果ありそう。
0150動け動けウゴウゴ２ちゃんねる
垢版 |
04/06/26 19:43ID:HPccLOF2
>>149
書き込み時と読込時では性質がかなり違うのと、現時点での携帯の場合は
平均的に遅いのと不安定という苛酷な条件があるので、Love Affairとは
直接の関係はないかと。>>148で書いたデーモンプロセスは各種ファイルを
持っているサーバで実行するほうが良さそうだし。
0151犬野ぽち
垢版 |
04/06/27 00:44ID:HARdI15O
別のところで見た「実況」の問題についての素朴な提案なので、こちらの
議論の流れとはずれているのかも知れません。その際にはご容赦を。

帯域の話は、フェアキューイングを使うと、帯域は絞りませんよ。たとえば、
リンクが100Mbpsあるとすると、「実況スレ」だけしかリクエストが無いとき
には、100Mbps使いきりますし、そこに同じだけの他のリクエストが来たとき
には、50Mbpsづつフェアシェアすることになります。その際、システム全体の
スループットは、理屈のうえでは変わりません。

ただ、それは、システムのボトルネックがネットワークI/O側にあるときの理想
的な状況で、かつ、クラス分けのアルゴリズムがうまく実装できたときの話です
ね。CPUがボトルネックであれば、いくらネットワークでフェアキューイングし
たとしても、あまり意味は無いでしょう。その際には、プロセススケジュー
リングの方を、スレ毎にフェアシェアしてやる必要が出てくるのでしょうね。

直感的には、ディスクアクセスが噛むと話が変わってきますけれども、アクセス
の多いスレはバッファキャッシュがホットでしょうから、最近のプロセッサで
あれば、結構、burstyに出力されているような気はします。チューニングされた
コードであれば、なおさらです。そうなると、ネットワークI/Oでのフェアキュー
イングが、「実況」問題に効果を発揮する可能性はあります。ただ、実際の
ところは、やってみないと分からないというのが正直なところですね。

リクエストが溜まってクライアント数が増えてしまうという問題については、
mod_netnice固有の問題ではなくって、システムの処理能力を上回るリクエストが
生じているときにはいずれにせよ生じる問題だと思います。その際には、選択的
に「実況スレ」のリクエストを処理しているプロセスをアボートさせるしかあり
ませんね。もっとも、その処理自体は簡単なはずですよ。案外、そうしたコード
を埋めるだけで、問題の殆どは解決してしまうのかも知れませんね。

思いつきで書いているので、間違っていたらごめんなさい。
0153動け動けウゴウゴ２ちゃんねる
垢版 |
04/06/27 01:32ID:81f5EUwW
>>151
フェアキューイングの話はそのとおりだと思います。理解しているつもりです。

で、現状の２ちゃんねるの負荷問題というのは、外野から見ている限りでも
いくつかのパターンがあって、書き連ねると次のようなものになります。
1. サーバの契約上の帯域制限に掛かってしまう。
2. ネットワーク的に遅いクライアントが沢山繋がった時に、apacheの性質上
　 設定したクライアント数分httpdが立ち上がり、その結果物理メモりが破滅
　 的に不足し、その結果スラッシングが起こり、見かけのCPU負荷が上がる。
3. bbs.cgiの場合(書き込み時)、ファイルの読み書きを行うプロセスが多数起
　 動される。特に実況時は同じファイルを読み書きするプロセスが上がる。
　 cgiなのでcgiを呼び出したapacheの子サーバはbbs.cgiが終了するまで
　 リクエストの処理を終えられないため、2の場合と同様の問題が起こる。
1の問題は契約の話なので、技術的には如何ともしがたいわけですが、
この制限でクライアントへの応答が悪くなった時には、LAが上がったりは
しないはずなので、現実には2の問題が最も大きいと考えられます。
実況サーバの場合は3に由来して2と同様の問題が起こっていると考えられ
ます。

なので、まずは2、3の問題を解決しないと、フェアキューイングをしても、
スラッシングの影響が大き過ぎて効果が出ないのではないかと思います。
2の問題はサーバの能力を越えた設定をしないようにapacheの設定を
チューニングすることで解決できます。で、>>148のは、3の問題を解決
するためのアイデアです。フェアキューイングの効果を求めるためには、
2、3のような状況が起こらないようにしておく必要がありますよね。
0154root ★
垢版 |
04/06/27 02:34ID:???
>>151 >>153
ども。1レスをもちょっと短めにするといいかもです。
(ここは60秒規制なのでややつらいですが)

中身のコメントは別途。

で、おれさまメモ。Zend Optimizerの効果はかなりある。

【Love Affair】携帯からのアクセスに対する考察・次の一手 Part1
http://qb5.2ch.net/test/read.cgi/operate/1075887465/797-
0155動け動けウゴウゴ２ちゃんねる
垢版 |
04/06/27 02:56ID:81f5EUwW
>>154
bbs.cgi関連を最適化しても恩恵を受けるのは実況サーバだけという
気もするので微妙ですが、もし手を付けるのであれば教えてください。
デーモン部分のコードをCで書きますです。
0156犬野ぽち
垢版 |
04/06/27 03:37ID:HARdI15O
お返事どうも。

フェアキューイングの説明については、余計なことだったようで申し訳
ありませんでした。2chのバックエンドについてまったく理解していない
一般人ですけれども、結論的には、同じところに落ち着いているようで、
少しほっとしました。

さて、上記の書き込みですけれども、直感的な感想です。

1は、簡単ですよね。パケットが契約帯域を越えるとドロップされるなら、
サーバ側で絞れば良いだけのような気がします。

2は、普通は、間にキャッシュサーバを数台噛まして負荷分散、という
アプローチになると思いますけれど、キャッシュは置けないという前提の
ようですね。そうなると、「遅い」コネクションをいかに落とすか、
あるいは、同じホスト上で、何らかのソフトウェアでキャッシュサーバ
の挙動をエミュレートしてやるか、という話になりますか...。

3は、「実況」時のリクエストのプロファイルによると思いますけれども、
「同じファイルを読み書きする」限りは、バッファキャッシュの効率が
高まるので、基本的に個々のプロセスの処理効率は高まると思います。
148は、その問題に対して、読み書きのトラフィックをユーザーランドで
write gatheringするというアプローチだと理解しますが、それは、逆に、
コンテクストスイッチ分だけ効率を落とすことになるような気がします。
この手のプロセスまわりの性能問題は、結局はスレッドベースのhttpdに
するしかないのでしょうね。逆に言えば、Apacheの利便を取る限りは、
犠牲にするしかない類の話なのかも知れません。

ともあれ、ある程度ネットワークに出力がないと、フェアキューイング的
に美味しくない、というのは正しいでしょうね。ただ、出力のバッファの
挙動って、よく分からない動きをするので、やっぱり、やってみないと
分からないというのが正直なところです。
0158root ★
垢版 |
04/06/27 19:36ID:???
game6/news11, comic4とも、メモリ節約セッティングに変更後にread.cgiを動かして
数日間安定して動いている模様なので、
tmp3/live12 (cobra2245)も同じセッティングに変更の上、
read.cgiを動かしてみた。

etc2/food5は来週には移転とのことなので、とりあえず今のままで。
0159root ★
垢版 |
04/06/27 19:37ID:???
pekoサーバのread.cgiはいずれも、munmap()を明示的にするバージョン。
少なくともFreeBSD/amd64では、このほうがかなり安定に動く模様。
0163未承諾広告 ◆TWARamEjuA
垢版 |
04/06/28 19:22ID:D8AhxuCe
カイサード　アルサード　キ・スク・ハンセ・グロス・シルク
灰燼と化せ　冥界の賢者　七つの鍵をもて　開け地獄の門
0168とんすけ ◆MytskeE.Vg
垢版 |
04/06/28 23:45ID:BpUevoiV
バスタードはまだ懐かしじゃないぞぉ、と釣られてみよう。
ついこないだようやく単行本新刊出たし、MMORPG化も進んでる？ようだし。

以後は質雑スレで。
0169root ★
垢版 |
04/06/29 11:21ID:???
そろそろ移転という噂もありますが、
oyster247のhttpdの設定をcomic4と同一に変更して、
etc2とfood5のread.cgiを復活させました。

これで、掲示板があるすべてのpekoサーバでread.cgiが復旧したはず。
0170root ★
垢版 |
04/06/29 11:29ID:???
pekoサーバのread.cgi問題ですが、

・munmap()を明示的に実行するようにする
・httpd.confに以下の設定を入れる
1)メモリ使用量に制限を入れる
2)メモリリークによるhttpdの肥大化を防ぐ

ことで、ここ数ヶ月苦労した問題は解決したのかもしれません。

<IfModule prefork.c>
StartServers 64
MinSpareServers 5
MaxSpareServers 32
ServerLimit 128
MaxClients 128
MaxRequestsPerChild 100 <=
MaxMemFree 1024 <=
</IfModule>

突然死というぐらいで「突然」起こるので、まだ予断を許しませんが。
0174動け動けウゴウゴ２ちゃんねる
垢版 |
04/06/29 22:19ID:xIuEu6Rq
Op鯖導入後からROMってましたが、一つの山を越えたようで、皆さん乙でした！
0176動け動けウゴウゴ２ちゃんねる
垢版 |
04/06/29 22:27ID:2pmovh6N
Op鯖突然死してますよ・・・
0177 ◆HETAREzfq.
垢版 |
04/06/29 22:33ID:LkGHrXSp
板詰め過ぎってことは。。。
うーん
0178root ★
垢版 |
04/06/29 23:35ID:???
移動中にtmp3/live12が、、、。
該当時間、負荷は高かったみたいですが、
これが負荷が理由なのか、はたまた例の突然死なのか。
0180動け動けウゴウゴ２ちゃんねる
垢版 |
04/06/30 02:08ID:IHgKF2Rd
root★様いつも乙です。

今回のナルコレプシーが既知の問題点である、メモリリークの不具合ではなく、
偶発的に発生した問題で、極めてレアケースであることを祈ってます。

いえ、それはそれで、勿論問題なのですが。game6やcomic4でroot★さまが
立てた解決への道筋が、間違いでないコトを祈って。
0181root ★
垢版 |
04/06/30 02:22ID:???
どもです。>>180

愚痴を言わせてもらおうっと。

正直、live12/tmp3というペアリングはちょっとチューニング的に難しいです。

live系のセッティングと一般系の掲示板ではトラフィック傾向がかなり違うため、
本来はセッティングを変えたいところなのです。

例えばlive系だと暇な状態でもhttpdの常駐数が減らないようにして、
突発的なリクエストに耐えるようにするとか、read.cgiが比率的に多くないので、
MaxRequestsPerChildをやや増やせるとか、
いくつかのチューニング手法があります(live8で実施)。

でも、そういうセッティングは、tmp3のようないつもかなり多くのユーザがいて、
かつread.cgiもかなりの比率あるところには、あまり向かないわけです。
で、今は突然死対策もあり、comic4と同じセッティング(= tmp3寄り)になっています。

ということで、live系の負荷増、特に突発的な負荷増には、やや弱いかなと。

でもまぁ、そこをなんとかするのも、腕の見せ所ではあるわけで。

# 安定に動くならperchildかなぁ。それともこれこそnetniceとか使うといいのかも。

ということで、めし。
0183root ★
垢版 |
04/06/30 03:09ID:???
>>182
移動していたのは私です(す)。
0185 ◆HETAREzfq.
垢版 |
04/06/30 08:23ID:Y2K3Bp8s
>>184
祭りが良く起きるダウソ板の挙動が不安でbananaに移りたくないのかも？＞tmpの中の人
0188留守番 ★
垢版 |
04/06/30 19:50ID:???
質問でーす

game6 , comic4 , tmp3 @peko
は 現在 read.cgi 動いているのですか?
それと、今後の予想はどうなんですかねぇ?
0190留守番 ★
垢版 |
04/06/30 19:56ID:???
はーい。
0191動け動けウゴウゴ２ちゃんねる
垢版 |
04/06/30 21:43ID:8+diQ4al
gameは夏までに整理できるところは整理したほうがよいかと

いいかげん頭打ちになるような気がしないでもないが
0195root ★
垢版 |
04/07/01 02:50ID:???
黒山羊さん生誕の儀式を依頼しておきますです。
今日の構築作業はここまで。続きは明日夜以降。

以下を2ch.netのDNSに追加お願いします。

+blackgoat.2ch.net:206.223.150.190
0197 ◆HETAREzfq.
垢版 |
04/07/01 08:55ID:dQdUX3ML
うーむ。
>>181を鑑みるに、live9/game7みたいなdat保持数が多い実況板も
再編したほうがいいのかねぇ。。
どうなんでしょ？
0201留守番 ★
垢版 |
04/07/01 14:09ID:???
>>195
done
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況