peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。
<現在の主要なテーマ>
・read.cgiのmod_cgidso化によるパフォーマンスアップ
・bbs.cgiのSpeedyCGI化によるパフォーマンスアップ
・FreeBSD 5.3Rへのサーバ更新作業&さらなるチューニング
<関連板・スレッド>
また挑戦。@2ch掲示板
http://dso.2ch.net/myanmar/
また挑戦2。@2ch掲示板
http://dso.2ch.net/yangon/
bbs.cgi再開発プロジェクト4
http://qb5.2ch.net/test/read.cgi/operate/1101984763/
read.cgi再開発スレ
http://qb5.2ch.net/test/read.cgi/operate/1087199303/
<関連サイト>
レンタルサーバー maido3.com 2ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
2ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html
<前スレ>
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part15
http://qb5.2ch.net/test/read.cgi/operate/1093068260/
探検
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16
■ このスレッドは過去ログ倉庫に格納されています
1root▲ ★
04/12/04 00:28:18ID:???304FOX ★
04/12/09 17:35:26ID:??? bubble 等重いところの解消に回す予定
でも、ex9での実験/強化bananaの完成後かと、
でも、ex9での実験/強化bananaの完成後かと、
305▲ 某ソレ511
04/12/09 17:37:26ID:m+pC3gao うーん、何も使う予定がなかったら
banana229組かなぁ、酷使度っていうのがあるのがちょと心配だけど、、
>>292
ちなみに、それ+家庭板なので、
現life7にあるのは35板だったりします(ぼそ
banana229組かなぁ、酷使度っていうのがあるのがちょと心配だけど、、
>>292
ちなみに、それ+家庭板なので、
現life7にあるのは35板だったりします(ぼそ
04/12/09 17:38:31ID:Ra2CE92A
live17がmemoriesじゃなくてtiger508を指してますけど
307FOX ★
04/12/09 17:42:19ID:??? さてさて
次の注目は
live16 -> live8 移転が可能かどうかっすね、
次の注目は
live16 -> live8 移転が可能かどうかっすね、
308root▲ ★
04/12/09 17:44:40ID:???310root▲ ★
04/12/09 18:11:47ID:??? memoriesでの土地造成ができました。
DNSの儀式いきます。
以下の設定変更をよろしくお願いいたします。
(現在)
+life5.2ch.net:206.223.147.225
+life6.2ch.net:206.223.148.155
(変更後)
+life5.2ch.net:206.223.151.230
+life6.2ch.net:206.223.151.230
DNSの儀式いきます。
以下の設定変更をよろしくお願いいたします。
(現在)
+life5.2ch.net:206.223.147.225
+life6.2ch.net:206.223.148.155
(変更後)
+life5.2ch.net:206.223.151.230
+life6.2ch.net:206.223.151.230
04/12/09 18:32:18ID:9BIK3VzH
>>294
英語版なら
ConnectionでSeconds between keepalives、
日本語版なら
Keepalives間の秒数
に0より大きい値を入力でnull packetを送るようになります。
英語版なら
ConnectionでSeconds between keepalives、
日本語版なら
Keepalives間の秒数
に0より大きい値を入力でnull packetを送るようになります。
04/12/09 18:32:43ID:Zqa9HlI8
314root▲ ★
04/12/09 19:03:03ID:??? >>313
了解です。
・収容作業
に入ります。これは終わるでしょう。
これが終わったら、
・root password依頼、受け取り
・BBM用セットアップ
・BBM移動(DNS儀式等)
にすすみます。
日付変わるまでには、banana307の依頼を出せるでしょう。
了解です。
・収容作業
に入ります。これは終わるでしょう。
これが終わったら、
・root password依頼、受け取り
・BBM用セットアップ
・BBM移動(DNS儀式等)
にすすみます。
日付変わるまでには、banana307の依頼を出せるでしょう。
317root▲ ★
04/12/09 19:29:24ID:??? あと、
・dnscache2 になっている現BBMのバージョンアップ
もありますね。
で、dnscacheをうまい具合に2本だてにすると。
・dnscache2 になっている現BBMのバージョンアップ
もありますね。
で、dnscacheをうまい具合に2本だてにすると。
318root▲ ★
04/12/09 19:37:58ID:??? life5 と life6 の memories への収容、終わりました。
これからメール確認します。
BBMセットアップは、しばらくあとで。
これからメール確認します。
BBMセットアップは、しばらくあとで。
04/12/09 20:00:06ID:F/fbawyn
お疲れ様ですー。
life7ってbanana何になるんですか?
life7ってbanana何になるんですか?
04/12/09 20:05:42ID:???
>>320
bananaじゃなくてtiger508です(live17が使っていたところ)
bananaじゃなくてtiger508です(live17が使っていたところ)
322root▲ ★
04/12/09 20:17:48ID:??? >>320
tiger508です。
狼、VIP、ラウンジ、野球、競馬、毒男、難民、大学生活が入っている
tiger503と同じハードウェア構成です。
memory: bananaの4倍
ディスクの回転数: bananaの2倍
おもりの方はできる範囲でがんがらせていただきますんで、
限りあるサーバ資源を大事に使っていただくように、
住民の方々によろしくお伝えください。
tiger508です。
狼、VIP、ラウンジ、野球、競馬、毒男、難民、大学生活が入っている
tiger503と同じハードウェア構成です。
memory: bananaの4倍
ディスクの回転数: bananaの2倍
おもりの方はできる範囲でがんがらせていただきますんで、
限りあるサーバ資源を大事に使っていただくように、
住民の方々によろしくお伝えください。
04/12/09 20:27:00ID:D4IT5rjq
>>321-322
ありがとうございます。
ここでunknownだったので(^_^;
http://sv2ch.baila6.jp/sv2ch01.html
rootさん了解ですー。
これからもよろしくお願いします。
ありがとうございます。
ここでunknownだったので(^_^;
http://sv2ch.baila6.jp/sv2ch01.html
rootさん了解ですー。
これからもよろしくお願いします。
04/12/10 10:02:58ID:0PcvFrQ3
大仕事お疲れ様です
326動け動けウゴウゴ2ちゃんねる
04/12/10 18:52:24ID:/aGWVWaO ex9鯖に人柱の板入れましたね。
12月10日移転
(ex5 -> ex9)
http://ex9.2ch.net/football/ 海外サッカー
http://ex9.2ch.net/ad/ 宣伝掲示板
http://ex9.2ch.net/net/ ネットウォッチ
http://ex9.2ch.net/accuse/ 2ch批判要望
12月10日移転
(ex5 -> ex9)
http://ex9.2ch.net/football/ 海外サッカー
http://ex9.2ch.net/ad/ 宣伝掲示板
http://ex9.2ch.net/net/ ネットウォッチ
http://ex9.2ch.net/accuse/ 2ch批判要望
327動け動けウゴウゴ2ちゃんねる
04/12/10 19:16:09ID:uXTTlAQ704/12/10 20:04:35ID:/aGWVWaO
更に人柱。
12月10日移転
(ex8 -> ex9)
http://ex9.2ch.net/kyozin/ アンチ球団
http://ex9.2ch.net/f1/ F1・モータースポーツ
http://ex9.2ch.net/soccer/ 国内サッカー
http://ex9.2ch.net/eleven/ 日本代表サッカー
http://ex9.2ch.net/k1/ 格闘技
12月10日移転
(ex8 -> ex9)
http://ex9.2ch.net/kyozin/ アンチ球団
http://ex9.2ch.net/f1/ F1・モータースポーツ
http://ex9.2ch.net/soccer/ 国内サッカー
http://ex9.2ch.net/eleven/ 日本代表サッカー
http://ex9.2ch.net/k1/ 格闘技
329root▲ ★
04/12/11 05:00:34ID:??? BBMをbanana307に移動する準備ができました。
以下のDNS変更をお願いしておきます。
サーバ側はセッティング完了しているので(簡単な動作確認もしました)。
いつやっていただいてもOKです。
なお、BBMもこれを機にデータ部分とログ部分をメモリディスク化しました。
(BBQと同様)
(現在)
+m.2ch.net:206.223.151.205
&bbm.2ch.net:206.223.151.205:a
(変更後)
+m.2ch.net:206.223.148.155
&bbm.2ch.net:206.223.148.155:a
以下のDNS変更をお願いしておきます。
サーバ側はセッティング完了しているので(簡単な動作確認もしました)。
いつやっていただいてもOKです。
なお、BBMもこれを機にデータ部分とログ部分をメモリディスク化しました。
(BBQと同様)
(現在)
+m.2ch.net:206.223.151.205
&bbm.2ch.net:206.223.151.205:a
(変更後)
+m.2ch.net:206.223.148.155
&bbm.2ch.net:206.223.148.155:a
330root▲ ★
04/12/11 05:19:45ID:??? >>329 関連アナウンスをしました。
【BBQ 2本目】公開串登録所 【ピンポイント規制】
http://qb5.2ch.net/test/read.cgi/sec2chd/1097737039/692
今夜はここまでかな。
【BBQ 2本目】公開串登録所 【ピンポイント規制】
http://qb5.2ch.net/test/read.cgi/sec2chd/1097737039/692
今夜はここまでかな。
331root▲ ★
04/12/11 05:40:39ID:??? なお、banana307とbanana273はroot権限ありサーバとなり、
OSのFreeBSD 5.3R-p2へのアップグレード・ディスクパーティション割付の若干の変更、
システムチューニング等を実施しています。
OSのFreeBSD 5.3R-p2へのアップグレード・ディスクパーティション割付の若干の変更、
システムチューニング等を実施しています。
332未承諾広告※ ◆TWARamEjuA
04/12/11 10:05:16ID:rm9/Bxbf >>219
-bash-2.05b$ php -v
PHP Warning: Unknown(): Unable to load dynamic library '/usr/local/lib/php/20020429/mysql.so' - Shared object "libmysqlclient.so.10" not found, required by "mysql.so" in Unknown on line 0
PHP 4.3.9 (cli) (built: Dec 5 2004 19:51:51)
Copyright (c) 1997-2004 The PHP Group
Zend Engine v1.3.0, Copyright (c) 1998-2004 Zend Technologies
あれれー鞍は入っているのにのに、、、
-bash-2.05b$ mysql -V
mysql Ver 12.22 Distrib 4.0.21, for portbld-freebsd5.3 (i386)
-bash-2.05b$ php -v
PHP Warning: Unknown(): Unable to load dynamic library '/usr/local/lib/php/20020429/mysql.so' - Shared object "libmysqlclient.so.10" not found, required by "mysql.so" in Unknown on line 0
PHP 4.3.9 (cli) (built: Dec 5 2004 19:51:51)
Copyright (c) 1997-2004 The PHP Group
Zend Engine v1.3.0, Copyright (c) 1998-2004 Zend Technologies
あれれー鞍は入っているのにのに、、、
-bash-2.05b$ mysql -V
mysql Ver 12.22 Distrib 4.0.21, for portbld-freebsd5.3 (i386)
04/12/11 12:25:57ID:vxx3GNyY
>332
cd /usr/local/etc/php.ini && mv php.ini php.ini.bak
cp php.ini-recommended php.ini
cd /usr/local/etc/php.ini && mv php.ini php.ini.bak
cp php.ini-recommended php.ini
334root▲ ★
04/12/11 12:32:07ID:??? なおったはず。
% php -v
PHP 4.3.9 (cli) (built: Dec 5 2004 19:51:51)
Copyright (c) 1997-2004 The PHP Group
Zend Engine v1.3.0, Copyright (c) 1998-2004 Zend Technologies
% pkg_info -aI | grep DB
p5-DBD-mysql-2.9004 MySQL driver for the Perl5 Database Interface (DBI)
p5-DBI-1.42_1 The perl5 Database Interface. Required for DBD::* modules
を入れた時に、mysqlのバージョンが上がったためすね。
% php -v
PHP 4.3.9 (cli) (built: Dec 5 2004 19:51:51)
Copyright (c) 1997-2004 The PHP Group
Zend Engine v1.3.0, Copyright (c) 1998-2004 Zend Technologies
% pkg_info -aI | grep DB
p5-DBD-mysql-2.9004 MySQL driver for the Perl5 Database Interface (DBI)
p5-DBI-1.42_1 The perl5 Database Interface. Required for DBD::* modules
を入れた時に、mysqlのバージョンが上がったためすね。
335root▲ ★
04/12/11 12:55:12ID:??? tiger510 = hobby7、早朝に panic してリブート入ったようです。
前にもあったかな。FreeBSD 5.3Rのバグかも。
%cat info.0
Good dump found on device /dev/da0s1b
Architecture: i386
Architecture version: 1
Dump length: 2146959360B (2047 MB)
Blocksize: 512
Dumptime: Fri Dec 10 13:05:44 2004
Hostname: tiger510.maido3.com
Versionstring: FreeBSD 5.3-RELEASE #3: Thu Nov 4 21:51:36 PST 2004
root@tiger503.maido3.com:/usr/obj/var/src/sys/I386_TIGER_53
Panicstring: lockmgr: thread 0xc8fc7c80, not exclusive lock holder 0xc35e6af0 unlocking
Bounds: 0
前にもあったかな。FreeBSD 5.3Rのバグかも。
%cat info.0
Good dump found on device /dev/da0s1b
Architecture: i386
Architecture version: 1
Dump length: 2146959360B (2047 MB)
Blocksize: 512
Dumptime: Fri Dec 10 13:05:44 2004
Hostname: tiger510.maido3.com
Versionstring: FreeBSD 5.3-RELEASE #3: Thu Nov 4 21:51:36 PST 2004
root@tiger503.maido3.com:/usr/obj/var/src/sys/I386_TIGER_53
Panicstring: lockmgr: thread 0xc8fc7c80, not exclusive lock holder 0xc35e6af0 unlocking
Bounds: 0
336root▲ ★
04/12/11 12:57:46ID:??? 見てみた。前スレの540〜542あたりで ex7 で起きたのと同じすね。
発生率低いみたいだけど、5.3Rの虫さんかも。
540 名前:root▲ ★[sage] 投稿日:04/11/20 07:41:10 ID:???
Nov 19 13:14:09 <3.1> tiger503 savecore: reboot after panic: lockmgr: thread 0xc49b24b0, not exclusive lock holder 0xc3565640 unlocking
Nov 19 13:14:09 <3.5> tiger503 savecore: writing core to vmcore.2
だそうで。< ex7
vmcoreはちゃんととれてるっぽいんで、後で見てみます。
搭乗時間が迫ってるんで、とりあえずまた。
発生率低いみたいだけど、5.3Rの虫さんかも。
540 名前:root▲ ★[sage] 投稿日:04/11/20 07:41:10 ID:???
Nov 19 13:14:09 <3.1> tiger503 savecore: reboot after panic: lockmgr: thread 0xc49b24b0, not exclusive lock holder 0xc3565640 unlocking
Nov 19 13:14:09 <3.5> tiger503 savecore: writing core to vmcore.2
だそうで。< ex7
vmcoreはちゃんととれてるっぽいんで、後で見てみます。
搭乗時間が迫ってるんで、とりあえずまた。
338root▲ ★
04/12/11 15:20:48ID:??? live16 も mod_cgidso な read.cgi 化した。
これで現在、live8 live16 ex7 がこのバージョン。
これで現在、live8 live16 ex7 がこのバージョン。
339root▲ ★
04/12/11 15:24:13ID:??? 同時に、read.cgiとbbs.cgiの際もKeepAliveすることにし、
httpdの数を768→896にした。
上記、ex7と同じチューニング。
httpdの数を768→896にした。
上記、ex7と同じチューニング。
340root▲ ★
04/12/11 15:39:37ID:??? てなわけで、>>329 のDNS設定更新をよろしくですage。
04/12/11 18:33:07ID:dCJ5GiLj
誤爆?
343む P061204000064.ppp.prin.ne.jp
04/12/11 18:35:17ID:1n0gF54g なるほど、
帰ったら管理人に確認してみるです。
帰ったら管理人に確認してみるです。
質問ですー。
最近の"read.cgi ver8.01+ (04/11/29-) 「Special thanks ◆cZfSunOs.U さん」"で、
リンクがime.nuを通さないのは仕様なんですかね?
スポンサーに怒られないのかしら?
専ブラ率が高いから問題ないとか?それとも実験だから?
最近の"read.cgi ver8.01+ (04/11/29-) 「Special thanks ◆cZfSunOs.U さん」"で、
リンクがime.nuを通さないのは仕様なんですかね?
スポンサーに怒られないのかしら?
専ブラ率が高いから問題ないとか?それとも実験だから?
345ピロリ
04/12/11 19:57:12ID://PKPOwM じっけん じっけん
Cobra/Tiger/Banana 各一台
Cobra/Tiger/Banana 各一台
346root▲ ★
04/12/11 20:04:07ID:??? 帰宅。
とりあえず、live16のread.cgiを元に戻しておきました。
これからlive8 @ livecxは負荷試験かな。
とりあえず、live16のread.cgiを元に戻しておきました。
これからlive8 @ livecxは負荷試験かな。
04/12/11 20:59:25ID:hnfTa5Ez
むぅ。prinか…なかなか通だな。
349ピロリ
04/12/12 21:26:42ID:m4SbI5DO 本日の live16 落ちの原因推定
1) どばっと投稿。 ほぼ同時にbbs.cgiがものすごく多数起動さけれる
2) 制限無いので 100% 資源を使ってしまう(たぶんメモリ&CPU)
3) たとえばこのときにスワップ始まるとすると、、、
4) どのbbs.cgi も終了しないのに、さらにどんどん起動
5) システムが動く余地もなくなる
6) どーん
の流れが多分五秒くらいの一瞬のうちに起ったと予想。
ちゅーにんぐの方向
すべての段階が均等に資源を使えるように各段階をうまく制御
100本の道が使えて、五(区間)段階あるとすると
一番効率がいいのは 各区間が 20本づつの道路で結ばれるとき
第一区間に100本使い切ったら、誰も次の地点へ行けないと、
1) どばっと投稿。 ほぼ同時にbbs.cgiがものすごく多数起動さけれる
2) 制限無いので 100% 資源を使ってしまう(たぶんメモリ&CPU)
3) たとえばこのときにスワップ始まるとすると、、、
4) どのbbs.cgi も終了しないのに、さらにどんどん起動
5) システムが動く余地もなくなる
6) どーん
の流れが多分五秒くらいの一瞬のうちに起ったと予想。
ちゅーにんぐの方向
すべての段階が均等に資源を使えるように各段階をうまく制御
100本の道が使えて、五(区間)段階あるとすると
一番効率がいいのは 各区間が 20本づつの道路で結ばれるとき
第一区間に100本使い切ったら、誰も次の地点へ行けないと、
350root▲ ★
04/12/12 21:40:46ID:??? >>349
概ねそんな感じかと。
転送量も「ぎゅわ」と上がっているので、読むほうも。
20:05のステータスログが残っている(20:10は既に落ちていた)ので、
各プロセスの起動状況をチェックしてみます。
といっても、バックエンド側の正確な起動数はわからんですね。
概ねそんな感じかと。
転送量も「ぎゅわ」と上がっているので、読むほうも。
20:05のステータスログが残っている(20:10は既に落ちていた)ので、
各プロセスの起動状況をチェックしてみます。
といっても、バックエンド側の正確な起動数はわからんですね。
351root▲ ★
04/12/12 21:43:57ID:??? で、-M32にして、バックエンドプロセスを制限している状態と。
↓
サーバダウン(鯖落ち)情報 Part54
http://qb5.2ch.net/test/read.cgi/operate/1102346568/193-201
↓
サーバダウン(鯖落ち)情報 Part54
http://qb5.2ch.net/test/read.cgi/operate/1102346568/193-201
352root▲ ★
04/12/12 22:00:28ID:??? とりあえず、20:05のlive16。
http://mumumu.mu/20041212-2005-live16.html
http://mumumu.mu/20041212-2005-live16.html
353▲ 某ソレ511
04/12/12 22:05:41ID:F6q6gING live16鯖落ちたのって実況スレ見る限り、20:05:30前だったようだけど、
ここで20:05:00〜30で254resってなってるけど、1分間では500res超え換算になるのか。。
その前の5分間は、400resも超えてないんだけど、その時間に急に来たようですね。。
ついでに、このlive16鯖が落ちたと同時にstatsも10分くらい記録が止まったようです。
netstatのを見てると、やっぱりdropped due to full socket buffers のところが急増してるです。。
ここで20:05:00〜30で254resってなってるけど、1分間では500res超え換算になるのか。。
その前の5分間は、400resも超えてないんだけど、その時間に急に来たようですね。。
ついでに、このlive16鯖が落ちたと同時にstatsも10分くらい記録が止まったようです。
netstatのを見てると、やっぱりdropped due to full socket buffers のところが急増してるです。。
354ピロリ
04/12/12 22:13:31ID:icvUHUAV live16 -M64
ex7 -M128
live8 -M256
で観察してみようか?
ex7 -M128
live8 -M256
で観察してみようか?
355root▲ ★
04/12/12 22:23:58ID:??? >>352
全httpdスロット数 896
bbs.cgiの処理待ちだったhttpdの数: 197
read.cgiの処理待ちだったhttpdの数: 6
静的ファイル(datやsubject.txt)の転送中だったhttpdの数: 45
処理を終わって、同じクライアントからの接続をKeepAliveしているhttpdの数: 358
KeepAlive接続をクローズしようとしていたhttpdの数: 93
ステータス(この統計)処理に使っていたhttpdの数: 1
接続待ちだったhttpdの数: 196
最近つらかった時のやつ(千と千尋)と比べてみたほうがいいかもしれないけど、
一見して、bbs.cgiの処理待ちのhttpdの数が多い気がする。
この状態の直後から、仮死状態か。
全httpdスロット数 896
bbs.cgiの処理待ちだったhttpdの数: 197
read.cgiの処理待ちだったhttpdの数: 6
静的ファイル(datやsubject.txt)の転送中だったhttpdの数: 45
処理を終わって、同じクライアントからの接続をKeepAliveしているhttpdの数: 358
KeepAlive接続をクローズしようとしていたhttpdの数: 93
ステータス(この統計)処理に使っていたhttpdの数: 1
接続待ちだったhttpdの数: 196
最近つらかった時のやつ(千と千尋)と比べてみたほうがいいかもしれないけど、
一見して、bbs.cgiの処理待ちのhttpdの数が多い気がする。
この状態の直後から、仮死状態か。
04/12/12 22:36:53ID:p7vb21X7
>>357
「新選組!」のOPが流れました
「新選組!」のOPが流れました
04/12/12 22:38:18ID:0x8+FBP7
361ピロリ
04/12/12 22:39:17ID:icvUHUAV ほとんどのサーバが 20:00 - 20:30 の間に影響を受けている
ように見えますね、投稿数を見ると(stats.2ch.net)
実際には「数えられなかった」と見たほうがいいのかな?
それとも、実際に投稿し辛くなったんだろか?
ように見えますね、投稿数を見ると(stats.2ch.net)
実際には「数えられなかった」と見たほうがいいのかな?
それとも、実際に投稿し辛くなったんだろか?
362root▲ ★
04/12/12 22:51:12ID:??? 最後に処理した、あるいは処理中だったURL。
ただし、read.cgiは最後のレス番号部分は同じとみなす。
<= が速かったのね。でもまぁ、このぐらいはよくあること。
CPU Usageが多くなっていないので、CPUを使えない状況にあったのか。
1 222 live16.2ch.net POST /test/bbs.cgi
2 111 live16.2ch.net GET /livenhk/dat/1102848643.dat <=
3 95 live16.2ch.net GET /livenhk/dat/1102845878.dat <=
4 73 live16.2ch.net GET /livenhk/
5 65 live16.2ch.net GET /liventv/dat/1102846836.dat <=
6 53 live16.2ch.net GET /livenhk/subject.txt
7 32 live16.2ch.net GET /test/read.cgi/livenhk/1102848643/ <=
8 28 live16.2ch.net GET /test/read.cgi/livenhk/1102845878/ <=
9 27 live16.2ch.net GET /test/read.cgi/liventv/1102846836/ <=
10 24 live16.2ch.net GET /livenhk/dat/1102776831.dat
11 20 live16.2ch.net GET /liventv/
12 15 live16.2ch.net GET /livenhk/dat/1102844858.dat
13 12 live16.2ch.net GET /liventv/subject.txt
14 11 live16.2ch.net GET /livetx/dat/1102844754.dat
15 10 live16.2ch.net GET /test/read.cgi/livetx/1102844754/
16 8 live16.2ch.net GET /livenhk/index.html
17 7 live16.2ch.net GET /test/read.cgi/livenhk/1102776831/
18 6 live16.2ch.net GET /livetx/
19 6 live16.2ch.net GET /liventv/index.html
20 5 live16.2ch.net GET /livenhk/dat/1102849227.dat
21 5 live16.2ch.net GET /livenhk/dat/1102845495.dat
>>361
他の(関係ない)サーバでも重かったとすると、DNSからの戻り
(bbsとかnikuとかリモホ逆引きのように、全投稿において問い合わせが起こるもの)の
うちのどれかが、パフォーマンス低下を起こしていたというのは、ありえますね。
>>353 がビンゴかもしれない。oyster243のnetstatはどうだったんだろう。
ただし、read.cgiは最後のレス番号部分は同じとみなす。
<= が速かったのね。でもまぁ、このぐらいはよくあること。
CPU Usageが多くなっていないので、CPUを使えない状況にあったのか。
1 222 live16.2ch.net POST /test/bbs.cgi
2 111 live16.2ch.net GET /livenhk/dat/1102848643.dat <=
3 95 live16.2ch.net GET /livenhk/dat/1102845878.dat <=
4 73 live16.2ch.net GET /livenhk/
5 65 live16.2ch.net GET /liventv/dat/1102846836.dat <=
6 53 live16.2ch.net GET /livenhk/subject.txt
7 32 live16.2ch.net GET /test/read.cgi/livenhk/1102848643/ <=
8 28 live16.2ch.net GET /test/read.cgi/livenhk/1102845878/ <=
9 27 live16.2ch.net GET /test/read.cgi/liventv/1102846836/ <=
10 24 live16.2ch.net GET /livenhk/dat/1102776831.dat
11 20 live16.2ch.net GET /liventv/
12 15 live16.2ch.net GET /livenhk/dat/1102844858.dat
13 12 live16.2ch.net GET /liventv/subject.txt
14 11 live16.2ch.net GET /livetx/dat/1102844754.dat
15 10 live16.2ch.net GET /test/read.cgi/livetx/1102844754/
16 8 live16.2ch.net GET /livenhk/index.html
17 7 live16.2ch.net GET /test/read.cgi/livenhk/1102776831/
18 6 live16.2ch.net GET /livetx/
19 6 live16.2ch.net GET /liventv/index.html
20 5 live16.2ch.net GET /livenhk/dat/1102849227.dat
21 5 live16.2ch.net GET /livenhk/dat/1102845495.dat
>>361
他の(関係ない)サーバでも重かったとすると、DNSからの戻り
(bbsとかnikuとかリモホ逆引きのように、全投稿において問い合わせが起こるもの)の
うちのどれかが、パフォーマンス低下を起こしていたというのは、ありえますね。
>>353 がビンゴかもしれない。oyster243のnetstatはどうだったんだろう。
363root▲ ★
04/12/12 22:54:19ID:???365root▲ ★
04/12/12 22:59:04ID:??? oyster243 (dnscache/BBQ) は、該当時間処理落としてないですね。
http://bbq.2ch.net/_service/netstat-20041212.txt
banana238は、この時間かなり処理を落としています。
つまり、BBS処理(毎回処理するため、ローカルDNSキャッシュが効かない)でブロックが発生している。
http://stats.2ch.net/_service/netstat-20041212.txt
2004/12/12 20:05:00
udp:
12188781 datagrams received
0 with incomplete header
0 with bad data length field
1 with bad checksum
35 with no checksum
4190 dropped due to no socket
74 broadcast/multicast datagrams dropped due to no socket
166104 dropped due to full socket buffers
0 not for hashed pcb
12018412 delivered
12018903 datagrams output
------------------------------------------------
2004/12/12 20:15:00
udp:
12315344 datagrams received
0 with incomplete header
0 with bad data length field
1 with bad checksum
35 with no checksum
4190 dropped due to no socket
74 broadcast/multicast datagrams dropped due to no socket
286824 dropped due to full socket buffers
0 not for hashed pcb
12024255 delivered
12024747 datagrams output
------------------------------------------------
BBS/stats を cobra2245 に緊急移転するに1票。
http://bbq.2ch.net/_service/netstat-20041212.txt
banana238は、この時間かなり処理を落としています。
つまり、BBS処理(毎回処理するため、ローカルDNSキャッシュが効かない)でブロックが発生している。
http://stats.2ch.net/_service/netstat-20041212.txt
2004/12/12 20:05:00
udp:
12188781 datagrams received
0 with incomplete header
0 with bad data length field
1 with bad checksum
35 with no checksum
4190 dropped due to no socket
74 broadcast/multicast datagrams dropped due to no socket
166104 dropped due to full socket buffers
0 not for hashed pcb
12018412 delivered
12018903 datagrams output
------------------------------------------------
2004/12/12 20:15:00
udp:
12315344 datagrams received
0 with incomplete header
0 with bad data length field
1 with bad checksum
35 with no checksum
4190 dropped due to no socket
74 broadcast/multicast datagrams dropped due to no socket
286824 dropped due to full socket buffers
0 not for hashed pcb
12024255 delivered
12024747 datagrams output
------------------------------------------------
BBS/stats を cobra2245 に緊急移転するに1票。
366ピロリ
04/12/12 23:04:28ID:icvUHUAV なんか既にいろいろ忘れているんですが、、、
BBS(stats.2ch.net) ってどんなことしてましたっけ?
1) 数える
2) スピード違反を取り締まる(トカゲの尻尾)
だけだったかな?
BBS(stats.2ch.net) ってどんなことしてましたっけ?
1) 数える
2) スピード違反を取り締まる(トカゲの尻尾)
だけだったかな?
368ピロリ
04/12/12 23:12:17ID:icvUHUAV stats.2ch.net(BBS) は・・・
1) DNS 経由をやめて、CGI経由(http)で処理するに変更
2) 数える方は簡単だけどスピード測定(top10を含む)はロジック考え直しかなぁ
3) なんかまたそ゜ろやることが増えてきたなぁ
1) DNS 経由をやめて、CGI経由(http)で処理するに変更
2) 数える方は簡単だけどスピード測定(top10を含む)はロジック考え直しかなぁ
3) なんかまたそ゜ろやることが増えてきたなぁ
369root▲ ★
04/12/12 23:26:15ID:??? >>368
例の「DNS側のコストが限界なら、ロジックを変える」ってやつですか。
DNS側より、ネットワーク的問題な気もするんですけどね。
10Mbps Etherなのが理由のひとつとしてあるような気がしています。
あるいは、ネットワーク関連のシステム変数の設定の問題か。
banana238のネットワーク関係のシステム設定を、再度おさらいしてみるです。
例の「DNS側のコストが限界なら、ロジックを変える」ってやつですか。
DNS側より、ネットワーク的問題な気もするんですけどね。
10Mbps Etherなのが理由のひとつとしてあるような気がしています。
あるいは、ネットワーク関連のシステム変数の設定の問題か。
banana238のネットワーク関係のシステム設定を、再度おさらいしてみるです。
04/12/12 23:38:19ID:W5Ecdrm1
>>360
コピペ荒らし以外の何物でもないな。
コピペ荒らし以外の何物でもないな。
371root▲ ★
04/12/12 23:38:49ID:??? 今日寝るまでに、banana238のBBSのデータ部分とログ部分をメモリディスク仕様にしておこう。
ログ記録部分で時間かかっているとしたら、これでだいぶかわるはず。
ログ記録部分で時間かかっているとしたら、これでだいぶかわるはず。
372root▲ ★
04/12/12 23:44:35ID:??? >>369
ネットワーク関係のシステム設定は、oyster243とbanana238で大きな違いはありませんdした。
前はoyster243はバッファを超大きくとってたけど、メモリディスク1.5Gとったときに小さくして、
banana238はバージョンアップしたときに大きくしたから、偶然同じような設定になっていました。
違いは、
・ネットワーク速度(10Mか100M)
・ネットワークインタフェースの種別、接続I/F(vr/32ビットPCIかbge/64bitPCI)
・メモリの容量により自動セッティングされる各種システム変数
ぐらいか。
いったんめし。
ネットワーク関係のシステム設定は、oyster243とbanana238で大きな違いはありませんdした。
前はoyster243はバッファを超大きくとってたけど、メモリディスク1.5Gとったときに小さくして、
banana238はバージョンアップしたときに大きくしたから、偶然同じような設定になっていました。
違いは、
・ネットワーク速度(10Mか100M)
・ネットワークインタフェースの種別、接続I/F(vr/32ビットPCIかbge/64bitPCI)
・メモリの容量により自動セッティングされる各種システム変数
ぐらいか。
いったんめし。
373root▲ ★
04/12/13 00:32:11ID:??? >>371
BBSのログ部分とDNSのDB部分をメモリディスク化した。
・BBQのログ部分、DNSのDB部分
・dnscacheのログ部分
・BBSのログ部分、DNSのDB部分
・新BBMのログ部分、DNSのDB部分(旧BBMは未)
BBXは、とりあえず今のところディスク仕様のまま。
BBSのログ部分とDNSのDB部分をメモリディスク化した。
・BBQのログ部分、DNSのDB部分
・dnscacheのログ部分
・BBSのログ部分、DNSのDB部分
・新BBMのログ部分、DNSのDB部分(旧BBMは未)
BBXは、とりあえず今のところディスク仕様のまま。
374ピロリ
04/12/13 00:57:42ID:QifEr+j5 今週は
地道に bbs.cgi(Speedy版) の改良を続けていきますかっと
地道に bbs.cgi(Speedy版) の改良を続けていきますかっと
375root▲ ★
04/12/13 01:04:24ID:??? 私はシステム系作業の続きと、
気が向けば read.cgi の dso パッチを読んでみようかと。
明日はやめなんで、今日は早寝の予定。
気が向けば read.cgi の dso パッチを読んでみようかと。
明日はやめなんで、今日は早寝の予定。
376ピロリ
04/12/13 01:06:49ID:QifEr+j5 はやねはやーね
379root▲ ★
04/12/13 13:32:26ID:???380root▲ ★
04/12/13 13:32:54ID:???381ピロリ
04/12/13 13:44:56ID:QifEr+j5 ex9 りぶーと
382root▲ ★
04/12/13 14:29:13ID:??? あとで、live8 live16 ex7のdnscacheのログ部分をメモリディスク化しておこう。
384root▲ ★
04/12/13 14:54:40ID:??? oyster243のdnscacheをリスタートしました。
これで変わりました。
# ほんとはリスタートしなくても変わりますが、それまでには時間を要するため。
tiger/cobraも同じことしとこう。
これで変わりました。
# ほんとはリスタートしなくても変わりますが、それまでには時間を要するため。
tiger/cobraも同じことしとこう。
385ピロリ
04/12/13 15:02:32ID:dH9P6Q7d ex9 をジンギスカン化するです
沢山の仲間をお迎えするために、
沢山の仲間をお迎えするために、
04/12/13 15:05:24ID:d6PLjBb1
くわくわ
ジンギスカン化はバックエンド(システム系)および掲示板系
どっちにも効能があります?
手っ取り早くクスリが効く幹事ですかな。
ジンギスカン化はバックエンド(システム系)および掲示板系
どっちにも効能があります?
手っ取り早くクスリが効く幹事ですかな。
387ピロリ
04/12/13 15:13:29ID:dH9P6Q7d そですね、
一番の効果は HDD に優しい 2ch になることかも鴨
一番の効果は HDD に優しい 2ch になることかも鴨
388root▲ ★
04/12/13 15:15:35ID:??? >>386
メモリディスク化はI/O高速化&コスト削減ですからね。
まさに最終行かと。
ただあんまりとると他の資源(プロセスやI/Oバッファキャッシュ)に影響するんで、
どこをどう、どのくらいメモリディスク化するかをうまくさじ加減する必要があると。
メモリディスク化はI/O高速化&コスト削減ですからね。
まさに最終行かと。
ただあんまりとると他の資源(プロセスやI/Oバッファキャッシュ)に影響するんで、
どこをどう、どのくらいメモリディスク化するかをうまくさじ加減する必要があると。
389ピロリ
04/12/13 15:18:31ID:dH9P6Q7d ですねぇ、
今のところ 大きな板だけに施工中ってとこです
同じファイルを激しく叩くから、
今のところ 大きな板だけに施工中ってとこです
同じファイルを激しく叩くから、
04/12/13 15:40:09ID:/LhpZ8M/
設定が巻き戻る対策は後回しなのかな。
392ピロリ
04/12/13 16:24:43ID:dH9P6Q7d めも
今、あいているサーバ
ex5 (banana224)
ex8 (banana399)
今、あいているサーバ
ex5 (banana224)
ex8 (banana399)
394ピロリ
04/12/13 16:27:09ID:dH9P6Q7d 止めていただけると、ありがたいです
395root▲ ★
04/12/13 16:29:22ID:??? >>394
今既に止まってます。
2chの動作報告はここで。 パート15
http://qb5.2ch.net/test/read.cgi/operate/1090485214/921
んでは、そのままで。
今既に止まってます。
2chの動作報告はここで。 パート15
http://qb5.2ch.net/test/read.cgi/operate/1090485214/921
んでは、そのままで。
396root▲ ★
04/12/13 19:23:23ID:??? ■ めまい
http://dso.2ch.net/test/read.cgi/myanmar/1102008822/232
232 名前:○ h005.p996.iij4u.or.jp[sage] 投稿日:04/12/13 19:19:49 ID:???
RaidCard が届いてケースに貼ってあるらしいっすよ >>231
いい機会なので、cobra2245 = 旧BBM/dnscache2 に入れてみようと思います。
RAID構築しなおしだから、OSもイニシャルインストールしなきゃならんし。
http://dso.2ch.net/test/read.cgi/myanmar/1102008822/232
232 名前:○ h005.p996.iij4u.or.jp[sage] 投稿日:04/12/13 19:19:49 ID:???
RaidCard が届いてケースに貼ってあるらしいっすよ >>231
いい機会なので、cobra2245 = 旧BBM/dnscache2 に入れてみようと思います。
RAID構築しなおしだから、OSもイニシャルインストールしなきゃならんし。
397root▲ ★
04/12/14 18:57:44ID:??? ex9が参照しているDNSキャッシュサーバにある
旧BBMサーバのexpireにまだ2日以上ある、、、。(下記)
djbdnsのデフォルトではDNSサーバのIPアドレス変更の反映は最大3日なので
正常動作なわけですが、どうもタイミングが悪かった模様。
これが終わるまで、cobra2245へのRAIDカードのインストール作業が(りゃ。
今やると旧BBMがブロックするので、ex9が止まってしまう。
みたところ、他は変わったようですが、これだけ変わってない模様。
DNSキャッシュサーバのリセット依頼は出してはあったりするので、
とりあえず、時を待つことにしよう。
ch2ex9@banana231:~$ dig -t a a.ns.bbm.2ch.net
; <<>> DiG 8.3 <<>> -t a.ns.bbm.2ch.net
;; res options: init recurs defnam dnsrch
;; got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 359
;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 0
;; QUERY SECTION:
;; a.ns.bbm.2ch.net, type = A, class = IN
;; ANSWER SECTION:
a.ns.bbm.2ch.net. 2d21h31m11s IN A 206.223.151.205
;; Total query time: 0 msec
;; FROM: banana231.maido3.com to SERVER: 206.223.148.252
;; WHEN: Tue Dec 14 01:49:18 2004
;; MSG SIZE sent: 34 rcvd: 50
旧BBMサーバのexpireにまだ2日以上ある、、、。(下記)
djbdnsのデフォルトではDNSサーバのIPアドレス変更の反映は最大3日なので
正常動作なわけですが、どうもタイミングが悪かった模様。
これが終わるまで、cobra2245へのRAIDカードのインストール作業が(りゃ。
今やると旧BBMがブロックするので、ex9が止まってしまう。
みたところ、他は変わったようですが、これだけ変わってない模様。
DNSキャッシュサーバのリセット依頼は出してはあったりするので、
とりあえず、時を待つことにしよう。
ch2ex9@banana231:~$ dig -t a a.ns.bbm.2ch.net
; <<>> DiG 8.3 <<>> -t a.ns.bbm.2ch.net
;; res options: init recurs defnam dnsrch
;; got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 359
;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 0
;; QUERY SECTION:
;; a.ns.bbm.2ch.net, type = A, class = IN
;; ANSWER SECTION:
a.ns.bbm.2ch.net. 2d21h31m11s IN A 206.223.151.205
;; Total query time: 0 msec
;; FROM: banana231.maido3.com to SERVER: 206.223.148.252
;; WHEN: Tue Dec 14 01:49:18 2004
;; MSG SIZE sent: 34 rcvd: 50
398root▲ ★
04/12/14 19:37:02ID:??? soap とかが入っているサーバ(idol.bbspink.com)も旧サーバに来ているので、
いずれにせよしばらく待つ必要がありそうすね。< cobra2245
時間取れたら、先にblackgoat4(最後の5.2.1R系tiger)をやるか。
いずれにせよしばらく待つ必要がありそうすね。< cobra2245
時間取れたら、先にblackgoat4(最後の5.2.1R系tiger)をやるか。
399root▲ ★
04/12/15 23:34:49ID:??? kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
ってのが、死ぬほど出てるですね。< ex9
重かった原因のひとつはこれかと。
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
kern.maxpipekva exceeded, please see tuning(7).
ってのが、死ぬほど出てるですね。< ex9
重かった原因のひとつはこれかと。
400root▲ ★
04/12/15 23:55:30ID:??? >>399 はHE時代に地震をumaサーバでさばいていた時や、
以前live8でも出たやつですね。
具体的には、I/Oアクセス集中でカーネル内の静的なバッファを使い切ってしまう症状すね。
tiger/cobraでは、/boot/loader.confでこの値を増やしてあります。
(全tiger)
kern.ipc.maxpipekva=20971520
(live8)
kern.ipc.maxpipekva=41943040
(bananaのデフォルト)
kern.ipc.maxpipekva: 8568832
以前live8でも出たやつですね。
具体的には、I/Oアクセス集中でカーネル内の静的なバッファを使い切ってしまう症状すね。
tiger/cobraでは、/boot/loader.confでこの値を増やしてあります。
(全tiger)
kern.ipc.maxpipekva=20971520
(live8)
kern.ipc.maxpipekva=41943040
(bananaのデフォルト)
kern.ipc.maxpipekva: 8568832
04/12/16 00:50:47ID:XIMbH/mW
\ √
\ ウェーハッハッハッ!! ヾ(゚д゚;)ノ゛
\ Λ_Λ ドルルルル!!!!! キンッ( ̄  ̄)
\ <丶`∀´>___。 \从/ _ _ カンッ ∴∴・) (
名前: FOX \ミ( つ【〔ロ=:(∈(二(@ > ‐― _ -, ∴.*:(===)
狼にlive8を落と\ 人 ヽノ V ̄゛ /W'ヽ  ̄ キンッ∴;ヽ====/
ことは不可能。わ \(__フ VF5..、、、 ,,, カンッ >_<
っはっは。 \ ∧∧∧∧∧∧ ∧∧ 仕事人
名前: root ★ 投稿日:\ < さ 働 > ( ´∀) 旦 旦 (Д` )
>>806 勝ったな。 \< ん く > ( ひつ ========== )ゞポリポリ
圧倒的に勝った。(@w荒 < の r > と_)_)/※※※※※ ゝ
――――――――――――< 予 o >――――――――――――
Me: < 感 o >
All this bad things caused by < !! t > 名前: ◆MUMUMUhnYI [sage] 投稿日
me. Hontoni sumimasen. /∨∨∨∨\ 深夜の誰もいないホテルで各種グラフを
Jim: /┌─┐r・o・o・\ 見て「うふふ」とか「うっしっし」とか言っ
its all good. We have been / │★│r・o・o・t・\ てるのって、はたから見るとちょっと
pushing it for many years, / └─┤r・o・o・t・★\ キモいのかなぁ。
and I am not ready to stop./ _ ∩ r・o・o・t・★!\
Are you? / ( ゚∀゚)彡r・o・o・t・★!!\
Me: ./┌─┬⊂彡 r・o・o・t・★!!!\ う っ し っ し 。
Mmm... thank you, / |★| r・o・o・t・★!!!!\
*(ノД`)+゚。:*゚+:゚+:゚:*:。:* / └─┘ \
\ ウェーハッハッハッ!! ヾ(゚д゚;)ノ゛
\ Λ_Λ ドルルルル!!!!! キンッ( ̄  ̄)
\ <丶`∀´>___。 \从/ _ _ カンッ ∴∴・) (
名前: FOX \ミ( つ【〔ロ=:(∈(二(@ > ‐― _ -, ∴.*:(===)
狼にlive8を落と\ 人 ヽノ V ̄゛ /W'ヽ  ̄ キンッ∴;ヽ====/
ことは不可能。わ \(__フ VF5..、、、 ,,, カンッ >_<
っはっは。 \ ∧∧∧∧∧∧ ∧∧ 仕事人
名前: root ★ 投稿日:\ < さ 働 > ( ´∀) 旦 旦 (Д` )
>>806 勝ったな。 \< ん く > ( ひつ ========== )ゞポリポリ
圧倒的に勝った。(@w荒 < の r > と_)_)/※※※※※ ゝ
――――――――――――< 予 o >――――――――――――
Me: < 感 o >
All this bad things caused by < !! t > 名前: ◆MUMUMUhnYI [sage] 投稿日
me. Hontoni sumimasen. /∨∨∨∨\ 深夜の誰もいないホテルで各種グラフを
Jim: /┌─┐r・o・o・\ 見て「うふふ」とか「うっしっし」とか言っ
its all good. We have been / │★│r・o・o・t・\ てるのって、はたから見るとちょっと
pushing it for many years, / └─┤r・o・o・t・★\ キモいのかなぁ。
and I am not ready to stop./ _ ∩ r・o・o・t・★!\
Are you? / ( ゚∀゚)彡r・o・o・t・★!!\
Me: ./┌─┬⊂彡 r・o・o・t・★!!!\ う っ し っ し 。
Mmm... thank you, / |★| r・o・o・t・★!!!!\
*(ノД`)+゚。:*゚+:゚+:゚:*:。:* / └─┘ \
402外野ァァン
04/12/16 00:55:55ID:3hzJvDq8 ワロタ
403ヾ●ノ゙ ◆Dj77NATTOQ
04/12/16 00:58:37ID:hm3lrxkK 夜勤の根っこ作戦か
04/12/16 01:51:38ID:i5pN9ylY
>>401
雑談スレかと思った。熱狂的ファンですか。
雑談スレかと思った。熱狂的ファンですか。
■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 中居正広 女性トラブル報道 代理人弁護士「既に解決済み」活動休止などの可能性を否定 [ひかり★]
- 【紅白】星野源の曲目を「地獄でなぜ思い」から「ばらばら」に変更 NHK発表「性加害は決して許さないという姿勢」 [Ailuropoda melanoleuca★]
- 中国人向け10年観光ビザを新設 岩屋外相、北京で表明 ★4 [蚤の市★]
- 「今でも許せない」中居正広の“被害者女性”の言葉は守秘義務違反か、弁護士に聞いた示談契約 [阿弥陀ヶ峰★]
- 中居正広 高額示談金トラブル 女性側、当初から性被害主張 [ひかり★]
- 【芸能】フジテレビ “女性献上”飲み会の利害構造とは? 女子アナ好きで有名だった中居正広★4 [木村カエレφ★]
- 【超絶ドスケベ画像】女の子「クリスマスにパチンコ行こうとしてるデカパイ女私くらいだろ(笑)」 [856698234]
- 【悲報】中居正広さん、共演NGされまくってしまう… [737150144]
- 34歳女性が資産1500万でFIRE🔥『家賃2万のアパートでとても幸せです』 [513730653]
- 【画像】お前らこういう時"2"を選ぶけどさぁ、一番お嫁さんに向いてるのは"1"だからな😤 [904880432]
- 紅白、星野源の曲目変更 [957955821]
- 中居は精神的に参っている!との事 [219241683]