2ch特化型サーバ・ロケーション構築作戦のスレッドです。
・２ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更関連の各種作業や調整事項
・２ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携
等を取り扱います。
現在、複数サーバによる連携により、
サーバ能力のさらなるスケールアップをめざすための「雪だるま作戦」が進行中です。
しかし、問題はあらゆる意味で山積の状態です。
また「２ちゃんねる証券取引所」をはじめとする「株」関連や「Be」の機能強化、
あるいは、次世代の携帯アクセス環境をめざした「べっかんこ作戦」の状況など、
気候も暖かくなり、そろそろ気になりだす季節にさしかかりつつある今日この頃、
あいかわらず２ちゃんねるは、刻一刻と確実に変化し続けています。
2ch特化型サーバ・ロケーション構築作戦 Part21
■ このスレッドは過去ログ倉庫に格納されています
1root▲ ★
NGNG68root▲ ★
2006/04/18(火) 21:23:34ID:???0 Apr 18 04:48:07 <0.6> tiger2522 kernel: pid 49512 (httpd), uid 2001: exited on signal 10
Apr 18 04:48:08 <0.6> tiger2522 kernel: pid 51181 (httpd), uid 2001: exited on signal 10
Apr 18 04:48:11 <0.6> tiger2522 kernel: pid 47579 (httpd), uid 2001: exited on signal 10
Apr 18 04:48:53 <0.6> tiger2522 kernel: pid 54596 (httpd), uid 2001: exited on signal 10
Apr 18 04:48:54 <0.6> tiger2522 kernel: pid 54600 (httpd), uid 2001: exited on signal 10
Apr 18 04:49:02 <0.6> tiger2522 kernel: pid 47591 (httpd), uid 2001: exited on signal 10
Apr 18 04:49:03 <0.6> tiger2522 kernel: pid 49264 (httpd), uid 2001: exited on signal 10
Apr 18 04:49:23 <0.6> tiger2522 kernel: pid 54777 (httpd), uid 2001: exited on signal 10
Apr 18 04:49:24 <0.6> tiger2522 kernel: pid 46092 (httpd), uid 2001: exited on signal 10
Apr 18 04:49:26 <0.6> tiger2522 kernel: pid 50612 (httpd), uid 2001: exited on signal 10
Apr 18 04:49:29 <0.6> tiger2522 kernel: pid 51482 (httpd), uid 2001: exited on signal 10
Apr 18 04:49:30 <0.6> tiger2522 kernel: pid 54770 (httpd), uid 2001: exited on signal 10
Apr 18 04:50:00 <0.6> tiger2522 kernel: pid 54606 (httpd), uid 2001: exited on signal 10
Apr 18 04:50:12 <0.6> tiger2522 kernel: pid 54903 (httpd), uid 2001: exited on signal 10
Apr 18 04:51:22 <0.6> tiger2522 kernel: pid 54904 (httpd), uid 2001: exited on signal 10
Apr 18 04:51:45 <0.6> tiger2522 kernel: pid 54880 (httpd), uid 2001: exited on signal 10
Apr 18 04:51:55 <0.6> tiger2522 kernel: pid 55080 (httpd), uid 2001: exited on signal 10
ううむ。
Apr 18 04:48:08 <0.6> tiger2522 kernel: pid 51181 (httpd), uid 2001: exited on signal 10
Apr 18 04:48:11 <0.6> tiger2522 kernel: pid 47579 (httpd), uid 2001: exited on signal 10
Apr 18 04:48:53 <0.6> tiger2522 kernel: pid 54596 (httpd), uid 2001: exited on signal 10
Apr 18 04:48:54 <0.6> tiger2522 kernel: pid 54600 (httpd), uid 2001: exited on signal 10
Apr 18 04:49:02 <0.6> tiger2522 kernel: pid 47591 (httpd), uid 2001: exited on signal 10
Apr 18 04:49:03 <0.6> tiger2522 kernel: pid 49264 (httpd), uid 2001: exited on signal 10
Apr 18 04:49:23 <0.6> tiger2522 kernel: pid 54777 (httpd), uid 2001: exited on signal 10
Apr 18 04:49:24 <0.6> tiger2522 kernel: pid 46092 (httpd), uid 2001: exited on signal 10
Apr 18 04:49:26 <0.6> tiger2522 kernel: pid 50612 (httpd), uid 2001: exited on signal 10
Apr 18 04:49:29 <0.6> tiger2522 kernel: pid 51482 (httpd), uid 2001: exited on signal 10
Apr 18 04:49:30 <0.6> tiger2522 kernel: pid 54770 (httpd), uid 2001: exited on signal 10
Apr 18 04:50:00 <0.6> tiger2522 kernel: pid 54606 (httpd), uid 2001: exited on signal 10
Apr 18 04:50:12 <0.6> tiger2522 kernel: pid 54903 (httpd), uid 2001: exited on signal 10
Apr 18 04:51:22 <0.6> tiger2522 kernel: pid 54904 (httpd), uid 2001: exited on signal 10
Apr 18 04:51:45 <0.6> tiger2522 kernel: pid 54880 (httpd), uid 2001: exited on signal 10
Apr 18 04:51:55 <0.6> tiger2522 kernel: pid 55080 (httpd), uid 2001: exited on signal 10
ううむ。
69root▲ ★
2006/04/18(火) 21:34:22ID:???0 とりあえず、
# XXX
kern.maxvnodes=200000
にしてみた。@ live22
# XXX
kern.maxvnodes=200000
にしてみた。@ live22
70root▲ ★
NGNG 今は、ゆとりありだからわからないなぁ。
%sysctl vfs.numvnodes
vfs.numvnodes: 39509
%sysctl kern.maxvnodes
kern.maxvnodes: 200000
http://www.freebsd.org/doc/en_US.ISO8859-1/books/handbook/configtuning-kernel-limits.html
%sysctl vfs.numvnodes
vfs.numvnodes: 39509
%sysctl kern.maxvnodes
kern.maxvnodes: 200000
http://www.freebsd.org/doc/en_US.ISO8859-1/books/handbook/configtuning-kernel-limits.html
71root▲ ★
NGNG このへんは大丈夫(だった)っぽいなぁ。
%netstat -m
544/4016/4560 mbufs in use (current/cache/total)
520/1878/2398/32768 mbuf clusters in use (current/cache/total/max)
14/562/8704 sfbufs in use (current/peak/max)
1176K/4760K/5936K bytes allocated to network (current/cache/total)
0 requests for sfbufs denied
0 requests for sfbufs delayed
355 requests for I/O initiated by sendfile
64 calls to protocol drain routines
%netstat -m
544/4016/4560 mbufs in use (current/cache/total)
520/1878/2398/32768 mbuf clusters in use (current/cache/total/max)
14/562/8704 sfbufs in use (current/peak/max)
1176K/4760K/5936K bytes allocated to network (current/cache/total)
0 requests for sfbufs denied
0 requests for sfbufs delayed
355 requests for I/O initiated by sendfile
64 calls to protocol drain routines
CoreDumpDirectory が効いて core を取れればどこでコケてるか絞りやすいんでしょうけどね．
それがナゼ効かないのか......
それがナゼ効かないのか......
73root▲ ★
NGNG Apache 2.2.0 にしてから試してなかったので、
今、入れてみた。
# XXX
CoreDumpDirectory /tmp
今、入れてみた。
# XXX
CoreDumpDirectory /tmp
74root▲ ★
NGNG kern.polling.burst_max
Upper bound for kern.polling.burst. Note that when polling is
enabled, each interface can receive at most (HZ * burst_max)
packets per second unless there are spare CPU cycles available
for polling in the idle loop. This number should be tuned to
match the expected load (which can be quite high with GigE
cards). Default is 150 which is adequate for 100Mbit network and
HZ=1000.
うむむむ。
Upper bound for kern.polling.burst. Note that when polling is
enabled, each interface can receive at most (HZ * burst_max)
packets per second unless there are spare CPU cycles available
for polling in the idle loop. This number should be tuned to
match the expected load (which can be quite high with GigE
cards). Default is 150 which is adequate for 100Mbit network and
HZ=1000.
うむむむ。
77root▲ ★
NGNG # XXX
kern.polling.burst_max=400
kern.polling.each_burst=15
HZ=2000 にするのは、今日寝る前あたりにトライで。
kern.polling.burst_max=400
kern.polling.each_burst=15
HZ=2000 にするのは、今日寝る前あたりにトライで。
78root▲ ★
NGNG こんどは、HDDに負荷かけてみる。
79root▲ ★
NGNG fsck -n /home とか find /home -ls とかやってみたけど、
苦しい状況は再現されず。
苦しい状況は再現されず。
80root▲ ★
NGNG 前に make -j 4 で再現した「ぐにゃぐにゃ」も、再現されない模様。
# 負荷が低いせいかも。
# 負荷が低いせいかも。
2006/04/19(水) 00:19:26ID:5IxMwuZQ0
ハードウェア的な問題はないのでしょうか？
具体的にはHDDとかメモリとか。
FreeBSDではなくてLinuxの話ですが、HDDが死にかけの時は、
コマンド入力したらSIGBUSで落ちたりしてました。
今回の件とは違うので、参考にならないかもですが。
具体的にはHDDとかメモリとか。
FreeBSDではなくてLinuxの話ですが、HDDが死にかけの時は、
コマンド入力したらSIGBUSで落ちたりしてました。
今回の件とは違うので、参考にならないかもですが。
82root▲ ★
NGNG >>81
ハードですか、、、。
一応、ないとは思いますけど、、、。 < 症状から
# そういえば某飲み会で、コマンドを入力すると全部バスエラーになるサーバの対応を
# していたような、していないような。(その時の原因はHDDのI/Oエラーだったみたいです)
ハードですか、、、。
一応、ないとは思いますけど、、、。 < 症状から
# そういえば某飲み会で、コマンドを入力すると全部バスエラーになるサーバの対応を
# していたような、していないような。(その時の原因はHDDのI/Oエラーだったみたいです)
人為的にやるなら，ab 攻撃 + >>79 みたいなのとか．
85root▲ ★
NGNG HZ=2000 なカーネルに入れ替え。@ live22
%sysctl kern.clockrate
kern.clockrate: { hz = 2000, tick = 500, profhz = 1333, stathz = 266 }
%sysctl kern.clockrate
kern.clockrate: { hz = 2000, tick = 500, profhz = 1333, stathz = 266 }
86root▲ ★
NGNG read.cgi再開発スレ Part2
http://qb5.2ch.net/test/read.cgi/operate/1105909861/518-521
今見ていますが、_datArea の rsync が、とっても負荷が高いですね。
どうせ不安定なんだから(おい)、ここをread onlyのNFSにしてみるとか。
やってみるか。
http://qb5.2ch.net/test/read.cgi/operate/1105909861/518-521
今見ていますが、_datArea の rsync が、とっても負荷が高いですね。
どうせ不安定なんだから(おい)、ここをread onlyのNFSにしてみるとか。
やってみるか。
87root▲ ★
NGNG @ live22
/etc/rc.conf:
# NFS for _datArea
nfs_server_enable="YES"
nfs_server_flags="-u -t -n 8"
rpcbind_enable="YES"
rpc_statd_enable="YES"
rpc_lockd_enable="YES"
@ live22x1
/etc/rc.conf:
# NFS for _datArea
nfs_client_enable="YES"
/etc/fstab:
# NFS for _datArea
192.168.100.1:/home/ch2live22/_datArea /home/ch2live22x/_datArea nfs ro,bg,mntudp,intr,nosuid 0 0
/etc/rc.conf:
# NFS for _datArea
nfs_server_enable="YES"
nfs_server_flags="-u -t -n 8"
rpcbind_enable="YES"
rpc_statd_enable="YES"
rpc_lockd_enable="YES"
@ live22x1
/etc/rc.conf:
# NFS for _datArea
nfs_client_enable="YES"
/etc/fstab:
# NFS for _datArea
192.168.100.1:/home/ch2live22/_datArea /home/ch2live22x/_datArea nfs ro,bg,mntudp,intr,nosuid 0 0
89root▲ ★
NGNG @ live22
/etc/exports: 設定。
/etc/exports: 設定。
91root▲ ★
NGNG 結局、_datArea の rsync をとりあえずやめることにして、
プライベートネットワーク経由での NFS (read only) にしてみた。
フロントで動く read.cgi バイナリや offlaw.cgi バイナリは
NFS 経由で、dat を読みに行くと。
他の部分(SETTING.TXT等)は、NFS使用せず(rsyncで運ぶ)。
プライベートネットワーク経由での NFS (read only) にしてみた。
フロントで動く read.cgi バイナリや offlaw.cgi バイナリは
NFS 経由で、dat を読みに行くと。
他の部分(SETTING.TXT等)は、NFS使用せず(rsyncで運ぶ)。
92root▲ ★
NGNG ということで、以前のNFS利用と異なるのは、
・生datやSETTING.TXTはNFSしない
かな。
ようは、NFSするのは過去ログ関係だけにしたと。
で、代償に過去ログの rsync が不要になったと。
このぐらいの頻度なら、NFSの発狂やrace conditionもないといいなぁ、と。
・生datやSETTING.TXTはNFSしない
かな。
ようは、NFSするのは過去ログ関係だけにしたと。
で、代償に過去ログの rsync が不要になったと。
このぐらいの頻度なら、NFSの発狂やrace conditionもないといいなぁ、と。
94root▲ ★
NGNG95root▲ ★
NGNG …管理人にメールしておきます。
(´･ω･｀)
(´･ω･｀)
2006/04/19(水) 04:43:12ID:xfzH2rUP0
|´･ω･)ゝ
いくつか有る壁の一つだから
大きなことは起こらないとおもいますー
2002年でしたっけ
三台ほどデータ消されたの
たぶんそれ以降強固になっているはずですんで、
そのうち壁を一つ増築するということで、
大きなことは起こらないとおもいますー
2002年でしたっけ
三台ほどデータ消されたの
たぶんそれ以降強固になっているはずですんで、
そのうち壁を一つ増築するということで、
2006/04/19(水) 06:30:31ID:qZB3EeX60
2006/04/19(水) 06:42:22ID:xfzH2rUP0
|´･ω･)ゝ 緊急時だから記憶しないであげて
2006/04/19(水) 10:06:16ID:z72z+rJt0
>>96
つ ▲
つ ▲
104▲ ◆SANUKI/VII
NGNG あれって非公開だったんだ、
105root▲ ★
NGNG rsync の負荷がおそろしく軽くなった。
「だんだん弱くなってきた」傾向からいっても、
これまでの観測結果からしても、過去ログの再帰的な rsync をやめたのは、
相当効果が大きいと思う。
あとは、この部分が NFS でうまく動いてくれれば。
「だんだん弱くなってきた」傾向からいっても、
これまでの観測結果からしても、過去ログの再帰的な rsync をやめたのは、
相当効果が大きいと思う。
あとは、この部分が NFS でうまく動いてくれれば。
株式会社jig.jpの菊池です。
弊社サービス「jigブラウザ」から２ちゃんねる掲示板への書き込みの件ですが、
弊社テストサーバでの対応が完了致しましたので技術情報を公開致します。
IPアドレス：210.153.93.58
携帯側のIPアドレスはX-Forwarded-Forヘッダーで端末固有情報は
X-Subscriber-IDヘッダーで送信するようにしています。
テストサーバでの書き込みの確認ができましたら、全サーバのIPを公開したいと考えております。
宜しくお願い致します。
弊社サービス「jigブラウザ」から２ちゃんねる掲示板への書き込みの件ですが、
弊社テストサーバでの対応が完了致しましたので技術情報を公開致します。
IPアドレス：210.153.93.58
携帯側のIPアドレスはX-Forwarded-Forヘッダーで端末固有情報は
X-Subscriber-IDヘッダーで送信するようにしています。
テストサーバでの書き込みの確認ができましたら、全サーバのIPを公開したいと考えております。
宜しくお願い致します。
107root▲ ★
NGNG >>106
了解です。
まずは、テストサーバの仮登録ということですね。
X-Forwarded-For: xxx.xxx.xxx.xxx
X-Subscriber-ID: serial_string
という形であると想定して bbs.cgi に組み入れ、
このサーバ(qb5)に入れます。
こちらの作業ができたところで、このスレで連絡します。
よろしくお願いいたします。
了解です。
まずは、テストサーバの仮登録ということですね。
X-Forwarded-For: xxx.xxx.xxx.xxx
X-Subscriber-ID: serial_string
という形であると想定して bbs.cgi に組み入れ、
このサーバ(qb5)に入れます。
こちらの作業ができたところで、このスレで連絡します。
よろしくお願いいたします。
109root▲ ★
NGNG あと、X-Subscriber-ID: 情報を送信いただくにあたっての確認です。
http://br.jig.jp/session_XA2HSjsCa3SdTu3V/pc/model.html
# 対応機種が多いですね。
いい機会なので、個別の方法をまとめておきます。
1) DoCoMo
User-Agent: の serXXXXXXXXXXXXX を、加工せずそのまま送ってください。
2) au
X_UP_SUBNO の情報を、加工せずそのまま送ってください。
3) Vodafone
User-Agent: の SNxxxxxxxxxx を、加工せずそのまま送ってください。
4) Willcom
うーむ、とりあえず保留にさせてください。
仕様がわからないと、対応のしようが。
逆に仕様がわかれば、これを機会に対応できるのかな。
http://br.jig.jp/session_XA2HSjsCa3SdTu3V/pc/model.html
# 対応機種が多いですね。
いい機会なので、個別の方法をまとめておきます。
1) DoCoMo
User-Agent: の serXXXXXXXXXXXXX を、加工せずそのまま送ってください。
2) au
X_UP_SUBNO の情報を、加工せずそのまま送ってください。
3) Vodafone
User-Agent: の SNxxxxxxxxxx を、加工せずそのまま送ってください。
4) Willcom
うーむ、とりあえず保留にさせてください。
仕様がわからないと、対応のしようが。
逆に仕様がわかれば、これを機会に対応できるのかな。
111root▲ ★
NGNG いい機会だから、菊池さんにひとつ質問してしまいます。
Willcom 版 jig ブラウザは、
1) ２ちゃんねるには御社ゲートウェイ経由でのアクセスになるのですか。
2) それとも、携帯電話につく IP アドレス直でアクセスされるのでしょうか。
Willcom 版 jig ブラウザは、
1) ２ちゃんねるには御社ゲートウェイ経由でのアクセスになるのですか。
2) それとも、携帯電話につく IP アドレス直でアクセスされるのでしょうか。
NGNG
[FreeBSD-Announce] FreeBSD Security Advisory FreeBSD-SA-06:14.fpu
http://lists.freebsd.org/pipermail/freebsd-announce/2006-April/001061.html
http://lists.freebsd.org/pipermail/freebsd-announce/2006-April/001061.html
113root▲ ★
NGNG お、ひょっとして、
> IPアドレス：210.153.93.58
は、逆引きできない IP アドレスかしら。
だとすると、
> X-Forwarded-Forヘッダー
との兼ね合いで、ちといまいちかもです。
(全然別のProxy判定にひっかかる可能性がある)
DNS逆引きが設定されていれば問題ないので、
テストの際には逆引きを正しく指定いただくか、
あるいは他のヘッダでIPアドレス情報を渡す必要があります。
> IPアドレス：210.153.93.58
は、逆引きできない IP アドレスかしら。
だとすると、
> X-Forwarded-Forヘッダー
との兼ね合いで、ちといまいちかもです。
(全然別のProxy判定にひっかかる可能性がある)
DNS逆引きが設定されていれば問題ないので、
テストの際には逆引きを正しく指定いただくか、
あるいは他のヘッダでIPアドレス情報を渡す必要があります。
116root▲ ★
NGNG >>115
Willcom の端末情報は、
一般的な方法では素の Willcom 電話からは得られないはずです、、、。
ということで２ちゃんねるには、送っていただかなくて問題ありませんです。
というか、たぶん許可なく送っちゃいけないんだと思います。
# 端末情報とれると＊すんごく＊うれしいけど、たぶん非公開ですね、それ。
# Willcomの対応は、別途考えましょう。
Willcom の端末情報は、
一般的な方法では素の Willcom 電話からは得られないはずです、、、。
ということで２ちゃんねるには、送っていただかなくて問題ありませんです。
というか、たぶん許可なく送っちゃいけないんだと思います。
# 端末情報とれると＊すんごく＊うれしいけど、たぶん非公開ですね、それ。
# Willcomの対応は、別途考えましょう。
117root▲ ★
NGNG 菊池様;
というわけで、qb5 サーバに対応版 bbs.cgi を入れました。
・DoCoMo/au/Vodafone いずれも対応できたはずです。
・Willcom は未対応です(携帯用ブラウザからの情報を取得できない旨のエラーになります)。
・ID の末尾の識別マークは Q になります。
・ID そのものは、携帯の標準ブラウザから書き込んだ場合と同じです。
・規制系(Samba24連投規制、BBM)は、各携帯ごとに個別で規制されます。
ということで、以下のテストを実施していただけますと助かります。
[test] 書き込みテスト 専用スレッド 61 [ﾃｽﾄ]
http://qb5.2ch.net/test/read.cgi/operate/1144376539/
に、
1) jigブラウザ経由で書き込む
2) 携帯の標準ブラウザから書き込む
1) 2) が同じ ID となり、かつIDの末尾が Q と O になれば、実験は成功です。
以上、よろしくお願いいたします。
というわけで、qb5 サーバに対応版 bbs.cgi を入れました。
・DoCoMo/au/Vodafone いずれも対応できたはずです。
・Willcom は未対応です(携帯用ブラウザからの情報を取得できない旨のエラーになります)。
・ID の末尾の識別マークは Q になります。
・ID そのものは、携帯の標準ブラウザから書き込んだ場合と同じです。
・規制系(Samba24連投規制、BBM)は、各携帯ごとに個別で規制されます。
ということで、以下のテストを実施していただけますと助かります。
[test] 書き込みテスト 専用スレッド 61 [ﾃｽﾄ]
http://qb5.2ch.net/test/read.cgi/operate/1144376539/
に、
1) jigブラウザ経由で書き込む
2) 携帯の標準ブラウザから書き込む
1) 2) が同じ ID となり、かつIDの末尾が Q と O になれば、実験は成功です。
以上、よろしくお願いいたします。
2006/04/19(水) 19:06:43ID:2J7hK35lP
バーボンも端末個別？
120root▲ ★
NGNG (´-｀).｡ｏO（しかし対応キャリアが多いと、テストも大変だなと。）
2006/04/19(水) 19:27:42ID:UhuoF612Q
キャリアごと(計６回)の書き込みテストですね。
2006/04/19(水) 21:13:35ID:5IxMwuZQ0
既に設定済みかわかりませんが、、
FreeBSDで、apacheのようにsetuid,setgidしているプロセスにcoredumpさせるためには、
sysctl kern.sugid_coredump=1
とする必要があります。
また、必須ではありませんが、
sysctl kern.corefile=%N.core.%P
として、コアファイル名にプロセスIDを含めるようにすれば、
複数のプロセスがSIGBUSで落ちたとしても、コアファイルが上書きされることはないでしょう。
FreeBSDで、apacheのようにsetuid,setgidしているプロセスにcoredumpさせるためには、
sysctl kern.sugid_coredump=1
とする必要があります。
また、必須ではありませんが、
sysctl kern.corefile=%N.core.%P
として、コアファイル名にプロセスIDを含めるようにすれば、
複数のプロセスがSIGBUSで落ちたとしても、コアファイルが上書きされることはないでしょう。
125root▲ ★
2006/04/19(水) 21:45:23ID:???0 StartServers 16
ServerLimit 16
ThreadLimit 128
ThreadsPerChild 128
に変更。(8/256から)
ServerLimit 16
ThreadLimit 128
ThreadsPerChild 128
に変更。(8/256から)
126root▲ ★
2006/04/19(水) 21:48:52ID:???0 なるほど、LA が高く出ているだけなのね。
しばらく、これで。
さっきは umtx がいっぱい出ていたけど、128 にしたら落ち着いたみたい。
しばらく、これで。
さっきは umtx がいっぱい出ていたけど、128 にしたら落ち着いたみたい。
130root▲ ★
2006/04/19(水) 22:22:27ID:???0 kern.polling.burst が結構上がることがあるみたい。
kern.polling.burst_max=800 にした。
kern.polling.burst_max=800 にした。
132root▲ ★
2006/04/19(水) 22:33:46ID:???0 >>130
em1 1500 <Link#2> 00:30:48:53:ec:67 138923795 2181 150931418 0 0
Ierrs が出ていました(少なくとも18:00ぐらいまでは出ていなかった)。
オーバーランかなと。
em1 1500 <Link#2> 00:30:48:53:ec:67 138923795 2181 150931418 0 0
Ierrs が出ていました(少なくとも18:00ぐらいまでは出ていなかった)。
オーバーランかなと。
2006/04/20(木) 09:17:30ID:KOwqVfLnO
【封印】封印されし神々の復活Ver4【解除】
http://hobby7.2ch.net/test/read.cgi/occult/1143562352/333-334
マジですか。
本当ならrootたんが家庭の保守に専念できる。
http://hobby7.2ch.net/test/read.cgi/occult/1143562352/333-334
マジですか。
本当ならrootたんが家庭の保守に専念できる。
134root▲ ★
NGNG /tmp に core ができていました。
%gdb /usr/local/sbin/httpd httpd.core.46382
GNU gdb 6.1.1 [FreeBSD]
Copyright 2004 Free Software Foundation, Inc.
GDB is free software, covered by the GNU General Public License, and you are
welcome to change it and/or distribute copies of it under certain conditions.
Type "show copying" to see the conditions.
There is absolutely no warranty for GDB. Type "show warranty" for details.
This GDB was configured as "i386-marcel-freebsd"...(no debugging symbols found)...
Core was generated by `httpd'.
Program terminated with signal 10, Bus error.
Reading symbols from /lib/libm.so.4...(no debugging symbols found)...done.
Loaded symbols for /lib/libm.so.4
...
Reading symbols from /usr/local/libexec/apache22/mod_cgidso.so...(no debugging symbols found)...done.
Loaded symbols for /usr/local/libexec/apache22/mod_cgidso.so
Reading symbols from /libexec/ld-elf.so.1...(no debugging symbols found)...done.
Loaded symbols for /libexec/ld-elf.so.1
#0 0x2828a593 in accept () from /lib/libc.so.6
[New Thread 0x8263600 (LWP 101485)]
[New Thread 0x8263500 (LWP 101482)]
[New Thread 0x8263400 (LWP 101479)]
...
(続く)
%gdb /usr/local/sbin/httpd httpd.core.46382
GNU gdb 6.1.1 [FreeBSD]
Copyright 2004 Free Software Foundation, Inc.
GDB is free software, covered by the GNU General Public License, and you are
welcome to change it and/or distribute copies of it under certain conditions.
Type "show copying" to see the conditions.
There is absolutely no warranty for GDB. Type "show warranty" for details.
This GDB was configured as "i386-marcel-freebsd"...(no debugging symbols found)...
Core was generated by `httpd'.
Program terminated with signal 10, Bus error.
Reading symbols from /lib/libm.so.4...(no debugging symbols found)...done.
Loaded symbols for /lib/libm.so.4
...
Reading symbols from /usr/local/libexec/apache22/mod_cgidso.so...(no debugging symbols found)...done.
Loaded symbols for /usr/local/libexec/apache22/mod_cgidso.so
Reading symbols from /libexec/ld-elf.so.1...(no debugging symbols found)...done.
Loaded symbols for /libexec/ld-elf.so.1
#0 0x2828a593 in accept () from /lib/libc.so.6
[New Thread 0x8263600 (LWP 101485)]
[New Thread 0x8263500 (LWP 101482)]
[New Thread 0x8263400 (LWP 101479)]
...
(続く)
135root▲ ★
NGNG (gdb) where
#0 0x2828a593 in accept () from /lib/libc.so.6
Cannot access memory at address 0xb787dea0
(gdb)
うーむ。
#0 0x2828a593 in accept () from /lib/libc.so.6
Cannot access memory at address 0xb787dea0
(gdb)
うーむ。
2006/04/20(木) 17:02:13ID:OMuCKuQ80
>>135
変ですね。スタックが破壊されない限り、そうはならないはずなんですが。。
通常は
(gdb) where
#0 0x282b0c67 in accept () from /lib/libc.so.6
#1 0x2823ad65 in accept () from /usr/lib/libthr.so.2
#2 0x282152b2 in apr_socket_accept () from /usr/local/lib/libapr-1.so.2
#3 0x08082f76 in unixd_accept ()
#4 0x0807fe41 in listener_thread ()
#5 0x28219ee8 in dummy_worker () from /usr/local/lib/libapr-1.so.2
#6 0x2823d5c7 in pthread_create () from /usr/lib/libthr.so.2
#7 0x00000000 in ?? ()
のような感じになるはず。
変ですね。スタックが破壊されない限り、そうはならないはずなんですが。。
通常は
(gdb) where
#0 0x282b0c67 in accept () from /lib/libc.so.6
#1 0x2823ad65 in accept () from /usr/lib/libthr.so.2
#2 0x282152b2 in apr_socket_accept () from /usr/local/lib/libapr-1.so.2
#3 0x08082f76 in unixd_accept ()
#4 0x0807fe41 in listener_thread ()
#5 0x28219ee8 in dummy_worker () from /usr/local/lib/libapr-1.so.2
#6 0x2823d5c7 in pthread_create () from /usr/lib/libthr.so.2
#7 0x00000000 in ?? ()
のような感じになるはず。
株式会社jig.jpの菊池です。
お待たせしておりまして申し訳ございません。
書き込みテストが完了致しました。
問題ないようです。
DNSの逆引き設定がされておりませんでしたので、現在対応中です。
設定終了後、全IPを公開致します。
下記テスト結果になります。
http://qb5.2ch.net/test/read.cgi/operate/1144376539/826-845
【DoCoMo】
826（jigブラウザ）
827(ネイティブ）
828（jigブラウザ）
829（jigブラウザ）
830（ネイティブ）
832（ネイティブ）
835（jigブラウザ）
833（ネイティブ）
827（ネイティブ）
【au】
829(jigブラウザ）
830(ネイティブ）
【ボーダフォン】
844(jigブラウザ）
845(ネイティブ）
宜しくお願い致します。
お待たせしておりまして申し訳ございません。
書き込みテストが完了致しました。
問題ないようです。
DNSの逆引き設定がされておりませんでしたので、現在対応中です。
設定終了後、全IPを公開致します。
下記テスト結果になります。
http://qb5.2ch.net/test/read.cgi/operate/1144376539/826-845
【DoCoMo】
826（jigブラウザ）
827(ネイティブ）
828（jigブラウザ）
829（jigブラウザ）
830（ネイティブ）
832（ネイティブ）
835（jigブラウザ）
833（ネイティブ）
827（ネイティブ）
【au】
829(jigブラウザ）
830(ネイティブ）
【ボーダフォン】
844(jigブラウザ）
845(ネイティブ）
宜しくお願い致します。
139root▲ ★
NGNG >>138
書き込みテストの内容を確認しました。
DoCoMo/au/Vodafone、全て問題ないようですね。
IPアドレスの情報をいただいた後 bbs.cgi への組み込みを行い、
全サーバに反映します。
なお、今後御社側でサーバの追加・変更等があった場合、
お手数ですがその都度お知らせいただけますと助かります。
それでは、よろしくお願いいたします。
書き込みテストの内容を確認しました。
DoCoMo/au/Vodafone、全て問題ないようですね。
IPアドレスの情報をいただいた後 bbs.cgi への組み込みを行い、
全サーバに反映します。
なお、今後御社側でサーバの追加・変更等があった場合、
お手数ですがその都度お知らせいただけますと助かります。
それでは、よろしくお願いいたします。
2006/04/20(木) 19:02:56ID:OMuCKuQ80
>>137
ちなみに、gdbで info threads した時に
...
2 Thread 0x82b6c00 (LWP 100348) 0x28322363 in kill () from /lib/libc.so.6
* 1 Thread 0x82b6d00 (LWP 100349) 0x282d7c67 in accept () from /lib/libc.so.6
..
のように in kill の状態になっているスレッドはないでしょうか?
あったら、そのスレッドのスタックトレースを見てみると良いかも。。
ちなみに、gdbで info threads した時に
...
2 Thread 0x82b6c00 (LWP 100348) 0x28322363 in kill () from /lib/libc.so.6
* 1 Thread 0x82b6d00 (LWP 100349) 0x282d7c67 in accept () from /lib/libc.so.6
..
のように in kill の状態になっているスレッドはないでしょうか?
あったら、そのスレッドのスタックトレースを見てみると良いかも。。
141root▲ ★
NGNG >>140
10 Thread 0x8242d00 (LWP 101459) 0x28289973 in poll () from /lib/libc.so.6
9 Thread 0x8242e00 (LWP 101461) 0x282884d3 in _umtx_op ()
from /lib/libc.so.6
8 Thread 0x8242f00 (LWP 101464) 0x2828a4b3 in kill () from /lib/libc.so.6
7 Thread 0x8263000 (LWP 101467) 0x282884d3 in _umtx_op ()
from /lib/libc.so.6
6 Thread 0x8263100 (LWP 101470) 0x282884d3 in _umtx_op ()
from /lib/libc.so.6
これか。
で、このスレッドのスタックトレースを見るには、どうすれば。
10 Thread 0x8242d00 (LWP 101459) 0x28289973 in poll () from /lib/libc.so.6
9 Thread 0x8242e00 (LWP 101461) 0x282884d3 in _umtx_op ()
from /lib/libc.so.6
8 Thread 0x8242f00 (LWP 101464) 0x2828a4b3 in kill () from /lib/libc.so.6
7 Thread 0x8263000 (LWP 101467) 0x282884d3 in _umtx_op ()
from /lib/libc.so.6
6 Thread 0x8263100 (LWP 101470) 0x282884d3 in _umtx_op ()
from /lib/libc.so.6
これか。
で、このスレッドのスタックトレースを見るには、どうすれば。
2006/04/20(木) 19:11:26ID:OMuCKuQ80
(gdb) thread 8
(gdb) where
です。
(gdb) where
です。
143root▲ ★
NGNG 自分でも調べて、やってみたです。>>142
が、いまいちみたい。
(gdb) thread 8
[Switching to thread 8 (Thread 0x8242f00 (LWP 101464))]#0 0x2828a4b3 in kill
() from /lib/libc.so.6
(gdb) where
#0 0x2828a4b3 in kill () from /lib/libc.so.6
Cannot access memory at address 0xb7f84a3c
(gdb)
が、いまいちみたい。
(gdb) thread 8
[Switching to thread 8 (Thread 0x8242f00 (LWP 101464))]#0 0x2828a4b3 in kill
() from /lib/libc.so.6
(gdb) where
#0 0x2828a4b3 in kill () from /lib/libc.so.6
Cannot access memory at address 0xb7f84a3c
(gdb)
2006/04/20(木) 19:27:25ID:OMuCKuQ80
>>143
そんな感じですか。。
本来なら
(gdb) where
#0 0x28322363 in kill () from /lib/libc.so.6
#1 0x0807958b in sig_coredump ()
..
というように、sig_coredump()からkill()が呼ばれるはずなんですけどね。
とりあえず、thread 8 で落ちてますので、
listenerスレッドではなく、workerスレッドで落ちていることはわかりました。
あとは、、
やっぱり CFLAGS=-g でコンパイルしないと、わかり難いんじゃないかなぁと個人的には思います。
そんな感じですか。。
本来なら
(gdb) where
#0 0x28322363 in kill () from /lib/libc.so.6
#1 0x0807958b in sig_coredump ()
..
というように、sig_coredump()からkill()が呼ばれるはずなんですけどね。
とりあえず、thread 8 で落ちてますので、
listenerスレッドではなく、workerスレッドで落ちていることはわかりました。
あとは、、
やっぱり CFLAGS=-g でコンパイルしないと、わかり難いんじゃないかなぁと個人的には思います。
145root▲ ★
2006/04/20(木) 20:50:11ID:???0 netstat -i でカウントが増えています。
とりこぼしかな。
ログインしていても、そう感じる。
mbuf は余裕ありか、、、。
%netstat -m
1845/2535/4380 mbufs in use (current/cache/total)
665/2231/2896/32768 mbuf clusters in use (current/cache/total/max)
292/356/8704 sfbufs in use (current/peak/max)
1791K/5095K/6887K bytes allocated to network (current/cache/total)
0 requests for sfbufs denied
0 requests for sfbufs delayed
197 requests for I/O initiated by sendfile
41 calls to protocol drain routines
とりこぼしかな。
ログインしていても、そう感じる。
mbuf は余裕ありか、、、。
%netstat -m
1845/2535/4380 mbufs in use (current/cache/total)
665/2231/2896/32768 mbuf clusters in use (current/cache/total/max)
292/356/8704 sfbufs in use (current/peak/max)
1791K/5095K/6887K bytes allocated to network (current/cache/total)
0 requests for sfbufs denied
0 requests for sfbufs delayed
197 requests for I/O initiated by sendfile
41 calls to protocol drain routines
146root▲ ★
NGNG で、LAが急上昇。
CPU idle time はまだ相当ある。
load averages: 40.84, 53.78, 34.102
CPU idle time はまだ相当ある。
load averages: 40.84, 53.78, 34.102
147root▲ ★
NGNG 少し設定変えたけど、もう下がっちゃったのかな。
>>139
ご確認ありがとうございます。
>>138の書き込みの内容に一部間違いがございましたことをお詫び致します。
誠に申し訳ございませんでした。
下記に訂正させていただきます。
【DoCoMo】
826（jigブラウザ）
827(ネイティブ）
828（jigブラウザ）
832（ネイティブ）
833（jigブラウザ）
835（jigブラウザ）
【au】
829(jigブラウザ）
830(ネイティブ）
【ボーダフォン】
844(jigブラウザ）
845(ネイティブ）
サーバの追加・変更等があった場合の報告の件了解致しました。
弊社バージョンアップの準備ができ次第IPの公開をさせていただきます。
宜しくお願い致します。
ご確認ありがとうございます。
>>138の書き込みの内容に一部間違いがございましたことをお詫び致します。
誠に申し訳ございませんでした。
下記に訂正させていただきます。
【DoCoMo】
826（jigブラウザ）
827(ネイティブ）
828（jigブラウザ）
832（ネイティブ）
833（jigブラウザ）
835（jigブラウザ）
【au】
829(jigブラウザ）
830(ネイティブ）
【ボーダフォン】
844(jigブラウザ）
845(ネイティブ）
サーバの追加・変更等があった場合の報告の件了解致しました。
弊社バージョンアップの準備ができ次第IPの公開をさせていただきます。
宜しくお願い致します。
149root▲ ★
NGNG sysctl kern.polling.user_frac=20
とかしてみた。
kern.polling.user_frac
When polling is enabled, and provided that there is some work to
do, up to this percent of the CPU cycles is reserved to userland
tasks, the remaining fraction being available for polling pro-
cessing. Default is 50.
とかしてみた。
kern.polling.user_frac
When polling is enabled, and provided that there is some work to
do, up to this percent of the CPU cycles is reserved to userland
tasks, the remaining fraction being available for polling pro-
cessing. Default is 50.
151root▲ ★
NGNG これ (banana238 に昔入れたもの、今でも入っている)を入れていなかったのを
思い出して、入れてみた。 @ live22
# increase network send/receive buffer
net.inet.tcp.sendspace=131072
net.inet.tcp.recvspace=131072
net.inet.udp.maxdgram=131072
net.inet.udp.recvspace=131072
思い出して、入れてみた。 @ live22
# increase network send/receive buffer
net.inet.tcp.sendspace=131072
net.inet.tcp.recvspace=131072
net.inet.udp.maxdgram=131072
net.inet.udp.recvspace=131072
152root▲ ★
NGNG さらに、
net.local.stream.sendspace=131072
net.local.stream.recvspace=131072
を追加。
net.local.stream.sendspace=131072
net.local.stream.recvspace=131072
を追加。
153root▲ ★
NGNG net.inet.tcp.delayed_ack=0
は、live22 バックエンドではしない方がよさげですね。
http://www.jp.freebsd.org/QandA/HTML/1926.html
は、live22 バックエンドではしない方がよさげですね。
http://www.jp.freebsd.org/QandA/HTML/1926.html
154root▲ ★
NGNG net.local.dgram.maxdgram=131072
net.local.dgram.recvspace=131072
を追加。
net.local.dgram.recvspace=131072
を追加。
155root▲ ★
NGNG で、これらは、
%netstat -s -p udp
udp:
1826031 datagrams received
0 with incomplete header
0 with bad data length field
0 with bad checksum
15 with no checksum
36 dropped due to no socket
0 broadcast/multicast datagrams dropped due to no socket
1055 dropped due to full socket buffers
0 not for hashed pcb
1824940 delivered
1824924 datagrams output
> 1055 dropped due to full socket buffers
これを見つけて、やることにした。
(フロント <=> bbsd は udp で通信)
%netstat -s -p udp
udp:
1826031 datagrams received
0 with incomplete header
0 with bad data length field
0 with bad checksum
15 with no checksum
36 dropped due to no socket
0 broadcast/multicast datagrams dropped due to no socket
1055 dropped due to full socket buffers
0 not for hashed pcb
1824940 delivered
1824924 datagrams output
> 1055 dropped due to full socket buffers
これを見つけて、やることにした。
(フロント <=> bbsd は udp で通信)
156root▲ ★
NGNG 【実況】 live22x Part17
http://qb5.2ch.net/test/read.cgi/operate/1145104439/936-938
帰宅途中に「banana403/404はパブリック側でmatしているから、
全部Gigabit通信になるはずで、それならプライベート側にはjumbo frame入れられるはず」
と気がつき、live22/live22x[123] に導入してみた。
ifconfig em1 mtu 9000 を設定し、/etc/rc.conf に記述を追加。
%ifconfig -a
em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> mtu 1500
options=4b<RXCSUM,TXCSUM,VLAN_MTU,POLLING>
inet6 fe80::230:48ff:fe53:ec66%em0 prefixlen 64 scopeid 0x1
inet 206.223.150.54 netmask 0xffffff00 broadcast 206.223.150.255
ether 00:30:48:53:ec:66
media: Ethernet autoselect (1000baseTX <full-duplex>)
status: active
em1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> mtu 9000
options=4b<RXCSUM,TXCSUM,VLAN_MTU,POLLING>
inet6 fe80::230:48ff:fe53:ec67%em1 prefixlen 64 scopeid 0x2
inet 192.168.100.1 netmask 0xffffff00 broadcast 192.168.100.255
ether 00:30:48:53:ec:67
media: Ethernet autoselect (1000baseTX <full-duplex>)
status: active
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> mtu 16384
inet6 ::1 prefixlen 128
inet6 fe80::1%lo0 prefixlen 64 scopeid 0x3
inet 127.0.0.1 netmask 0xff000000
http://qb5.2ch.net/test/read.cgi/operate/1145104439/936-938
帰宅途中に「banana403/404はパブリック側でmatしているから、
全部Gigabit通信になるはずで、それならプライベート側にはjumbo frame入れられるはず」
と気がつき、live22/live22x[123] に導入してみた。
ifconfig em1 mtu 9000 を設定し、/etc/rc.conf に記述を追加。
%ifconfig -a
em0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> mtu 1500
options=4b<RXCSUM,TXCSUM,VLAN_MTU,POLLING>
inet6 fe80::230:48ff:fe53:ec66%em0 prefixlen 64 scopeid 0x1
inet 206.223.150.54 netmask 0xffffff00 broadcast 206.223.150.255
ether 00:30:48:53:ec:66
media: Ethernet autoselect (1000baseTX <full-duplex>)
status: active
em1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> mtu 9000
options=4b<RXCSUM,TXCSUM,VLAN_MTU,POLLING>
inet6 fe80::230:48ff:fe53:ec67%em1 prefixlen 64 scopeid 0x2
inet 192.168.100.1 netmask 0xffffff00 broadcast 192.168.100.255
ether 00:30:48:53:ec:67
media: Ethernet autoselect (1000baseTX <full-duplex>)
status: active
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> mtu 16384
inet6 ::1 prefixlen 128
inet6 fe80::1%lo0 prefixlen 64 scopeid 0x3
inet 127.0.0.1 netmask 0xff000000
157root▲ ★
NGNG live22x[45] の em1 にも入れた。
cobra2247 は、、、なぜか、ping かからない模様。
cobra2247 は、、、なぜか、ping かからない模様。
158root▲ ★
NGNG よく見てみたところ、
arplookup 206.223.151.3 failed: host is not on local network
arplookup 206.223.151.4 failed: host is not on local network
arplookup 206.223.151.2 failed: host is not on local network
...
こりゃ、携帯用のVLANですね。
…なるほど、雪だるまのVLANのプライベート側は、
携帯用VLANのパブリック側と同居なのか。
だとすると(携帯用サーバにはbanana = 100Mbps)がいるから、
ジャンボフレームの設定は現時点では無理ですね。(´･ω･｀)ｼｮﾎﾞｰﾝ
中の人にVLANをきちんと分けてもらえば、可能なのかしら。
arplookup 206.223.151.3 failed: host is not on local network
arplookup 206.223.151.4 failed: host is not on local network
arplookup 206.223.151.2 failed: host is not on local network
...
こりゃ、携帯用のVLANですね。
…なるほど、雪だるまのVLANのプライベート側は、
携帯用VLANのパブリック側と同居なのか。
だとすると(携帯用サーバにはbanana = 100Mbps)がいるから、
ジャンボフレームの設定は現時点では無理ですね。(´･ω･｀)ｼｮﾎﾞｰﾝ
中の人にVLANをきちんと分けてもらえば、可能なのかしら。
2006/04/21(金) 00:51:51ID:PItZ29620
TCPなら、ジャンボ設定してもネゴ時にMSS調整して、小さいほうに合わせてくれますけど。
2006/04/21(金) 01:00:32ID:PItZ29620
あ、HUBの問題か。
162root▲ ★
2006/04/21(金) 11:07:28ID:???0 今、 live22 はほとんど遊んでいて、idile timeもちゃんと90%ぐらい。
で、load averages: 1.38, 1.18, 1.16 な状態。
DEVICE_POLLING ありにすると、LAが1つ高めに出るのかしら。
比較対象として、ifconfig em[01] -polling にしてみた。
午前中これで動かしてみる。
で、load averages: 1.38, 1.18, 1.16 な状態。
DEVICE_POLLING ありにすると、LAが1つ高めに出るのかしら。
比較対象として、ifconfig em[01] -polling にしてみた。
午前中これで動かしてみる。
163root▲ ★
NGNG systat -v で割り込みで動いているのを確認。
164root▲ ★
NGNG %uptime
7:31PM up 2 days, 10:57, 1 user, load averages: 0.71, 0.64, 0.68
なるほど。
いつでも「あり」「なし」を変えられる状態だから、
負荷がかかった時に、また試してみるか。
再度「あり」に戻しておこう。
7:31PM up 2 days, 10:57, 1 user, load averages: 0.71, 0.64, 0.68
なるほど。
いつでも「あり」「なし」を変えられる状態だから、
負荷がかかった時に、また試してみるか。
再度「あり」に戻しておこう。
165root▲ ★
NGNG > SunOS さん
ちと、別件でメールさせていただきましたです。
ちと、別件でメールさせていただきましたです。
166む＠携帯
2006/04/21(金) 21:45:46ID:bSDwdv/9O また、パケットのとりこぼし系かしら。
167む P221119009130.ppp.prin.ne.jp
2006/04/21(金) 22:11:09ID:wuqnmux/0 で、チューニングが不十分なせいかもしれないけど、
DEVICE_POLLINGありのほうが、限界が早い気がするなぁ。
重い状態を人工的に作り出せるようにしないと。
DEVICE_POLLINGありのほうが、限界が早い気がするなぁ。
重い状態を人工的に作り出せるようにしないと。
168root▲ ★
NGNG ちょっと負荷をかけてみたけど(数回)、
このぐらいだとびくともしないなぁ。
いくつかのサーバから同時にしかけないと、だめなのかな。
このぐらいだとびくともしないなぁ。
いくつかのサーバから同時にしかけないと、だめなのかな。
■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 川崎重工、40年前から架空取引繰り返したか 週内にも調査結果公表 [蚤の市★]
- 【スクープ】中居正広が女性との間に重大トラブル、巨額の解決金を支払う 重病から復帰後の会食で深刻な問題が発生 ★28 [Ailuropoda melanoleuca★]
- １７８万円まで引き上げで、自民・小野寺氏「何で税源穴埋めするか提案して欲しい」国民民主に要請 ★9 [お断り★]
- 『M-1グランプリ』20代目王者は令和ロマン「去年の倍、嬉しいです！」前人未到の連覇達成で史上最多1万330組の頂点に★4 [muffin★]
- 「あと何十年、こんなに苦しまなければいけないのか」 日本人女性と結婚しても「在留許可」認められず…スリランカ人男性(東京地裁) [少考さん★]
- 【Jリーグ】月給10万「Jリーガーと呼ぶのは反対」 J3元選手が苦しんだ現実とイメージのギャップ ★2 [鉄チーズ烏★]
- アース製薬「ゴキブリや蚊に感謝している」Part2
- (´･ω･`)おはよ
- 【画像】東京都民「いやああああ！今日からまた満員電車ライフが始まるのおおお！何の為に生きてるかわからないよおおおお」 [732289945]
- ラノベ作家「AED訴訟で無罪になっても、署名を集めて社会的に抹殺しようとしてくる世の中。男はどうすればいいの…？」 [535628963]
- 令和ロマンなんでまた出たの？
- 取引先「はじめまして小田です」ワイ「（勝った！）どうも 大 田 です😁」