peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。
<現在の主要なテーマ>
・oyster243(BBQ/dnscache)の突然死対策&cobra2245セットアップによる2台体制化
・oytser902(memories)のFreeBSD 5.3化
・「雪だるま作戦」による、スケーラブルなサーバ群構築
・read.cgi/bbs.cgiの細かな調整・詰め
・携帯サーバのプライベート側スイッチのグレードアップ検討
・各種作戦・プロジェクトとの連携
・FreeBSDのさらなるチューニング詰め
<関連スレッド>
■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1
http://qb5.2ch.net/test/read.cgi/operate/1105035540/
■ 自動地震速報@2ch をつくろう
http://qb5.2ch.net/test/read.cgi/operate/1106583619/
■ テレビ番組欄@2ch をつくろう 第2話
http://qb5.2ch.net/test/read.cgi/operate/1107366393/
<関連サイト>
レンタルサーバー maido3.com 2ちゃんねるの転送量: http://server.maido3.com/pie/
MRTGによる統計情報: http://mumumu.mu/mrtg/
2ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html
<前スレ>
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part16
http://qb5.2ch.net/test/read.cgi/operate/1102087698/
探検
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17
レス数が900を超えています。1000を超えると表示できなくなるよ。
1root▲ ★
05/02/03 05:34:37ID:???0845▲ ◆cZfSunOs.U
2005/04/19(火) 00:22:04ID:+Wdow2O60 <チラシの裏 href="http://sunos.saita.ma/leaflet.html ">
>>840 雪だるまで read.cgi をフロント側で走らせることを考えても,
Squid でのキャッシュだと dat を直接 open() できないのに対し,
そのやり方なら直接 open() できるのでやりやすそうですね.
>>844 に関連して......もし Apache 更新するなら,ついでに
http://qb5.2ch.net/test/read.cgi/operate/1105909861/188
の更新がまだならお願いします.
http://qb5.2ch.net/test/read.cgi/operate/1105035540/188
もどこかで実験したいですね.
</チラシの裏>
>>840 雪だるまで read.cgi をフロント側で走らせることを考えても,
Squid でのキャッシュだと dat を直接 open() できないのに対し,
そのやり方なら直接 open() できるのでやりやすそうですね.
>>844 に関連して......もし Apache 更新するなら,ついでに
http://qb5.2ch.net/test/read.cgi/operate/1105909861/188
の更新がまだならお願いします.
http://qb5.2ch.net/test/read.cgi/operate/1105035540/188
もどこかで実験したいですね.
</チラシの裏>
846root▲ ★
NGNG >>844
きてるですね。ちかいうちに。
MD5 (apache2/httpd-2.0.54.tar.bz2) = 4ae8a38c6b5db9046616ce10a0d551a2
SIZE (apache2/httpd-2.0.54.tar.bz2) = 5566979
MD5 (apache2/powerlogo.gif) = 0f106073b3c7844cf22d4df126b27c62
SIZE (apache2/powerlogo.gif) = 5279
>>845
そうなんですよね。
うまくすれば、かなり応用範囲広いかもです。
Apache更新の際には、mod_cgidsoも更新と。
で、workerで動かすのは、白やぎさんあたりでやってみようかなと思っていたり。
きてるですね。ちかいうちに。
MD5 (apache2/httpd-2.0.54.tar.bz2) = 4ae8a38c6b5db9046616ce10a0d551a2
SIZE (apache2/httpd-2.0.54.tar.bz2) = 5566979
MD5 (apache2/powerlogo.gif) = 0f106073b3c7844cf22d4df126b27c62
SIZE (apache2/powerlogo.gif) = 5279
>>845
そうなんですよね。
うまくすれば、かなり応用範囲広いかもです。
Apache更新の際には、mod_cgidsoも更新と。
で、workerで動かすのは、白やぎさんあたりでやってみようかなと思っていたり。
847root▲ ★
NGNG で、
<チラシの裏>
Apacheのモジュールをstatic linkにすると、ex10とか効果あるのかしらね。
</チラシの裏>
<チラシの裏>
Apacheのモジュールをstatic linkにすると、ex10とか効果あるのかしらね。
</チラシの裏>
The RAID Controller has arrived.
Which server would you like it installed to?
-Sean
Which server would you like it installed to?
-Sean
849root▲ ★
NGNG >>848
Thank you. I already received the mail from one of "Inside Person" of maido3.com,
and I replied it.
I'd like to install RAID card to oyster243 and reinstall FreeBSD/amd64,
I already backup all data of it and already did shutdown, so I think it is ready.
So, please order to Sean-san to start installing now.
Thank you. I already received the mail from one of "Inside Person" of maido3.com,
and I replied it.
I'd like to install RAID card to oyster243 and reinstall FreeBSD/amd64,
I already backup all data of it and already did shutdown, so I think it is ready.
So, please order to Sean-san to start installing now.
2005/04/19(火) 15:34:48ID:LeASY/Ao0
>>849
I thought that it is the parfect responce if "Inside Person" is "NAKA-NO-HITO(Inside Person)"!
I thought that it is the parfect responce if "Inside Person" is "NAKA-NO-HITO(Inside Person)"!
852資材二課 ★
2005/04/19(火) 16:48:44ID:???0 It seems Polywell has given us the Wrong SCSI 320 RAID controller. It
is not the one we ordered. This is only a SCSI 320 Dual host adapter
and does not have RAID support. I will get the correct card from
Polywell ASAP.
-Sean
is not the one we ordered. This is only a SCSI 320 Dual host adapter
and does not have RAID support. I will get the correct card from
Polywell ASAP.
-Sean
853root▲ ★
NGNG2005/04/19(火) 17:51:58ID:EQFiXs4a0
It is mysterious because it can be understood that it is a topic related to the
server even from English.
server even from English.
NGNG
biku!. ∧ ∧ ∧ ∧ / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄
Σ(゚Д゚;≡;゚д゚) < Wow! I think, i entered terrible area !
./ つ つ \______________________
〜(_⌒ヽ dokidoki
bu! ω)ノ `Jззз
Σ(゚Д゚;≡;゚д゚) < Wow! I think, i entered terrible area !
./ つ つ \______________________
〜(_⌒ヽ dokidoki
bu! ω)ノ `Jззз
NGNG
>>850-851
lmao
lmao
カーネル再構築確定みたいです(汗
ttp://home.jp.freebsd.org/cgi-bin/showmail/announce-jp/1289
ttp://home.jp.freebsd.org/cgi-bin/showmail/announce-jp/1289
2005/04/20(水) 03:15:19ID:MWurCjqr0
BSD Hacksをよんでいたらsysutils/tentakelとnet/clusteritの紹介があった。
複数のホストを同時並行でシェルコマンドを与えられるツールだって。
portupgradeだのmake buildkernelだのを一気にやるのに楽じゃん。
複数のホストを同時並行でシェルコマンドを与えられるツールだって。
portupgradeだのmake buildkernelだのを一気にやるのに楽じゃん。
NGNG
そういやrootタン出張だってどっかに書いてたね。
お気をつけていってらっしゃーい。
お気をつけていってらっしゃーい。
2005/04/20(水) 04:28:13ID:9NsTWId10
864root▲ ★
NGNG どこかでリクエストがあったので、RAID 1で痛い目にあった例を簡単に。
以下は私が直接痛い目にあったのと、なった人がいるというのがまじってるです。
・片方HDDが壊れた時に片肺モードで動いてくれなくて、落ちちゃいけないシステムが長時間ダウン
・コントローラのファームウェアにバグがあって、障害時にHDDが両方とも同時にあぼーん
・片肺モードになったことを正しく知らせてくれなくてHDDの障害発見が遅れ、
2つ目のHDDがあぼーんして始めて障害が露見。データは当然あぼーん
・復旧オペレーション(RAID 1の再構築)がBIOSの不具合でうまくいかなくて、データがあぼーん
「RAID 1は確かにすばらしい。しかし過信するな」が、祖父からの遺言です。
以下は私が直接痛い目にあったのと、なった人がいるというのがまじってるです。
・片方HDDが壊れた時に片肺モードで動いてくれなくて、落ちちゃいけないシステムが長時間ダウン
・コントローラのファームウェアにバグがあって、障害時にHDDが両方とも同時にあぼーん
・片肺モードになったことを正しく知らせてくれなくてHDDの障害発見が遅れ、
2つ目のHDDがあぼーんして始めて障害が露見。データは当然あぼーん
・復旧オペレーション(RAID 1の再構築)がBIOSの不具合でうまくいかなくて、データがあぼーん
「RAID 1は確かにすばらしい。しかし過信するな」が、祖父からの遺言です。
865讃岐 ◆IamaVIPdCI
2005/04/20(水) 13:04:38ID:ejdNQwFO0 コンピューターじいちゃんwww
2005/04/20(水) 13:07:03ID:LeW9lhXW0
昼飯うp
2005/04/20(水) 13:07:38ID:X3l+cuqxO
凄いおじいさんだなぁwww
2005/04/20(水) 13:08:39ID:7yg6YGiy0
痛い目にあって失ったものとRAID1にして得られたもののバランスがどの程度のものなのか
870ヾ(゚パ)ノ ◆f0.zuburi6
2005/04/20(水) 14:30:06ID:Xil95P+X0 知人の例。ヒューマンエラーなんだけど
・片肺あぼーん
・電話で故障ディスクを交換するよう指示
・間違えて正常な方を交換,リビルド
・アレ?
・片肺あぼーん
・電話で故障ディスクを交換するよう指示
・間違えて正常な方を交換,リビルド
・アレ?
872root▲ ★
NGNG 5.4のリリースぎりぎりでこんな変更が。なんだろ。
Edit src/sys/boot/i386/libi386/biosacpi.c
Add delta 1.9.6.1 2005.04.18.17.11.05 njl
Edit src/sys/i386/i386/genassym.c
Add delta 1.148.2.1.2.1 2005.04.18.21.36.16 peter
Edit src/sys/i386/i386/vm86bios.s
Add delta 1.30.10.1 2005.04.18.21.36.17 peter
Edit src/sys/i386/include/pcb.h
Add delta 1.52.6.1 2005.04.18.21.36.17 peter
Edit src/sys/boot/i386/libi386/biosacpi.c
Add delta 1.9.6.1 2005.04.18.17.11.05 njl
Edit src/sys/i386/i386/genassym.c
Add delta 1.148.2.1.2.1 2005.04.18.21.36.16 peter
Edit src/sys/i386/i386/vm86bios.s
Add delta 1.30.10.1 2005.04.18.21.36.17 peter
Edit src/sys/i386/include/pcb.h
Add delta 1.52.6.1 2005.04.18.21.36.17 peter
873root▲ ★
NGNG %uname -a
FreeBSD oyster901.maido3.com 5.4-RC3 FreeBSD 5.4-RC3 #0: Wed Apr 20 08:48:34 PDT 2005 service@oyster901.maido3.com:/usr/obj/usr/src/sys/AMD64_COBRA_54 amd64
∩
( ゚∀゚)彡
⊂彡
FreeBSD oyster901.maido3.com 5.4-RC3 FreeBSD 5.4-RC3 #0: Wed Apr 20 08:48:34 PDT 2005 service@oyster901.maido3.com:/usr/obj/usr/src/sys/AMD64_COBRA_54 amd64
∩
( ゚∀゚)彡
⊂彡
>873
うほ
どさくさに紛れて5.4入れてたんですか(滝汗
懸案のperlも最新版なのかなぁ。。。
うほ
どさくさに紛れて5.4入れてたんですか(滝汗
懸案のperlも最新版なのかなぁ。。。
876root▲ ★
NGNG まだ30分ほどしか見ていないけど、
直感的には、そうとうパフォーマンスよくなっている気がします。< 5.4
チューニング手法も、変わってくるかも。
直感的には、そうとうパフォーマンスよくなっている気がします。< 5.4
チューニング手法も、変わってくるかも。
2005/04/21(木) 03:41:09ID:obkW+7Vj0
show-stopper bug 1個が修正待ち
また1週間伸びます。5.4R
また1週間伸びます。5.4R
RE: About RAID controller card.
They said it will take 2 more days to get it in.
-Sean
They said it will take 2 more days to get it in.
-Sean
880資材二課 ★
NGNG Giga Switch 一台と
TinyTiger 六台が発注されました。
TinyTiger 六台が発注されました。
882root▲ ★
NGNG Apacheのモジュールとして動作するアップローダー
http://s03.2log.net/home/kensukejan/archives/blog377.html
世の中、すごいものを作る人がいっぱいいる。
http://s03.2log.net/home/kensukejan/archives/blog377.html
世の中、すごいものを作る人がいっぱいいる。
2005/04/23(土) 03:51:55ID:RK3Y1WWy0
このスレですか…すごいですねぇ……
http://pc8.2ch.net/test/read.cgi/php/1083828423/
http://pc8.2ch.net/test/read.cgi/mysv/1101283470/
http://up.2ch.net/
とかをコソーリ作っt(ヤメレ
http://pc8.2ch.net/test/read.cgi/php/1083828423/
http://pc8.2ch.net/test/read.cgi/mysv/1101283470/
http://up.2ch.net/
とかをコソーリ作っt(ヤメレ
884root▲ ★
NGNG Jimさんから、SumaストレージのSlot 8のHDDがFAIL状態になったため、
HDDを差し替えたという連絡を受けました。
さきほどSumaストレージのイベントログをチェックし、
・RAID 5のうち1台が死亡
・ホットスペアのドライブ(そのときはSlot 4)をRAIDメンバーに自動的に組み入れ、
RAID 5を自動的に再構築
・SeanさんがHDDを差し替え
・差し替えたHDDに対して自動的にメディアスキャンがかかり、メディアスキャン成功後
新たなホットスペアに自動設定
というイベントが起きていたことを確認しました(下記添付)。
つまり、Sumaストレージがかしこくすべてを実行し、
memoriesのデータも無事だったということになります。ほっ。
Mon Apr 18 21:23:59 2005
Slot8 Target ALERT: Unexpected Select Timeout
Mon Apr 18 21:24:00 2005
LG:0 Logical Drive ALERT: Slot8 Drive Failure
Mon Apr 18 21:24:00 2005
ALERT: Slot8 Media Scan Failed
Mon Apr 18 21:24:01 2005
LG:0 Logical Drive NOTICE: Starting Rebuild
Tue Apr 19 04:15:46 2005
Rebuild of Logical Drive 0 Completed
Tue Apr 19 16:41:19 2005
Slot8 Drive NOTICE: Scan Drive Successful
HDDを差し替えたという連絡を受けました。
さきほどSumaストレージのイベントログをチェックし、
・RAID 5のうち1台が死亡
・ホットスペアのドライブ(そのときはSlot 4)をRAIDメンバーに自動的に組み入れ、
RAID 5を自動的に再構築
・SeanさんがHDDを差し替え
・差し替えたHDDに対して自動的にメディアスキャンがかかり、メディアスキャン成功後
新たなホットスペアに自動設定
というイベントが起きていたことを確認しました(下記添付)。
つまり、Sumaストレージがかしこくすべてを実行し、
memoriesのデータも無事だったということになります。ほっ。
Mon Apr 18 21:23:59 2005
Slot8 Target ALERT: Unexpected Select Timeout
Mon Apr 18 21:24:00 2005
LG:0 Logical Drive ALERT: Slot8 Drive Failure
Mon Apr 18 21:24:00 2005
ALERT: Slot8 Media Scan Failed
Mon Apr 18 21:24:01 2005
LG:0 Logical Drive NOTICE: Starting Rebuild
Tue Apr 19 04:15:46 2005
Rebuild of Logical Drive 0 Completed
Tue Apr 19 16:41:19 2005
Slot8 Drive NOTICE: Scan Drive Successful
885root▲ ★
NGNG 現在Sumaストレージは、
250GB HDD7台でRAID5を構成
250GB HDD1台をHot spareドライブに設定
にしています。
この状況で1台RAID5のHDDが飛ぶと、自動的にSumaがそれを認識して、
Hot spareドライブをRAID 5に自動的に組み入れ、RAID 5をrebuildします。
つまり、RAID 5の冗長性は失われません。
この状態で壊れたHDDを差し替えると、メディアスキャンが自動的に起こり、
それが無事通ると、今度はそのHDDがHot spareになるようにしてあります。
ということで現在、Hot spareのドライブがSlot 4からSlot 8に変わっただけで、
前と同じ冗長性が保たれていることになります。
250GB HDD7台でRAID5を構成
250GB HDD1台をHot spareドライブに設定
にしています。
この状況で1台RAID5のHDDが飛ぶと、自動的にSumaがそれを認識して、
Hot spareドライブをRAID 5に自動的に組み入れ、RAID 5をrebuildします。
つまり、RAID 5の冗長性は失われません。
この状態で壊れたHDDを差し替えると、メディアスキャンが自動的に起こり、
それが無事通ると、今度はそのHDDがHot spareになるようにしてあります。
ということで現在、Hot spareのドライブがSlot 4からSlot 8に変わっただけで、
前と同じ冗長性が保たれていることになります。
2005/04/23(土) 08:02:50ID:GuFIRCLt0
よくわからんが、とにかくすごい自信だ
887▲ ◆cZfSunOs.U
2005/04/23(土) 08:24:58ID:P1wP/4lM0 >>882 を見てこれを思い出しましたが
http://qb5.2ch.net/test/read.cgi/operate/1105035540/160
>160 :FOX ★ :05/03/09 03:45:11 ID:???0
> :
> 書き込みは 専用のDSO(written in C)
POST されたフォームデータを DSO プログラムで扱う方法としては,
まずは ap_{setup,should,get}_client_block() でリクエストボディを読み込んで
自力でパースするという方法があって,882 のもそういう形でやっているようです.
しかし,フォームデータを扱うのに便利なライブラリ/モジュールが Apache Project で
作られていまして,それを使うとかなりスマートにフォームデータを扱えます.
雪だるまをやる際にはこれを使うといいと思います.
libapreq (Apache HTTP Request Library) http://httpd.apache.org/apreq/
http://qb5.2ch.net/test/read.cgi/operate/1105035540/160
>160 :FOX ★ :05/03/09 03:45:11 ID:???0
> :
> 書き込みは 専用のDSO(written in C)
POST されたフォームデータを DSO プログラムで扱う方法としては,
まずは ap_{setup,should,get}_client_block() でリクエストボディを読み込んで
自力でパースするという方法があって,882 のもそういう形でやっているようです.
しかし,フォームデータを扱うのに便利なライブラリ/モジュールが Apache Project で
作られていまして,それを使うとかなりスマートにフォームデータを扱えます.
雪だるまをやる際にはこれを使うといいと思います.
libapreq (Apache HTTP Request Library) http://httpd.apache.org/apreq/
NGNG
[FreeBSD-Announce] FreeBSD Security Advisory FreeBSD-SA-05:05.cvs
http://lists.freebsd.org/pipermail/freebsd-announce/2005-April/000991.html
CVSサーバが動いてる時に起こるのかな。
http://lists.freebsd.org/pipermail/freebsd-announce/2005-April/000991.html
CVSサーバが動いてる時に起こるのかな。
889root▲ ★
NGNG2005/04/23(土) 13:48:19ID:TdJ7gg7q0
>> 885
でも HDD が二台同時にお亡くなりになったら、ダメでしょ。
二台同時に落ちる確率は、一台だけよりも低いから許容範囲?
でも HDD が二台同時にお亡くなりになったら、ダメでしょ。
二台同時に落ちる確率は、一台だけよりも低いから許容範囲?
892む P061204006095.ppp.prin.ne.jp
2005/04/23(土) 14:13:51ID:dDn1Jj5O02005/04/23(土) 23:07:28ID:f/pBGuZN0
2005/04/23(土) 23:34:47ID:CUTMibOB0
>>892
それでもrebuild中の負荷で二台目が逝ってしまうと駄目だな。
memoriesは通常時はアクセス少なそうだし、不具合が表面化しにくそう。
rebildによる連続アクセスが始まったとたんに、二台目あぼーんの可能
性が考えられる。
それでもrebuild中の負荷で二台目が逝ってしまうと駄目だな。
memoriesは通常時はアクセス少なそうだし、不具合が表面化しにくそう。
rebildによる連続アクセスが始まったとたんに、二台目あぼーんの可能
性が考えられる。
2005/04/23(土) 23:35:39ID:wFx/QjqW0
そんなん考えてったら3枚、4枚と増えていく罠。
でも同じ時と場所で作られたHDDを入れないようにすれば(リスクヘッジのアレね)
2枚まででええような気がしなくもなく。
でも同じ時と場所で作られたHDDを入れないようにすれば(リスクヘッジのアレね)
2枚まででええような気がしなくもなく。
2005/04/24(日) 00:25:50ID:Ff0eXWtu0
>> 894
1 Hot Swap で再構築中に落ちるのが恐い。
落ちてから、再構築が終るまでは RAID5 保険が効かないのだから。
2 台以上の Hot Swap はどうやってデータを分散させるんだろ?
Hot Swap は全ておんなじデータ?
1 Hot Swap で再構築中に落ちるのが恐い。
落ちてから、再構築が終るまでは RAID5 保険が効かないのだから。
2 台以上の Hot Swap はどうやってデータを分散させるんだろ?
Hot Swap は全ておんなじデータ?
897root▲ ★
NGNG 再構築中に落ちるリスクは、あるですね。
というか、1台あぼーん検出 => ホットスペア組み入れ・再構築
の最中にもう1台がだめぽになった場合、Sumaストレージはどういう振る舞いをするんだろう。
やはり、全あぼーんか。
で、
> 2 台以上の Hot Swap はどうやってデータを分散させるんだろ?
> Hot Swap は全ておんなじデータ?
の意味が、よくわからなかったりします。
Hot spare = Hot standby なので、普段はそのドライブは待機してるですね。
というか、1台あぼーん検出 => ホットスペア組み入れ・再構築
の最中にもう1台がだめぽになった場合、Sumaストレージはどういう振る舞いをするんだろう。
やはり、全あぼーんか。
で、
> 2 台以上の Hot Swap はどうやってデータを分散させるんだろ?
> Hot Swap は全ておんなじデータ?
の意味が、よくわからなかったりします。
Hot spare = Hot standby なので、普段はそのドライブは待機してるですね。
2005/04/24(日) 11:58:11ID:E849nSEi0
hot spare自体はほとんど入れたままの状態でないはないでしょうかね。
やはりテープドライブを早くかって適宜バックアップを取ってテープは耐火金庫行きがいいでしょうね
memoriesはもう追記されることのないdatが容量のほとんどですから
やはりテープドライブを早くかって適宜バックアップを取ってテープは耐火金庫行きがいいでしょうね
memoriesはもう追記されることのないdatが容量のほとんどですから
2005/04/24(日) 12:36:22ID:Ff0eXWtu0
>> 897
どうも、RAID5 では待機ドライブは一つのみ、みたいです。
2 つ待機させるのは RAID6 らしい。
HD が飛んでも自分で復活できるのは待機ドライブがパリティを
保持しているから。ある意味、待機ドライブというのは、人間の
都合上の名前で、全部のドライブは立場上は対等です。
2 つの稼働中ドライブが飛んだり、稼働中一つと待機ドライブ
が飛んでも大丈夫なのか、またどうやって復活させるかと
いうことです。
RAID 5
ttp://www5.ocn.ne.jp/~essu/raid5.html
RAID 0 -> 6
ttp://www2s.biglobe.ne.jp/~system/faq/raidFAQ1.htm
RAID6 はここの図の方がよさげ。RAID5 のもわかりやすい。
ttp://home.interlink.or.jp/~odagi/yellow_ibm1.htm
どうも、RAID5 では待機ドライブは一つのみ、みたいです。
2 つ待機させるのは RAID6 らしい。
HD が飛んでも自分で復活できるのは待機ドライブがパリティを
保持しているから。ある意味、待機ドライブというのは、人間の
都合上の名前で、全部のドライブは立場上は対等です。
2 つの稼働中ドライブが飛んだり、稼働中一つと待機ドライブ
が飛んでも大丈夫なのか、またどうやって復活させるかと
いうことです。
RAID 5
ttp://www5.ocn.ne.jp/~essu/raid5.html
RAID 0 -> 6
ttp://www2s.biglobe.ne.jp/~system/faq/raidFAQ1.htm
RAID6 はここの図の方がよさげ。RAID5 のもわかりやすい。
ttp://home.interlink.or.jp/~odagi/yellow_ibm1.htm
2005/04/24(日) 13:14:56ID:Ff0eXWtu0
>> 899
> 2 つの稼働中ドライブが飛んだり、稼働中一つと待機ドライブ
>が飛んでも大丈夫なのか、またどうやって復活させるかと
>いうことです。
なんか自分で読んでいてもイマイチ通じていない気がする。
RAID の全ての 2 つのドライブの組合せにおいて、
完全なデータの復旧を保証するデータとパリティの配置は存在するのか。
ぶっちゃけた話、この二台組だったら壊れても大丈夫だけど、
この二台組が同時に壊れたら全アボーンだよっていう組合せがあるのかなと。
> 2 つの稼働中ドライブが飛んだり、稼働中一つと待機ドライブ
>が飛んでも大丈夫なのか、またどうやって復活させるかと
>いうことです。
なんか自分で読んでいてもイマイチ通じていない気がする。
RAID の全ての 2 つのドライブの組合せにおいて、
完全なデータの復旧を保証するデータとパリティの配置は存在するのか。
ぶっちゃけた話、この二台組だったら壊れても大丈夫だけど、
この二台組が同時に壊れたら全アボーンだよっていう組合せがあるのかなと。
2005/04/24(日) 13:23:22ID:Ff0eXWtu0
>> 885
>> 897
>> 889
Hot Swap の意味を間違えていました。
Hot Swap とは RAID5 の中には組み込まれておらず、
待機しているドライブのことだったのですね。
RAID組の中のドライブの一つかと思ってまつた。
スマソ。
RAID5 に組まれているのが止まったら、Hot Swap を使って、RAID を
再構築し、壊れたやつを入れ換えると、次の障害まで待ち続けると。
>> 897
>> 889
Hot Swap の意味を間違えていました。
Hot Swap とは RAID5 の中には組み込まれておらず、
待機しているドライブのことだったのですね。
RAID組の中のドライブの一つかと思ってまつた。
スマソ。
RAID5 に組まれているのが止まったら、Hot Swap を使って、RAID を
再構築し、壊れたやつを入れ換えると、次の障害まで待ち続けると。
903root▲ ★
NGNG というわけで、現時点で判明している今回の主な作業予定。
調査によるとSumaの新ファームも出ておらず、
CobraサーバのBIOS更新も今回は必要なさげなので、前回(9月)ほどは忙しくない見込み。
忙しさは、2) と 6) に依存するのかなと。
1) ex10のOS更新・調整等(必要に応じて)
2) いくつかのサーバのOS更新(期日までにFreeBSD 5.4Rが出ていれば)
3) リモートからSumaのファームウェアを更新可能な状態にしてくる(ケーブルの再接続など)
4) cobra2247のSCSIケーブル追加(同じchannelに2台ディスクがついているため: Jimさんにケーブル頼んでおかないと)
5) PIE内の新スペース、通称「XO」の視察(ひ(りゃ が予約した携帯用ラックスペースを含む)
6) >>880 のサーバやスイッチ類が届いていれば、作業のお手伝い
7) 電車男の本をJimさんに渡す
調査によるとSumaの新ファームも出ておらず、
CobraサーバのBIOS更新も今回は必要なさげなので、前回(9月)ほどは忙しくない見込み。
忙しさは、2) と 6) に依存するのかなと。
1) ex10のOS更新・調整等(必要に応じて)
2) いくつかのサーバのOS更新(期日までにFreeBSD 5.4Rが出ていれば)
3) リモートからSumaのファームウェアを更新可能な状態にしてくる(ケーブルの再接続など)
4) cobra2247のSCSIケーブル追加(同じchannelに2台ディスクがついているため: Jimさんにケーブル頼んでおかないと)
5) PIE内の新スペース、通称「XO」の視察(ひ(りゃ が予約した携帯用ラックスペースを含む)
6) >>880 のサーバやスイッチ類が届いていれば、作業のお手伝い
7) 電車男の本をJimさんに渡す
904root▲ ★
NGNG あとは、
8)リモートコンソール環境の整備(できるかどうか要確認)
ぐらいか。
あと、現地に行った時にやっておくべきことがあれば、ご指摘くださいです。
8)リモートコンソール環境の整備(できるかどうか要確認)
ぐらいか。
あと、現地に行った時にやっておくべきことがあれば、ご指摘くださいです。
2005/04/25(月) 02:23:37ID:E4lytwrr0
XO=eXtraOrdinary??
> 7) 電車男の本をJimさんに渡す
英訳本でてるんですか?(す
> 7) 電車男の本をJimさんに渡す
英訳本でてるんですか?(す
906root▲ ★
NGNG 日本語だよ? って言ったら、
それでもいいから持ってきてくれ、ってゆってたのです。
それでもいいから持ってきてくれ、ってゆってたのです。
2005/04/25(月) 10:15:03ID:gblMhldi0
>>906
You can subscribe all article of the Densha-Otoko on the internet.
(電車男の全文がネット上で読めるよ)
ともいいました?
You can subscribe all article of the Densha-Otoko on the internet.
(電車男の全文がネット上で読めるよ)
ともいいました?
908資材二課 ★
2005/04/25(月) 11:13:55ID:???0 本が欲しいのよ、彼は
2005/04/25(月) 17:59:02ID:E4lytwrr0
RAID61(6+1)なんてのは無いのだろうかとふと思ってみたり。
2005/04/25(月) 22:45:47ID:UiTfw/+H0
>>910
片方はソフトでもう片方はハードで、とかならできる鴨
片方はソフトでもう片方はハードで、とかならできる鴨
912root▲ ★
NGNG TODO:
mod_authz_iplist
★山田ウィルス対策スレ【ええけつしとるのぉ(*´Д`)ハァハァ】
http://qb5.2ch.net/test/read.cgi/operate/1113229514/881,885
bbsmenu/bbstable
★山田ウィルス対策スレ【ええけつしとるのぉ(*´Д`)ハァハァ】
http://qb5.2ch.net/test/read.cgi/operate/1113229514/873,887
mod_authz_iplist
★山田ウィルス対策スレ【ええけつしとるのぉ(*´Д`)ハァハァ】
http://qb5.2ch.net/test/read.cgi/operate/1113229514/881,885
bbsmenu/bbstable
★山田ウィルス対策スレ【ええけつしとるのぉ(*´Д`)ハァハァ】
http://qb5.2ch.net/test/read.cgi/operate/1113229514/873,887
2005/04/26(火) 05:47:10ID:q/EUbSM70
oyster901の順引きが出来ない。。。
915root▲ ★
NGNG >>903 追加
8) banana403 (= c-au/c-au1)システム再インストール&セットアップ
持って行くもの
・5.4R(または-RC?)を焼いたCD-R
で、このままだと 8) の間 c-au 系が全部止まってしまうので、
とりあえずDNSラウンドロビン系に設定を変えておこうかと。
8) banana403 (= c-au/c-au1)システム再インストール&セットアップ
持って行くもの
・5.4R(または-RC?)を焼いたCD-R
で、このままだと 8) の間 c-au 系が全部止まってしまうので、
とりあえずDNSラウンドロビン系に設定を変えておこうかと。
916root▲ ★
NGNG bbq がいまいちだった原因について
niku.2ch.net の DNS サーバの情報がとれないための問題でした。
(niku.2ch.net の DNS サーバそのものは動いていました)
niku.2ch.net の DNS サーバは、nikuns1.peko.2ch.net. と定義されていました。
つまり、peko.2ch.net サブドメインで動いていないといけません。
3日ごとにこの NS のキャッシュがなくなった時点で、この情報がなくなり、再取得が起こります。
すると peko.2ch.net サブドメインにとりにいくのですが、その際に a.ns.peko.2ch.net と
c.ns.peko.2ch.net にとりにいきます。
その時に1台 (c.ns.peko)が動いていない状態であったため、うまくとれない状態に陥りました。
原因は、oyster901 が先日あぼーんした時に DNS サーバの構築をさぼっていたためでした。
つまり、>>913 と原因は同じでした。
で、緊急に oyster901 で peko.2ch.net のDNS サーバを動かし、問題解決をはかりました。
oyster901 で peko.2ch.net ドメインの DNS サーバが動いているのはもはや「歴史的事情」なので、
別のサーバに移設することにします。
今日ごごいちにでもセットアップ作業をして、このためのDNSサーバの変更依頼を出します。
あわせて、>>915 の最終段落の作業も依頼へと。
niku.2ch.net の DNS サーバの情報がとれないための問題でした。
(niku.2ch.net の DNS サーバそのものは動いていました)
niku.2ch.net の DNS サーバは、nikuns1.peko.2ch.net. と定義されていました。
つまり、peko.2ch.net サブドメインで動いていないといけません。
3日ごとにこの NS のキャッシュがなくなった時点で、この情報がなくなり、再取得が起こります。
すると peko.2ch.net サブドメインにとりにいくのですが、その際に a.ns.peko.2ch.net と
c.ns.peko.2ch.net にとりにいきます。
その時に1台 (c.ns.peko)が動いていない状態であったため、うまくとれない状態に陥りました。
原因は、oyster901 が先日あぼーんした時に DNS サーバの構築をさぼっていたためでした。
つまり、>>913 と原因は同じでした。
で、緊急に oyster901 で peko.2ch.net のDNS サーバを動かし、問題解決をはかりました。
oyster901 で peko.2ch.net ドメインの DNS サーバが動いているのはもはや「歴史的事情」なので、
別のサーバに移設することにします。
今日ごごいちにでもセットアップ作業をして、このためのDNSサーバの変更依頼を出します。
あわせて、>>915 の最終段落の作業も依頼へと。
2005/04/26(火) 12:37:27ID:QIUJhj4G0
>916
つ▲
つ▲
918root▲ ★
NGNG peko.2ch.net の DNS サーバのひとつは、banana201 = www で動かそう。
セットアップ後、申請へと。
セットアップ後、申請へと。
919root▲ ★
NGNG セットアップできました。
以下のDNS設定変更をお願いします。
1) peko.2ch.net サブドメインのDNSサーバホストの一部変更
2) uma.2ch.net サブドメインの廃止 & uma.2ch.net の管理を上位ドメインに戻す
3) c-au 系のラウンドロビンDNS化
(現在)
&peko.2ch.net:206.223.151.226:a
&peko.2ch.net:206.223.147.48:c
&uma.2ch.net:206.223.151.226:b
&uma.2ch.net:206.223.147.48:c
+c-au.2ch.net:206.223.150.96
(変更後)
&peko.2ch.net:206.223.147.48:c
&peko.2ch.net:206.223.151.10:d
+uma.2ch.net:61.211.230.17
+c-au.2ch.net:206.223.150.95
+c-au.2ch.net:206.223.150.140
+c-au.2ch.net:206.223.150.250
以下のDNS設定変更をお願いします。
1) peko.2ch.net サブドメインのDNSサーバホストの一部変更
2) uma.2ch.net サブドメインの廃止 & uma.2ch.net の管理を上位ドメインに戻す
3) c-au 系のラウンドロビンDNS化
(現在)
&peko.2ch.net:206.223.151.226:a
&peko.2ch.net:206.223.147.48:c
&uma.2ch.net:206.223.151.226:b
&uma.2ch.net:206.223.147.48:c
+c-au.2ch.net:206.223.150.96
(変更後)
&peko.2ch.net:206.223.147.48:c
&peko.2ch.net:206.223.151.10:d
+uma.2ch.net:61.211.230.17
+c-au.2ch.net:206.223.150.95
+c-au.2ch.net:206.223.150.140
+c-au.2ch.net:206.223.150.250
2005/04/26(火) 15:24:12ID:ghfOtPuu0
>>917
このくらいじゃ、全然だよ
このくらいじゃ、全然だよ
921root▲ ★
NGNG oyster243 の RAID 1 カードが到着し、OS のインストールにとりかかったと
one of inside person から連絡がありました。
one of inside person から連絡がありました。
2005/04/26(火) 20:03:08ID:dSF3ipqi0
926root▲ ★
NGNG http://qb5.2ch.net/test/read.cgi/operate/1112024113/88
88 名前:動け動けウゴウゴ2ちゃんねる[sage] 投稿日:2005/04/24(日) 23:40:03 ID:9UxsRJ3e0
【板】banana全鯖
【機能】L.A.が10を超えたら1未満になるまで自動的にbbs.cgiの起動を停止
【理由】どうせbbs.cgi止めるまで収まらんし。だったら自動化しちゃえ
【需要】表立っては出てこないけど洗剤的には。
【補足】自動人大杉みたいな感じで。tiger,cobraは自力で立ち直れるからいらない。
を、httpdレベルでやれるといいかも。
具体的にはLA見て、特定のcgiの実行をさせないとかいうかんじか。
(bbs.cgiでやる(昔の「お茶飲め」は結局あまり効果がないことが証明されているので)
88 名前:動け動けウゴウゴ2ちゃんねる[sage] 投稿日:2005/04/24(日) 23:40:03 ID:9UxsRJ3e0
【板】banana全鯖
【機能】L.A.が10を超えたら1未満になるまで自動的にbbs.cgiの起動を停止
【理由】どうせbbs.cgi止めるまで収まらんし。だったら自動化しちゃえ
【需要】表立っては出てこないけど洗剤的には。
【補足】自動人大杉みたいな感じで。tiger,cobraは自力で立ち直れるからいらない。
を、httpdレベルでやれるといいかも。
具体的にはLA見て、特定のcgiの実行をさせないとかいうかんじか。
(bbs.cgiでやる(昔の「お茶飲め」は結局あまり効果がないことが証明されているので)
927▲ ◆cZfSunOs.U
2005/04/27(水) 22:08:53ID:C5fjBF8S0 >>926 例えば,こんな感じで DSO プログラムでチェックしてから実際の bbs.cgi に渡すとか.
#define REAL_BBS_CGI "/test/realbbs.cgi"
int dso_main(request_rec *r, int argc, char **argv)
{
double loadavg;
const char *loadavglimit;
getloadavg(&loadavg, 1);
loadavglimit = apr_table_get(r->subprocess_env, "BbsCgiLoadAvgLimit");
if (loadavglimit && loadavg >= atof(loadavglimit)) {
/* 人大杉 */
apr_table_setn(r->err_headers_out, "X-Load-Avg",
apr_psprintf(r->pool, "%.2f (Limit = %s)", loadavg, loadavglimit));
return HTTP_SERVICE_UNAVAILABLE;
}
ap_internal_redirect(REAL_BBS_CGI, r);
return OK;
}
あと,mod_authz_iplist 入れるなら(>>912),もし
`in6_addr_t' undeclared のようなコンパイルエラーが出たら
-Din6_addr_t=struct\\\ in6_addr
を apxs の呼び出し時に追加しておいて下さい.
#define REAL_BBS_CGI "/test/realbbs.cgi"
int dso_main(request_rec *r, int argc, char **argv)
{
double loadavg;
const char *loadavglimit;
getloadavg(&loadavg, 1);
loadavglimit = apr_table_get(r->subprocess_env, "BbsCgiLoadAvgLimit");
if (loadavglimit && loadavg >= atof(loadavglimit)) {
/* 人大杉 */
apr_table_setn(r->err_headers_out, "X-Load-Avg",
apr_psprintf(r->pool, "%.2f (Limit = %s)", loadavg, loadavglimit));
return HTTP_SERVICE_UNAVAILABLE;
}
ap_internal_redirect(REAL_BBS_CGI, r);
return OK;
}
あと,mod_authz_iplist 入れるなら(>>912),もし
`in6_addr_t' undeclared のようなコンパイルエラーが出たら
-Din6_addr_t=struct\\\ in6_addr
を apxs の呼び出し時に追加しておいて下さい.
928root▲ ★
NGNG #RLimitCPU 120
↓
RLimitCPU 30
@ ex10 。
とりあえず重くなった時に起こる、speedy_backendの暴走に仮対応。
(暴走しだしたら前よりも早く死ぬ)
↓
RLimitCPU 30
@ ex10 。
とりあえず重くなった時に起こる、speedy_backendの暴走に仮対応。
(暴走しだしたら前よりも早く死ぬ)
929root▲ ★
NGNG 本日の作業予定:
1)banana403 OS再インストール
2)cobra2247 SCSIケーブルインストール
3)oyster243がうまくつながらない問題
1)banana403 OS再インストール
2)cobra2247 SCSIケーブルインストール
3)oyster243がうまくつながらない問題
930root▲ ★
NGNG oyster901 = ex10
・5.4-RC3の最新に更新
・MIXED_MODEを再度有効にした(5.4-RC3ではデフォルトでは無効)
・メモリディスクの容量を64Mに増やした(40Mではちょっと足りないっぽい)
・5.4-RC3の最新に更新
・MIXED_MODEを再度有効にした(5.4-RC3ではデフォルトでは無効)
・メモリディスクの容量を64Mに増やした(40Mではちょっと足りないっぽい)
931root▲ ★
NGNG 現在の進捗:
1) ex10のOS更新・調整等(必要に応じて) → 完了
2) いくつかのサーバのOS更新(期日までにFreeBSD 5.4Rが出ていれば) → 5.4Rがまだ出てないのでやらない予定
3) リモートからSumaのファームウェアを更新可能な状態にしてくる → 完了
4) cobra2247のSCSIケーブル追加 → 完了
5) PIE内の新スペース、通称「XO」の視察(ひ(りゃ が予約した携帯用ラックスペースを含む) → 完了
6) >>880 のサーバやスイッチ類が届いていれば、作業のお手伝い → 動作チェック等まだにつきやらない予定
7) 電車男の本をJimさんに渡す → 完了
8)リモートコンソール環境の整備(できるかどうか要確認) → XOの整備のあとになるとのこと
9) banana403 (= c-au/c-au1)システム再インストール&セットアップ → 作業中
1) ex10のOS更新・調整等(必要に応じて) → 完了
2) いくつかのサーバのOS更新(期日までにFreeBSD 5.4Rが出ていれば) → 5.4Rがまだ出てないのでやらない予定
3) リモートからSumaのファームウェアを更新可能な状態にしてくる → 完了
4) cobra2247のSCSIケーブル追加 → 完了
5) PIE内の新スペース、通称「XO」の視察(ひ(りゃ が予約した携帯用ラックスペースを含む) → 完了
6) >>880 のサーバやスイッチ類が届いていれば、作業のお手伝い → 動作チェック等まだにつきやらない予定
7) 電車男の本をJimさんに渡す → 完了
8)リモートコンソール環境の整備(できるかどうか要確認) → XOの整備のあとになるとのこと
9) banana403 (= c-au/c-au1)システム再インストール&セットアップ → 作業中
932root▲ ★
NGNG 前回やったcobraサーバのBIOSバージョンアップ → 今回は必要なし
同じく、Sumaストレージのファームウェアバージョンアップ → 最新ファームにつき必要なし
同じく、Sumaストレージのファームウェアバージョンアップ → 最新ファームにつき必要なし
933root▲ ★
NGNG >>931
> 9) banana403 (= c-au/c-au1)システム再インストール&セットアップ → 概ね終了。動作観察中
10) oyster243 の状況チェック → 明日の予定
今日の作業は、ここまで。
しばらくしたら、迎えが来る予定。
> 9) banana403 (= c-au/c-au1)システム再インストール&セットアップ → 概ね終了。動作観察中
10) oyster243 の状況チェック → 明日の予定
今日の作業は、ここまで。
しばらくしたら、迎えが来る予定。
2005/05/01(日) 11:03:22ID:6e9cY1Gd0
>>933
道楽でここまでやるんですねぇ・・・・乙です
道楽でここまでやるんですねぇ・・・・乙です
935root▲ ★
NGNG >>930
> ・MIXED_MODEを再度有効にした(5.4-RC3ではデフォルトでは無効)
NO_MIXED_MODE の間違い。
ちなみに、最新のstableだったかではこのオプションはもう古いという噂も。
> ・MIXED_MODEを再度有効にした(5.4-RC3ではデフォルトでは無効)
NO_MIXED_MODE の間違い。
ちなみに、最新のstableだったかではこのオプションはもう古いという噂も。
938資材二課 ★
2005/05/02(月) 04:32:35ID:???0 ちと 20min ほど離席
940資材二課 ★
2005/05/02(月) 04:49:40ID:???0 おおっ
どもです
実験してみますー @ex10
どもです
実験してみますー @ex10
941資材二課 ★
2005/05/02(月) 04:51:20ID:???0 よさげ
全部に配布しますー
全部に配布しますー
942root▲ ★
NGNG oyster243のネットワークパフォーマンスをチェック。
oyster902 (=memories) との間で360MBytesほどのファイルをFTPしてみましたが、
incoming, outgoingとも特に問題なさげでした。
ちゃんと100Mbps近く(11MBytes/secぐらい)出ている模様。
ただ、ちょっとHDDへの書き込みが遅めな気がします。
で、テストは手元側のファイルを /dev/null にしてやりました。
HDDに書き込むと、20Mbpsとか30Mbpsぐらいしか出ないみたいです。
たぶん、mpt(= LSI1030)コントローラのIntegrated RAIDを使っているせいかなと。
このへんは、Seanさんと別途調整ですね。
(今日は日曜なので、Seanさんはここにはいません @ PIE office)
Jimさんにスイッチの様子をチェックしてもらっていましたが、
パケットの再送やドロップは、ひとつもなかったとのこと。
ということでネットワークの問題は解決したと考えます。
あとは、帰国後でもOKかなと。
oyster902 (=memories) との間で360MBytesほどのファイルをFTPしてみましたが、
incoming, outgoingとも特に問題なさげでした。
ちゃんと100Mbps近く(11MBytes/secぐらい)出ている模様。
ただ、ちょっとHDDへの書き込みが遅めな気がします。
で、テストは手元側のファイルを /dev/null にしてやりました。
HDDに書き込むと、20Mbpsとか30Mbpsぐらいしか出ないみたいです。
たぶん、mpt(= LSI1030)コントローラのIntegrated RAIDを使っているせいかなと。
このへんは、Seanさんと別途調整ですね。
(今日は日曜なので、Seanさんはここにはいません @ PIE office)
Jimさんにスイッチの様子をチェックしてもらっていましたが、
パケットの再送やドロップは、ひとつもなかったとのこと。
ということでネットワークの問題は解決したと考えます。
あとは、帰国後でもOKかなと。
943root▲ ★
NGNG 1) cobra2245のRAID
(LSI logic MegaRAID U320-2、専用RAIDコントローラ内蔵、パフォーマンスよい)
amrd0: <LSILogic MegaRAID logical drive> on amr0
amrd0: 34938MB (71553024 sectors) RAID 1 (optimal)
2) oyster243のRAID
(LSI logic 1030 Integrated RAID、上のカードよりもパフォーマンス悪いはず)
da0: <LSILOGIC 1030 IM 1000> Fixed Direct Access SCSI-2 device
da0: 320.000MB/s transfers (160.000MHz, offset 63, 16bit), Tagged Queueing Enabled
da0: 35000MB (71682031 512 byte sectors: 255H 63S/T 4462C)
となっていました。
ということでこのへんは、別途Seanさんと調整します。
ということでとりあえずの結論: ハードウェアそのものやネットワークは、異常なしのはず。
(LSI logic MegaRAID U320-2、専用RAIDコントローラ内蔵、パフォーマンスよい)
amrd0: <LSILogic MegaRAID logical drive> on amr0
amrd0: 34938MB (71553024 sectors) RAID 1 (optimal)
2) oyster243のRAID
(LSI logic 1030 Integrated RAID、上のカードよりもパフォーマンス悪いはず)
da0: <LSILOGIC 1030 IM 1000> Fixed Direct Access SCSI-2 device
da0: 320.000MB/s transfers (160.000MHz, offset 63, 16bit), Tagged Queueing Enabled
da0: 35000MB (71682031 512 byte sectors: 255H 63S/T 4462C)
となっていました。
ということでこのへんは、別途Seanさんと調整します。
ということでとりあえずの結論: ハードウェアそのものやネットワークは、異常なしのはず。
2005/05/02(月) 15:13:17ID:6dv2zm420
lang/perl5.8じゃないんだー
レス数が900を超えています。1000を超えると表示できなくなるよ。
ニュース
- 【芸能】広末涼子容疑者、家宅捜索でも違法薬物は見つからず [冬月記者★]
- 【報復】「アメリカ映画の輸入本数減らす」中国に対する“125%”のトランプ関税を受け 中国政府が方針示す [ぐれ★]
- NY株、一時700ドル超安 貿易戦争に警戒続く [蚤の市★]
- キャンドル・ジュンさん、元妻・広末涼子容疑者の件巡りメディア関係者へ 「子供たちへの影響を考えてほしい」 スポニチに苦言も [冬月記者★]
- 国民民主党が30歳未満対象の「若者減税法案」を提出 玉木代表「頑張れば報われるというメッセージを」 ★2 [どどん★]
- 焼肉店そして洋菓子店が過去最多の倒産、飲食店に何が起きているのか? [ぐれ★]
- トランプ政権「中国は国際貿易システムにおいて最悪の違反者で信用できないぞ」国際社会に中国に接近しないよう警告 [359572271]
- ダウ、ぬるぬるマイナス1300ドルに [219241683]
- 【実況】博衣こよりのえちえちポケモン黄🧪 ★6
- 【悲報】ジャップが「戦艦大和」とかいうクソの役にも立たなかった戦艦が好きな理由、誰にも分からない🥹 [616817505]
- メンタルが良くなってきたら悪かった時にしでかした事できなかった事がフラバするのなんなんだよ
- しゃーねえから🏡立ててやるか😒