2ch特化型サーバ・ロケーション構築作戦のスレッドです。
・２ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更関連の各種作業や調整事項
・２ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携
等を取り扱います。
前スレ:2ch特化型サーバ・ロケーション構築作戦 Part37
http://qb5.2ch.net/test/read.cgi/operate/1267711917/
探検
2ch特化型サーバ・ロケーション構築作戦 Part38
■ このスレッドは過去ログ倉庫に格納されています
1動け動けウゴウゴ２ちゃんねる
NGNG 読むほうっていうのは、スレッドを読むほうではなくHDDのreadって意味なんですか？
文脈からすると、「スレッドを読むほう」という印象を受けますが。
文脈からすると、「スレッドを読むほう」という印象を受けますが。
そんなわけで、パトロールはとりあえず切っておくか、、、。
%mfiutil patrol disable
%mfiutil show patrol
Operation Mode: disabled
Runs Completed: 1
Current State: stopped
%mfiutil patrol disable
%mfiutil show patrol
Operation Mode: disabled
Runs Completed: 1
Current State: stopped
707ゆ
2010/05/16(日) 22:30:22ID:txfCrx140 >ディスクがFUJITSU、ということですかね。
マシンがFUJITSU、ということでした。RX200S5というマシンを使っています。
I/Oが一番強いのがこれだったので、ということでアサインしたのです。
>なるほど、、、パトロールしている場合じゃないぐらい忙しいと。
>そんなわけで、パトロールはとりあえず切っておくか、、、。
すみません。。
akiさんにもお伝えしたのですが、現状のp2のロジックだとファイルの読み出しのためのI/O(open/closeとか)が多いので
DIRHASHがあっても、あのパフォーマンスでいっぱいだったのかなって気がしています。
このあたりは次期のもので改善するといいなと思ってます。格納次第でかなり改善できるところだと思うので、、
今回SSDを採用しなかった理由としては、ほかのサーバーでSSDを採用した時に(たぶん寿命の段階で)ファイルの一部が化けるということが起こっていて、
RAIDチップがうまくその問題を回収してくれるかどうかが不明だったためSASの早いのを取り込むことにした、というのが理由です。もちろん、いつかはシフトできるといいですが。、
マシンがFUJITSU、ということでした。RX200S5というマシンを使っています。
I/Oが一番強いのがこれだったので、ということでアサインしたのです。
>なるほど、、、パトロールしている場合じゃないぐらい忙しいと。
>そんなわけで、パトロールはとりあえず切っておくか、、、。
すみません。。
akiさんにもお伝えしたのですが、現状のp2のロジックだとファイルの読み出しのためのI/O(open/closeとか)が多いので
DIRHASHがあっても、あのパフォーマンスでいっぱいだったのかなって気がしています。
このあたりは次期のもので改善するといいなと思ってます。格納次第でかなり改善できるところだと思うので、、
今回SSDを採用しなかった理由としては、ほかのサーバーでSSDを採用した時に(たぶん寿命の段階で)ファイルの一部が化けるということが起こっていて、
RAIDチップがうまくその問題を回収してくれるかどうかが不明だったためSASの早いのを取り込むことにした、というのが理由です。もちろん、いつかはシフトできるといいですが。、
2010/05/16(日) 22:33:16ID:7yJMunl7P
>>707
> 今回SSDを採用しなかった理由としては、ほかのサーバーでSSDを採用した時に(たぶん寿命の段階で)ファイルの一部が化けるということが起こっていて、
> RAIDチップがうまくその問題を回収してくれるかどうかが不明だったためSASの早いのを取り込むことにした、というのが理由です。もちろん、いつかはシフトできるといいですが。、
解説㌧。
鯖用途だとやはりきついのか…個人ユースだとバリバリ速いんだがなあ。
これだけの費用投じてCPU余ってるならRAIDカードとSSDを…と一瞬思ったが、ファイル化け出るならどうしようもないな…
> 今回SSDを採用しなかった理由としては、ほかのサーバーでSSDを採用した時に(たぶん寿命の段階で)ファイルの一部が化けるということが起こっていて、
> RAIDチップがうまくその問題を回収してくれるかどうかが不明だったためSASの早いのを取り込むことにした、というのが理由です。もちろん、いつかはシフトできるといいですが。、
解説㌧。
鯖用途だとやはりきついのか…個人ユースだとバリバリ速いんだがなあ。
これだけの費用投じてCPU余ってるならRAIDカードとSSDを…と一瞬思ったが、ファイル化け出るならどうしようもないな…
＞SASの早いの
コントローラが・・・。
ユーザデータの読み出しもあるから結構きついよね。
というか、ユーザデータはキャッシュされる（されている）のかな？
コントローラが・・・。
ユーザデータの読み出しもあるから結構きついよね。
というか、ユーザデータはキャッシュされる（されている）のかな？
>>707
これですか。
PCサーバ PRIMERGY（プライマジー） RX200 S5 タイプ一覧・価格 : 富士通
http://primeserver.fujitsu.com/primergy/catalog/rx200s5/
これですか。
PCサーバ PRIMERGY（プライマジー） RX200 S5 タイプ一覧・価格 : 富士通
http://primeserver.fujitsu.com/primergy/catalog/rx200s5/
2010/05/16(日) 22:44:30ID:aRTvaymD0
SSDはまだ時期尚早なのか
>>707
> 現状のp2のロジックだとファイルの読み出しのためのI/O(open/closeとか)が多い
せっかくメモリ多いわけで、/md (mfs) を使うとか、そういう技はあるんですかね。
p2 側の改良が必要なのかな。
p2 のユーザで書き込める、
/md/(p2のユーザ) というのをブート時に作るようにしておこう。
使う気になれば使えるように。
> 現状のp2のロジックだとファイルの読み出しのためのI/O(open/closeとか)が多い
せっかくメモリ多いわけで、/md (mfs) を使うとか、そういう技はあるんですかね。
p2 側の改良が必要なのかな。
p2 のユーザで書き込める、
/md/(p2のユーザ) というのをブート時に作るようにしておこう。
使う気になれば使えるように。
714ゆ
2010/05/16(日) 22:46:13ID:txfCrx140 > これだけの費用投じてCPU余ってるならRAIDカードとSSDを…と一瞬思ったが、ファイル化け出るならどうしようもないな…
ちなみに採用したのはMLCでした。だからなんだ、というわけではないですが、、
SLCを2~3年ぐらい前に導入していますが、そちらは問題ないです。さすが、という感じなのか。。
RAIDカードのエラーを知るために故障SSDときちんとしたディスクをいれてsync -> 整合性checkをしたのですが、
たぶん領域が変わったのかエラーが回収できなかった、という過去があります。
そのあたりの挙動がはっきりわかったら入れ替えるのはありかなぁ、と。仮にマスタ側がSSDで化けられたら困るので、、
でもブ社ではいくつかSSDを投じているので、早い段階でサービスに投入できればいいな、と思っています。
> というか、ユーザデータはキャッシュされる（されている）のかな？
キャッシュのレイヤにもよりますが、memcachedの採用されている部分もいくつかあるようです。(セッション？)
ただ、ユーザーデータ等のサイズも大きい(大きくなる)ので、やはりディスク待避も仕方がない部分があると思います。24GBのメモリだとしても。
> SMARTの値が出ないタイプのSSDだったのかな?
たぶんでるとは思いますが、、すみません、SMARTはあまりチェックしていないのです。。
もし仮にSMARTで(致命的な)エラーが検出できるのだとしたらかなりよいと思いますが、
たとえば寿命セクタのエラーが一定以上出たら、、のような個体差があるようなもので判別することになるとするとちょっと、、というキモチではあります。。
>> RX200 S5
はい、そのマシンです。ちなみにorzにも1台投入する予定です。
ちなみに採用したのはMLCでした。だからなんだ、というわけではないですが、、
SLCを2~3年ぐらい前に導入していますが、そちらは問題ないです。さすが、という感じなのか。。
RAIDカードのエラーを知るために故障SSDときちんとしたディスクをいれてsync -> 整合性checkをしたのですが、
たぶん領域が変わったのかエラーが回収できなかった、という過去があります。
そのあたりの挙動がはっきりわかったら入れ替えるのはありかなぁ、と。仮にマスタ側がSSDで化けられたら困るので、、
でもブ社ではいくつかSSDを投じているので、早い段階でサービスに投入できればいいな、と思っています。
> というか、ユーザデータはキャッシュされる（されている）のかな？
キャッシュのレイヤにもよりますが、memcachedの採用されている部分もいくつかあるようです。(セッション？)
ただ、ユーザーデータ等のサイズも大きい(大きくなる)ので、やはりディスク待避も仕方がない部分があると思います。24GBのメモリだとしても。
> SMARTの値が出ないタイプのSSDだったのかな?
たぶんでるとは思いますが、、すみません、SMARTはあまりチェックしていないのです。。
もし仮にSMARTで(致命的な)エラーが検出できるのだとしたらかなりよいと思いますが、
たとえば寿命セクタのエラーが一定以上出たら、、のような個体差があるようなもので判別することになるとするとちょっと、、というキモチではあります。。
>> RX200 S5
はい、そのマシンです。ちなみにorzにも1台投入する予定です。
/md はとりあえず 500MBytes とった。
>>714
> キャッシュのレイヤにもよりますが、memcachedの採用されている部分もいくつかあるようです。(セッション？)
cw43 を見ると、
memcached-1.2.5 High-performance distributed memory object cache system
pecl-memcache-2.2.3 Memcached extension
これらが入っているようですね。
というか、今入っている ports との比較をしておこう。
入っているものはとりあえず入れる方向で。
> キャッシュのレイヤにもよりますが、memcachedの採用されている部分もいくつかあるようです。(セッション？)
cw43 を見ると、
memcached-1.2.5 High-performance distributed memory object cache system
pecl-memcache-2.2.3 Memcached extension
これらが入っているようですね。
というか、今入っている ports との比較をしておこう。
入っているものはとりあえず入れる方向で。
717ゆ
2010/05/16(日) 22:50:45ID:txfCrx140 > せっかくメモリ多いわけで、/md (mfs) を使うとか、そういう技はあるんですかね。
メモリディスクはかなり有効だと思います。
僕はメモリディスクに乗せるデータをgzして乗せるのとかはいいかな、と思っています。
メモリ読み出しもDDR3なので早いですし、これだけCPUリソースが余っているので。。
メモリディスクはかなり有効だと思います。
僕はメモリディスクに乗せるデータをgzして乗せるのとかはいいかな、と思っています。
メモリ読み出しもDDR3なので早いですし、これだけCPUリソースが余っているので。。
なんだ スレというかレスとかの読み込みじゃないのね（笑）
でもfind重い時は新さ～ヴぁでもどうにうもならないんでしょ♪
でもfind重い時は新さ～ヴぁでもどうにうもならないんでしょ♪
>>717
つまり p2 の側で、メモリディスクを使うように改良する方向性ですかね。
つまり p2 の側で、メモリディスクを使うように改良する方向性ですかね。
2010/05/16(日) 22:55:21ID:7yJMunl7P
>>714
㌧。
SLCは3～10倍くらいあるし、実際にエンタープライズで使われてるからMLCかなとは思ってた。
S.M.A.R.T.で寿命（SSD内部の正常な書き込み領域が減ってきた、無くなった）が出るSSDは既にあるんで
そこそこの頻度でS.M.A.R.T.確認が出来るならなんとかなりそうなものかなとは思いまする。
一応、突然の故障はSSDでもあるんでそこはRAID使ってカバーで（これは個体差的な意味でどうしようもないんで）。
まあ鯖が来てしまった以上しょうがないんでRAMストレージで凌ぐのは有効とは思う。
指摘の通り強力なCPUがあるわけだし。
㌧。
SLCは3～10倍くらいあるし、実際にエンタープライズで使われてるからMLCかなとは思ってた。
S.M.A.R.T.で寿命（SSD内部の正常な書き込み領域が減ってきた、無くなった）が出るSSDは既にあるんで
そこそこの頻度でS.M.A.R.T.確認が出来るならなんとかなりそうなものかなとは思いまする。
一応、突然の故障はSSDでもあるんでそこはRAID使ってカバーで（これは個体差的な意味でどうしようもないんで）。
まあ鯖が来てしまった以上しょうがないんでRAMストレージで凌ぐのは有効とは思う。
指摘の通り強力なCPUがあるわけだし。
721ゆ
2010/05/16(日) 22:58:42ID:txfCrx140 >でもfind重い時は新さ～ヴぁでもどうにうもならないんでしょ♪
findは、、すみません。。あれもp2と同じような問題でファイル読み出しが重いのが大部分だと(僕は)おもっています。。
/tmpにキャッシュをじゃんじゃん作っているので、こりゃ重いわ、とよく思っています。
ただ、これについては(キャッシュという特性上)消えてもよいファイルなので、SSDでもよいのかもしれないですね。
>S.M.A.R.T.で寿命（SSD内部の正常な書き込み領域が減ってきた、無くなった）が出るSSDは既にあるんで
こんなご指摘もあるので、機会があればぜひやろうと思います。
> つまり p2 の側で、メモリディスクを使うように改良する方向性ですかね。
はいー。格納ロジックはどうあれ、バランスよくリソース配分ができるといいなと思います。
何か困ったことがあったら、またメールいただければ善処します。お疲れ様でした！
findは、、すみません。。あれもp2と同じような問題でファイル読み出しが重いのが大部分だと(僕は)おもっています。。
/tmpにキャッシュをじゃんじゃん作っているので、こりゃ重いわ、とよく思っています。
ただ、これについては(キャッシュという特性上)消えてもよいファイルなので、SSDでもよいのかもしれないですね。
>S.M.A.R.T.で寿命（SSD内部の正常な書き込み領域が減ってきた、無くなった）が出るSSDは既にあるんで
こんなご指摘もあるので、機会があればぜひやろうと思います。
> つまり p2 の側で、メモリディスクを使うように改良する方向性ですかね。
はいー。格納ロジックはどうあれ、バランスよくリソース配分ができるといいなと思います。
何か困ったことがあったら、またメールいただければ善処します。お疲れ様でした！
readが多いってのは仕組みに関連するのかなぁ
まとめ読みとかするから多数のデータを読んだりすることが多んだろかー？
まとめ読みとかするから多数のデータを読んだりすることが多んだろかー？
＞ただ、ユーザーデータ等のサイズも大きい(大きくなる)ので、やはりディスク待避も仕方がない部分があると思います。
やっぱそうですか。
phpなんかのメモリ管理/データ管理機構ってのを良く知らないんだけど、
phpが呼ばれるたびにユーザデータの（HDD、もしくはキャッシュからの）読み込みが行われるんですか？
>>721
＞あれもp2と同じような問題でファイル読み出しが重いのが大部分だと(僕は)おもっています。。
＞/tmpにキャッシュをじゃんじゃん作っているので、こりゃ重いわ、とよく思っています。
それって検索用のサーバという話ですよね？
現状、find検索とp2（モリタポの）認証APIサーバが同じサーバだと思うんですが、それを分割できないんですかね？
find検索が重くなるたびに認証に影響を与えていると思うんですけど。
やっぱそうですか。
phpなんかのメモリ管理/データ管理機構ってのを良く知らないんだけど、
phpが呼ばれるたびにユーザデータの（HDD、もしくはキャッシュからの）読み込みが行われるんですか？
>>721
＞あれもp2と同じような問題でファイル読み出しが重いのが大部分だと(僕は)おもっています。。
＞/tmpにキャッシュをじゃんじゃん作っているので、こりゃ重いわ、とよく思っています。
それって検索用のサーバという話ですよね？
現状、find検索とp2（モリタポの）認証APIサーバが同じサーバだと思うんですが、それを分割できないんですかね？
find検索が重くなるたびに認証に影響を与えていると思うんですけど。
>>721
> はいー。格納ロジックはどうあれ、バランスよくリソース配分ができるといいなと思います。
そんなかんじですね。
器の側はもちろんできるだけがんがりますが、
一般的にいって中身の側できることは、器の側よりももっと多いような気がします。
> 何か困ったことがあったら、またメールいただければ善処します。お疲れ様でした！
どもです。
できる範囲で表(こことか)でやれるとうれしいですね。
> はいー。格納ロジックはどうあれ、バランスよくリソース配分ができるといいなと思います。
そんなかんじですね。
器の側はもちろんできるだけがんがりますが、
一般的にいって中身の側できることは、器の側よりももっと多いような気がします。
> 何か困ったことがあったら、またメールいただければ善処します。お疲れ様でした！
どもです。
できる範囲で表(こことか)でやれるとうれしいですね。
2010/05/16(日) 23:04:13ID:7yJMunl7P
>>721
> /tmpにキャッシュをじゃんじゃん作っているので、こりゃ重いわ、とよく思っています。
CPUが余ってるならそれこそRAMストレージでいいのではないかと（容量が足りるなら）。
マシンパワーが潤沢ならコスト掛けてSSDに置くよりも速いってのもあるんで。
> /tmpにキャッシュをじゃんじゃん作っているので、こりゃ重いわ、とよく思っています。
CPUが余ってるならそれこそRAMストレージでいいのではないかと（容量が足りるなら）。
マシンパワーが潤沢ならコスト掛けてSSDに置くよりも速いってのもあるんで。
>>722
システムの動きを見ての推測に過ぎませんが、
p2 の側で各ユーザごとの dat のキャッシュ(?)みたいなものを、
読んでいるんじゃないかと思っています。
なんというか、ユーザが多くなったことでいちばん苦しくなりそうなところなので。
システムの動きを見ての推測に過ぎませんが、
p2 の側で各ユーザごとの dat のキャッシュ(?)みたいなものを、
読んでいるんじゃないかと思っています。
なんというか、ユーザが多くなったことでいちばん苦しくなりそうなところなので。
727ゆ
2010/05/16(日) 23:09:51ID:txfCrx140> phpが呼ばれるたびにユーザデータの（HDD、もしくはキャッシュからの）読み込みが行われるんですか？
深くは読んでないので一概には言えないのです、、が、p2のロジック的に読み込みが走る部分はそれなりに多いと思います。
ただ、いろんなサーバーで動くことを考慮したりすると、互換性のためにそのような仕組みにする必要があるのも頷ける部分は多いと思います。
> 現状、find検索とp2（モリタポの）認証APIサーバが同じサーバだと思うんですが、それを分割できないんですかね？
おっしゃるとおりです。。僕の判断でどこまでの範囲を話していいのかわからないのであまり深いことはいえないですが、
各サービスが足を引っ張らないような独立性を保つことは、今の2ch検索を含む、いろんなサービスにいえることだな、と思います。
> CPUが余ってるならそれこそRAMストレージでいいのではないかと（容量が足りるなら）。
こちらもそのようにしたい！ですが、分散サーバーがたくさんある、というものなので残念ながら一台あたりのマシンはそこまでパワーがありません。。
確かに省コストでやるならそれも手なのですが、自由に使えるバッファキャッシュがあったほうがプログラムがすぐできるよ！という部分もあるので、SSDを押していたのでした。
2010/05/16(日) 23:11:49ID:7yJMunl7P
>>727
> こちらもそのようにしたい！ですが、分散サーバーがたくさんある、というものなので残念ながら一台あたりのマシンはそこまでパワーがありません。。
なるほど。
PC系には詳しくとも鯖はさっぱりなんで勉強になりますな。
> こちらもそのようにしたい！ですが、分散サーバーがたくさんある、というものなので残念ながら一台あたりのマシンはそこまでパワーがありません。。
なるほど。
PC系には詳しくとも鯖はさっぱりなんで勉強になりますな。
UFSの性能が低いのも響いてる気がする。
ZFSもZFSでメモリ喰いだったりRAIDと相性悪かったりで微妙。
ZFSもZFSでメモリ喰いだったりRAIDと相性悪かったりで微妙。
結局軽くはならないんでしょ（笑）
2010/05/16(日) 23:20:39ID:ZhDcgl310
最近なにかと流行りのZFSは
コントローラに頼らないエラー検出がウリだそうで
実際、コントローラが何もエラーを吐かないのに
ZFSがエラーを検出してアレイをデグレードしたという話もあるそうです。
http://ftp-admin.blogspot.com/2009/10/zfsraid.html
SSDもECCの許容範囲を超えた場合、訂正不能どころかエラー検出すらされない場合があるので
こういう場合は相性がいいのかもしれませんね
コントローラに頼らないエラー検出がウリだそうで
実際、コントローラが何もエラーを吐かないのに
ZFSがエラーを検出してアレイをデグレードしたという話もあるそうです。
http://ftp-admin.blogspot.com/2009/10/zfsraid.html
SSDもECCの許容範囲を超えた場合、訂正不能どころかエラー検出すらされない場合があるので
こういう場合は相性がいいのかもしれませんね
733ゆ
2010/05/16(日) 23:26:42ID:txfCrx140 > UFSの性能が低いのも響いてる気がする。
UFS自体の性能は、最高！とはいえないですが、GJOURNALのおかげもあって、安定性やパフォーマンスの総合点で見て非常に優秀だと思います。
FreeBSD上でいけば、現在CURRENTで進められているGEOMレイヤのディスクスケジューラが入れ替えられるようになればかなり優秀な物になると思います。
現在の重み付けラウンドロビンだと、大きなシーケンシャルwriteが挟むとほぼブロックに近い応答性能になっていまうので。。
おっしゃる通り、ZFSはやはりエンタープライズの、もっとリソースに余裕のあるところ向けな気がしますね。。今は。
> 結局軽くはならないんでしょ（笑）
ですね！その通りでつらいです。。
いつかは "昔は重かったけど、、" なんて言ってもらえるようにがんばります。
> ZFSがエラーを検出してアレイをデグレードしたという話もあるそうです。
これはかなり興味深いです。ZFSのエラー検出は256bitのchecksumなので、SSDのビット化けにはうってつけだと思います。
たぶん、もうしばらくするとLinuxやBSDでもこのようなchecksumの整合性チェックのようなものはすぐに出てきそうな気がします。もう出てるかもしれないですが。
SSD向けのファイルシステムは、もう少しきちんと調べてみた方が良さそうですね。
UFS自体の性能は、最高！とはいえないですが、GJOURNALのおかげもあって、安定性やパフォーマンスの総合点で見て非常に優秀だと思います。
FreeBSD上でいけば、現在CURRENTで進められているGEOMレイヤのディスクスケジューラが入れ替えられるようになればかなり優秀な物になると思います。
現在の重み付けラウンドロビンだと、大きなシーケンシャルwriteが挟むとほぼブロックに近い応答性能になっていまうので。。
おっしゃる通り、ZFSはやはりエンタープライズの、もっとリソースに余裕のあるところ向けな気がしますね。。今は。
> 結局軽くはならないんでしょ（笑）
ですね！その通りでつらいです。。
いつかは "昔は重かったけど、、" なんて言ってもらえるようにがんばります。
> ZFSがエラーを検出してアレイをデグレードしたという話もあるそうです。
これはかなり興味深いです。ZFSのエラー検出は256bitのchecksumなので、SSDのビット化けにはうってつけだと思います。
たぶん、もうしばらくするとLinuxやBSDでもこのようなchecksumの整合性チェックのようなものはすぐに出てきそうな気がします。もう出てるかもしれないですが。
SSD向けのファイルシステムは、もう少しきちんと調べてみた方が良さそうですね。
>>731
＞投資の問題があるかと
ブラジルにとって認証サーバって要（かなめ）だと思うんですよ。
まず認証が出来なければ、モリタポサービスのほとんどが受けられないわけですから。
もちろん「一時的に認証出来ないリスク」と「そうならないための投資」とを天秤にかけてみてどちらを取るかというのはわたしには判断できませんが。
＞投資の問題があるかと
ブラジルにとって認証サーバって要（かなめ）だと思うんですよ。
まず認証が出来なければ、モリタポサービスのほとんどが受けられないわけですから。
もちろん「一時的に認証出来ないリスク」と「そうならないための投資」とを天秤にかけてみてどちらを取るかというのはわたしには判断できませんが。
735ゆ
2010/05/16(日) 23:41:15ID:txfCrx140 > もちろん「一時的に認証出来ないリスク」と「そうならないための投資」とを天秤にかけてみてどちらを取るかというのはわたしには判断できませんが。
僕の個人的なところですが、そもそもfindが重いと認証ができないんだ！ということを忘れていました。(関係者がみてたら怒られるかもしれないですが)
ただ、次期のバージョンではこーしよう、あーしようみたいなのは練ったり作ったり、としているので、弱点ははやいところ埋めようと思います。
ではでは、p2のサーバーがうまく運用できるようにと願います。
関係のないレス増えてしまいすみません。皆様コメントありがとうございました。
僕の個人的なところですが、そもそもfindが重いと認証ができないんだ！ということを忘れていました。(関係者がみてたら怒られるかもしれないですが)
ただ、次期のバージョンではこーしよう、あーしようみたいなのは練ったり作ったり、としているので、弱点ははやいところ埋めようと思います。
ではでは、p2のサーバーがうまく運用できるようにと願います。
関係のないレス増えてしまいすみません。皆様コメントありがとうございました。
さて、そろそろ今日は店じまいの予感。
・新eqサーバのDNS変更依頼
・新p2サーバの設定続き (>>716 から)
・新p2サーバのDNS変更依頼
・bbq2用サーバ(tiger3546)セットアップ
を、明日以降ぼちぼちと。
・新eqサーバのDNS変更依頼
・新p2サーバの設定続き (>>716 から)
・新p2サーバのDNS変更依頼
・bbq2用サーバ(tiger3546)セットアップ
を、明日以降ぼちぼちと。
>>735
> 僕の個人的なところですが、そもそもfindが重いと認証ができないんだ！
> ということを忘れていました。(関係者がみてたら怒られるかもしれないですが)
とてもいいところにきがつきましたね（ぼうよみ）。
そんなわけで、おやすみなさいです。
> 僕の個人的なところですが、そもそもfindが重いと認証ができないんだ！
> ということを忘れていました。(関係者がみてたら怒られるかもしれないですが)
とてもいいところにきがつきましたね（ぼうよみ）。
そんなわけで、おやすみなさいです。
2010/05/16(日) 23:44:24ID:7yJMunl7P
2010/05/16(日) 23:46:29ID:cbYa92A90
乙です乙です
2010/05/16(日) 23:55:51ID:7yJMunl7P
>>741
♪さんも…♪さんはいつも乙。
♪さんも…♪さんはいつも乙。
どうして携帯p2は重くないんだ（笑）
それでわかるだろ・・・・・
それでわかるだろ・・・・・
2010/05/17(月) 00:00:12ID:24g8q3Ya0
>>741
むしろ「ゆんゆん」でひとつ。
むしろ「ゆんゆん」でひとつ。
2010/05/17(月) 00:16:11ID:MPoMeV7U0
せっかく良いスレの流れだったのに
台無し
台無し
2010/05/17(月) 00:19:38ID:EjfQsqax0
いつも出しゃばってくるんだよなこいつは♪
>>736 に追加。
・smaretmontools によりデータをとるための作業＆作業依頼
・smaretmontools によりデータをとるための作業＆作業依頼
2010/05/17(月) 08:22:22ID:ybyzo3wL0
3-50万って思ったより高くないのね
ジャンクで買ったUnix鯖がもっと高かったから意外だった
ジャンクで買ったUnix鯖がもっと高かったから意外だった
まずeqのDNS変更依頼やります。
以下の内容で依頼かけます。
(現状)
+eq.2ch.net:206.223.154.240
(変更後)
+eq.2ch.net:206.223.152.155
以下の内容で依頼かけます。
(現状)
+eq.2ch.net:206.223.154.240
(変更後)
+eq.2ch.net:206.223.152.155
どうかな。
http://eq.2ch.net/
http://eq.2ch.net/
753はんだごて ◆HANDAGOT9E
NGNG rootさん、お疲れ様です(｀・ω・´)ゞﾋﾞｼｯ!!下記のように表示されました
【eq.2ch.net】
eq.2ch.net (at banana3104) 建設予定地
【eq.2ch.net】
eq.2ch.net (at banana3104) 建設予定地
どもです。>>753
中の人からも変更完了のお知らせがありました。
＜以下、なまずさんへ＞
・新しい eq.2ch.net ができました。使ってみてくださいです。
・ログイン名とパスワードは前のeq.2ch.netと同じです。
・中身はまだ空です。
・２ちゃんねる(bbs.cgi)のほうは対応してあります.。しかけが動けば従来どおりの動作のはずです。
・その他何かあった場合、遠慮なくご連絡をくださいです。
中の人からも変更完了のお知らせがありました。
＜以下、なまずさんへ＞
・新しい eq.2ch.net ができました。使ってみてくださいです。
・ログイン名とパスワードは前のeq.2ch.netと同じです。
・中身はまだ空です。
・２ちゃんねる(bbs.cgi)のほうは対応してあります.。しかけが動けば従来どおりの動作のはずです。
・その他何かあった場合、遠慮なくご連絡をくださいです。
次、smartmontools を使えるようにする件を依頼してみよう。
・gimpo用ユーザのoperatorグループへの追加 at tiger3530
定型文ではなくて提案文を書かないといけないので、
依頼自体は数分後ではなくてもうちょっとあとでいきます。＞なかのひと
・gimpo用ユーザのoperatorグループへの追加 at tiger3530
定型文ではなくて提案文を書かないといけないので、
依頼自体は数分後ではなくてもうちょっとあとでいきます。＞なかのひと
先にtiger2514(旧eq)を返そう。halt 済。
tiger2514 はそのまま退役で。
作業完了のメールの返事でお伝えするということで。
tiger2514 はそのまま退役で。
作業完了のメールの返事でお伝えするということで。
>>756
引き取り完了の旨返事いただきました。
引き取り完了の旨返事いただきました。
2010/05/17(月) 11:33:45ID:mhDpzIgq0
おつかれさまです
tiger2514 もお疲れ様でしたー
tiger2514 もお疲れ様でしたー
2010/05/17(月) 11:59:22ID:OG4p1viiP
>>759
おお、追記が。おつです。
おお、追記が。おつです。
新p2のIPアドレス 210.135.100.132 はbbs.cgiへの登録が必要になるです。
いってきます。
いってきます。
>>761
210.135.98.42 を 210.135.100.132 に変更。
210.135.98.42 を 210.135.100.132 に変更。
高木浩光＠自宅の日記 - 先週からEZ番号の変更が不可能にされていた
http://takagi-hiromitsu.jp/diary/20100516.html
EZ番号は2010年5月10日から「EZwebの廃止と再加入」では変更されなくなった、
というのは確定情報、ということですか。
しかし店頭掲示するなら、別にこそこそやる必要もないような。
# で、その理由は「お客様の利便性向上のため」ですか、、、。なんだかなぁ。
http://takagi-hiromitsu.jp/diary/20100516.html
EZ番号は2010年5月10日から「EZwebの廃止と再加入」では変更されなくなった、
というのは確定情報、ということですか。
しかし店頭掲示するなら、別にこそこそやる必要もないような。
# で、その理由は「お客様の利便性向上のため」ですか、、、。なんだかなぁ。
2010/05/17(月) 16:06:26ID:5hyxsBd6P
言い訳としてそれが多少なりとも通用してしまうのは、
2chが全規制して全員巻き添えだから、それが解消されれば
張本人以外の「お客様の利便性向上」になるから、と。
2chが全規制して全員巻き添えだから、それが解消されれば
張本人以外の「お客様の利便性向上」になるから、と。
2010/05/17(月) 16:11:30ID:5hyxsBd6P
2010/05/17(月) 16:52:54ID:OG4p1viiP
運用からはトラックバック送信できなかったような気がする
2010/05/17(月) 17:03:54ID:OA6Vw7AS0
届いてるみたいだよ
2010/05/17(月) 17:06:05ID:OG4p1viiP
あ、本当だ
でもこの前rootたんがトラックバック送信しようとして失敗していたような気がしたけど
でもこの前rootたんがトラックバック送信しようとして失敗していたような気がしたけど
>>755 をお願いした。
↓
ご担当様:
お世話になっております。
SSDを搭載し２ちゃんねるに導入したtiger3530サーバですが、
本稼働初日に一度謎の「プチフリーズ」症状を起こしたこと以外には、
現在のところ順調に稼働しているようです。
しかし、SSDによる本運用は２ちゃんねるにとって初のものであり、
今後もさまざまなチェックや運用状況の監視等が必要になると考えております。
これらを、２ちゃんねるのログインユーザ(ch2xxxx)の権限でも
可能になるようにし、今後の運用ノウハウの蓄積に役立てるため、
tiger3530サーバにおいて以下の設定を実施いただけますでしょうか。
・/etc/group の operator グループへの ch2xxxx ユーザの追加
(現状)
operator:*:5:root
(変更後)
operator:*:5:root,ch2xxxx
これによりSSDのディスクを監視するための smartmontools コマンドを
root 権限なしでも実施可能となります。
なお、設定内容については２ちゃんねる上で公開し、
共通の知見として蓄積を図りたいと考えております。
以上、どうぞよろしくお取り計らいのほどお願い申し上げます。
↓
ご担当様:
お世話になっております。
SSDを搭載し２ちゃんねるに導入したtiger3530サーバですが、
本稼働初日に一度謎の「プチフリーズ」症状を起こしたこと以外には、
現在のところ順調に稼働しているようです。
しかし、SSDによる本運用は２ちゃんねるにとって初のものであり、
今後もさまざまなチェックや運用状況の監視等が必要になると考えております。
これらを、２ちゃんねるのログインユーザ(ch2xxxx)の権限でも
可能になるようにし、今後の運用ノウハウの蓄積に役立てるため、
tiger3530サーバにおいて以下の設定を実施いただけますでしょうか。
・/etc/group の operator グループへの ch2xxxx ユーザの追加
(現状)
operator:*:5:root
(変更後)
operator:*:5:root,ch2xxxx
これによりSSDのディスクを監視するための smartmontools コマンドを
root 権限なしでも実施可能となります。
なお、設定内容については２ちゃんねる上で公開し、
共通の知見として蓄積を図りたいと考えております。
以上、どうぞよろしくお取り計らいのほどお願い申し上げます。
>>770
光の速さで設定してもらえました。
tiger3530:~$ smartctl -d ata -i /dev/ad6
smartctl version 5.37 [amd64-portbld-freebsd7.0] Copyright (C) 2002-6 Bruce Allen
Home page is http://smartmontools.sourceforge.net/
=== START OF INFORMATION SECTION ===
Device Model: INTEL SSDSA2MH080G1GC
Serial Number: CVEM847401YB080DGN
Firmware Version: 045C8820
User Capacity: 80,026,361,856 bytes
Device is: Not in smartctl database [for details use: -P showall]
ATA Version is: 7
ATA Standard is: ATA/ATAPI-7 T13 1532D revision 1
Local Time is: Mon May 17 02:42:49 2010 PDT
SMART support is: Available - device has SMART capability.
SMART support is: Enabled
あとは、じっくり料理するということで。
光の速さで設定してもらえました。
tiger3530:~$ smartctl -d ata -i /dev/ad6
smartctl version 5.37 [amd64-portbld-freebsd7.0] Copyright (C) 2002-6 Bruce Allen
Home page is http://smartmontools.sourceforge.net/
=== START OF INFORMATION SECTION ===
Device Model: INTEL SSDSA2MH080G1GC
Serial Number: CVEM847401YB080DGN
Firmware Version: 045C8820
User Capacity: 80,026,361,856 bytes
Device is: Not in smartctl database [for details use: -P showall]
ATA Version is: 7
ATA Standard is: ATA/ATAPI-7 T13 1532D revision 1
Local Time is: Mon May 17 02:42:49 2010 PDT
SMART support is: Available - device has SMART capability.
SMART support is: Enabled
あとは、じっくり料理するということで。
どくおさんへ:
http://www.maido3.com/server/zousan/nikki160.html
/home を noatime にするは２ちゃんねるの root 権限ありサーバでは、
大昔から設定しているです。
最初に設定したのはまだ HE 時代だったかな。
ここの過去ログでやっているです。
特に、I/O の遅いディスクで効果が実感できました。
例えば旧bananaとか。
でも定量的な計測はしていないので、ベンチすると面白いかもですね。
http://www.maido3.com/server/zousan/nikki160.html
/home を noatime にするは２ちゃんねるの root 権限ありサーバでは、
大昔から設定しているです。
最初に設定したのはまだ HE 時代だったかな。
ここの過去ログでやっているです。
特に、I/O の遅いディスクで効果が実感できました。
例えば旧bananaとか。
でも定量的な計測はしていないので、ベンチすると面白いかもですね。
そんで、私がセットアップした root 権限ありサーバの /home は、
昔から今まで例外なく、noatime 設定です。
atime 使っているアプリがないなら、
純粋に1ファイルあたりの処理量が減るので、
特に小さなファイルがたくさんあるような場合には有効かなと。
昔から今まで例外なく、noatime 設定です。
atime 使っているアプリがないなら、
純粋に1ファイルあたりの処理量が減るので、
特に小さなファイルがたくさんあるような場合には有効かなと。
というか、ちゃんとだんこがいさんのブログに書いてあるですね。
> これが細かいファイルがもっと沢山あって、
> それらの＊内容＊が頻繁にアクセスされる状況ではもっと出るかと思われます。
> これが細かいファイルがもっと沢山あって、
> それらの＊内容＊が頻繁にアクセスされる状況ではもっと出るかと思われます。
2010/05/17(月) 19:10:49ID:lwKRaTHo0
noatime 付け忘れてNTFSのディスクイメージをマウントして読んだら大変なことになったの思い出した('A｀)
776 ◆A/T2/75/82
2010/05/17(月) 21:00:16ID:iq/gib/k0 サーバ入れ替え警報 !!
ターゲットは yutori7 , tsusima
ターゲットは yutori7 , tsusima
2010/05/17(月) 21:01:26ID:J/4X0faL0
えー（棒）
2010/05/17(月) 21:01:32ID:GEqBNbqK0
>>776
おぉー
おぉー
2010/05/17(月) 21:02:48ID:gwIdUdS10
なんと
2010/05/17(月) 21:05:43ID:qIA5TMgs0
>>776
いつごろの予定なのー？
いつごろの予定なのー？
2010/05/17(月) 21:05:50ID:BQW6s+QnP
yutori7にある板（17板）
accuse 2ch批判要望 ad 宣伝掲示板 ana アナウンサー base プロ野球 campus 大学生活
f1 ﾓｰﾀｰｽﾎﾟｰﾂ k1 格闘技liveplus ニュース実況+ mnewsplus 芸スポ速報+ news4plus 東アジアnews+
news4vip ニュー速VIP nida ニダー ogame2 ネトゲ実況2 pc2nanmin PCサロン ranking 格付け
soccer 国内サッカー warhis 三国志・戦国
tsushimaにある板（3板）
korea ハングル news ニュース速報 newsplus ニュース速報+
accuse 2ch批判要望 ad 宣伝掲示板 ana アナウンサー base プロ野球 campus 大学生活
f1 ﾓｰﾀｰｽﾎﾟｰﾂ k1 格闘技liveplus ニュース実況+ mnewsplus 芸スポ速報+ news4plus 東アジアnews+
news4vip ニュー速VIP nida ニダー ogame2 ネトゲ実況2 pc2nanmin PCサロン ranking 格付け
soccer 国内サッカー warhis 三国志・戦国
tsushimaにある板（3板）
korea ハングル news ニュース速報 newsplus ニュース速報+
782NAO ★
2010/05/17(月) 21:07:06ID:???i HDD + SSDヘテロサーバー導入の流れ！？
783 ◆A/T2/75/82
2010/05/17(月) 21:07:33ID:iq/gib/k0 今日、明日はない (ｷﾘｯ
2010/05/17(月) 21:08:15ID:Vo/ipNM30
随分余裕のある警報だなｗ
2010/05/17(月) 21:08:15ID:kmC187sy0
ってことは明後日だな！
2010/05/17(月) 21:08:26ID:tMmL+cFVP
やる気の問題でしたか（ﾎッ
なんと。
性能は如何に。
性能は如何に。
2010/05/17(月) 21:08:57ID:jHX2UcAYP
んじゃ、明後日か
2010/05/17(月) 21:09:14ID:GEqBNbqK0
よ、予報か・・・
それか、注意報か
それか、注意報か
2010/05/17(月) 21:09:16ID:k7XoLLNZ0
わくわく
2010/05/17(月) 21:12:59ID:I4hRS6SoP
tsushimaでお願いします ＞ 運営殿
2010/05/17(月) 21:15:10ID:Na56qKVuP
WC、参院選対策仕様になるとか
2010/05/17(月) 21:18:42ID:jHX2UcAYP
これ置いとくね。
＼170 名前：マァヴ ◆jxAYUMI09s ／
157 マァヴ ◆＼ ／
＼また失敗した(^_^;)＞p ／Update失敗したらa
／￣￣￣￣￣ ＼ ／://pc11.2ch.net/test/r
＜ おまいら次もいき＼∧∧∧∧∧／ァヴがpc11.2ch.netの鯖
＼＿＿＿＿＿＿＿＜ ＞tp://news23.2ch.net/t
＜ 予 ま ＞また、マァヴ◆jxAYUMI09
＜ た ＞p://news23.2ch.net/te
─────────＜ 感 失 ＞──────────
／￣￣￣￣￣￣￣ ＜ 敗 ＞616 名前：マァヴ ◆jxAY
＜ pc11のBIOSアップ＜ !!!! の ＞>607
＼＿＿＿＿＿＿＿ ＜ ＞ファイルの準備がいまいち
／∨∨∨∨∨＼
＼オーー／ ＼ オフレコ-------------
∧＿∧∧＿／74 名前：マァヴ ◆jxA＼たく言うと、更新用の
（ ） ／ ＼でオフレコ-------
／ BIOSアップデート失敗した(^_^;) ＼
＼170 名前：マァヴ ◆jxAYUMI09s ／
157 マァヴ ◆＼ ／
＼また失敗した(^_^;)＞p ／Update失敗したらa
／￣￣￣￣￣ ＼ ／://pc11.2ch.net/test/r
＜ おまいら次もいき＼∧∧∧∧∧／ァヴがpc11.2ch.netの鯖
＼＿＿＿＿＿＿＿＜ ＞tp://news23.2ch.net/t
＜ 予 ま ＞また、マァヴ◆jxAYUMI09
＜ た ＞p://news23.2ch.net/te
─────────＜ 感 失 ＞──────────
／￣￣￣￣￣￣￣ ＜ 敗 ＞616 名前：マァヴ ◆jxAY
＜ pc11のBIOSアップ＜ !!!! の ＞>607
＼＿＿＿＿＿＿＿ ＜ ＞ファイルの準備がいまいち
／∨∨∨∨∨＼
＼オーー／ ＼ オフレコ-------------
∧＿∧∧＿／74 名前：マァヴ ◆jxA＼たく言うと、更新用の
（ ） ／ ＼でオフレコ-------
／ BIOSアップデート失敗した(^_^;) ＼
2010/05/17(月) 21:21:25ID:jHX2UcAYP
これも
＼663 名前：ちきちーた ★ [] 投 ／
498 名前：ち ＼ ／名前：ちきちーた ★
＼うむ 失敗したみたい ／なーに もう一回作業
／￣￣￣￣￣ ＼ ／
＜ すすきのタイムは＼∧∧∧∧∧／794 名前：ちきちーた ★
＼＿＿＿＿＿＿＿＜ ＞そんな難しいのは知らないﾆﾀﾞ
＜ 予 ま ＞ftp だけ知っているﾆﾀﾞ
＜ だ ＞
─────────＜ 感 薄 ＞──────────
／￣￣￣￣￣￣￣ ＜ 野 ＞498 名前：ちきちーた ★
＜ できることをする ＜ !!!! の ＞>>493
＼＿＿＿＿＿＿＿ ＜ ＞みんなに氏ねと言われる
／∨∨∨∨∨＼簡単なお仕事です
＼オーー／ ＼
∧＿∧∧＿／701 名前：ちきちーた ＼りは自己満足(smile)
（ ） ／ ＼
／ 別のサーバで作業していたw ＼
＼663 名前：ちきちーた ★ [] 投 ／
498 名前：ち ＼ ／名前：ちきちーた ★
＼うむ 失敗したみたい ／なーに もう一回作業
／￣￣￣￣￣ ＼ ／
＜ すすきのタイムは＼∧∧∧∧∧／794 名前：ちきちーた ★
＼＿＿＿＿＿＿＿＜ ＞そんな難しいのは知らないﾆﾀﾞ
＜ 予 ま ＞ftp だけ知っているﾆﾀﾞ
＜ だ ＞
─────────＜ 感 薄 ＞──────────
／￣￣￣￣￣￣￣ ＜ 野 ＞498 名前：ちきちーた ★
＜ できることをする ＜ !!!! の ＞>>493
＼＿＿＿＿＿＿＿ ＜ ＞みんなに氏ねと言われる
／∨∨∨∨∨＼簡単なお仕事です
＼オーー／ ＼
∧＿∧∧＿／701 名前：ちきちーた ＼りは自己満足(smile)
（ ） ／ ＼
／ 別のサーバで作業していたw ＼
2010/05/17(月) 21:22:14ID:alwWDLu70
マァヴは死んだ
2010/05/17(月) 21:23:33ID:1I8yB6V+P
(´；ω；｀)ﾌﾞﾜｯ
2010/05/17(月) 21:50:41ID:zhw4G+d00
おいまじかよ変わるのかこれは楽しみだっ！！ワクワクッ！！
>>775
ふむふむ。
そういえばこんな話も。
NTFS で noatime / windows vista以前のマシン｜でびぞー徒然日記
http://debz-di.kabocha.to/archives/2009/12/20091231230420.html
ふむふむ。
そういえばこんな話も。
NTFS で noatime / windows vista以前のマシン｜でびぞー徒然日記
http://debz-di.kabocha.to/archives/2009/12/20091231230420.html
2010/05/17(月) 23:53:19ID:I21YhY7k0
tsusimaって？tsushimaとはチガウの？
2010/05/18(火) 01:00:15ID:t1VZRjdJ0
誤字はおいちゃんのお茶目さ
2010/05/18(火) 01:02:53ID:9d506UJF0
takeshimaのつもりがtsushimaで作業していたﾆﾀﾞ
とかならないだろうな
とかならないだろうな
2010/05/18(火) 05:07:14ID:koNyWr0y0
今度のtsushimaとyutori7はroot権限ありにして欲しいなあ
にしても、最近rootさんとおいちゃんって若干ギクシャクしてるような…ただそう思っただけだけど
にしても、最近rootさんとおいちゃんって若干ギクシャクしてるような…ただそう思っただけだけど
2010/05/18(火) 10:26:50ID:iIngcTqjP
http://www.maido3.com/server/ssd/
> 一言：ワールドカップのりこえるぞ！
ちゃんとtsushima以上(anchorage並)のチューニングをしないと絶対乗り越えられない気がする
> 一言：ワールドカップのりこえるぞ！
ちゃんとtsushima以上(anchorage並)のチューニングをしないと絶対乗り越えられない気がする
804∮ ◆...p2/2...
2010/05/18(火) 11:40:44ID:KFvbwgEY0 rootさん、p2サーバのセットアップ、お疲れ様です、ありがとうございます。
設定一カ所すみません・・・!
p2のデータディスクのnewfsの設定、
inode一個あたりのバイト数が4096になるようにお願いします。
newfsが入ることを予期していなくてお伝えできていませんでした。
設定一カ所すみません・・・!
p2のデータディスクのnewfsの設定、
inode一個あたりのバイト数が4096になるようにお願いします。
newfsが入ることを予期していなくてお伝えできていませんでした。
■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 【自民】「建物だけで8000万円以上」 森山幹事長の「鹿児島の大豪邸」が25年間未登記状態だった！ 専門家は「法律に抵触する行為」 [ぐれ★]
- 小中学生1800人に聞いた将来就きたい職業、男子1位は野球選手、女子1位は？★2 [原島★]
- 【野球】激ヤセ!? 元木大介さんの近影に心配の声続々 「大丈夫だと思うけど」と伝えるも「かなり痩せた印象」「一瞬誰かと…」 [冬月記者★]
- 【芸能】有吉弘行、どの地方でも“ほぼ同じ光景”と私見 「イオンがあって、国道沿いにラーメン屋があって…」 [冬月記者★]
- イタリア人俳優、日本の飲食店で器を持ち上げ、麺をすすって音を立てて食事をする姿にびっくり「イタリアではマナー違反」★2 [muffin★]
- 「平均的な年収」があればいい…平成生まれ2400人超の「結婚相手の理想的な年収」最多回答は？ [首都圏の虎★]
- 高校生だけど自分は”主人公”じゃないことに気づいて辛い [288593948]
- ゼレンスキー緊急声明。「降伏しろと言うが、ロシアに降伏したらロシア兵として外国と戦わされる。チェチェン軍は今我が国と戦っている」 [314039747]
- 小学生の自殺者数が過去最高。少子化で小学生の数は激減してるのにどういうこと？ [633746646]
- 「英霊が戦って守ったから今の平和な日本あるんだぞ」👈これどういう理屈なの [941632843]
- 【悲報】結婚式場、 まさかの閉館ラッシュ😳wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwww [986198215]
- 【画像】大阪万博の建物、フォントが安すぎるｗｗｗｗｗｗ [977790669]