X
トップページ⇒運用情報
1001コメント375KB

【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part18

■ このスレッドは過去ログ倉庫に格納されています
0001220.117.237.222＠root▲ ★
垢版 |
NGNG
peko作戦について語るスレです。
サーバロケーションPIEに関する話題もこちらで。

＜現在の主要なテーマ＞
・「Love affair作戦」による、携帯系サーバの大幅強化・外向けdat供給サーバの構築
・「雪だるま作戦」による、スケーラブルなサーバ群構築
・BBQの2台体制化・RAID1化
・FreeBSD 5.4Rの導入検討
・各種作戦・プロジェクトとの連携
・FreeBSDのさらなるチューニング詰め

＜主な関連スレッド＞
【Love Affair】携帯からのアクセスに対する考察・次の一手 Part3
http://qb5.2ch.net/test/read.cgi/operate/1095146311/
■新春特別企画「雪だるま作戦」liveサーバの飛躍なるか!? Part1
http://qb5.2ch.net/test/read.cgi/operate/1105035540/

＜主な関連サイト＞
MRTGによる統計情報: http://mumumu.mu/mrtg/
２ちゃんねる/PINKちゃんねる 稼動中のサーバ一覧: http://mumumu.mu/serverlist.html
２ちゃんねる サーバ負荷監視所: http://ch2.ath.cx/load/
2ch 鯖監視係。: http://sv2ch.baila6.jp/

＜前スレ＞
【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17
http://qb5.2ch.net/test/read.cgi/operate/1107376477/
0605動け動けウゴウゴ２ちゃんねる
垢版 |
2005/05/28(土) 01:01:30ID:GI4lOVMT0
>>603
プリーズがついてるだけ優しいかも
それとも「どうぞグーグルで心ゆくまでご自分でﾆｯｺﾘ」みたいな嫌みなのかな…
0607root▲ ★
垢版 |
NGNG
>>603
google は、いまや普通に動詞として使いますね。
日本と同じかと。

引用元のあれは「ぐぐれ馬鹿」まではいかないけど(>>605)、
それに近いニュアンスっすね。
0609root▲ ★
垢版 |
NGNG
c.2ch不具合報告総合スレ3
http://qb5.2ch.net/test/read.cgi/operate/1115382157/428-429

428 名前：root▲ ★[sage] 投稿日：2005/05/28(土) 11:30:38 ID:???0 ?##
○ ブート時の AP #2 (PHY# 6) failed エラーについて

PIEではリモートオペレーション環境を充実させるために、
リモートKVMスイッチをインストール中でした。
(リモートKVMスイッチ: キーボードとマウスとコンソールを、
ネットワーク経由でリモート操作できる装置)

で、先日tiger511とtiger512にもその装置がつきました。
(装置そのものはシステムからは普通のキーボードとマウスに見えるので、
サーバを動かしながらつけることができます)

しかしその装置がついていると、tiger5xxなサーバではリブート時に、
>>419 のようにカーネルパニックを起こし、立ち上がらないことがあるとわかりました。

リモートKVMスイッチのキーボードとマウスをはずしたところ、問題なく立ち上がりました。

リモートKVMスイッチのキーボード・マウスはデイジーチェイン方式という、
ちょっと普通のとは違う形式のものらしく、そのためtiger5xxサーバのBIOSか、
あるいはACPIかと相性が悪く、この問題が発生するようです。

検索してみたところ類似の事例が、freebsd-current メーリングリストに報告されていました。
http://lists.freebsd.org/pipermail/freebsd-current/2004-January/019396.html


429 名前：root▲ ★[sage] 投稿日：2005/05/28(土) 11:32:53 ID:???0 ?##
で、とりあえず緊急にtiger511/512のKVMスイッチのキーボードとマウスをはずした状態にして、
急場をしのぐことにしました。

詳細は精査してみないとわかりませんが、
場合によってはtiger5xxサーバのBIOSの更新作業が、必要になるかもしれません。
(>>428 のリンク先も、あとでよく読んでみます)
0610root▲ ★
垢版 |
NGNG
ということでどうも、ACPI BIOS方面の問題の模様です。

で、安全のため、tiger503 - tiger512については、KVMスイッチのキーボードとマウスを
はずしておいてもらうように手配しておきました。

Me (11:33 AM) :
Sean-san,
I reported the curent status on 2ch BBS.

And I think all other tiger5xx servers may have the same problem.
Sean (11:36 AM) :
Do you wana test Tiger510?
Me (11:38 AM) :
Hmm...
All tiger servers are now online. So, many 2ch users use it.
I want to test it, but it needs before notice to users.
So, I think we should test later.

And for safety, KVM switchs' keyboard and mouse of all tiger5xx servers
sould be detached until verifying complete.
Sean (11:39 AM) :
ok...I will
Me (11:39 AM) :
Thank you for your work.
0614root▲ ★
垢版 |
NGNG
oyster243 を BBQ/BBM の二重化サーバにする準備が整いました。

以下をDNSに登録お願いします。

これが浸透することにより、自動的にBBQ/BBMともに更新されるはずです。
bbs.cgi の変更は必要ありません。

(追加)
&niku.2ch.net::nikuns2.peko.2ch.net
&bbm.2ch.net:206.223.151.221:b
0615root▲ ★
垢版 |
NGNG
なおこれに伴い BBQ/BBM 側のシステムの若干の変更 (NSの追加) が
必要になりますが、それは既に済んでいます。
0616root▲ ★
垢版 |
NGNG
>>614 補足
肝心のホスト名を登録するのを忘れていました。
>>614 にあわせて、下記も登録お願いします。

(追加)
+bbq2.2ch.net:206.223.151.220
+m2.2ch.net:206.223.151.221
0618root▲ ★
垢版 |
NGNG
○ FreeBSD 5.3R の em ドライバに虫がいそうな件について

em にものすごい勢いでネットワーク負荷をかけると、
ifconfig での表示は正常であるにもかかわらず、
その I/F での通信ができなくなってしまい、自己復活もしないようです。

ifconfig em1 down
ifconfig em1 up

とやると復活するので、ドライバに虫さんがいるような気がします。

5.4Rとか最新のstableとかで、直っているのかしら。
0620root▲ ★
垢版 |
2005/05/30(月) 03:05:51ID:???0
>>619
どもｄす。そりゃ、そうすよね。
em でこんなんなっちゃ、ちょっと。

前にこれになった時に前に 5.3-stable あたりから持ってきたりしてたんですが、
それでもまだ起こるようです。

5.4Rにすべしと。
昼間の時間とか深夜の時間狙って、5.4R にしていくです。
0621 ◆/dAlcsdWd2
垢版 |
2005/05/30(月) 16:52:07ID:XNJyyv4s0
ｳﾋｮｰ
ttp://www.extended64.com/photos/article_screenshots/category1028/picture577.aspx
0626動け動けウゴウゴ２ちゃんねる
垢版 |
2005/05/30(月) 17:35:15ID:oT4SOxuh0
BLASTとかで検索してちょ。
計算力がいくらあっても足りない業種向け。
バイオとか原子力とかレンダリングとか。
0630root▲ ★
垢版 |
NGNG
>>629
なーんも、決めていませんです。

でもたぶん常に、どれかの ex が人身御供に（りゃ。
0634root▲ ★
垢版 |
NGNG
携帯→2ch運用情報スレッド19
http://qb5.2ch.net/test/read.cgi/operate/1115189922/849

とりあえず、ちらしのうら。

849 名前：動け動けウゴウゴ２ちゃんねる[sage] 投稿日：2005/05/30(月) 19:44:21 ID:YvJC8C930
こっち向けの話なので
squid今日パッチが当たったようです。
（細かい変更点は不明）

squid-2.5.STABLE10-20050530
0635赤唐辛子 ◆MOSH//M0FA
垢版 |
2005/05/31(火) 00:26:39ID:Hg8eWT7NO
いつもごくろう様でふ
0636root▲ ★
垢版 |
NGNG
tiger2513 tiger2514 改めて到着しました。

両サーバとも、現在の ex10 と同じ dual channel の SCSI カード、
および 15,000 rpm ディスクへの換装を確認しました。

15,000rpm ディスクは、従来の ex10 仕様のもののバージョンアップ品の模様です。
つまり、ex10のものよりも若干ですが、パフォーマンスがよいはず。

HDDの仕様:
http://www.seagate.com/cda/products/discsales/marketing/detail/0,1081,659,00.html

ハードウェア上の問題はこれで解決しましたので、
帰宅後、セットアップ作業にかかります。

注意:VIPPERの皆様の記念カキコはこちらへ。
↓
質問・雑談スレ168＠運用情報板
http://qb5.2ch.net/test/read.cgi/operate/1117466257/
0637root▲ ★
垢版 |
NGNG
以上により、>>567
tiger2513@ex11: 問題解決したのでこれから作業
tiger2514@anime: 同上

ということで。

問題なければ、明日にはおじさんに引渡し可能かと。

ex11 は dat もメモリディスクに置くので、メモリディスクを多めにとろう。
anime は普通のセッティングで。
0638資材二課 ★
垢版 |
2005/05/31(火) 03:34:33ID:???0
RAM が不足したら増設という方向で、
0642root▲ ★
垢版 |
NGNG
VIP専用サーバ(tiger2513)の準備が整いました。
以下のDNSへの登録をよろしくお願いします。

(追加)
+ex11.2ch.net:206.223.154.245

アニメ専用サーバ(tiger2514)は、帰宅後にセットアップ予定。
0644root▲ ★
垢版 |
NGNG
>>643
もううつわはできているので、
おじさんのやるき次第かと。
0649root▲ ★
垢版 |
NGNG
アニメ専用サーバ(tiger2514)の準備が整いました。
以下のDNSへの登録をよろしくお願いします。

(追加)
+anime.2ch.net:206.223.154.240

これで、今回の一連のサーバ(cobra3台、tiger2台)の
DNSへの登録は、ひととおり終了ということで。
0650動け動けウゴウゴ２ちゃんねる
垢版 |
2005/06/01(水) 00:09:14ID:hr0R8Vxu0
速報はニュース鯖に移転って話とか出てなかったっけ
業界はcomic6に移転して空いたcomic5に週刊少年漫画を引きあてるとか
0652root▲ ★
垢版 |
NGNG
ちなみに tiger2513 2514 の IP アドレスは、
既に BBx システムには登録済み。
0653p8215-ipad405marunouchi.tokyo.ocn.ne.jp
垢版 |
2005/06/01(水) 04:15:41ID:E+GgZ5Va0
; <<>> DiG 9.2.3 <<>> @ns1.maido3.com ex11.2ch.net anime.2ch.net
ry)

;; ANSWER SECTION:
ex11.2ch.net. 300 IN A 206.223.154.245
ry)

;; ANSWER SECTION:
anime.2ch.net. 300 IN A 206.223.154.240
ry)

↓お前は次に「done.」と言う
0661ntngno006038.ngno.nt.isdn.ppp.infoweb.ne.jp(61.210.175.38)
垢版 |
2005/06/01(水) 06:51:55ID:ZYlSTt8s0
新しい口座の一時的なページ

ようこそ、もうひとつ別のPIEの新しい口座へ
もうすぐ戻ります
新しい口座の所有者が、なにか興味深いものをここに置くでしょう
Monazilla/1.00 gikoNavi/beta50
0664root▲ ★
垢版 |
NGNG
live15 と tmp4 を、memories に収容しました。
以下のDNSデータの更新をよろしくお願いします。

(現在)
+live15.2ch.net:206.223.152.15
+tmp4.2ch.net:206.223.150.205

(変更後)
+live15.2ch.net:206.223.151.230
+tmp4.2ch.net:206.223.151.230
0665root▲ ★
垢版 |
NGNG
グラフが多くなってきたので、c関係の統計情報を分離してみた。
112Mbps以上がとれない問題にも、とりあえず仮対応したつもり。

MRTGによる各サーバ別統計情報(c.2ch.net系以外)
http://mumumu.mu/mrtg/

MRTGによる各サーバ別統計情報(c.2ch.net系)
http://mumumu.mu/mrtgc/
0668root▲ ★
垢版 |
NGNG
>>667
確認しました。

TTL = 86400 なので、1日かかって徐々に切り替わるかと。
0669root▲ ★
垢版 |
NGNG
新 tiger (tiger2513, 2514)から、、CPU IDが新しくなったような気がします。
tiger2512 までは f29 とか f25 だったのが、今度のは f41 と言って来るみたい。

CPU: Intel(R) Xeon(TM) CPU 2.80GHz (2800.12-MHz 686-class CPU)
Origin = "GenuineIntel" Id = 0xf41 Stepping = 1

これは、FSB=800MHzで、Noconaコアってことなのかしら。
0670 ◆Reffi/bQ.c
垢版 |
2005/06/01(水) 19:39:46ID:J1XhSNGC0
>669
プレスコっぽいですね


参考ソース
Intel、PrescottのステッピングをE-0に変更
ttp://pc.watch.impress.co.jp/docs/2004/0602/intel.htm
0673 ◆Reffi/bQ.c
垢版 |
2005/06/01(水) 19:43:48ID:J1XhSNGC0
あぅ、思いっきり勘違いしているし（滝汗


参考ソースはこっちです
Intel、Xeonのステッピングを「XD bit」搭載のE-0に変更
ttp://pc.watch.impress.co.jp/docs/2004/1008/intel.htm
0674root▲ ★
垢版 |
NGNG
でもなんか、PrescottのE-0(EM64Tあり)に相当する、
Xeonみたいですね。

つまり、>>669 がビンゴであると。

もしそうならBIOSやらなにやらがサポートしていれば、64ビットで動かせるってことですね。
(Cobraサーバと同じバイナリが動く)

もし次の投入があるなら、その時は何か考えるか。
0675root▲ ★
垢版 |
NGNG
0:00過ぎるまで問題が再発しなかったら、状況をここに書こうかと。
0678root▲ ★
垢版 |
NGNG
大丈夫そうなので。

○ banana274 に 2005年6月1日 20:40 ごろから数時間にわたり、アクセスできなかった件について

該当時間の httpd のログをチェックしたところ、あるIPアドレス(連続した2つ)から、
異常な大量アクセスが記録されていました。
これによりネットワークが麻痺状態となり、数時間にわたり、
qb5/academy3/science3 にアクセスしずらい状態になりました。

dmesgコマンドの出力からも、該当時間に相当回数のアクセスがあったことがうかがえます。

Limiting icmp unreach response from 3000 to 200 packets/sec

といったログが、山ほど出ていました。

現在の２ちゃんねるには「リロードバーボン」という仕組みがあり、
通常の形での過剰なアクセスについては、.htaccess で自動的に
deny するしくみがあるのですが、今回の大量アクセスでは
通常のホスト名でのアクセスではなかったため、このしくみでひっかけることができず、
最終的には1時間程度、サーバ全体にアクセスできなくなりました。

root権限を持っていれば、以前の隣国からのアタックの時と同じように
私が「ごにょごにょ」できるのですが、今回のサーバでは、それは不可能でした。

(続く)
0679root▲ ★
垢版 |
NGNG
で、Davidさんに日本時間の23:16に連絡がとれ、
現在の状況を伝えて、PIEの入り口のルータで、
そのIPアドレス(2つ)からのアクセスを、緊急にブロックしてもらいました。

その後アクセス不能になる事態は発生せず、現在に至ります。

なお現在も小規模ながら、同じような不審なアクセスが観測されています。
これらについては、現在解析中です。

なんだかねぇ。
0680 ◆Reffi/bQ.c ＠ｒｅｆｆｉ@報告人 ★
垢版 |
2005/06/02(木) 00:27:53ID:???0
>678-679
そのＩＰは日本のプロバイダでしょうか？
もしプロバイダ経由からでしたら先方に連絡を取って対応してもらいます。


※公表できない場合は漏れのアドレスまでメールでも構いません。
　（yy報告人スレのメールアドレス）
0683動け動けウゴウゴ２ちゃんねる
垢版 |
2005/06/02(木) 00:41:00ID:gr1PCfMN0
うわぁ……。★のみなさん乙ですー。
VIP専用鯖 ex11 どうもありがとうです！

僕らVIPPERがまたはしゃぎすぎて迷惑かけるかもしれませんが
どうぞよろしくｗｗｗ

記念パピコでしたー。
0684root▲ ★
垢版 |
NGNG
そんななか、comic5 の memories への収容が完了しました。
以下の DNS 登録変更をよろしくお願いします。

(現在)
+comic5.2ch.net:206.223.150.185

(変更後)
+comic5.2ch.net:206.223.151.230
0685 ◆IDaU21y6wI
垢版 |
NGNG
小規模なやつもおさまったみたいですね、、

またいつ来るか分かりませんが、
0687root▲ ★
垢版 |
NGNG
>>682 done.

>>685
おつです。
一応Davidさんには「また緊急対応が必要になったら連絡します」とは言ってあるです。
連絡するような事態にはなってほしくないわけですが。
0688root▲ ★
垢版 |
NGNG
>>677
FreeBSD がまじめに対応するのは、5.5R以降らしいです。
5.4Rで「OSから動的にCPUの動作クロックを変える機能」は、入ったみたいですが。

旧tiger(503〜512)ではBIOSの仕様的にできないみたいですが、
新tiger(2507〜2512)では、できるって出てくるです。

%sysctl -a | grep cpu.0.freq
dev.cpu.0.freq: 2805
dev.cpu.0.freq_levels: 2805/-1 2454/-1 2103/-1 1753/-1 1402/-1 1051/-1 701/-1 350/-1

で、>>665 は、とれるようになった模様。
http://mumumu.mu/mrtgc/mrtg-rrd.cgi/traffic/blackgoat4-privatetraf.html
0693root▲ ★
垢版 |
NGNG
sysctl() でとれるみたい。
こっちには、サマリだけをあとで。
0697▲ ◆cZfSunOs.U
垢版 |
2005/06/02(木) 08:53:57ID:EkRiMiev0
>>696 乙です．確かにプラットフォーム依存になっちゃいますね．
Solaris なら sysinfo()，Linux なら /proc/cpuinfo から取ってくるって感じですか......
0698▲ ◆cZfSunOs.U
垢版 |
2005/06/02(木) 12:28:55ID:EkRiMiev0
ホスト名が
　　　　banana*.maido3.com
　　　　tiger*.maido3.com
　　　　cobra*.maido3.com
のような規則で付けられているという前提なら，gethostname() で
ホスト名を取得して判定するのがプラットフォーム依存度が低そうですね．
CPU 種別が同じでも処理能力の異なる鯖が登場する可能性もなくはないとすれば，
どちらにしろ CPU 判定だけでは完璧ではないでしょうし．
0700root▲ ★
垢版 |
NGNG
>>698
なるほど、ホスト名でやるのはシンプルでいいかもですね。

>>699
どうなんでしょうね。
0705▲ ◆cZfSunOs.U
垢版 |
2005/06/03(金) 15:12:27ID:pK6XUAgi0
index.html 軽量化作戦スレの方に書こうかとも思ったんですが，
スレの流れとそぐわない部分もあるんでこっちに書いておきます．

CSS だけじゃなくて JavaScript 部分も分離して別ファイルにするのも一案じゃないか，
と思います．これは index.html だけじゃなくて read.cgi 出力の方も同様ですね．
ついでに，JavaScript コードに次のような改訂も加えるといいような，と．

・ getCookie() のスリム化．

・ NAME, MAIL の Cookie 設定処理をサーバ側からクライアント側に移管．
　 これは bbs.cgi の処理削減とともに，Mozilla や Firefox 等での
　 文字化け問題解消ということもあります．

で，以下その改定案．
----------------------------------------------------------------------
if (!window.encodeURIComponent)
    encodeURIComponent = escape;
if (!window.decodeURIComponent)
    decodeURIComponent = unescape;

if (!Date.prototype.toUTCString)
    Date.prototype.toUTCString = Date.prototype.toGMTString;

Date.prototype.toExpireString = function(maxAge) {
    this.setTime(this.getTime() + maxAge*1000);
    return this.toUTCString();
};

function getCookie(key) {
    var value = new RegExp("(^|[,;]\\s*)" + key + "=\"?([^\",;\\s]+)").exec(document.cookie);
    return value ? decodeURIComponent(value[2]) : "";
}

function setCookie(key, value, maxAge) {
    document.cookie = key + "=\"" + encodeURIComponent(value)
                      + "\"; version=1; path=/; max-age=" + maxAge
                      + "; expires=\"" + new Date().toExpireString(maxAge) + '"';
}

function be(i) {
    var w = window.open("http://be.2ch.net/test/p.php?i=" + i + "&u=d:" + document.URL);
    if (w) w.focus();
}

onload = function(e) {
    var N = getCookie("NAME"), M = getCookie("MAIL"), i;
    for (i = 0; i < document.forms.length; i++)
        if (document.forms[i].FROM && document.forms[i].mail) {
            document.forms[i].FROM.value = N;
            document.forms[i].mail.value = M;
            if (!document.forms[i].addEventListener)
                document.forms[i].addEventListener = function(t, l, c) { this["on"+t] = l; };
            document.forms[i].addEventListener("submit", function(e) {
                setCookie("NAME", this.FROM.value, 30*24*60*60);
                setCookie("MAIL", this.mail.value, 30*24*60*60);
            }, false);
        }
};
■ このスレッドは過去ログ倉庫に格納されています