2ch特化型サーバ・ロケーション構築作戦 Part27
レス数が950を超えています。1000を超えると書き込みができなくなります。
2ch特化型サーバ・ロケーション構築作戦のスレッドです。
・2ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更関連の各種作業や調整事項
・2ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携
等を取り扱います。
前スレ:
2ch特化型サーバ・ロケーション構築作戦 Part26
http://qb5.2ch.net/test/read.cgi/operate/1183341095/ ここまでできてから、matd の設定をします。
matd.cf での各フロントサーバの指定ではMACアドレスを書くのが安全で確実です。
雪だるまではこんなかんじにしてあります。
フロントのうち3台がちょっと強いので、分割比を 4 : 4 : 4 : 4 : 3 : 3 : 3 に設定しています。
・/usr/local/etc/matd.cf
# TCPプロトコル
proto=tcp
# listen の address はホスト名または IP アドレス,
# port はサービス名またはポート番号で指定.
listen=206.223.150.96:80
# output_if は targets と同一セグメントにあるネットワーク I/F 名.
output_if=fxp0
# targets の address はホスト名,IP アドレスまたは MAC アドレスで指定.
# weight を省略した場合は 1 となる.
targets=00:30:48:53:ec:20=4,00:30:48:83:ab:30=4,00:30:48:83:a6:2a=4,00:30:48:2b:1b:2e=3,00:30:48:2b:29:a8=3,00:30:48:2b:29:54=3
# HUP シグナルで再読込. 雪だるまでは、matd は daemontools 配下で動かしています。
(そのほうが管理が楽なので)
/var/service/matd/run を適当にこんな感じで書きます。
下記は実際に雪だるまで使っているやつです。
#!/bin/sh
exec 2>&1
#exec env - TZ=JST-9 PATH="/usr/sbin:/usr/bin:/bin:/usr/local/bin" \
# /usr/bin/nice -n -20 /usr/local/sbin/matd -F \
# -f /usr/local/etc/matd.cf \
# -s /var/log/matd.stats
exec env - TZ=JST-9 PATH="/usr/sbin:/usr/bin:/bin:/usr/local/bin" \
/usr/sbin/rtprio 31 /usr/local/sbin/matd -F \
-f /usr/local/etc/matd.cf \
-s /var/log/matd.stats >>889 を見るとわかりますが、rtprio コマンドを使って、
matd の優先度を realtime process 扱いに上げてあります。
これで、renice -20 するよりもさらに上の優先度になります。
雪だるまでは受付嬢は受付嬢しかさせていないので、
そこに最大限資源を集中させています。 ここまでで >>852 の、
matdの基本とMATのしくみ
matdの設定
は、だいたい完了かなと。
ロードバランシングにおけるDNSラウンドロビンとNATとMATの比較
2ちゃんねるにおける未解決の課題
については、また改めて。 というわけで「いつか書かなきゃ」とずっと思っていた
matd の設定内容を「共有財産」にできたので、
毒男さんには感謝しなきゃいけないのかなと。 etc7は今よりつおくなるんですか?
作業は今月いっぱいにおわるんですか?
おそらく全板トナメで活動している皆さんが一番気になるところなので
質問してみる。 会社の隣の人のPCにmatd仕込んで自PCのloにそいつのIP振っとけば
飛んできたIPが全部自分の方にも流れてくるんじゃない?
こわくねぇ? >>896
>隣の人のPCにmatd仕込んで
これが可能な時点でどんなことでも可能な気がしますよ。
改造したVNC仕込むなんてとても素敵 ttp://fleur.hio.jp/perldoc/perl/5.10.0/pod/perl5100delta.mix.html
規制装置関連ではperl5.10に移行しても大丈夫そうです♪ どくおさんへ:
lo0 にはアドレスを*追加*するのがいいです。
127.0.0.1 がなくなると、一般的なプログラムが
変な動きをする可能性があるです。
ということで、
ifconfig_lo0_alias0="inet 206.223.150.96 netmask 255.255.255.255"
のように、/etc/rc.conf に書くといいかなと。 http://www.j.dendai.ac.jp/~fujimoto/FreeBSD/amd64.html
とか、他にもいろいろ。
# 昔よくSunとかでやったですね。ちとなつかしいかも。 ほんで一言蛇足しておくと、
こういうのは「動かす」こともさることながら、
「どういうしくみで動くのか」を理解することが、重要なのではないかなと。 >>901
solarisも今でもネットワークブートできたんじゃないですっけ? チラ裏モード
というか、生粋の UNIX なマシンをそこそこ触ったことがある人なら、ROM モニタから
tftp によるネットワークブートは知っているでしょう。
今みたいに Windows/Mac/PC UNIX しか知らない人だと、パッとは思いつかないかも。
EFI(だっけ?)が普及して MS-DOS な BIOS の呪縛から開放されると、また違ってくる
のかも… bbm2.2ch.net banana3180 は、T-Banana32 ? T-Banana64 ?
リッスン80 になってない?
してみて欲しい >>905
32bit、2Gmem、SATA300、RAID 0 < banana3180
Apacheの設定は私の権限では見られないので不明。 >905
そしてListen 80適用したー(^_^;) http://qb5.2ch.net/test/read.cgi/operate/1207973589/93
ということで,全鯖配布用 .htaccess に以下の設定を追加.
RewriteEngine On
RewriteCond %{DOCUMENT_ROOT}/test/read.cgi !-f
RewriteRule /?read\.cgi/? /test/read.html >>909
IE7もFirefoxも文字化けしてますよ .htaccess の設定でミスがあったので,次の配布の 0:40 ぐらいまでちょっとお待ち下さい...... tmp 系は除外ですかね? こうしますた.
RewriteEngine On
RewriteCond %{DOCUMENT_ROOT}/test/read.cgi !-f
RewriteCond %{HTTP_HOST} !^tmp\d*\.2ch\.net$
RewriteRule /?read\.cgi/? /test/read.html tmp系もやるために管理人に許可取ったんでなかったんかい ああ、qb6は元々、動いてないよね>read.cgi >>922 いろいろ「大人の事情」があるらしいのです...... mod_rewrite の罠がまだ science6 と academy6 には残っていたらしく,
全鯖配布用 .htaccess に >>909,916 のような設定を入れるとそれらの鯖で問題が生じるので,
人大杉の鯖で個別に >>909 の設定を test/.htaccess に入れることに...... んと、昨日はほとんどアクセスしなかったんですが、
従来: read.cgi がない時 → 人大杉を表示
が、管理人の指令により、
今後: read.cgi がない時 → read.html に自動書き換え
ただし、qb6 と tmp7 を除く
になった、ということですか。 >>928 そのようですね.
ただ,今回は個別鯖の test/.htaccess で対応させたんですが,
今後別の件で全体配布用 .htaccess で mod_rewrite の設定をしたいことも
出てくるかも知れないので,academy6 / science6 の httpd.conf の設定を
見直してもらった方がいいような気がします.大昔の人大杉規制か何かの名残で
RewriteRule ^/test/ - [F]
に類する設定がそれらの鯖の httpd.conf に入っているのではないかと思うんですが,
今となってはその設定を活用することはない,むしろ mod_rewrite を使う上での
障害にしかならないので......
>>929 いろいろスクリプト・プログラムの対応が大変そうですね......
UTF-8 に全面移行ならそれはそれで割り切ればいいんですが,
Shift JIS と UTF-8 の混在環境に対応させるとなると,
日本語メッセージをスクリプト・ソース中で直に書いてある部分などは
CSI 化しないといろいろ問題がありそうな悪寒...... 某所に向けたひとりごと:
○フロントの自動切り離しのコンセプト:
a) 受付嬢から何らかの形で各フロントサーバのサービスを逐次監視する
- port 80につながるか、とか、ping通るか、とか
b) サービスが落ちたことを検知したら matd.cf を書き換えて
該当サーバの MAC アドレスを削除し、matd に HUP シグナルを送る
daemontools 配下なら svc -h 一発
c) これで落ちたやつは切り離される
d) 1)のプロセスは監視を続け、フロントの復旧を確認したら、
b) の逆をやる。
e) これで復旧する >>931 はたぶん、
1) フロントのサービスを監視する常駐プロセス
2) そのプロセスからイベントドリブンに起動される切り離し(または復旧)スクリプト
っていう感じになるんだろうなと。
2) はお手製のシェルスクリプトとかPerlスクリプトでいけるんでしょう、きっと。
1) をやってくれるような、いいプログラムはないものか。
きっとあると思うんだけど、あまり調べてないですね。
/usr/ports/sysutils/ の下あたりをあさってみると、何か埋まっているかも。
ということで私はちょっと早めの時間切れ、、、。 >>925 むしろ逆に,罠のある academy6, science6, 2chplus の各鯖の test/.htaccess で
RewriteEngine Off
という設定を入れれば全鯖配布用 .htaccess で mod_rewrite の設定が
可能になると気付いたので,そうしますた. >>933
なるほど、そのほうがよさげですね。
で、7.0Rはとりあえず順調の模様。
◆サーバー(鯖)を増強したいという夢を現実に反映させるスレ◆
http://qb5.2ch.net/test/read.cgi/operate/1207379976/389-
・gccが上がったせいか、オプティマイズするとofflaw.cgiが動かなかった
ぐらいか。これはきっと64bit版でもいろいろあるかも。
あとはこのへんを改めて読む感じか。
http://qb5.2ch.net/test/read.cgi/operate/1207379976/443
> http://www.freebsd.org/releases/7.0R/relnotes.html
> http://people.freebsd.org/~kris/scaling/7.0%20Preview.pdf > http://people.freebsd.org/~kris/scaling/7.0%20Preview.pdf
を慌てて読んでみましたが、なかなかよさげで。 < 7.0R >>934
> ・gccが上がったせいか、オプティマイズするとofflaw.cgiが動かなかった
ものはためしということで、-O とか -O2 をはずしてみるとか。 > 某所で64bit OSで苦労しているかた 一連の >>933 関連の作業の結果
これまで行ってきた「常連のねらーはせんぶらへ言ってちょ」が出来なくなってしまった。
ということはこれからは負荷は上がる一方でなすすべなしということっすなぁ。
みずから破綻への道を歩み始めたってことだす。 >>939
本当にLAが高くてやばい時は、差分取得以外を人大杉に飛ばせばいいような。 って専ブラも弾いちゃってダメか。
DOM Storage使ってブラウザでもログを保存するようにするとか。
http://developer.mozilla.org/ja/docs/DOM:Storage >>939
今度はその状況で「なすすべ」を考えるのがFOXの仕事だべ FreeBSD-EN-08:01.libpthread
http://security.freebsd.org/advisories/FreeBSD-EN-08:01.libpthread.asc
6.3Rのマルチスレッドは虫入りだったですか。
# 雪だるまは思い切って全部7系にするかな。 あ、でも、
>>943
> On some systems, using libthr instead of libpthread, via the libmap
> configuration file libmap.conf(5), may be an acceptable workaround.
だから、大丈夫なのか。
2ch のマルチスレッドなサーバは基本的に全部 libmap.conf 書いてあるんで。 >>942
だすなぁ
>>943
そんな流れですなぁ。
7.0R 64bitでの実験を見たらGoって感じかな。 >>939 少なくとも,read.cgi 停止時にはサーバサイドでの dat -> html 変換は
行われなくなるわけですが,「破綻への道」というほどのインパクトがあるのでしょうか? うん
2ちゃんねる利用者(正確にはPV)の八割方が専ブラを使っていて
それが今後専ブラに移らないということは・・・
その比率はどんどん下がっていき、ダウン必至かと、
何言っているかわからないかもだけど、そんな感じです。 あっと
「read.cgi は2ちゃんねるの発展のためには動いていないといけない」という
縛りがあります。人が来なくなるというか来る術がなくなるというか、
これを言わなくきゃまったくわけわかんないっすね。 > 2ちゃんねる利用者(正確にはPV)の八割方が専ブラを使っていて
> それが今後専ブラに移らないということは・・・
??? 使っていなくて? 利用者100人として
IE=係数1 専ブラ=係数0.2 として
今は8割が専ブラなら IE 1*20 専ブラ 0.2*80 で合計36の鯖稼動
今後反対になれば IE 1*80 専ブラ 0.2*20 で合計84の鯖稼動
つーことが言いたいわけだな>>947 >>949 「使っていて」なんです。人数比率じゃなくて、PV比率でってことなんだな。
read.html は負荷は劇的に下げる良いものなんだけど、
グーグル等検索エンジンにはいっさい載らなくなるのだ
つまりこのまま行けば人は来なくなる→負荷対策がいらなくなる
というふうに私の目的からは全くはずれてしまうんだなぁ
今までやってきたことは、クローリングにも耐えられる状況を作る
そしてクローリングしてもらう→人口増→はじめに戻る
耐えられる状況を作る方法として
サーバ等の能力を高める
常連さんは read.html を含む専ブラへ行って貰う
だったのだった
>>951
えーとつまり、手段が目的化してて、本当の目的が達成されてしまうとやることがなくなると。 となると、高負荷に耐えられる鯖の導入と、ユーザーが使う専ブラの特典を視野に入れていかないと、
ある意味で無理が来てしまうんじゃないかな、と。 >>951 検索エンジン対策という意味であれば,人大杉時にはロボットが read.cgi に
アクセスしてきても「人大杉」ページにリダイレクトするというのは同じなような.
ちなみに,一連の mod_rewrite 設定は,あくまで人大杉時 (read.cgi 停止時) に
read.html に振るというものであって,read.cgi 稼働時はそのまま read.cgi が動きます. 検索エンジンにはdat内容をRewriteエンジンで返すようにすれば
1-100・l50など関係なくスレ内全部がクロールされるし
read.cgi起動しまくりにもならず、いいんじゃないの つまり人大杉になることがない状態では専ブラ導入のきっかけが無いわけだ 要は,検索エンジンにはちゃんと引っかかるようにして,
なおかつ一般閲覧者による read.cgi 起動はできるだけ抑制できるようにしたい,
って話かな? >>962
かつ設備が破綻しないようにしたい
なんちゃって、
今だいたいサーバ100台でしたっけ、、 検索エンジンへの入り口を用意するという考え方はダメなのかしら。 サーバ台数が増えれば機械のコストも増えるけど
それ以上にお守りが破綻すると思う。
既にという話ですが、 サーバリフレッシュだけを見てもローテーションに要する
時間が1年を超えたらボーンか。 googlebotの一定確率でのキックって、既に実装されていたりしますか。 秘密の花園 500番地
http://qb6.2ch.net/_500/
早速、対抗手段ですか。 対抗ってのは変ですね。対応、対策?
とりあえず、従来と同じことは継続すると。 500よりは503返してしまった方がいい気がしました。 う〜ん,read.html に振るのは一応管理人さんから言われてやったことなので,
どうしましょうかねぇ...... googlebotのみ一定で振るのは無理なんですかね。 >>972
いろんな人がいろんなことを考え、
そして、それぞれの思いを込めてアクションを起こす、
ということなのではないかなと。 某所のqmailが64bitでうまく動かない、は、
たぶんこれな予感。というか既に発見されている模様ですが一応、、、。
ports/118117: mail/qmail broken on amd64 -- fixed
http://www.freebsd.org/cgi/query-pr.cgi?pr=ports/118117 live23 で「人大杉」発動なのは、意識的なんですかね。 とりあえず私としては,「一連の作業に問題があったなら,その指示を出した人と話し合って下さい」
ということで対処したいと思います...... 専ブラを使っている身としては、人大杉は専ブラを使う理由では全くないです。
一般のブラウザより便利ってだけ。それはread.jsでも変わらず。
実際、普及しだした頃に人大杉なんてなかったじゃん。
管理人は専ブラに特化するのを嫌っているようだけど、
少なくとも、移行を促したいなら一般ブラでの利便性を低下させるんでなくて
専ブラの存在の周知を図るべきでしょ。 >947
専ブラが便利すぎてアクセスが増える(こともある)ってのが管理人の持論だったかな。
負荷が減る分とのプラマイがどうなるかは知らないけど。 「べき」は前提条件における、もう一方の方策との対比にかかっている。 read.htmlに「表示が遅い人は専ブラ使え!」ってPRしとけばいいとおもうよ >>975
ほかのdjbツールは大丈夫なのかしら?bb*絡み まぁ要は,管理人さんの意図(人大杉をなくす)と FOX さんの意図(検索エンジンに
インデックスされるようにしつつサーバ負荷を軽減)を両立させるような方策を考えれば
丸く収まる,ってことなんでしょうかね.専ブラも read.html も,あくまで手段であって
それを使わせること自体が目的ということでもないんでしょうし. ド素人の戯言ですが
ブラックゴートだかに、クローラを誘導するような仕組みではだめなんでしょうか。 レス数が950を超えています。1000を超えると書き込みができなくなります。