X
トップページ⇒運用情報
1001コメント340KB
2ch特化型サーバ・ロケーション構築作戦 Part27
レス数が1000を超えています。これ以上書き込みはできません。
0001root▲▲ ★
垢版 |
2008/01/11(金) 23:26:59ID:???0?PLT(82008)
2ch特化型サーバ・ロケーション構築作戦のスレッドです。

・２ちゃんねるのサーバロケーション、PIEに関する関連作業・調整事項
・DNS登録・変更関連の各種作業や調整事項
・２ちゃんねるのサーバで採用しているOS、FreeBSDに関する情報・調整事項
・各種作戦・プロジェクトとの連携、プロジェクト間の連携

等を取り扱います。

前スレ:
2ch特化型サーバ・ロケーション構築作戦 Part26
http://qb5.2ch.net/test/read.cgi/operate/1183341095/
0930 株価【940】 △△ ◆cZfSunOs.U
垢版 |
2008/04/14(月) 00:53:54ID:uW55yU790
>>928 そのようですね．

ただ，今回は個別鯖の test/.htaccess で対応させたんですが，
今後別の件で全体配布用 .htaccess で mod_rewrite の設定をしたいことも
出てくるかも知れないので，academy6 / science6 の httpd.conf の設定を
見直してもらった方がいいような気がします．大昔の人大杉規制か何かの名残で

RewriteRule ^/test/ - [F]

に類する設定がそれらの鯖の httpd.conf に入っているのではないかと思うんですが，
今となってはその設定を活用することはない，むしろ mod_rewrite を使う上での
障害にしかならないので......


>>929 いろいろスクリプト・プログラムの対応が大変そうですね......
UTF-8 に全面移行ならそれはそれで割り切ればいいんですが，
Shift JIS と UTF-8 の混在環境に対応させるとなると，
日本語メッセージをスクリプト・ソース中で直に書いてある部分などは
CSI 化しないといろいろ問題がありそうな悪寒......
0931root▲▲ ★
垢版 |
2008/04/14(月) 13:22:47ID:???0?DIA(100256)
某所に向けたひとりごと:

○フロントの自動切り離しのコンセプト:

a) 受付嬢から何らかの形で各フロントサーバのサービスを逐次監視する

- port 80につながるか、とか、ping通るか、とか

b) サービスが落ちたことを検知したら matd.cf を書き換えて
該当サーバの MAC アドレスを削除し、matd に HUP シグナルを送る
daemontools 配下なら svc -h 一発

c) これで落ちたやつは切り離される

d) 1)のプロセスは監視を続け、フロントの復旧を確認したら、
b) の逆をやる。

e) これで復旧する
0932root▲▲ ★
垢版 |
2008/04/14(月) 13:26:03ID:???0?DIA(100256)
>>931 はたぶん、

1) フロントのサービスを監視する常駐プロセス
2) そのプロセスからイベントドリブンに起動される切り離し(または復旧)スクリプト

っていう感じになるんだろうなと。

2) はお手製のシェルスクリプトとかPerlスクリプトでいけるんでしょう、きっと。

1) をやってくれるような、いいプログラムはないものか。
きっとあると思うんだけど、あまり調べてないですね。
/usr/ports/sysutils/ の下あたりをあさってみると、何か埋まっているかも。

ということで私はちょっと早めの時間切れ、、、。
0933 株価【800】 △△ ◆cZfSunOs.U
垢版 |
2008/04/17(木) 06:35:00ID:ZOTbmmUH0
>>925 むしろ逆に，罠のある academy6, science6, 2chplus の各鯖の test/.htaccess で

RewriteEngine Off

という設定を入れれば全鯖配布用 .htaccess で mod_rewrite の設定が
可能になると気付いたので，そうしますた．
0934root▲▲ ★
垢版 |
2008/04/18(金) 22:51:00ID:???0?DIA(100256)
>>933
なるほど、そのほうがよさげですね。

で、7.0Rはとりあえず順調の模様。

◆サーバー(鯖)を増強したいという夢を現実に反映させるスレ◆
http://qb5.2ch.net/test/read.cgi/operate/1207379976/389-

・gccが上がったせいか、オプティマイズするとofflaw.cgiが動かなかった

ぐらいか。これはきっと64bit版でもいろいろあるかも。

あとはこのへんを改めて読む感じか。

http://qb5.2ch.net/test/read.cgi/operate/1207379976/443
> http://www.freebsd.org/releases/7.0R/relnotes.html
> http://people.freebsd.org/~kris/scaling/7.0%20Preview.pdf
0938root▲▲ ★
垢版 |
2008/04/18(金) 23:37:27ID:???0?DIA(100256)
>>934
> ・gccが上がったせいか、オプティマイズするとofflaw.cgiが動かなかった

ものはためしということで、-O とか -O2 をはずしてみるとか。 > 某所で64bit OSで苦労しているかた
0939FOX ★
垢版 |
2008/04/19(土) 23:21:55ID:???0
一連の　>>933 関連の作業の結果
これまで行ってきた「常連のねらーはせんぶらへ言ってちょ」が出来なくなってしまった。
ということはこれからは負荷は上がる一方でなすすべなしということっすなぁ。
みずから破綻への道を歩み始めたってことだす。
0944root▲▲ ★
垢版 |
2008/04/19(土) 23:56:55ID:???0?DIA(100256)
あ、でも、

>>943
> On some systems, using libthr instead of libpthread, via the libmap
> configuration file libmap.conf(5), may be an acceptable workaround.

だから、大丈夫なのか。
2ch のマルチスレッドなサーバは基本的に全部 libmap.conf 書いてあるんで。
0945FOX ★
垢版 |
2008/04/19(土) 23:57:26ID:???0
>>942
だすなぁ

>>943
そんな流れですなぁ。
7.0R 64bitでの実験を見たらGoって感じかな。
0946 株価【880】 △△ ◆cZfSunOs.U
垢版 |
2008/04/20(日) 00:13:46ID:Z3OQsUu20
>>939　少なくとも，read.cgi 停止時にはサーバサイドでの dat -> html 変換は
行われなくなるわけですが，「破綻への道」というほどのインパクトがあるのでしょうか？
0947FOX ★
垢版 |
2008/04/20(日) 00:18:27ID:???0
うん

２ちゃんねる利用者(正確にはPV)の八割方が専ブラを使っていて
それが今後専ブラに移らないということは・・・
その比率はどんどん下がっていき、ダウン必至かと、

何言っているかわからないかもだけど、そんな感じです。
0948FOX ★
垢版 |
2008/04/20(日) 00:20:32ID:???0
あっと

「read.cgi は２ちゃんねるの発展のためには動いていないといけない」という
縛りがあります。人が来なくなるというか来る術がなくなるというか、


これを言わなくきゃまったくわけわかんないっすね。
0949動け動けウゴウゴ２ちゃんねる
垢版 |
2008/04/20(日) 00:23:11ID:u6YdqyeC0
> ２ちゃんねる利用者(正確にはPV)の八割方が専ブラを使っていて
> それが今後専ブラに移らないということは・・・
??? 使っていなくて?
0950動け動けウゴウゴ２ちゃんねる
垢版 |
2008/04/20(日) 00:30:39ID:vuTCIpkS0
利用者100人として
IE＝係数1　専ブラ＝係数0.2　として
今は8割が専ブラなら　IE　1*20　専ブラ　0.2*80　で合計36の鯖稼動
今後反対になれば　　IE　1*80　専ブラ　0.2*20　で合計84の鯖稼動
つーことが言いたいわけだな>>947
0951FOX ★
垢版 |
2008/04/20(日) 00:31:43ID:???0
>>949 「使っていて」なんです。人数比率じゃなくて、PV比率でってことなんだな。

read.html は負荷は劇的に下げる良いものなんだけど、
グーグル等検索エンジンにはいっさい載らなくなるのだ
つまりこのまま行けば人は来なくなる→負荷対策がいらなくなる
というふうに私の目的からは全くはずれてしまうんだなぁ

今までやってきたことは、クローリングにも耐えられる状況を作る
そしてクローリングしてもらう→人口増→はじめに戻る

耐えられる状況を作る方法として
サーバ等の能力を高める
常連さんは read.html を含む専ブラへ行って貰う
だったのだった
0954 ◆NAO/2MXDEk
垢版 |
2008/04/20(日) 00:35:26ID:zl9dA5Wk0
となると、高負荷に耐えられる鯖の導入と、ユーザーが使う専ブラの特典を視野に入れていかないと、
ある意味で無理が来てしまうんじゃないかな、と。
0955 株価【880】 △△ ◆cZfSunOs.U
垢版 |
2008/04/20(日) 00:36:19ID:Z3OQsUu20
>>951 検索エンジン対策という意味であれば，人大杉時にはロボットが read.cgi に
アクセスしてきても「人大杉」ページにリダイレクトするというのは同じなような．
ちなみに，一連の mod_rewrite 設定は，あくまで人大杉時 (read.cgi 停止時) に
read.html に振るというものであって，read.cgi 稼働時はそのまま read.cgi が動きます．
0956FOX ★
垢版 |
2008/04/20(日) 00:37:10ID:???0
>>955
そのとおりですよん
0957 ◆NAO/2MXDEk
垢版 |
2008/04/20(日) 00:39:16ID:zl9dA5Wk0
あ、専ブラを大半が使っている状況なのか・・・
0958動け動けウゴウゴ２ちゃんねる
垢版 |
2008/04/20(日) 00:39:42ID:hln+8YTy0
検索エンジンにはdat内容をRewriteエンジンで返すようにすれば
1-100・l50など関係なくスレ内全部がクロールされるし
read.cgi起動しまくりにもならず、いいんじゃないの
0960FOX ★
垢版 |
2008/04/20(日) 00:43:38ID:???0
んだな
0962 株価【880】 △△ ◆cZfSunOs.U
垢版 |
2008/04/20(日) 00:58:15ID:Z3OQsUu20
要は，検索エンジンにはちゃんと引っかかるようにして，
なおかつ一般閲覧者による read.cgi 起動はできるだけ抑制できるようにしたい，
って話かな？
0964FOX ★
垢版 |
2008/04/20(日) 01:00:22ID:???0
>>962
かつ設備が破綻しないようにしたい
なんちゃって、

今だいたいサーバ100台でしたっけ、、
0965 ◆NAO/2MXDEk
垢版 |
2008/04/20(日) 01:00:31ID:zl9dA5Wk0
検索エンジンへの入り口を用意するという考え方はダメなのかしら。
0966FOX ★
垢版 |
2008/04/20(日) 01:01:38ID:???0
サーバ台数が増えれば機械のコストも増えるけど
それ以上にお守りが破綻すると思う。
既にという話ですが、
0968 ◆NAO/2MXDEk
垢版 |
2008/04/20(日) 01:12:52ID:zl9dA5Wk0
googlebotの一定確率でのキックって、既に実装されていたりしますか。
0970root▲▲ ★
垢版 |
2008/04/20(日) 01:55:08ID:???0?DIA(100256)
対抗ってのは変ですね。対応、対策?
とりあえず、従来と同じことは継続すると。
0971 ◆NAO/2MXDEk
垢版 |
2008/04/20(日) 01:55:46ID:zl9dA5Wk0
500よりは503返してしまった方がいい気がしました。
0972 株価【850】 △△ ◆cZfSunOs.U
垢版 |
2008/04/20(日) 01:57:47ID:Z3OQsUu20
う〜ん，read.html に振るのは一応管理人さんから言われてやったことなので，
どうしましょうかねぇ......
0973 ◆NAO/2MXDEk
垢版 |
2008/04/20(日) 02:00:55ID:zl9dA5Wk0
googlebotのみ一定で振るのは無理なんですかね。
0974root▲▲ ★
垢版 |
2008/04/20(日) 02:01:01ID:???0?DIA(100256)
>>972
いろんな人がいろんなことを考え、
そして、それぞれの思いを込めてアクションを起こす、
ということなのではないかなと。
0976root▲▲ ★
垢版 |
2008/04/20(日) 02:21:34ID:???0?DIA(100256)
live23 で「人大杉」発動なのは、意識的なんですかね。
0979 株価【850】 △△ ◆cZfSunOs.U
垢版 |
2008/04/20(日) 02:59:03ID:Z3OQsUu20
とりあえず私としては，「一連の作業に問題があったなら，その指示を出した人と話し合って下さい」
ということで対処したいと思います......
0980動け動けウゴウゴ２ちゃんねる
垢版 |
2008/04/20(日) 04:05:01ID:4SZd4HvF0
専ブラを使っている身としては、人大杉は専ブラを使う理由では全くないです。
一般のブラウザより便利ってだけ。それはread.jsでも変わらず。
実際、普及しだした頃に人大杉なんてなかったじゃん。

管理人は専ブラに特化するのを嫌っているようだけど、
少なくとも、移行を促したいなら一般ブラでの利便性を低下させるんでなくて
専ブラの存在の周知を図るべきでしょ。
0982FOX ★
垢版 |
2008/04/20(日) 04:07:43ID:???0
よろしくお願いします
0983動け動けウゴウゴ２ちゃんねる
垢版 |
2008/04/20(日) 04:09:59ID:4SZd4HvF0
＞947
専ブラが便利すぎてアクセスが増える（こともある）ってのが管理人の持論だったかな。
負荷が減る分とのプラマイがどうなるかは知らないけど。
0987 株価【850】 △△ ◆cZfSunOs.U
垢版 |
2008/04/20(日) 07:40:39ID:Z3OQsUu20
まぁ要は，管理人さんの意図（人大杉をなくす）と FOX さんの意図（検索エンジンに
インデックスされるようにしつつサーバ負荷を軽減）を両立させるような方策を考えれば
丸く収まる，ってことなんでしょうかね．専ブラも read.html も，あくまで手段であって
それを使わせること自体が目的ということでもないんでしょうし．
0988動け動けウゴウゴ２ちゃんねる
垢版 |
2008/04/20(日) 07:59:45ID:LSK8zsXw0
ド素人の戯言ですが
ブラックゴートだかに、クローラを誘導するような仕組みではだめなんでしょうか。
0991動け動けウゴウゴ２ちゃんねる
垢版 |
2008/04/20(日) 09:35:25ID:CuEhiLzy0
>>狐さん

掲示板に戻る 全部 前100 次100 最新50

の下あたりにでも、
「専用ブラウザを使えば２ちゃんねるがさらに便利に！！」
ってリンクを入れて専ブラの周知を図ればいいんじゃね？


でも人大杉がなければ専ブラを使わせるインセンティブが低いのが問題だな…
例えば
http://janestyle.s11.xrea.com/oosugi.html
の説明みてもまず「人大杉」がありきだもんなあ。

壷の場合はさらにインセンティブが低いよなあ...
0994動け動けウゴウゴ２ちゃんねる
垢版 |
2008/04/20(日) 17:28:45ID:OWZ6WVMR0
携帯電話なんかは、GWのIPアドレスが公開されていて、
そこからアクセスは特別扱いしているじゃない？

検索エンジンも同様にIPアドレスを開示させて、そこから
のアクセスだけはread.cgiで処理するようにしておけば
良いんじゃないかな？

google、Yahoo、MSNぐらいを囲めばシェア的に問題無さそう。
2chの影響力を考えると無視は出来ないはず…もし協力しない
所は"切る"という方針で良いでしょう。

それ以外の所もIPアドレスを開示した所は対応で。
0995root▲▲ ★
垢版 |
2008/04/20(日) 18:59:47ID:???0?DIA(100256)
>>994
良いアイディアかもですね。< 検索エンジンだけ特別扱い

で、次スレ立てます。
0997動け動けウゴウゴ２ちゃんねる
垢版 |
2008/04/20(日) 22:02:33ID:vuTCIpkS0
>>994
アイデア的にはいいと思うのよ。
でもgooglebotのおかげで従来で言うところの人大杉に成る程のアクセスがあるのならば
通常の訪問者が全員read.cgi以外で見てて検索エンジン系だけread.cgiていう状態にして
旧来の鯖が対処しきれるのか？という点を考えないと。
>>988が言ってるような他の方法も含めてね。
他社（検索エンジン系）を巻き込む（お願いする）のであればあんまし実験てわけにも。
1000動け動けウゴウゴ２ちゃんねる
垢版 |
2008/04/20(日) 23:12:11ID:rs+/Pqlu0
千
1001１００１
垢版 |
Over 1000Thread
このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
レス数が1000を超えています。これ以上書き込みはできません。
ニューススポーツなんでも実況