X



トップページ運用情報
1001コメント329KB

【.htaccess】読みこみできない【規制作戦】

レス数が900を超えています。1000を超えると表示できなくなるよ。
0001動け動けウゴウゴ2ちゃんねる
垢版 |
04/04/26 17:35ID:VlICTc6W
http://qb3.2ch.net/test/read.cgi/operate/1082125059/864-865n
864 :動け動けウゴウゴ2ちゃんねる :04/04/26 16:31 ID:XBHI6262
全datさらうのを勧めるのもどうかと
 
865 :留守番 ★ :04/04/26 16:42 ID:???
>>864
最近増えてきているんですよねぇ
.htaccess で deny の規制が復活の予感。
 
http://qb3.2ch.net/test/read.cgi/operate/1082125059/867-868n
867 :root ★ :04/04/26 16:47 ID:???
datかっさらいもさることながら、read.cgi経由も目につくような気が。
 
868 :留守番 ★ :04/04/26 16:49 ID:???
>>867
ですねぇ
 
思い立ったが吉日ってことで
スレ立ててやりましょ
0830 ◆BFzK/mtqM2
垢版 |
04/07/29 16:30ID:M2syPMox
219.113.242.218はi.i2ch.netはクラシックミラーです。
全て携帯関係ということは誰かが携帯でアタックかけたかな?
0831▲ 某ソレ511
垢版 |
04/07/29 16:43ID:0IsIMWBi
domo2.netも携帯用の外部メニューがありますからね、、
0832大阪3 ◆w6NCk23GEw
垢版 |
04/07/29 16:58ID:PaFC9zmj
banana406.maido3.com(blackgoat)
設定が間違ってる or blackgoatプログラムのバグ(仕様)
0833FOX ★
垢版 |
04/07/29 17:01ID:???
この時間も同じような結果に、

comic6.2ch.net サーバ
.dat 呼び出し回数 = 68522

deny from 206.223.150.190 #(8591) 12.54%
deny from 202.229.14.2 #(619) 0.9%
deny from 218.45.88.9 #(589) 0.86%
0834reffi@報告人 ★
垢版 |
04/07/29 17:06ID:???
>833
もし黒山羊さんの設定ミス等でデータぶっこ抜き状態になってるのなら他の鯖
でも同様のぶっこ抜きになっててもおかしくないんですけどどうなってますか?
0835▲ 某ソレ511
垢版 |
04/07/29 17:07ID:0IsIMWBi
202.229.14.2 → ps28.suite2.arena.ne.jp
WebARENAにあるサーバっぽいけど、、何か解析してる人がいるのかな。
ちなみに>>198にも同じIPがあった。

218.45.88.9 → 218.45.88.9.eo.eaccess.ne.jp
こっちはよくわからん
0836FOX ★
垢版 |
04/07/29 17:07ID:???
どうなんでしょ
私の担当でログ取っているのは現在 comic6 だけだからなぁ
0837FOX ★
垢版 |
04/07/29 17:09ID:???
ちなみに
deny from 202.229.14.2 #(619) 0.9%
の数値は 619回/1h、一分間に10回以上引っこ抜いているんだよなぁ
0838root ★
垢版 |
04/07/29 17:11ID:???
mnewsplus(携帯アクセスは従来から多い)とか、ログ見てみるといいのかな。

で、blackgoatのログをこれから見てみます。
0839root ★
垢版 |
04/07/29 17:29ID:???
0:00 PDT (16:00 JST) - 01:24 PDT (17:24 PDT) あたりの、フロントエンドからのリクエスト数。

5374 comic5.2ch.net
14735 comic6.2ch.net

参考: 該当時間帯に10,000回以上アクセスがあったサーバ:
14735 comic6.2ch.net
17545 ex5.2ch.net
10252 ex7.2ch.net
16981 ex8.2ch.net
10836 game7.2ch.net
29612 game8.2ch.net
18404 hobby5.2ch.net
20437 hobby6.2ch.net
13267 human5.2ch.net
10395 idol.bbspink.com
22100 life5.2ch.net
18751 love3.2ch.net
14893 money3.2ch.net
31379 music4.2ch.net
14356 news13.2ch.net
18586 news18.2ch.net
21398 pie.bbspink.com
10213 school4.2ch.net
10161 sports7.2ch.net
25307 tv6.2ch.net
0840root ★
垢版 |
04/07/29 17:32ID:???
comic6は約1時間24分ぐらいの間に、c-xxxxから14735回のリクエストを受けた。
で、16時台は8591回漏れたということ?(>>833)

そんなもんなのかな。
news18のログとも照合してみよう。
0841root ★
垢版 |
04/07/29 17:37ID:???
%grep comic6.2ch.net access.log | grep HIT | wc -l
13049
%grep comic6.2ch.net access.log | grep MISS | wc -l
3507

なるほど、datのキャッシュヒット率は下がっていませんね。
というかMRTGでとってるのと大同小異。

ということは、datの更新チェックのためにcomic6のhttpdにアクセスはしているけど、
datは更新されてなかったので、実際の転送は行われていない、ということではないかと。
つまり、負荷増は狙い通り最低限に抑えられているはず。

つまり、アクセス回数は多いけど、実際の転送はMISSの回数しか起こってないはずと。
ということで、正常動作な気がします。>blackgoatからのアクセス数が多い
0842FOX ★
垢版 |
04/07/29 17:41ID:???
確認ですが、
同じスレッドはディレイ時間内(今は60sec?)なら
更新チェックにも行かないようになっている
というのが仕様ですよね?
0843root ★
垢版 |
04/07/29 17:42ID:???
blackgoat% grep news18.2ch.net access.log | grep TCP_REFRESH | wc -l
14451

news18% grep '206.223.150.190' httpd-access.log | wc -l
14965

やはりそうですね。
0844root ★
垢版 |
04/07/29 17:45ID:???
で、httpdのログみるとほとんどのステータスが304になってるので、実際にはデータ転送起こってないですね。
(ほとんど負荷になっていない、というか狙い通りに負荷軽減できている)

206.223.150.190 - - [29/Jul/2004:00:01:02 -0700] "GET /mnewsplus/dat/1091069714.dat HTTP/1.0" 200 15854 "-" "Monazilla/1.00 (classic/0.4.040706)"
206.223.150.190 - - [29/Jul/2004:00:01:04 -0700] "GET /mnewsplus/dat/1090959539.dat HTTP/1.0" 304 - "-" "Monazilla/1.00 (classic/0.4.040706)"
206.223.150.190 - - [29/Jul/2004:00:01:04 -0700] "GET /mnewsplus/dat/1090476175.dat HTTP/1.0" 304 - "-" "Monazilla/1.00 (classic/0.4.040706)"
206.223.150.190 - - [29/Jul/2004:00:01:04 -0700] "GET /mnewsplus/dat/1090961760.dat HTTP/1.0" 304 - "-" "Monazilla/1.00 (classic/0.4.040706)"
206.223.150.190 - - [29/Jul/2004:00:01:05 -0700] "GET /mnewsplus/dat/1090531971.dat HTTP/1.0" 304 - "-" "Monazilla/1.00 (classic/0.4.040706)"
206.223.150.190 - - [29/Jul/2004:00:01:07 -0700] "GET /mnewsplus/dat/1091061442.dat HTTP/1.0" 304 - "-" "Monazilla/1.00 (classic/0.4.040706)"
206.223.150.190 - - [29/Jul/2004:00:01:07 -0700] "GET /mnewsplus/dat/1091066797.dat HTTP/1.0" 304 - "-" "Monazilla/1.00 (classic/0.4.040706)"
206.223.150.190 - - [29/Jul/2004:00:01:07 -0700] "GET /mnewsplus/dat/1091082314.dat HTTP/1.0" 304 - "-" "Monazilla/1.00 (classic/0.4.040706)"
206.223.150.190 - - [29/Jul/2004:00:01:07 -0700] "GET /mnewsplus/dat/1090959539.dat HTTP/1.0" 304 - "-" "Monazilla/1.00 (classic/0.4.040706)"

>>842
そのはずです。
でも、このへんは私よりc系の中の人のほうが把握しているはず。
0845 ◆BFzK/mtqM2
垢版 |
04/07/29 17:47ID:M2syPMox
他のクラシックミラーとdomo2からのアクセスはどんなかんじですか?
0847FOX ★
垢版 |
04/07/29 17:49ID:???
>>844

BlackGoat がディレイの処理しているんですよね?
c系はディレイなしでがんがんBlckGoatを呼ぶと、
0848root ★
垢版 |
04/07/29 17:50ID:???
>>847
あ、なるほど。そうですね。

120sec delayが効いているはず。
0849 ◆BFzK/mtqM2
垢版 |
04/07/29 17:51ID:M2syPMox
>>829にあるアドレスです。
219.113.242.218がミラー
206.223.151.190がdomo2
0850root ★
垢版 |
04/07/29 17:52ID:???
これを、blackgoatに入れてあります。>>847

http://qb5.2ch.net/test/read.cgi/operate/1088828988/121
121 :動け動けウゴウゴ2ちゃんねる :04/07/26 19:07 ID:D7X1TjHC
refresh_pattern . 2 20% 4320
この設定だと最低2分最高3日は更新されない
単純な120s delayなら
refresh_pattern . 2 0% 2
かな?
今の設定どうなっているんだろう?
0851FOX ★
垢版 |
04/07/29 17:54ID:???
現在 120sec ですか、
ということは一スレッドあたり、一時間に30回が上限ですね、
news18 は360スレッド(+この一時間にたったスレッド)だから、、、

全スレッドが呼びまくられても 10,000回/h だと思うのですが
実際には 14,000回も呼ばれているという計測結果といことですかねぇ
0852root ★
垢版 |
04/07/29 17:59ID:???
16:00-17:24 なので、1時間24分ぐらいだから、、、。
でも、それでも理論値にとても近いわけか。>>851
0853root ★
垢版 |
04/07/29 18:00ID:???
あ、news18は後で手でやったので、1時間40分ぐらいです。
# tcshのhistoryコマンドえらい。
0854FOX ★
垢版 |
04/07/29 18:01ID:???
そうなんですよね、
全てのスレッドが全ての時間においてコールされたときの
最大値に実測値が近いんですよね、

そんなに??? って感じなんですが、、、
0855root ★
垢版 |
04/07/29 18:01ID:???
でも、そのロジックはちょっと面白いですね。
ひょっとして携帯に人気のサーバだと、スレ数 + subject.txt の理論値が出るってことになる?
0856root ★
垢版 |
04/07/29 18:02ID:???
可能性としては、

・そんなもの
・120sec delayが実はうまく動いてない

ってことになるのかな。
0857FOX ★
垢版 |
04/07/29 18:05ID:???
その辺が知りたいところですねぇ、、、
news18 側でのログを解析すれば出てくるですかねぇ
同じキー番号でのリクエストは最大でも 120secに一回のはずですからねぇ

「そんなもの」 であるなら、その覚悟が必要になってくるなぁ
0858root ★
垢版 |
04/07/29 18:07ID:???
>>857
> news18 側でのログを解析すれば出てくるですかねぇ
> 同じキー番号でのリクエストは最大でも 120secに一回のはずですからねぇ

人気のあるスレッドを見ればいいのかな。
ちょっとあとで見てみます。
0860root ★
垢版 |
04/07/29 18:14ID:???
16:00-18:11 ぐらいまでのblackgoatからのアクセス数上位:

1703 /mnewsplus/dat/1091068375.dat
1323 /mnewsplus/dat/1091082446.dat
1156 /mnewsplus/dat/1091085972.dat
1121 /mnewsplus/dat/1091066797.dat
1085 /mnewsplus/dat/1091068391.dat
792 /mnewsplus/dat/1091051473.dat
714 /mnewsplus/dat/1090958581.dat
646 /mnewsplus/dat/1091061442.dat
493 /mnewsplus/dat/1091082314.dat
487 /mnewsplus/dat/1091070506.dat
414 /mnewsplus/dat/1090878940.dat
405 /trafficinfo/dat/1090999641.dat
361 /mnewsplus/dat/1091071768.dat
332 /mnewsplus/dat/1091003756.dat
306 /mnewsplus/dat/1090816501.dat

news18のdatの、cからの16:00-18:12ぐらいまでのアクセス数合計は19,000回ぐらい。
0861FOX ★
垢版 |
04/07/29 18:16ID:???
132 分間だから 66回が最大値ですよね?
0862root ★
垢版 |
04/07/29 18:17ID:???
2時間ちょっとで1703回アクセスされたスレッドがあるのか。
squidの120sec delay (>>850) って、どういうふうに動くのが正しいんだろう。
0863root ★
垢版 |
04/07/29 18:19ID:???
>>861
というわけで、そういうふうには動いていない模様。
>>850 の設定値の意味を、よく調べてみる必要ありな予感。
0864FOX ★
垢版 |
04/07/29 18:21ID:???
ふむふむ

当面のターゲットはここということになるかな?

目論みを実現して、その上で各サーバの負荷等を再評価。
目論みが実現できないならば、実現できる方法の模索。
0866root ★
垢版 |
04/07/29 18:23ID:???
# options: override-lastmod
#
# override-lastmod enforces min age even on objects
# that was modified recently.

これつけないといけないのかな。
0867root ★
垢版 |
04/07/29 18:27ID:???
>>866 を blackgoat に入れてみた。観察しよう。
0869FOX ★
垢版 |
04/07/29 19:13ID:???
>>867
うまく行っている予感かな?

直近10分間

comic6.2ch.net サーバ
.dat 呼び出し回数 = 14321

deny from 206.223.150.190 #(678) 4.73%
deny from 218.45.247.226 #(161) 1.12%
deny from 218.45.162.208 #(143) 1%

回数では 1/3 に減ったと思うが、
実際に 120sec delay になっているかは検証していないです。
0870 ◆BFzK/mtqM2
垢版 |
04/07/29 19:43ID:M2syPMox
219.113.242.218の方はアクセスは多いかもしれませんが差分読み込みなので、実際の負荷は少ないはずです。
domo2さんも同様だと思うんですけど、、、
0871FOX ★
垢版 |
04/07/29 20:03ID:???
この一時間

comic6.2ch.net サーバ
.dat 呼び出し回数 = 78185

deny from 206.223.150.190 #(3280) 4.2%
deny from 218.218.37.133 #(1350) 1.73%
0872石屋@cyan ★
垢版 |
04/07/29 21:04ID:???
>>829
>206.223.151.190 → banana710.maido3.com(www.domo2.netとか)

すみません、これ、klistです(汗
last-modified 取得してるはずですが。。。
0873大阪3 ◆w6NCk23GEw
垢版 |
04/07/29 21:13ID:PaFC9zmj
>>871
206.223.150.190 -> pacificinternetexchange.net
218.218.37.133 -> EATcf-447p133.ppp15.odn.ne.jp

>866 (参考に・・・)
ttp://squid.robata.org/squid2.0-conf.html
0875reffi@報告人 ★
垢版 |
04/07/29 21:17ID:???
ちょっと僕の推測に過ぎないんですけど書いておきます。

Comic6に携帯からのアクセスが集中しているのは今の時期、夏コミへの
最後の追い込みでPCは原稿書きに使っていて携帯からのアクセス集中に
繋がっているかもしれませんね。
下手にPCからやってもしデータ飛んだら大事ですし(滝汗
0877動け動けウゴウゴ2ちゃんねる
垢版 |
04/07/29 21:19ID:PaFC9zmj
ついでに
maximum_object_size 600 KB
minimum_object_size 0 KB

cache_dir ufs d:/squid/cache 210000 256 256
これの210000の所を(板数)*(スレッド数 700)*(1スレの容量 512K)にしないと意味無いっぽい
0879FOX ★
垢版 |
04/07/29 22:08ID:???
ふむ、
206.223.151.190 は復活の方向で、
0881878
垢版 |
04/07/29 22:20ID:IksoKDwG
動き出しました
どもですー
0882root ★
垢版 |
04/07/29 22:20ID:???
今日16時からの219.113.242.218からのアクセスは2622回か。< news18
16時からの総アクセス数は全部で約53万回ぐらいだから、0.5%ぐらい。

ファイルでみると、こんなかんじだった。

1155 /mnewsplus/index.html
1116 /mnewsplus/subject.txt
66 /trafficinfo/index.html
60 /trafficinfo/subject.txt
59 /mnewsplus/dat/?C=M;O=D
58 /mnewsplus/dat/?C=N;O=D
9 /trafficinfo/dat/1090999641.dat
9 /mnewsplus/dat/1091097422.dat
6 /trafficinfo/dat/?C=M;O=D
6 /mnewsplus/dat/1091082446.dat
5 /mnewsplus/dat/1091068391.dat
5 /mnewsplus/dat/1090624040.dat
4 /trafficinfo/dat/?C=N;O=D

さて、これは止めるべきなのか、そうではないのか。
0884root ★
垢版 |
04/07/29 22:25ID:???
22時台の今までのblackgoatからのアクセス (news18)

総数: 608

16 /mnewsplus/dat/1091070506.dat
15 /mnewsplus/dat/1090958581.dat
14 /mnewsplus/subject.txt
13 /mnewsplus/dat/1091105207.dat
13 /mnewsplus/dat/1091101768.dat
13 /mnewsplus/dat/1091082446.dat
13 /mnewsplus/dat/1090590352.dat
12 /trafficinfo/subject.txt
12 /mnewsplus/dat/1091103315.dat
12 /mnewsplus/dat/1091097422.dat
12 /mnewsplus/dat/1091095638.dat
12 /mnewsplus/dat/1091085972.dat
12 /mnewsplus/dat/1091084551.dat
12 /mnewsplus/dat/1091068391.dat
12 /mnewsplus/dat/1091066797.dat
12 /mnewsplus/dat/1091003756.dat
12 /mnewsplus/dat/1090966627.dat
12 /mnewsplus/dat/1090571398.dat
11 /trafficinfo/dat/1090999641.dat
11 /mnewsplus/dat/1091104845.dat
11 /mnewsplus/dat/1091102661.dat
11 /mnewsplus/dat/1091061442.dat
11 /mnewsplus/dat/1091051473.dat
11 /mnewsplus/dat/1090399065.dat
10 /mnewsplus/dat/1090959539.dat
0885root ★
垢版 |
04/07/29 22:34ID:???
index.htmlをすごく読んでるのって、なんでしたっけ。>>883
0886 ◆BFzK/mtqM2
垢版 |
04/07/29 22:49ID:L1fhH1BG
>>885
index.htmlを見に行く時は、
(1)xxxxx.datをGETした時のステータスが200でないとき
(2)subject.txtのサイズが0のとき
(3)subject.txtをGETした時のステータスが200または304でないとき
です。

サーバ上に所望のデータが無い時ですね。
index.htmlが無ければ、サーバ移転として、自動追尾が行われます。
0887root ★
垢版 |
04/07/29 22:58ID:???
>>886
ふむ。

news18の場合(2)や(3)はない気がします。
index.htmlの回数が多いのが、やや気になるです。
blackgoatからは0回なので、なんでかなと。
0888root ★
垢版 |
04/07/29 23:00ID:???
あ、ひょっとして.htaccessでdatとかが取れないから、改めてとりにいってるということかしら。< index.html
0889 ◆BFzK/mtqM2
垢版 |
04/07/29 23:01ID:L1fhH1BG
確かに気になりますね。
おそらく、subject.txtを見に行く時に出ているような気がしますね。
いま、operateはi2ch.netは使えるので、どうなっているか見てもらえます?
0890石屋@cyan ★
垢版 |
04/07/29 23:02ID:???
>>879
どもですー
0891 ◆BFzK/mtqM2
垢版 |
04/07/29 23:03ID:L1fhH1BG
いま、news18にsubject.txtを取りに行くとステータスは403ですね。
それが原因ですね。
0892root ★
垢版 |
04/07/29 23:04ID:???
>>891
なるほど、つまり>>888ということですか。

# メールおへんじしたです。
0895 ◆BFzK/mtqM2
垢版 |
04/07/29 23:11ID:L1fhH1BG
という事は、解決策なしで、閉鎖しますか。。。。。
0896root ★
垢版 |
04/07/29 23:31ID:???
中の人は新板作りだという噂があるので、しばらくはここにはこないかも。
0897 ◆BFzK/mtqM2
垢版 |
04/07/29 23:33ID:L1fhH1BG
ミラー(219.113.242.218)からBlackGoatにアクセスできるようによいのかな?

それも無理か。。。。
0898動け動けウゴウゴ2ちゃんねる
垢版 |
04/07/30 01:06ID:84RdJ5Wf
私家版クラシックを止めちゃうと、c.2chに難民が流れて負荷がかかると思うけど、いいのかな?

#クラシックミラー/テスト1にはディレイかかって無かったけどそれが原因?
0899動け動けウゴウゴ2ちゃんねる
垢版 |
04/07/30 06:26ID:d5jNd9OC
>>898
もとより携帯アクセスはc.2chに集約すると言うのが基本だったと思うので、
仕方無いけど好転しそうな要因が無い限り停止もやむを得ないのかな…

負荷増加については、c.2chのチューニングデータ採取のため逆に願ったりみたいです。
0900大阪3 ◆w6NCk23GEw
垢版 |
04/07/30 09:35ID:ItOHrAzX
>root ★
外部ミラー向けのBlackGoat作ったら?

#POST禁止
acl POST method POST
http_access deny POST Safe_ports
http_access deny POST !Safe_ports

#2ch.netドメイン以外アクセス禁止
acl dompath_2ch dstdom_regex 2ch.net
http_access deny !dompath_2ch

acl path_2ch urlpath_regex \/.*\/dat\/\d+\.dat \/.*\/subject.txt
http_access deny !path_2ch
0901root ★
垢版 |
04/07/30 11:50ID:???
>>900

・投稿は禁止
・2ch.net以外のデータはとれない
・datとsubject.txt以外はとれない
(# 設定時には index.html も許可必要かも。移転検出で使っている模様)

で、blackgoatを「開放」したらどうか、ということですか。

期待される効果は、

・blackgoatには外向けIPアドレスを5つまでつけられるので、
 必要なら後日別ホストに分けたり、アクセスコントールしたりできる
・ディレイが効くようになったので、
 2ch.netのサーバへの影響は最小限に抑えられるはず
 逆に、外から素でdatとかをごりごりされるよりいい皮算用も期待できるかも

考えられる影響、

・データ転送量やキャッシュヒット率はsquid側で別にとりはじめたので、
 転送量グラフ的に外と中は切り分け可能
・いたづらされたら、サービスそのものをすぐ止められる
・POST(投稿)禁止・2ch.net外へのアクセスは制限

といったところか。

これなら、やってみる価値はあるのかも。
0902FOX ★
垢版 |
04/07/30 13:47ID:???
管理人の判断を仰ぐべきだと思います。
2ちゃんねるの根幹に関わることだと思います。
0903ひろゆき@どうやら管理人 ★
垢版 |
04/07/30 14:44ID:???
いまいち、何が問題なのかわからんのですが、
クラシックさんはミラーをやってるんですよね?
したら、ミラー向けに開いててもいいんじゃないすか?
0904動け動けウゴウゴ2ちゃんねる
垢版 |
04/07/30 14:46ID:pI7ZG44c
そう簡単には行かないんだよ
なんつーか、大人の事情ってやつですかね
0905ひろゆき@どうやら管理人 ★
垢版 |
04/07/30 14:47ID:???
何が簡単じゃないのかよくわからんです。
0906FOX ★
垢版 |
04/07/30 14:52ID:???
このスレッドの趣旨は、過度に占有的に2ちゃんねるのサーバを
使っている IP は自動的に遮断するです。

その中で、管理人の開けという指示があった場合は再度開きます。

219.113.242.218 に関してはちょっと考えたので遅くなっていますが
昨日 (今日の未明ですが)解除しました。でも、私が判断する範囲を
超えているので >>902 の発言になっています、
0907root ★
垢版 |
04/07/30 15:07ID:???
ちょっと出遅れました。
管理人も降臨したようで。

・FOXさんはアクセス数だけを見て、淡々と遮断する
・管理人がそれをoverrideすることはもちろんある(公式にOKしてるものとか)
・FOXさんの判断を超えるものについては、個別対応 => 最終的には管理人判断

で、現在同じ本質からスタートした判断点が2つあって、

1)219.113.242.218 からの http によるアクセス
2)blackgoat.2ch.net の「開放」

そのうえで、それぞれは現在、

1)は現在いったん解除、で、たぶんこことかLove affairスレでi.i2ch.netの中の人たちと話し合い
2)は >>903 により、開いててもいいんじゃないすか

という状況になるのかなと。
0908大阪3 ◆w6NCk23GEw
垢版 |
04/07/30 16:28ID:ItOHrAzX
>ミラー向けに開いててもいいんじゃないすか?
多少問題が・・・

・現在のミラー鯖は差分取得してる(はず)
・squidなんで Range: を入れてしまうと本体へ取りにいってしまう(=差分取得する方法では無意味) => wgetを使ってもらう?
・トラフィックが上がる(日本国内に置いた方がいいかも) => wgetを使用した場合
ミラー = ミラー用に解放するsquid鯖(blackgoat2) = pieにあるsquid鯖(blackgoat.2ch.net) = 各2ch鯖

blackgoat2のIPはミラー鯖運営者へメールで送る?
0909ひろゆき@どうやら管理人 ★
垢版 |
04/07/30 16:46ID:???
Range:ってなんだろう、、
0910大阪3 ◆w6NCk23GEw
垢版 |
04/07/30 16:55ID:ItOHrAzX
>>909
==リクエスト
GET http://qb5.2ch.net/operate/dat/1082968554.dat HTTP/1.0
Host: qb5.2ch.net
Range: bytes=250321-
Pragma: no-cache
User-Agent: Monazilla/1.00 kage/0.99.1.1093 (1000)
Connection: close
Pragma: no-cache

==応答
HTTP/1.0 206 Partial Content
Date: Fri, 30 Jul 2004 07:51:50 GMT
Server: Apache/2.0.49 (Unix) PHP/4.3.6 mod_ssl/2.0.49 OpenSSL/0.9.7c-p1
Last-Modified: Fri, 30 Jul 2004 07:46:24 GMT
ETag: "11416b-3d225-a5dcd400"
Accept-Ranges: bytes
Content-Length: 84
Vary: Accept-Encoding
Content-Range: bytes 250321-250404/250405
Content-Type: text/plain
X-Cache: MISS from cache98
Proxy-Connection: close

差分取得(レジュームDL)するときに・・・
0911ひろゆき@どうやら管理人 ★
垢版 |
04/07/30 17:06ID:???
おぉ、、そういうことですか。
squidってrangeではとれないんですかぁ、、
0912root ★
垢版 |
04/07/30 17:17ID:???
Range: でとれないわけではない気がしますが、どうなんだろう。

Pragma: no-cacheだと(デフォルトでは)すれば、いまのところキャッシュはスルーですね。
blackgoatを公開するときは、入れても無視するようにしておかないと。
0913大阪3 ◆w6NCk23GEw
垢版 |
04/07/30 17:32ID:ItOHrAzX
んー

Aが全部取得した後にBがAの取得済み途中からはOK(hit)
Bのログ
17:17:54 HTTP/1.0 206 Partial Content
17:17:54 Accept-Ranges: bytes
17:17:54 Content-Range: bytes 421-35873/35874
17:17:54 Content-Length: 35453
17:17:54 Age: 23853
17:17:54 X-Cache: HIT from cache98

Aが全部取得した後にBが差分取得成功したらダメっぽい
この時のキャッシュはA+Bにならない
0914大阪3 ◆w6NCk23GEw
垢版 |
04/07/30 17:43ID:ItOHrAzX


× Aが全部取得した後にBが差分取得成功したらダメっぽい
△ Aが全部取得した後にBがAの取得した後ろの差分取得成功したらダメっぽい
Aが全部取得(-20000)した後にBが差分取得(20000-)成功したらダメっぽい
0916 ◆BFzK/mtqM2
垢版 |
04/07/31 01:03ID:XQM/NIJJ
ひろゆきさん、FOXさん、rootさんありがとうございます。
BlackGoatを使わしてもらえるのであれば、ミラーは今のcと同じ仕様にするか、
差分は諦めるか、
どちらかなのかな?

今出先なので明日にでも、一旦現在の仕様でミラーは再開してプロキシ仕様の件は明日検討させてください。
0917エリュトロン ◆kABgDGdS46
垢版 |
04/07/31 03:56ID:1hqRy9EQ
>915
普通は更新が無いファイルを取得再開する時に使う手段だからね・・・

(FlashGet等)多重DLしてるツールもある
0918大阪3 ◆w6NCk23GEw
垢版 |
04/08/01 10:06ID:obE0+p6o
anonymize_headers deny Range
を入れれば済むかも(キャッシュ内のDATを最新の差分ではない完全版にする)
*Squid/2.3.STABLE5の場合

取得した側は200 OKが出て変になるかも

>Pragma: no-cacheだと(デフォルトでは)すれば、いまのところキャッシュはスルーですね。
reload_into_ims on
ie_refresh off
この変だったような


2chブラウザは"Pragma: no-cache"入れてたのか・・・
0919root ★
垢版 |
04/08/08 03:24ID:???
質問・雑談スレ60@運用情報板
http://qb5.2ch.net/test/read.cgi/operate/1091542484/603-

ふおんな動きがふおんふおんしているようなので、
一時的に .htaccess 的にあっち方面のアドレスをはじいてみた。

もし1月の時みたいにそれでも負荷が高くなるようなら、
そのときはそのときということで。
0920 ◆7COBLlYL2k
垢版 |
04/08/08 03:29ID:XUIwvGMH
> ふおんな動きがふおんふおん

(・∀・)イイ!
0921root ★
垢版 |
04/08/08 03:42ID:???
いまのところ、トップページはじめ各サーバ(私がみてるもの)には、
特になにごとも起こっていないもよう。

今回のはあくまで超短期的な一時的措置ということで。
0922 [―{}@{}@{}-] 未承諾広告※ ◆TWARamEjuA
垢版 |
04/08/08 13:15ID:eGHwLZaR
かっさらいさん情報?
User-Agent:
Mozilla/2.0 (compatible; Ask Jeeves/Teoma)

AskJeeves, Inc. UU-65-214-36 (NET-65-214-36-0-1)
65.214.36.0 - 65.214.39.255

msnbot 並にかっさらいしているもより。。。
0923reffi@報告人 ★
垢版 |
04/08/08 13:23ID:???
>922
調べたらここも大手ですね。
(日本では知名度は低いようですけど)

http://www.ask.com/


参考記事
ttp://www.itmedia.co.jp/news/articles/0405/14/news053.html
0924FOX ★
垢版 |
04/08/08 19:09ID:???
comic6.2ch.net サーバ
GET /test/read.cgi 呼び出し回数 = 2758

deny from 202.210.241.43 #(416) 15.08%
deny from 207.46.98.48 #(187) 6.78%
deny from 219.58.160.173 #(68) 2.47%
0925 ◆WMaLhm.gkw
垢版 |
04/08/08 19:31ID:DllCGTdc
202.210.241.43
tk0008-202x210x241x43.ap-TK.usen.ad.jp
株式会社ユーズコミュニケーションズ (U's communications Corp.)
SUBA-468-118 [サブアロケーション] 202.210.241.0
鳴澤 一郎 (Narusawa Ichiro)
USTK0011-228 [202.210.241.40 <-> 202.210.241.47] 202.210.241.40/29

207.46.98.48
ホスト名なし
OrgName: Microsoft Corp
NetRange: 207.46.0.0 - 207.46.255.255
CIDR: 207.46.0.0/16
NetName: MICROSOFT-GLOBAL-NET

219.58.160.173
YahooBB219058160173.bbtec.net
219.0.0.0 - 219.63.255.255
BBTECH
SOFTBANK BB CORP
0926FOX ★
垢版 |
04/08/08 19:49ID:???
202.210.241.40/29 を deny した。
0927 [―{}@{}@{}-] 未承諾広告※ ◆TWARamEjuA
垢版 |
04/08/09 02:07ID:4iAPW0aA
>>926
えっともしかして、robots.txt を設置していないのかな?
.htaccess で deny するよか、アクセス数は激減するはずだけど。。。
httpd が必要以上に立ち上がらないので、転送量も減るはずなんだけど。。。
0928動け動けウゴウゴ2ちゃんねる
垢版 |
04/08/09 02:17ID:S107jRCY
>>927
同意。


robots.txtでレス抽出したりしてみたが、なんでああいう結論になるのかわからない。
robots.txtと.htaccessを併用するべきだと思うんだけどな
レス数が900を超えています。1000を超えると表示できなくなるよ。

ニューススポーツなんでも実況