【.htaccess】読みこみできない【規制作戦】
レス数が900を超えています。1000を超えると表示できなくなるよ。
http://qb3.2ch.net/test/read.cgi/operate/1082125059/864-865n
864 :動け動けウゴウゴ2ちゃんねる :04/04/26 16:31 ID:XBHI6262
全datさらうのを勧めるのもどうかと
865 :留守番 ★ :04/04/26 16:42 ID:???
>>864
最近増えてきているんですよねぇ
.htaccess で deny の規制が復活の予感。
http://qb3.2ch.net/test/read.cgi/operate/1082125059/867-868n
867 :root ★ :04/04/26 16:47 ID:???
datかっさらいもさることながら、read.cgi経由も目につくような気が。
868 :留守番 ★ :04/04/26 16:49 ID:???
>>867
ですねぇ
思い立ったが吉日ってことで
スレ立ててやりましょ 返答メールによるとDHCP運用してるとの事でした。
>798の指摘の通り地域で絞り込み規制できる事ではないでしょうか? >801
なのかなぁ(^_^;)ISPの内部の処理なのでよーわからんね・・・・ もし今の状態でも再発したら、こんどは全域の方向でいいのでは>イーグルネット ,(ゝ、
((ノりヾヽ.,、、.,、,、、..,_ /i
ノ(゚д゚从、 .:、:, :,.: ::`゙:.:゙:`''':,'.´ -‐i
ノノ'、;: ...: ,:. :.、.:',.: .:: _;.;;..; :..‐'゙  ̄  ̄
`"゙' ''`゙ `´゙`´´
なめんなよ 実際問題として「負荷をかけていないor見つからない」なら遮断もできないんじゃないかな。
運営側が最近作戦をサボってるかあちらさんがログ取得がうまくてこっそりやってるのかどっちかだろうね。
垂れこみを元に不愉快だからという理由だけでリアクションを起こすことはない…はず。 comic6 救出作戦。。。
comic6.2ch.net サーバ
GET /test/read.cgi 呼び出し回数 = 50723
deny from 211.4.214.176 #(2977) 5.87%
deny from 65.54.188.99 #(1558) 3.07%
deny from 210.166.209.94 #(1448) 2.85%
上はイーツなので仕方ないんですけど真ん中とんでもない事実が(滝汗
検索結果
IPアドレス 65.54.188.99
ホスト名 対応するホスト名がありません
IPアドレス
割当国 ※ アメリカ合衆国 (US)
都道府県 該当なし
市外局番 該当なし
接続回線 該当なし
Whois 検索結果
IPアドレス
所有者情報 65.54.188.99 を whois.arin.net で検索しました
OrgName: Microsoft Corp
OrgID: MSFT
Address: One Microsoft Way
City: Redmond
StateProv: WA
PostalCode: 98052
Country: US 211.4.214.176 xd304d6b0.ptr.gala.jp
65.54.188.99 (照会できない)
210.166.209.94 ns.ktai.cc
nslookupしてみた。ううむ。 >OrgName: Microsoft Corp
>Address: One Microsoft Way
うほっ イーツさんは管理人からお願いしてもらうしかないですねぇ
read.cgi をぶん回すなと、dat を持っていってちょと
MS はなんなんだろう、、、
クローリング?
210.166.209.94 は ban しましょ >815
下のは管理人から何か言ってこなければ問題ないと思います。
Network Information: [ネットワーク情報]
a. [IPネットワークアドレス] 210.166.209.0
b. [ネットワーク名] PROX
f. [組織名] PROX-COMMUNICATOR(プロックスシステムデザイン株式会社)
g. [Organization] PROX-COMMUNICATOR(Prox System Design Inc.)
m. [運用責任者] TN6639JP
URL
http://www.prox.ne.jp/ 65.54.188.99 はMSNボットの予感。
うちに来てるのとはちょっと違うけど。。。
UAわかんないっすか? 65.54.188.99 これも deny しよー >817
これかな
ttp://www.itmedia.co.jp/news/0306/19/ne00_msn.html >819
多分。しかし、MSはいっぱい野望もってるなぁ。
うちもいっぱい来て、困ってるんだ。 >>819
でしょうね。
2ch型のディレクトリ構成を意識しないクロールで且つ多めに回数やってるもんだから
スレの発言をすべて別個のリンクだとみなす量のアクセスになっているのだと予想 >>816
>809
2ch.ktai.cc -> 210.166.209.94
210.166.209.94 -> ns.ktai.cc
2ch.ktai.cc -> 210.166.209.94 -> ns.ktai.cc
2ch.ktai.cc -> ns.ktai.cc >>823
あ〜、思い出しました。
1週間ほど前に、Wikiに「2ちゃんねる アーカイブ」というページが出来ていました。
http://info.2ch.net/wiki/pukiwiki.php?cmd=backup&page=%A3%B2%A4%C1%A4%E3%A4%F3%A4%CD%A4%EB%A1%A1%A5%A2%A1%BC%A5%AB%A5%A4%A5%D6&age=4&action=diff
内容が私設(有限会社の有志さん作成)サイトの紹介で、公式プロジェクト用のテンプレを
使っていて激しく紛らわしかった覚えがあります。
ttp://pc5.2ch.net/test/read.cgi/software/1089885793/
にリンクが貼ってありました。 あぢぃ〜
dat をがんがん引っ張っているのは@comic6
deny from 206.223.150.190 #(4037) 12.73%
deny from 219.113.242.218 #(507) 1.6%
deny from 206.223.151.190 #(490) 1.54% 206.223.150.190 pacificinternetexchange.net
219.113.242.218 usen-219x113x242x218.ap-US.usen.ad.jp
206.223.151.190 pacificinternetexchange.net 206.223.150.190 → banana406.maido3.com(blackgoat)
これは切れないでしょう(;´д`)
何か設定のミスで取りまくってたのかも、
219.113.242.218 → usen-219x113x242x218.ap-US.usen.ad.jp
206.223.151.190 → banana710.maido3.com(www.domo2.netとか)
これはどうなんだろうね、 219.113.242.218 → usen-219x113x242x218.ap-US.usen.ad.jp
206.223.151.190 → banana710.maido3.com(www.domo2.netとか)
これはdenyで
206.223.150.190 → banana406.maido3.com(blackgoat)
これは様子見だなぁ、これくらいになるのか、何かが辺なのか・・・ 219.113.242.218はi.i2ch.netはクラシックミラーです。
全て携帯関係ということは誰かが携帯でアタックかけたかな? domo2.netも携帯用の外部メニューがありますからね、、 banana406.maido3.com(blackgoat)
設定が間違ってる or blackgoatプログラムのバグ(仕様) この時間も同じような結果に、
comic6.2ch.net サーバ
.dat 呼び出し回数 = 68522
deny from 206.223.150.190 #(8591) 12.54%
deny from 202.229.14.2 #(619) 0.9%
deny from 218.45.88.9 #(589) 0.86%
>833
もし黒山羊さんの設定ミス等でデータぶっこ抜き状態になってるのなら他の鯖
でも同様のぶっこ抜きになっててもおかしくないんですけどどうなってますか? 202.229.14.2 → ps28.suite2.arena.ne.jp
WebARENAにあるサーバっぽいけど、、何か解析してる人がいるのかな。
ちなみに>>198にも同じIPがあった。
218.45.88.9 → 218.45.88.9.eo.eaccess.ne.jp
こっちはよくわからん どうなんでしょ
私の担当でログ取っているのは現在 comic6 だけだからなぁ ちなみに
deny from 202.229.14.2 #(619) 0.9%
の数値は 619回/1h、一分間に10回以上引っこ抜いているんだよなぁ mnewsplus(携帯アクセスは従来から多い)とか、ログ見てみるといいのかな。
で、blackgoatのログをこれから見てみます。 0:00 PDT (16:00 JST) - 01:24 PDT (17:24 PDT) あたりの、フロントエンドからのリクエスト数。
5374 comic5.2ch.net
14735 comic6.2ch.net
参考: 該当時間帯に10,000回以上アクセスがあったサーバ:
14735 comic6.2ch.net
17545 ex5.2ch.net
10252 ex7.2ch.net
16981 ex8.2ch.net
10836 game7.2ch.net
29612 game8.2ch.net
18404 hobby5.2ch.net
20437 hobby6.2ch.net
13267 human5.2ch.net
10395 idol.bbspink.com
22100 life5.2ch.net
18751 love3.2ch.net
14893 money3.2ch.net
31379 music4.2ch.net
14356 news13.2ch.net
18586 news18.2ch.net
21398 pie.bbspink.com
10213 school4.2ch.net
10161 sports7.2ch.net
25307 tv6.2ch.net comic6は約1時間24分ぐらいの間に、c-xxxxから14735回のリクエストを受けた。
で、16時台は8591回漏れたということ?(>>833)
そんなもんなのかな。
news18のログとも照合してみよう。 %grep comic6.2ch.net access.log | grep HIT | wc -l
13049
%grep comic6.2ch.net access.log | grep MISS | wc -l
3507
なるほど、datのキャッシュヒット率は下がっていませんね。
というかMRTGでとってるのと大同小異。
ということは、datの更新チェックのためにcomic6のhttpdにアクセスはしているけど、
datは更新されてなかったので、実際の転送は行われていない、ということではないかと。
つまり、負荷増は狙い通り最低限に抑えられているはず。
つまり、アクセス回数は多いけど、実際の転送はMISSの回数しか起こってないはずと。
ということで、正常動作な気がします。>blackgoatからのアクセス数が多い 確認ですが、
同じスレッドはディレイ時間内(今は60sec?)なら
更新チェックにも行かないようになっている
というのが仕様ですよね? blackgoat% grep news18.2ch.net access.log | grep TCP_REFRESH | wc -l
14451
news18% grep '206.223.150.190' httpd-access.log | wc -l
14965
やはりそうですね。 で、httpdのログみるとほとんどのステータスが304になってるので、実際にはデータ転送起こってないですね。
(ほとんど負荷になっていない、というか狙い通りに負荷軽減できている)
206.223.150.190 - - [29/Jul/2004:00:01:02 -0700] "GET /mnewsplus/dat/1091069714.dat HTTP/1.0" 200 15854 "-" "Monazilla/1.00 (classic/0.4.040706)"
206.223.150.190 - - [29/Jul/2004:00:01:04 -0700] "GET /mnewsplus/dat/1090959539.dat HTTP/1.0" 304 - "-" "Monazilla/1.00 (classic/0.4.040706)"
206.223.150.190 - - [29/Jul/2004:00:01:04 -0700] "GET /mnewsplus/dat/1090476175.dat HTTP/1.0" 304 - "-" "Monazilla/1.00 (classic/0.4.040706)"
206.223.150.190 - - [29/Jul/2004:00:01:04 -0700] "GET /mnewsplus/dat/1090961760.dat HTTP/1.0" 304 - "-" "Monazilla/1.00 (classic/0.4.040706)"
206.223.150.190 - - [29/Jul/2004:00:01:05 -0700] "GET /mnewsplus/dat/1090531971.dat HTTP/1.0" 304 - "-" "Monazilla/1.00 (classic/0.4.040706)"
206.223.150.190 - - [29/Jul/2004:00:01:07 -0700] "GET /mnewsplus/dat/1091061442.dat HTTP/1.0" 304 - "-" "Monazilla/1.00 (classic/0.4.040706)"
206.223.150.190 - - [29/Jul/2004:00:01:07 -0700] "GET /mnewsplus/dat/1091066797.dat HTTP/1.0" 304 - "-" "Monazilla/1.00 (classic/0.4.040706)"
206.223.150.190 - - [29/Jul/2004:00:01:07 -0700] "GET /mnewsplus/dat/1091082314.dat HTTP/1.0" 304 - "-" "Monazilla/1.00 (classic/0.4.040706)"
206.223.150.190 - - [29/Jul/2004:00:01:07 -0700] "GET /mnewsplus/dat/1090959539.dat HTTP/1.0" 304 - "-" "Monazilla/1.00 (classic/0.4.040706)"
>>842
そのはずです。
でも、このへんは私よりc系の中の人のほうが把握しているはず。
他のクラシックミラーとdomo2からのアクセスはどんなかんじですか? >>844
BlackGoat がディレイの処理しているんですよね?
c系はディレイなしでがんがんBlckGoatを呼ぶと、
>>847
あ、なるほど。そうですね。
120sec delayが効いているはず。 >>829にあるアドレスです。
219.113.242.218がミラー
206.223.151.190がdomo2 これを、blackgoatに入れてあります。>>847
http://qb5.2ch.net/test/read.cgi/operate/1088828988/121
121 :動け動けウゴウゴ2ちゃんねる :04/07/26 19:07 ID:D7X1TjHC
refresh_pattern . 2 20% 4320
この設定だと最低2分最高3日は更新されない
単純な120s delayなら
refresh_pattern . 2 0% 2
かな?
今の設定どうなっているんだろう? 現在 120sec ですか、
ということは一スレッドあたり、一時間に30回が上限ですね、
news18 は360スレッド(+この一時間にたったスレッド)だから、、、
全スレッドが呼びまくられても 10,000回/h だと思うのですが
実際には 14,000回も呼ばれているという計測結果といことですかねぇ 16:00-17:24 なので、1時間24分ぐらいだから、、、。
でも、それでも理論値にとても近いわけか。>>851 あ、news18は後で手でやったので、1時間40分ぐらいです。
# tcshのhistoryコマンドえらい。 そうなんですよね、
全てのスレッドが全ての時間においてコールされたときの
最大値に実測値が近いんですよね、
そんなに??? って感じなんですが、、、 でも、そのロジックはちょっと面白いですね。
ひょっとして携帯に人気のサーバだと、スレ数 + subject.txt の理論値が出るってことになる? 可能性としては、
・そんなもの
・120sec delayが実はうまく動いてない
ってことになるのかな。 その辺が知りたいところですねぇ、、、
news18 側でのログを解析すれば出てくるですかねぇ
同じキー番号でのリクエストは最大でも 120secに一回のはずですからねぇ
「そんなもの」 であるなら、その覚悟が必要になってくるなぁ >>857
> news18 側でのログを解析すれば出てくるですかねぇ
> 同じキー番号でのリクエストは最大でも 120secに一回のはずですからねぇ
人気のあるスレッドを見ればいいのかな。
ちょっとあとで見てみます。 串迎撃部隊@2ch掲示板
http://www.domo2.net/boo80/ は
今後comic6には使えないって事ですか・・・。
(´・ω・`) 16:00-18:11 ぐらいまでのblackgoatからのアクセス数上位:
1703 /mnewsplus/dat/1091068375.dat
1323 /mnewsplus/dat/1091082446.dat
1156 /mnewsplus/dat/1091085972.dat
1121 /mnewsplus/dat/1091066797.dat
1085 /mnewsplus/dat/1091068391.dat
792 /mnewsplus/dat/1091051473.dat
714 /mnewsplus/dat/1090958581.dat
646 /mnewsplus/dat/1091061442.dat
493 /mnewsplus/dat/1091082314.dat
487 /mnewsplus/dat/1091070506.dat
414 /mnewsplus/dat/1090878940.dat
405 /trafficinfo/dat/1090999641.dat
361 /mnewsplus/dat/1091071768.dat
332 /mnewsplus/dat/1091003756.dat
306 /mnewsplus/dat/1090816501.dat
news18のdatの、cからの16:00-18:12ぐらいまでのアクセス数合計は19,000回ぐらい。 2時間ちょっとで1703回アクセスされたスレッドがあるのか。
squidの120sec delay (>>850) って、どういうふうに動くのが正しいんだろう。 >>861
というわけで、そういうふうには動いていない模様。
>>850 の設定値の意味を、よく調べてみる必要ありな予感。 ふむふむ
当面のターゲットはここということになるかな?
目論みを実現して、その上で各サーバの負荷等を再評価。
目論みが実現できないならば、実現できる方法の模索。 # options: override-lastmod
#
# override-lastmod enforces min age even on objects
# that was modified recently.
これつけないといけないのかな。 >>866 を blackgoat に入れてみた。観察しよう。 >>867
うまく行っている予感かな?
直近10分間
comic6.2ch.net サーバ
.dat 呼び出し回数 = 14321
deny from 206.223.150.190 #(678) 4.73%
deny from 218.45.247.226 #(161) 1.12%
deny from 218.45.162.208 #(143) 1%
回数では 1/3 に減ったと思うが、
実際に 120sec delay になっているかは検証していないです。 219.113.242.218の方はアクセスは多いかもしれませんが差分読み込みなので、実際の負荷は少ないはずです。
domo2さんも同様だと思うんですけど、、、 この一時間
comic6.2ch.net サーバ
.dat 呼び出し回数 = 78185
deny from 206.223.150.190 #(3280) 4.2%
deny from 218.218.37.133 #(1350) 1.73%
>>829
>206.223.151.190 → banana710.maido3.com(www.domo2.netとか)
すみません、これ、klistです(汗
last-modified 取得してるはずですが。。。 >>871
206.223.150.190 -> pacificinternetexchange.net
218.218.37.133 -> EATcf-447p133.ppp15.odn.ne.jp
>866 (参考に・・・)
ttp://squid.robata.org/squid2.0-conf.html banana710は2ch関係のサイトが多くて、各々が色々なデータ取得を
しているから、アクセス数が多いんだよね。 ちょっと僕の推測に過ぎないんですけど書いておきます。
Comic6に携帯からのアクセスが集中しているのは今の時期、夏コミへの
最後の追い込みでPCは原稿書きに使っていて携帯からのアクセス集中に
繋がっているかもしれませんね。
下手にPCからやってもしデータ飛んだら大事ですし(滝汗 blackgoat.2ch.net 206.223.150.190 ついでに
maximum_object_size 600 KB
minimum_object_size 0 KB
cache_dir ufs d:/squid/cache 210000 256 256
これの210000の所を(板数)*(スレッド数 700)*(1スレの容量 512K)にしないと意味無いっぽい 串迎撃部隊@2ch掲示板
ttp://www.domo2.net/boo80/
動かなくなってますー ふむ、
206.223.151.190 は復活の方向で、 i.i2ch.net(219.113.242.218)は? 今日16時からの219.113.242.218からのアクセスは2622回か。< news18
16時からの総アクセス数は全部で約53万回ぐらいだから、0.5%ぐらい。
ファイルでみると、こんなかんじだった。
1155 /mnewsplus/index.html
1116 /mnewsplus/subject.txt
66 /trafficinfo/index.html
60 /trafficinfo/subject.txt
59 /mnewsplus/dat/?C=M;O=D
58 /mnewsplus/dat/?C=N;O=D
9 /trafficinfo/dat/1090999641.dat
9 /mnewsplus/dat/1091097422.dat
6 /trafficinfo/dat/?C=M;O=D
6 /mnewsplus/dat/1091082446.dat
5 /mnewsplus/dat/1091068391.dat
5 /mnewsplus/dat/1090624040.dat
4 /trafficinfo/dat/?C=N;O=D
さて、これは止めるべきなのか、そうではないのか。 >>882
クラシックミラーは閉鎖ということですか? 22時台の今までのblackgoatからのアクセス (news18)
総数: 608
16 /mnewsplus/dat/1091070506.dat
15 /mnewsplus/dat/1090958581.dat
14 /mnewsplus/subject.txt
13 /mnewsplus/dat/1091105207.dat
13 /mnewsplus/dat/1091101768.dat
13 /mnewsplus/dat/1091082446.dat
13 /mnewsplus/dat/1090590352.dat
12 /trafficinfo/subject.txt
12 /mnewsplus/dat/1091103315.dat
12 /mnewsplus/dat/1091097422.dat
12 /mnewsplus/dat/1091095638.dat
12 /mnewsplus/dat/1091085972.dat
12 /mnewsplus/dat/1091084551.dat
12 /mnewsplus/dat/1091068391.dat
12 /mnewsplus/dat/1091066797.dat
12 /mnewsplus/dat/1091003756.dat
12 /mnewsplus/dat/1090966627.dat
12 /mnewsplus/dat/1090571398.dat
11 /trafficinfo/dat/1090999641.dat
11 /mnewsplus/dat/1091104845.dat
11 /mnewsplus/dat/1091102661.dat
11 /mnewsplus/dat/1091061442.dat
11 /mnewsplus/dat/1091051473.dat
11 /mnewsplus/dat/1090399065.dat
10 /mnewsplus/dat/1090959539.dat index.htmlをすごく読んでるのって、なんでしたっけ。>>883 >>885
index.htmlを見に行く時は、
(1)xxxxx.datをGETした時のステータスが200でないとき
(2)subject.txtのサイズが0のとき
(3)subject.txtをGETした時のステータスが200または304でないとき
です。
サーバ上に所望のデータが無い時ですね。
index.htmlが無ければ、サーバ移転として、自動追尾が行われます。
>>886
ふむ。
news18の場合(2)や(3)はない気がします。
index.htmlの回数が多いのが、やや気になるです。
blackgoatからは0回なので、なんでかなと。 あ、ひょっとして.htaccessでdatとかが取れないから、改めてとりにいってるということかしら。< index.html 確かに気になりますね。
おそらく、subject.txtを見に行く時に出ているような気がしますね。
いま、operateはi2ch.netは使えるので、どうなっているか見てもらえます? いま、news18にsubject.txtを取りに行くとステータスは403ですね。
それが原因ですね。 >>891
なるほど、つまり>>888ということですか。
# メールおへんじしたです。 >>892 root★
operateのログは見ること出来ますか?
中の人は新板作りだという噂があるので、しばらくはここにはこないかも。 ミラー(219.113.242.218)からBlackGoatにアクセスできるようによいのかな?
それも無理か。。。。 私家版クラシックを止めちゃうと、c.2chに難民が流れて負荷がかかると思うけど、いいのかな?
#クラシックミラー/テスト1にはディレイかかって無かったけどそれが原因?
>>898
もとより携帯アクセスはc.2chに集約すると言うのが基本だったと思うので、
仕方無いけど好転しそうな要因が無い限り停止もやむを得ないのかな…
負荷増加については、c.2chのチューニングデータ採取のため逆に願ったりみたいです。 >root ★
外部ミラー向けのBlackGoat作ったら?
#POST禁止
acl POST method POST
http_access deny POST Safe_ports
http_access deny POST !Safe_ports
#2ch.netドメイン以外アクセス禁止
acl dompath_2ch dstdom_regex 2ch.net
http_access deny !dompath_2ch
acl path_2ch urlpath_regex \/.*\/dat\/\d+\.dat \/.*\/subject.txt
http_access deny !path_2ch レス数が900を超えています。1000を超えると表示できなくなるよ。