【.htaccess】読みこみできない【規制作戦】
レス数が950を超えています。1000を超えると書き込みができなくなります。
http://qb3.2ch.net/test/read.cgi/operate/1082125059/864-865n
864 ：動け動けウゴウゴ２ちゃんねる ：04/04/26 16:31 ID:XBHI6262
全datさらうのを勧めるのもどうかと
865 ：留守番 ★ ：04/04/26 16:42 ID:???
>>864
最近増えてきているんですよねぇ
.htaccess で deny の規制が復活の予感。
http://qb3.2ch.net/test/read.cgi/operate/1082125059/867-868n
867 ：root ★ ：04/04/26 16:47 ID:???
datかっさらいもさることながら、read.cgi経由も目につくような気が。
868 ：留守番 ★ ：04/04/26 16:49 ID:???
>>867
ですねぇ
思い立ったが吉日ってことで
スレ立ててやりましょ これを、blackgoatに入れてあります。>>847
http://qb5.2ch.net/test/read.cgi/operate/1088828988/121
121 ：動け動けウゴウゴ２ちゃんねる ：04/07/26 19:07 ID:D7X1TjHC
refresh_pattern . 2 20% 4320
この設定だと最低2分最高3日は更新されない
単純な120s delayなら
refresh_pattern . 2 0% 2
かな？
今の設定どうなっているんだろう？ 現在 120sec ですか、
ということは一スレッドあたり、一時間に30回が上限ですね、
news18 は360スレッド(+この一時間にたったスレッド)だから、、、
全スレッドが呼びまくられても 10,000回/h だと思うのですが
実際には 14,000回も呼ばれているという計測結果といことですかねぇ 16:00-17:24 なので、1時間24分ぐらいだから、、、。
でも、それでも理論値にとても近いわけか。>>851 あ、news18は後で手でやったので、1時間40分ぐらいです。
# tcshのhistoryコマンドえらい。 そうなんですよね、
全てのスレッドが全ての時間においてコールされたときの
最大値に実測値が近いんですよね、
そんなに??? って感じなんですが、、、 でも、そのロジックはちょっと面白いですね。
ひょっとして携帯に人気のサーバだと、スレ数 + subject.txt の理論値が出るってことになる？ 可能性としては、
・そんなもの
・120sec delayが実はうまく動いてない
ってことになるのかな。 その辺が知りたいところですねぇ、、、
news18 側でのログを解析すれば出てくるですかねぇ
同じキー番号でのリクエストは最大でも 120secに一回のはずですからねぇ
「そんなもの」 であるなら、その覚悟が必要になってくるなぁ >>857
> news18 側でのログを解析すれば出てくるですかねぇ
> 同じキー番号でのリクエストは最大でも 120secに一回のはずですからねぇ
人気のあるスレッドを見ればいいのかな。
ちょっとあとで見てみます。 串迎撃部隊＠2ch掲示板
http://www.domo2.net/boo80/ は
今後comic6には使えないって事ですか・・・。
(´･ω･｀) 16:00-18:11 ぐらいまでのblackgoatからのアクセス数上位:
1703 /mnewsplus/dat/1091068375.dat
1323 /mnewsplus/dat/1091082446.dat
1156 /mnewsplus/dat/1091085972.dat
1121 /mnewsplus/dat/1091066797.dat
1085 /mnewsplus/dat/1091068391.dat
792 /mnewsplus/dat/1091051473.dat
714 /mnewsplus/dat/1090958581.dat
646 /mnewsplus/dat/1091061442.dat
493 /mnewsplus/dat/1091082314.dat
487 /mnewsplus/dat/1091070506.dat
414 /mnewsplus/dat/1090878940.dat
405 /trafficinfo/dat/1090999641.dat
361 /mnewsplus/dat/1091071768.dat
332 /mnewsplus/dat/1091003756.dat
306 /mnewsplus/dat/1090816501.dat
news18のdatの、cからの16:00-18:12ぐらいまでのアクセス数合計は19,000回ぐらい。 2時間ちょっとで1703回アクセスされたスレッドがあるのか。
squidの120sec delay (>>850) って、どういうふうに動くのが正しいんだろう。 >>861
というわけで、そういうふうには動いていない模様。
>>850 の設定値の意味を、よく調べてみる必要ありな予感。 ふむふむ
当面のターゲットはここということになるかな?
目論みを実現して、その上で各サーバの負荷等を再評価。
目論みが実現できないならば、実現できる方法の模索。 # options: override-lastmod
#
# override-lastmod enforces min age even on objects
# that was modified recently.
これつけないといけないのかな。 >>866 を blackgoat に入れてみた。観察しよう。 >>867
うまく行っている予感かな?
直近10分間
comic6.2ch.net サーバ
.dat 呼び出し回数 = 14321
deny from 206.223.150.190 #(678) 4.73%
deny from 218.45.247.226 #(161) 1.12%
deny from 218.45.162.208 #(143) 1%
回数では 1/3 に減ったと思うが、
実際に 120sec delay になっているかは検証していないです。 219.113.242.218の方はアクセスは多いかもしれませんが差分読み込みなので、実際の負荷は少ないはずです。
domo2さんも同様だと思うんですけど、、、 この一時間
comic6.2ch.net サーバ
.dat 呼び出し回数 = 78185
deny from 206.223.150.190 #(3280) 4.2%
deny from 218.218.37.133 #(1350) 1.73%
>>829
＞206.223.151.190 → banana710.maido3.com(www.domo2.netとか)
すみません、これ、klistです（汗
last-modified 取得してるはずですが。。。 >>871
206.223.150.190 -> pacificinternetexchange.net
218.218.37.133 -> EATcf-447p133.ppp15.odn.ne.jp
>866 (参考に・・・)
ttp://squid.robata.org/squid2.0-conf.html banana710は2ch関係のサイトが多くて、各々が色々なデータ取得を
しているから、アクセス数が多いんだよね。 ちょっと僕の推測に過ぎないんですけど書いておきます。
Comic6に携帯からのアクセスが集中しているのは今の時期、夏コミへの
最後の追い込みでＰＣは原稿書きに使っていて携帯からのアクセス集中に
繋がっているかもしれませんね。
下手にＰＣからやってもしデータ飛んだら大事ですし（滝汗 blackgoat.2ch.net 206.223.150.190 ついでに
maximum_object_size 600 KB
minimum_object_size 0 KB
cache_dir ufs d:/squid/cache 210000 256 256
これの210000の所を(板数)*(スレッド数 700)*（１スレの容量 512K）にしないと意味無いっぽい 串迎撃部隊＠2ch掲示板
ttp://www.domo2.net/boo80/
動かなくなってますー ふむ、
206.223.151.190 は復活の方向で、 i.i2ch.net（219.113.242.218）は？ 今日16時からの219.113.242.218からのアクセスは2622回か。< news18
16時からの総アクセス数は全部で約53万回ぐらいだから、0.5%ぐらい。
ファイルでみると、こんなかんじだった。
1155 /mnewsplus/index.html
1116 /mnewsplus/subject.txt
66 /trafficinfo/index.html
60 /trafficinfo/subject.txt
59 /mnewsplus/dat/?C=M;O=D
58 /mnewsplus/dat/?C=N;O=D
9 /trafficinfo/dat/1090999641.dat
9 /mnewsplus/dat/1091097422.dat
6 /trafficinfo/dat/?C=M;O=D
6 /mnewsplus/dat/1091082446.dat
5 /mnewsplus/dat/1091068391.dat
5 /mnewsplus/dat/1090624040.dat
4 /trafficinfo/dat/?C=N;O=D
さて、これは止めるべきなのか、そうではないのか。 >>882
ｸﾗｼｯｸﾐﾗｰは閉鎖ということですか？ 22時台の今までのblackgoatからのアクセス (news18)
総数: 608
16 /mnewsplus/dat/1091070506.dat
15 /mnewsplus/dat/1090958581.dat
14 /mnewsplus/subject.txt
13 /mnewsplus/dat/1091105207.dat
13 /mnewsplus/dat/1091101768.dat
13 /mnewsplus/dat/1091082446.dat
13 /mnewsplus/dat/1090590352.dat
12 /trafficinfo/subject.txt
12 /mnewsplus/dat/1091103315.dat
12 /mnewsplus/dat/1091097422.dat
12 /mnewsplus/dat/1091095638.dat
12 /mnewsplus/dat/1091085972.dat
12 /mnewsplus/dat/1091084551.dat
12 /mnewsplus/dat/1091068391.dat
12 /mnewsplus/dat/1091066797.dat
12 /mnewsplus/dat/1091003756.dat
12 /mnewsplus/dat/1090966627.dat
12 /mnewsplus/dat/1090571398.dat
11 /trafficinfo/dat/1090999641.dat
11 /mnewsplus/dat/1091104845.dat
11 /mnewsplus/dat/1091102661.dat
11 /mnewsplus/dat/1091061442.dat
11 /mnewsplus/dat/1091051473.dat
11 /mnewsplus/dat/1090399065.dat
10 /mnewsplus/dat/1090959539.dat index.htmlをすごく読んでるのって、なんでしたっけ。>>883 >>885
index.htmlを見に行く時は、
（１）xxxxx.datをGETした時のステータスが200でないとき
（２）subject.txtのサイズが0のとき
（３）subject.txtをGETした時のステータスが200または304でないとき
です。
サーバ上に所望のデータが無い時ですね。
index.htmlが無ければ、サーバ移転として、自動追尾が行われます。
>>886
ふむ。
news18の場合(2)や(3)はない気がします。
index.htmlの回数が多いのが、やや気になるです。
blackgoatからは0回なので、なんでかなと。 あ、ひょっとして.htaccessでdatとかが取れないから、改めてとりにいってるということかしら。< index.html 確かに気になりますね。
おそらく、subject.txtを見に行く時に出ているような気がしますね。
いま、operateはi2ch.netは使えるので、どうなっているか見てもらえます？ いま、news18にsubject.txtを取りに行くとステータスは403ですね。
それが原因ですね。 >>891
なるほど、つまり>>888ということですか。
# メールおへんじしたです。 >>892 root★
operateのログは見ること出来ますか？
中の人は新板作りだという噂があるので、しばらくはここにはこないかも。 ﾐﾗｰ（219.113.242.218）からBlackGoatにアクセスできるようによいのかな？
それも無理か。。。。 私家版ｸﾗｼｯｸを止めちゃうと、c.2chに難民が流れて負荷がかかると思うけど、いいのかな？
#ｸﾗｼｯｸﾐﾗｰ/ﾃｽﾄ1にはﾃﾞｨﾚｲかかって無かったけどそれが原因？
>>898
もとより携帯アクセスはc.2chに集約すると言うのが基本だったと思うので、
仕方無いけど好転しそうな要因が無い限り停止もやむを得ないのかな…
負荷増加については、c.2chのチューニングデータ採取のため逆に願ったりみたいです。 >root ★
外部ミラー向けのBlackGoat作ったら？
#POST禁止
acl POST method POST
http_access deny POST Safe_ports
http_access deny POST !Safe_ports
#2ch.netドメイン以外アクセス禁止
acl dompath_2ch dstdom_regex 2ch.net
http_access deny !dompath_2ch
acl path_2ch urlpath_regex \/.*\/dat\/\d+\.dat \/.*\/subject.txt
http_access deny !path_2ch >>900
・投稿は禁止
・2ch.net以外のデータはとれない
・datとsubject.txt以外はとれない
(# 設定時には index.html も許可必要かも。移転検出で使っている模様)
で、blackgoatを「開放」したらどうか、ということですか。
期待される効果は、
・blackgoatには外向けIPアドレスを5つまでつけられるので、
必要なら後日別ホストに分けたり、アクセスコントールしたりできる
・ディレイが効くようになったので、
2ch.netのサーバへの影響は最小限に抑えられるはず
逆に、外から素でdatとかをごりごりされるよりいい皮算用も期待できるかも
考えられる影響、
・データ転送量やキャッシュヒット率はsquid側で別にとりはじめたので、
転送量グラフ的に外と中は切り分け可能
・いたづらされたら、サービスそのものをすぐ止められる
・POST(投稿)禁止・2ch.net外へのアクセスは制限
といったところか。
これなら、やってみる価値はあるのかも。
管理人の判断を仰ぐべきだと思います。
２ちゃんねるの根幹に関わることだと思います。 いまいち、何が問題なのかわからんのですが、
クラシックさんはミラーをやってるんですよね？
したら、ミラー向けに開いててもいいんじゃないすか？
そう簡単には行かないんだよ
なんつーか、大人の事情ってやつですかね このスレッドの趣旨は、過度に占有的に２ちゃんねるのサーバを
使っている IP は自動的に遮断するです。
その中で、管理人の開けという指示があった場合は再度開きます。
219.113.242.218 に関してはちょっと考えたので遅くなっていますが
昨日 (今日の未明ですが)解除しました。でも、私が判断する範囲を
超えているので >>902 の発言になっています、 ちょっと出遅れました。
管理人も降臨したようで。
・FOXさんはアクセス数だけを見て、淡々と遮断する
・管理人がそれをoverrideすることはもちろんある(公式にOKしてるものとか)
・FOXさんの判断を超えるものについては、個別対応 => 最終的には管理人判断
で、現在同じ本質からスタートした判断点が2つあって、
1)219.113.242.218 からの http によるアクセス
2)blackgoat.2ch.net の「開放」
そのうえで、それぞれは現在、
1)は現在いったん解除、で、たぶんこことかLove affairスレでi.i2ch.netの中の人たちと話し合い
2)は >>903 により、開いててもいいんじゃないすか
という状況になるのかなと。 >ミラー向けに開いててもいいんじゃないすか？
多少問題が・・・
・現在のミラー鯖は差分取得してる（はず）
・squidなんで Range: を入れてしまうと本体へ取りにいってしまう（＝差分取得する方法では無意味） => wgetを使ってもらう？
・トラフィックが上がる（日本国内に置いた方がいいかも） => wgetを使用した場合
ミラー = ミラー用に解放するsquid鯖(blackgoat2) = pieにあるsquid鯖（blackgoat.2ch.net） = 各2ch鯖
blackgoat2のＩＰはミラー鯖運営者へメールで送る? >>909
==リクエスト
GET http://qb5.2ch.net/operate/dat/1082968554.dat HTTP/1.0
Host: qb5.2ch.net
Range: bytes=250321-
Pragma: no-cache
User-Agent: Monazilla/1.00 kage/0.99.1.1093 (1000)
Connection: close
Pragma: no-cache
==応答
HTTP/1.0 206 Partial Content
Date: Fri, 30 Jul 2004 07:51:50 GMT
Server: Apache/2.0.49 (Unix) PHP/4.3.6 mod_ssl/2.0.49 OpenSSL/0.9.7c-p1
Last-Modified: Fri, 30 Jul 2004 07:46:24 GMT
ETag: "11416b-3d225-a5dcd400"
Accept-Ranges: bytes
Content-Length: 84
Vary: Accept-Encoding
Content-Range: bytes 250321-250404/250405
Content-Type: text/plain
X-Cache: MISS from cache98
Proxy-Connection: close
差分取得(レジュームDL)するときに・・・ おぉ、、そういうことですか。
squidってrangeではとれないんですかぁ、、 Range: でとれないわけではない気がしますが、どうなんだろう。
Pragma: no-cacheだと(デフォルトでは)すれば、いまのところキャッシュはスルーですね。
blackgoatを公開するときは、入れても無視するようにしておかないと。 んー
Ａが全部取得した後にＢがＡの取得済み途中からはＯＫ（hit）
Bのログ
17:17:54 HTTP/1.0 206 Partial Content
17:17:54 Accept-Ranges: bytes
17:17:54 Content-Range: bytes 421-35873/35874
17:17:54 Content-Length: 35453
17:17:54 Age: 23853
17:17:54 X-Cache: HIT from cache98
Ａが全部取得した後にＢが差分取得成功したらダメっぽい
この時のキャッシュはＡ＋Ｂにならない あ
× Ａが全部取得した後にＢが差分取得成功したらダメっぽい
△ Ａが全部取得した後にＢがＡの取得した後ろの差分取得成功したらダメっぽい
Ａが全部取得(-20000)した後にＢが差分取得(20000-)成功したらダメっぽい 更新されてたら続きを取得するというのは特殊な動作っぽいからなあ。 ひろゆきさん、FOXさん、rootさんありがとうございます。
BlackGoatを使わしてもらえるのであれば、ミラーは今のcと同じ仕様にするか、
差分は諦めるか、
どちらかなのかな？
今出先なので明日にでも、一旦現在の仕様でミラーは再開してプロキシ仕様の件は明日検討させてください。 >915
普通は更新が無いファイルを取得再開する時に使う手段だからね・・・
（FlashGet等）多重ＤＬしてるツールもある anonymize_headers deny Range
を入れれば済むかも（キャッシュ内のＤＡＴを最新の差分ではない完全版にする）
*Squid/2.3.STABLE5の場合
取得した側は200 OKが出て変になるかも
>Pragma: no-cacheだと(デフォルトでは)すれば、いまのところキャッシュはスルーですね。
reload_into_ims on
ie_refresh off
この変だったような
2chブラウザは"Pragma: no-cache"入れてたのか・・・ 質問・雑談スレ60＠運用情報板
http://qb5.2ch.net/test/read.cgi/operate/1091542484/603-
ふおんな動きがふおんふおんしているようなので、
一時的に .htaccess 的にあっち方面のアドレスをはじいてみた。
もし1月の時みたいにそれでも負荷が高くなるようなら、
そのときはそのときということで。 いまのところ、トップページはじめ各サーバ(私がみてるもの)には、
特になにごとも起こっていないもよう。
今回のはあくまで超短期的な一時的措置ということで。 かっさらいさん情報？
User-Agent:
Mozilla/2.0 (compatible; Ask Jeeves/Teoma)
AskJeeves, Inc. UU-65-214-36 (NET-65-214-36-0-1)
65.214.36.0 - 65.214.39.255
msnbot 並にかっさらいしているもより。。。 >922
調べたらここも大手ですね。
（日本では知名度は低いようですけど）
http://www.ask.com/
参考記事
ttp://www.itmedia.co.jp/news/articles/0405/14/news053.html comic6.2ch.net サーバ
GET /test/read.cgi 呼び出し回数 = 2758
deny from 202.210.241.43 #(416) 15.08%
deny from 207.46.98.48 #(187) 6.78%
deny from 219.58.160.173 #(68) 2.47%
202.210.241.43
tk0008-202x210x241x43.ap-TK.usen.ad.jp
株式会社ユーズコミュニケーションズ (U's communications Corp.)
SUBA-468-118 [サブアロケーション] 202.210.241.0
鳴澤 一郎 (Narusawa Ichiro)
USTK0011-228 [202.210.241.40 <-> 202.210.241.47] 202.210.241.40/29
207.46.98.48
ホスト名なし
OrgName: Microsoft Corp
NetRange: 207.46.0.0 - 207.46.255.255
CIDR: 207.46.0.0/16
NetName: MICROSOFT-GLOBAL-NET
219.58.160.173
YahooBB219058160173.bbtec.net
219.0.0.0 - 219.63.255.255
BBTECH
SOFTBANK BB CORP 202.210.241.40/29 を deny した。 >>926
えっともしかして、robots.txt を設置していないのかな？
.htaccess で deny するよか、アクセス数は激減するはずだけど。。。
httpd が必要以上に立ち上がらないので、転送量も減るはずなんだけど。。。 >>927
同意。
robots.txtでレス抽出したりしてみたが、なんでああいう結論になるのかわからない。
robots.txtと.htaccessを併用するべきだと思うんだけどな >>928
うん。あんなにrobots.txt設置を拒む一般的根拠がない。
どうしても設置できない理由があるんだと思ってる。 注意で
・無断で商用目的等でのデータ利用は禁止します。。。
とすれば、携帯私家一斉ダウンが起きなかったかも…。 >>932
トップページに書いてあるじゃん。
> ２ちゃんねるのデータの利用に関して、原則的に自由ですが、 ２ちゃんねるのデータ自体を利用して対価を取る行為はご遠慮下さい。
>>932
商用かどうかはFOXさんにも、IPだけではわからんよね。 リモートホストとアクセスの仕方を見ればだいたいわかるぞ。
とかいうのがこのスレの趣旨の方向性だったはずだが 某p2
http://whois.nic.ad.jp/cgi-bin/whois_gw?key=219.106.243.200/29
ネットワーク利用技術研究会 (Network Utility Researching Society)
NURS3-JP-NET [219.106.243.200 <-> 219.106.243.207] 219.106.243.200/29
/test/に設定して書き込み不可にしたら？ >>936
書き込み制限についてはBBQスレにどうぞ。 >>937
それが・・・
ＢＢＱ済み
●をつかってスレ乱立
ＢＢＱが無意味 規制解除要望はこのスレでいいのかな？
YahooBB219006108108.bbtec.netなんですけどqb5の全板見れません。
解除してください >>940
電番晒してた人だっけ？
運営系板で暴れるとそうなります。 ２ちゃんねるのサイトは見れるのですが、運営という板は見れるのですけど
ほとんどの板のスレッドが見れません。Forbidden
You don't have permission to access /goods/ on this server.
というエラーが出ます。どうしてでしょうか？ >>942
とりあえずfusianasanしてホスト情報を出してみるべし。でないとこのスレでも
何も検討できないよ。
意味が分からないなら名前欄に「 fusianasan 」と書いて書き込むんだ。 >>941
アクセス規制は解除されたのに、ここは一生規制なんですかね？ イーグルネットはいつになったら解除されるのか(´･ω･｀)ｼｮﾎﾞｰﾝ >>250
余計なお世話だ。問題のすり替えはやめてくんな！
旅人さん！ レス数が950を超えています。1000を超えると書き込みができなくなります。
