【.htaccess】読みこみできない【規制作戦】
レス数が950を超えています。1000を超えると書き込みができなくなります。
http://qb3.2ch.net/test/read.cgi/operate/1082125059/864-865n
864 :動け動けウゴウゴ2ちゃんねる :04/04/26 16:31 ID:XBHI6262
全datさらうのを勧めるのもどうかと
865 :留守番 ★ :04/04/26 16:42 ID:???
>>864
最近増えてきているんですよねぇ
.htaccess で deny の規制が復活の予感。
http://qb3.2ch.net/test/read.cgi/operate/1082125059/867-868n
867 :root ★ :04/04/26 16:47 ID:???
datかっさらいもさることながら、read.cgi経由も目につくような気が。
868 :留守番 ★ :04/04/26 16:49 ID:???
>>867
ですねぇ
思い立ったが吉日ってことで
スレ立ててやりましょ >>871
206.223.150.190 -> pacificinternetexchange.net
218.218.37.133 -> EATcf-447p133.ppp15.odn.ne.jp
>866 (参考に・・・)
ttp://squid.robata.org/squid2.0-conf.html banana710は2ch関係のサイトが多くて、各々が色々なデータ取得を
しているから、アクセス数が多いんだよね。 ちょっと僕の推測に過ぎないんですけど書いておきます。
Comic6に携帯からのアクセスが集中しているのは今の時期、夏コミへの
最後の追い込みでPCは原稿書きに使っていて携帯からのアクセス集中に
繋がっているかもしれませんね。
下手にPCからやってもしデータ飛んだら大事ですし(滝汗 blackgoat.2ch.net 206.223.150.190 ついでに
maximum_object_size 600 KB
minimum_object_size 0 KB
cache_dir ufs d:/squid/cache 210000 256 256
これの210000の所を(板数)*(スレッド数 700)*(1スレの容量 512K)にしないと意味無いっぽい 串迎撃部隊@2ch掲示板
ttp://www.domo2.net/boo80/
動かなくなってますー ふむ、
206.223.151.190 は復活の方向で、 i.i2ch.net(219.113.242.218)は? 今日16時からの219.113.242.218からのアクセスは2622回か。< news18
16時からの総アクセス数は全部で約53万回ぐらいだから、0.5%ぐらい。
ファイルでみると、こんなかんじだった。
1155 /mnewsplus/index.html
1116 /mnewsplus/subject.txt
66 /trafficinfo/index.html
60 /trafficinfo/subject.txt
59 /mnewsplus/dat/?C=M;O=D
58 /mnewsplus/dat/?C=N;O=D
9 /trafficinfo/dat/1090999641.dat
9 /mnewsplus/dat/1091097422.dat
6 /trafficinfo/dat/?C=M;O=D
6 /mnewsplus/dat/1091082446.dat
5 /mnewsplus/dat/1091068391.dat
5 /mnewsplus/dat/1090624040.dat
4 /trafficinfo/dat/?C=N;O=D
さて、これは止めるべきなのか、そうではないのか。 >>882
クラシックミラーは閉鎖ということですか? 22時台の今までのblackgoatからのアクセス (news18)
総数: 608
16 /mnewsplus/dat/1091070506.dat
15 /mnewsplus/dat/1090958581.dat
14 /mnewsplus/subject.txt
13 /mnewsplus/dat/1091105207.dat
13 /mnewsplus/dat/1091101768.dat
13 /mnewsplus/dat/1091082446.dat
13 /mnewsplus/dat/1090590352.dat
12 /trafficinfo/subject.txt
12 /mnewsplus/dat/1091103315.dat
12 /mnewsplus/dat/1091097422.dat
12 /mnewsplus/dat/1091095638.dat
12 /mnewsplus/dat/1091085972.dat
12 /mnewsplus/dat/1091084551.dat
12 /mnewsplus/dat/1091068391.dat
12 /mnewsplus/dat/1091066797.dat
12 /mnewsplus/dat/1091003756.dat
12 /mnewsplus/dat/1090966627.dat
12 /mnewsplus/dat/1090571398.dat
11 /trafficinfo/dat/1090999641.dat
11 /mnewsplus/dat/1091104845.dat
11 /mnewsplus/dat/1091102661.dat
11 /mnewsplus/dat/1091061442.dat
11 /mnewsplus/dat/1091051473.dat
11 /mnewsplus/dat/1090399065.dat
10 /mnewsplus/dat/1090959539.dat index.htmlをすごく読んでるのって、なんでしたっけ。>>883 >>885
index.htmlを見に行く時は、
(1)xxxxx.datをGETした時のステータスが200でないとき
(2)subject.txtのサイズが0のとき
(3)subject.txtをGETした時のステータスが200または304でないとき
です。
サーバ上に所望のデータが無い時ですね。
index.htmlが無ければ、サーバ移転として、自動追尾が行われます。
>>886
ふむ。
news18の場合(2)や(3)はない気がします。
index.htmlの回数が多いのが、やや気になるです。
blackgoatからは0回なので、なんでかなと。 あ、ひょっとして.htaccessでdatとかが取れないから、改めてとりにいってるということかしら。< index.html 確かに気になりますね。
おそらく、subject.txtを見に行く時に出ているような気がしますね。
いま、operateはi2ch.netは使えるので、どうなっているか見てもらえます? いま、news18にsubject.txtを取りに行くとステータスは403ですね。
それが原因ですね。 >>891
なるほど、つまり>>888ということですか。
# メールおへんじしたです。 >>892 root★
operateのログは見ること出来ますか?
中の人は新板作りだという噂があるので、しばらくはここにはこないかも。 ミラー(219.113.242.218)からBlackGoatにアクセスできるようによいのかな?
それも無理か。。。。 私家版クラシックを止めちゃうと、c.2chに難民が流れて負荷がかかると思うけど、いいのかな?
#クラシックミラー/テスト1にはディレイかかって無かったけどそれが原因?
>>898
もとより携帯アクセスはc.2chに集約すると言うのが基本だったと思うので、
仕方無いけど好転しそうな要因が無い限り停止もやむを得ないのかな…
負荷増加については、c.2chのチューニングデータ採取のため逆に願ったりみたいです。 >root ★
外部ミラー向けのBlackGoat作ったら?
#POST禁止
acl POST method POST
http_access deny POST Safe_ports
http_access deny POST !Safe_ports
#2ch.netドメイン以外アクセス禁止
acl dompath_2ch dstdom_regex 2ch.net
http_access deny !dompath_2ch
acl path_2ch urlpath_regex \/.*\/dat\/\d+\.dat \/.*\/subject.txt
http_access deny !path_2ch >>900
・投稿は禁止
・2ch.net以外のデータはとれない
・datとsubject.txt以外はとれない
(# 設定時には index.html も許可必要かも。移転検出で使っている模様)
で、blackgoatを「開放」したらどうか、ということですか。
期待される効果は、
・blackgoatには外向けIPアドレスを5つまでつけられるので、
必要なら後日別ホストに分けたり、アクセスコントールしたりできる
・ディレイが効くようになったので、
2ch.netのサーバへの影響は最小限に抑えられるはず
逆に、外から素でdatとかをごりごりされるよりいい皮算用も期待できるかも
考えられる影響、
・データ転送量やキャッシュヒット率はsquid側で別にとりはじめたので、
転送量グラフ的に外と中は切り分け可能
・いたづらされたら、サービスそのものをすぐ止められる
・POST(投稿)禁止・2ch.net外へのアクセスは制限
といったところか。
これなら、やってみる価値はあるのかも。
管理人の判断を仰ぐべきだと思います。
2ちゃんねるの根幹に関わることだと思います。 いまいち、何が問題なのかわからんのですが、
クラシックさんはミラーをやってるんですよね?
したら、ミラー向けに開いててもいいんじゃないすか?
そう簡単には行かないんだよ
なんつーか、大人の事情ってやつですかね このスレッドの趣旨は、過度に占有的に2ちゃんねるのサーバを
使っている IP は自動的に遮断するです。
その中で、管理人の開けという指示があった場合は再度開きます。
219.113.242.218 に関してはちょっと考えたので遅くなっていますが
昨日 (今日の未明ですが)解除しました。でも、私が判断する範囲を
超えているので >>902 の発言になっています、 ちょっと出遅れました。
管理人も降臨したようで。
・FOXさんはアクセス数だけを見て、淡々と遮断する
・管理人がそれをoverrideすることはもちろんある(公式にOKしてるものとか)
・FOXさんの判断を超えるものについては、個別対応 => 最終的には管理人判断
で、現在同じ本質からスタートした判断点が2つあって、
1)219.113.242.218 からの http によるアクセス
2)blackgoat.2ch.net の「開放」
そのうえで、それぞれは現在、
1)は現在いったん解除、で、たぶんこことかLove affairスレでi.i2ch.netの中の人たちと話し合い
2)は >>903 により、開いててもいいんじゃないすか
という状況になるのかなと。 >ミラー向けに開いててもいいんじゃないすか?
多少問題が・・・
・現在のミラー鯖は差分取得してる(はず)
・squidなんで Range: を入れてしまうと本体へ取りにいってしまう(=差分取得する方法では無意味) => wgetを使ってもらう?
・トラフィックが上がる(日本国内に置いた方がいいかも) => wgetを使用した場合
ミラー = ミラー用に解放するsquid鯖(blackgoat2) = pieにあるsquid鯖(blackgoat.2ch.net) = 各2ch鯖
blackgoat2のIPはミラー鯖運営者へメールで送る? >>909
==リクエスト
GET http://qb5.2ch.net/operate/dat/1082968554.dat HTTP/1.0
Host: qb5.2ch.net
Range: bytes=250321-
Pragma: no-cache
User-Agent: Monazilla/1.00 kage/0.99.1.1093 (1000)
Connection: close
Pragma: no-cache
==応答
HTTP/1.0 206 Partial Content
Date: Fri, 30 Jul 2004 07:51:50 GMT
Server: Apache/2.0.49 (Unix) PHP/4.3.6 mod_ssl/2.0.49 OpenSSL/0.9.7c-p1
Last-Modified: Fri, 30 Jul 2004 07:46:24 GMT
ETag: "11416b-3d225-a5dcd400"
Accept-Ranges: bytes
Content-Length: 84
Vary: Accept-Encoding
Content-Range: bytes 250321-250404/250405
Content-Type: text/plain
X-Cache: MISS from cache98
Proxy-Connection: close
差分取得(レジュームDL)するときに・・・ おぉ、、そういうことですか。
squidってrangeではとれないんですかぁ、、 Range: でとれないわけではない気がしますが、どうなんだろう。
Pragma: no-cacheだと(デフォルトでは)すれば、いまのところキャッシュはスルーですね。
blackgoatを公開するときは、入れても無視するようにしておかないと。 んー
Aが全部取得した後にBがAの取得済み途中からはOK(hit)
Bのログ
17:17:54 HTTP/1.0 206 Partial Content
17:17:54 Accept-Ranges: bytes
17:17:54 Content-Range: bytes 421-35873/35874
17:17:54 Content-Length: 35453
17:17:54 Age: 23853
17:17:54 X-Cache: HIT from cache98
Aが全部取得した後にBが差分取得成功したらダメっぽい
この時のキャッシュはA+Bにならない あ
× Aが全部取得した後にBが差分取得成功したらダメっぽい
△ Aが全部取得した後にBがAの取得した後ろの差分取得成功したらダメっぽい
Aが全部取得(-20000)した後にBが差分取得(20000-)成功したらダメっぽい 更新されてたら続きを取得するというのは特殊な動作っぽいからなあ。 ひろゆきさん、FOXさん、rootさんありがとうございます。
BlackGoatを使わしてもらえるのであれば、ミラーは今のcと同じ仕様にするか、
差分は諦めるか、
どちらかなのかな?
今出先なので明日にでも、一旦現在の仕様でミラーは再開してプロキシ仕様の件は明日検討させてください。 >915
普通は更新が無いファイルを取得再開する時に使う手段だからね・・・
(FlashGet等)多重DLしてるツールもある anonymize_headers deny Range
を入れれば済むかも(キャッシュ内のDATを最新の差分ではない完全版にする)
*Squid/2.3.STABLE5の場合
取得した側は200 OKが出て変になるかも
>Pragma: no-cacheだと(デフォルトでは)すれば、いまのところキャッシュはスルーですね。
reload_into_ims on
ie_refresh off
この変だったような
2chブラウザは"Pragma: no-cache"入れてたのか・・・ 質問・雑談スレ60@運用情報板
http://qb5.2ch.net/test/read.cgi/operate/1091542484/603-
ふおんな動きがふおんふおんしているようなので、
一時的に .htaccess 的にあっち方面のアドレスをはじいてみた。
もし1月の時みたいにそれでも負荷が高くなるようなら、
そのときはそのときということで。 いまのところ、トップページはじめ各サーバ(私がみてるもの)には、
特になにごとも起こっていないもよう。
今回のはあくまで超短期的な一時的措置ということで。 かっさらいさん情報?
User-Agent:
Mozilla/2.0 (compatible; Ask Jeeves/Teoma)
AskJeeves, Inc. UU-65-214-36 (NET-65-214-36-0-1)
65.214.36.0 - 65.214.39.255
msnbot 並にかっさらいしているもより。。。 >922
調べたらここも大手ですね。
(日本では知名度は低いようですけど)
http://www.ask.com/
参考記事
ttp://www.itmedia.co.jp/news/articles/0405/14/news053.html comic6.2ch.net サーバ
GET /test/read.cgi 呼び出し回数 = 2758
deny from 202.210.241.43 #(416) 15.08%
deny from 207.46.98.48 #(187) 6.78%
deny from 219.58.160.173 #(68) 2.47%
202.210.241.43
tk0008-202x210x241x43.ap-TK.usen.ad.jp
株式会社ユーズコミュニケーションズ (U's communications Corp.)
SUBA-468-118 [サブアロケーション] 202.210.241.0
鳴澤 一郎 (Narusawa Ichiro)
USTK0011-228 [202.210.241.40 <-> 202.210.241.47] 202.210.241.40/29
207.46.98.48
ホスト名なし
OrgName: Microsoft Corp
NetRange: 207.46.0.0 - 207.46.255.255
CIDR: 207.46.0.0/16
NetName: MICROSOFT-GLOBAL-NET
219.58.160.173
YahooBB219058160173.bbtec.net
219.0.0.0 - 219.63.255.255
BBTECH
SOFTBANK BB CORP 202.210.241.40/29 を deny した。 >>926
えっともしかして、robots.txt を設置していないのかな?
.htaccess で deny するよか、アクセス数は激減するはずだけど。。。
httpd が必要以上に立ち上がらないので、転送量も減るはずなんだけど。。。 >>927
同意。
robots.txtでレス抽出したりしてみたが、なんでああいう結論になるのかわからない。
robots.txtと.htaccessを併用するべきだと思うんだけどな >>928
うん。あんなにrobots.txt設置を拒む一般的根拠がない。
どうしても設置できない理由があるんだと思ってる。 注意で
・無断で商用目的等でのデータ利用は禁止します。。。
とすれば、携帯私家一斉ダウンが起きなかったかも…。 >>932
トップページに書いてあるじゃん。
> 2ちゃんねるのデータの利用に関して、原則的に自由ですが、 2ちゃんねるのデータ自体を利用して対価を取る行為はご遠慮下さい。
>>932
商用かどうかはFOXさんにも、IPだけではわからんよね。 リモートホストとアクセスの仕方を見ればだいたいわかるぞ。
とかいうのがこのスレの趣旨の方向性だったはずだが 某p2
http://whois.nic.ad.jp/cgi-bin/whois_gw?key=219.106.243.200/29
ネットワーク利用技術研究会 (Network Utility Researching Society)
NURS3-JP-NET [219.106.243.200 <-> 219.106.243.207] 219.106.243.200/29
/test/に設定して書き込み不可にしたら? >>936
書き込み制限についてはBBQスレにどうぞ。 >>937
それが・・・
BBQ済み
●をつかってスレ乱立
BBQが無意味 規制解除要望はこのスレでいいのかな?
YahooBB219006108108.bbtec.netなんですけどqb5の全板見れません。
解除してください >>940
電番晒してた人だっけ?
運営系板で暴れるとそうなります。 2ちゃんねるのサイトは見れるのですが、運営という板は見れるのですけど
ほとんどの板のスレッドが見れません。Forbidden
You don't have permission to access /goods/ on this server.
というエラーが出ます。どうしてでしょうか? >>942
とりあえずfusianasanしてホスト情報を出してみるべし。でないとこのスレでも
何も検討できないよ。
意味が分からないなら名前欄に「 fusianasan 」と書いて書き込むんだ。 >>941
アクセス規制は解除されたのに、ここは一生規制なんですかね? イーグルネットはいつになったら解除されるのか(´・ω・`)ショボーン >>250
余計なお世話だ。問題のすり替えはやめてくんな!
旅人さん! 失礼します。2チャンネルがこの運用系の板以外まったく読めなくなっています。
OpenJaneでもIE6でもです。
IEで読めない板にいくと、Forbiddenとともに
You don't have permission to access /dataroom/ on this serverの表示
また、Open Janeでは、HTTP/1.1 403 Forbiddenとともに
何も表示されません。
2チャンネルで何か変わったことがあったのでしょうか?
それとも、私が規制を受ける対象となっているのでしょうか?
今のところ、こちらに書き込む以外、情報を得る手段が
ありません。どなたか、よろしくお願いします。
>>951
あなたの環境を提示して頂かないとどうにも・・・
まずは名前欄に fusianasan と入力してリモホを表示させてください。 167あたりからずっと
摘出数が多すぎるし解除はなさそうだが… ISPに2ちゃんねる見れないと苦情言う…には遅すぎるかな。
5月のアクセス記録じゃあまり動いてくれなさそう。 閲覧できるようになりました。
ありがとうございました。
ところで原因は何だったのでしょうか? >>957
IDが変わっているところをみると、ホストが変わったようです。 951=957です。
接続を切った覚えもないのですが・・・
とにもかくにもありがとうございます。 私も951様と同じ現象です。どなたかよろしくお願いします。 東京を指す隠語
政治の謀が多いため、「おのれ○○謀ったな」という台詞が
後を絶たないことに由来している。
<民明書房 吃驚世界の地名人名 より> 某串
168.143.113.208:80
範囲(報告があったものだけ) (rwhois.verio.net:4321)
130.94.120.0/21 Handle:NETBLK-C020-130-094-120
168.143.184.0/22 Handle:NETBLK-C020-168-143-184
168.143.113.0/24 Handle:NETBLK-C020-ANONYMIZER-3
168.143.120.0/22 Handle:NETBLK-C020-ANONYMIZER-6
130.94.104.0/22 Handle:NETBLK-C113-ANONYMIZER-10
130.94.134.128/25 Handle:NETBLK-C113-ANONYMIZER-11
他の範囲もありそうだから↓を全てDenyするとか? (from whois.arin.net:43)
NetRange: 168.143.0.0 - 168.143.255.255
NetRange: 130.94.0.0 - 130.94.255.255
おぉ
かつて deny していたけど、どっかいっちゃったやつだ、
入れなきゃ、入れなきゃ deny from 168.143.
deny from 130.94.
で書き方はいいんでしたっけ
レス数が950を超えています。1000を超えると書き込みができなくなります。