【.htaccess】読みこみできない【規制作戦】
■ このスレッドは過去ログ倉庫に格納されています
http://qb3.2ch.net/test/read.cgi/operate/1082125059/864-865n 864 :動け動けウゴウゴ2ちゃんねる :04/04/26 16:31 ID:XBHI6262 全datさらうのを勧めるのもどうかと 865 :留守番 ★ :04/04/26 16:42 ID:??? >>864 最近増えてきているんですよねぇ .htaccess で deny の規制が復活の予感。 http://qb3.2ch.net/test/read.cgi/operate/1082125059/867-868n 867 :root ★ :04/04/26 16:47 ID:??? datかっさらいもさることながら、read.cgi経由も目につくような気が。 868 :留守番 ★ :04/04/26 16:49 ID:??? >>867 ですねぇ 思い立ったが吉日ってことで スレ立ててやりましょ pc4.2ch.net サーバ 371318 read.cgi 呼び出し回数 = 159230 64.68.92.14(6804) 64.68.92.9(6780) 64.68.92.18(6568) 64.68.92.11(6519) 64.68.92.10(6311) 64.68.92.17(6158) 64.68.92.19(6132) 64.68.92.4(6039) 64.68.92.5(5883) 64.68.92.6(5863) bubble.2ch.net サーバ read.cgi 呼び出し回数 = 64.68.92.14(4882) 64.68.92.9(4545) 64.68.92.18(4449) 64.68.92.10(4434) 64.68.92.11(4314) 64.68.92.17(4306) 64.68.92.19(4236) 64.68.92.6(4140) 64.68.92.5(4101) 64.68.92.4(4040) 64.68.92.16(2665) >40 それだけ見る限りでは、64.68.92.0/24(*****回)みたいな感じで纏めたほうが便利かも。 order allow,deny allow from all deny from 64.68.92. を入れてみる 64.68.92.* googlebot.com……グーグルか! なるほど(w pc4.2ch.net サーバ .dat 呼び出し回数 = 139021 219.106.23.235(11074) 219.167.59.210(4425) 218.228.216.29(2456) 220.210.180.206(1793) 218.228.216.14(1407) 218.228.185.40(1306) 202.225.240.125(1261) 61.201.230.16(1086) 218.228.216.129(980) 221.184.158.51(821) 143.90.87.123(615) googleが相手ならrobots.txtを置いておくというのでは駄目なのでしょうか? bubble.2ch.net サーバ .dat 呼び出し回数 = 30589 218.228.216.29(1967) 218.228.216.14(1137) bubble.2ch.net サーバ .txt 呼び出し回数 = 7075 210.138.60.135(1981) pc4.2ch.net サーバ .txt 呼び出し回数 = 46430 210.138.60.135(1991) 218.223.194.216(1092) 219.106.243.202(872) 210.147.179.31(834) 61.121.247.58(653) 210.170.129.199(540) 219.111.57.38(504) 210.173.38.6(451) 219.126.175.153(397) 202.213.149.85(392) 129.250.170.69(384) pc4 bubble に入れた order allow,deny allow from all deny from 64.68.92. deny from 219.106.23.235 deny from 219.167.59.210 deny from 210.138.60.135 deny from 218.223.194.216 どうしますかねぇ google とかのはいつでも止められるということで良いんですが、 固定IPのところもはじけばいいんですが、 その他のねぇ、、、 規制情報板経由ですかねぇ。 219.106.23.235 ntt1-ppp489.utunomiya.sannet.ne.jp 219.167.59.210 o059210.ap.plala.or.jp 210.138.60.135 135.60.138.210.bn.2iij.net 218.223.194.216 goa.self-core.org self-core.orgってなに? >53 whoisによると、ケーブルテレビで固定IPの個人ユーザーっぽい。 >52 個人でのぶっこ抜き行為ですけど明らかに2ちゃんの鯖に過剰に負担をかける 行為ですので通報は可能だと思います。 規制情報板へログを添付して掲載して頂ければ該当プロパへ通報します。 User-agent: * Disallow: /test で行儀のいいロボットにはお帰りいただけます。 もちろんGoogleも。 902に関して言えば、ログ移動後しばらく(どのくらいがしばらくかは不明) ロボちゃんに舐めてもらって、あとはお引取りいただくとか。 名前で調べてきてればそれも必要ないかな? >>38 >簡単にどのIPががんがん持っていっているかをアパッチのろぐから >一発で表示してくれる cgi きぼー ログ出力をカスタマイズしてると・・・ >46は差分取得してない所? pc4 にこれ入れたんだけど 定期的に相変わらずの転送量だなぁ 書き方がまちがっているのか ? order allow,deny allow from all deny from 64.68.92. deny from 219.106.23.235 deny from 219.167.59.210 deny from 210.138.60.135 deny from 218.223.194.216 >61 web制作板にあったので見てみましたけど合ってますね。 .htaccess質問コーナー http://pc5.2ch.net/test/read.cgi/hp/1065608009/ お行儀のいいrobotは>56でお帰り頂くとしても個人でやってるのは繋ぎ替えで やってきたらどうしようもないと思われ ※参照URL漁ってたら恐ろしい物が 間違っても絶対に実行しないでねw やったら全てのアクセスが拒否されます。 >deny from all test/.htaccess との兼ね合いだったようです。 只今 pc4 bubble で実験中。。。 あ、みみずんとかにくちゃんねるさんところのIPを弾かないようにしとかないとね(^_^;) IPアドレス聞いておこう・・・・ sports4.2ch.net サーバ read.cgi 呼び出し回数 = 68373 211.4.214.174(2819) 64.68.92.9(1769) 64.68.92.14(1737) 64.68.92.18(1578) 64.68.92.10(1575) 64.68.92.5(1564) 64.68.92.19(1544) 64.68.92.11(1530) 64.68.92.4(1513) 64.68.92.17(1497) 64.68.92.6(1409) 222.3.210.177(1156) 210.227.247.74(1052) life4.2ch.net サーバ read.cgi 呼び出し回数 = 88126 211.4.214.174(10998) 211.4.214.173(5376) 64.68.92.14(3312) 64.68.92.9(3236) 64.68.92.18(3033) 64.68.92.11(3018) 64.68.92.17(3010) 64.68.92.10(3000) 64.68.92.4(2907) 64.68.92.19(2857) 64.68.92.6(2845) 64.68.92.5(2799) 64.68.92.16(1764) 64.68.92.15(1662) 64.68.92.12(1630) 64.68.92.13(1489) 211.4.214.174を調べたらこんなの出ました。 ケイディディ株式会社 (KDD Corporation) SUBA-035-153 [サブアロケーション] 211.4.214.0 株式会社イーツ (I2TS Inc.) I2TS-NET2 [211.4.214.128 <-> 211.4.214.191] 211.4.214.128/26 構想していること qb4 に /.htaccess 用 /test/.htaccess 用の設定ファイルを置いて 他のサーバに一気に配って規制する仕組みが必要か・・・ root★さんにお願いなんですが ログとっているサーバ(uma oe peko)で /home/ch2abcd/logs/accsess_log でアクセスログをあされるように シンボリックリンク(っていうのかな?) はって欲しいでーす life4.2ch.net サーバ .txt 呼び出し回数 = 14214 210.135.97.174(1188) 210.135.97.175(521) 210.135.97.172(487) 210.135.97.171(431) 210.135.97.177(425) 69.93.181.250(386) 210.135.97.176(351) 210.135.97.170(224) >68をさらにぐぐって調べてたらこんなのも ま、まさかねぇ・・・・・ハハハ(乾いた笑い ttp://www.i2ts.com/case/case.htm >>68 ホスティング業者のようですね。 ttp://www.i2ts.com/ 210.135.97.174はブラジルな会社ですね。 これは許してあげてー >>69 今読んだので、今日〜週末あたりにぼちぼちと。 まだオフィスにいたりして。これで何日連続オフィスで日付変わったかしら。 read.cgi を使って取り出してるのは googlebot等の検索エンジン .txt を中心に取り出してるのは *.razil.jp (find.2ch) http://qb3.2ch.net/test/read.cgi/operate/1082968554/ 必ずread.cgiを使う事になってるのが原因<googlebot等の検索エンジン find.2ch以外の検索エンジンは帰ってもらいましょう googleさんとイーツさんにお引取り願うだけでかなり違うと思います。 .dat 主に個人 若干気になるもの:総呼び出し回数の5%を超える 219.106.23.235 (ntt1-ppp489.utunomiya.sannet.ne.jp) pc4の8.0% 218.228.216.29 (218-228-216-29.eonet.ne.jp) bubbleの6.4% .txt 主にfind.2chの中の人 気になるもの:呼び出し回数が突出 210.138.60.135 (135.60.138.210.bn.2iij.net) pc4の4.3%、bubbleの28.0% 若干気になるもの:会社等 61.121.247.0/24 株式会社リンク pc4の1.4% 219.106.243.200/29 ネットワーク利用技術研究会 pc4の1.9% read.cgi 主にgooglebot.com 気になるもの:呼び出し回数が突出 64.68.92.0/24 googlebot.com pc4の39.6%、sports4の23.0%、life4の41.5% 211.4.214.128/26 株式会社イーツ sports4の4.1%、life4の18.6% >>61 > 書き方がまちがっているのか ? Order Deny,Allow Deny From ... Deny From ... Allow From all 順番じゅーよー そうか N% なんてのを自動で検出していろいろやればいいのか? まぁ せいぜい一時間に一回くらいしかできないだろうけど、 皆様のSEチックな議論が交わされている中で イキナリ鳥頭かつマヌケな質問で申し訳ないのですが、 一つの個人IP(Yahoo!!bb、OSはWinXPHome)で 普通に2chブラウザ(ギコナビ)利用して2chを閲覧する場合で、 たとえば、ある一つの板のスレのログが100個近くあって その100個近い現行スレたちのログ(dat)を取得する場合で 呼び出し回数(↑この場合だとdat呼び出しは100回位?)が多過ぎると規制の対象になってしまうのですか? (無論荒氏行為・広告投稿は規制以前の問題ですが) ギコナビはdatを差分取得するのは理解していますが、 それでも一つの個人IPで鯖へのdat呼び出し回数が多いと負担がかかってしまうという事は ここのスレを閲覧していてそう感じたので。 ちなみに行きつけの板の殆どがcomic4鯖・・・・(´・ω・`)チョットシンパイニナッテシツモンシタシダイデス、ハイ。 1日数十レスくらいのありがちな人気スレを 10回/1hくらいで夜頻繁に4時間くらいチェックしたとして(寝る前とか) 3回/1hくらいで朝夕まれに2時間くらいチェックしたとして(帰宅後とか) そんな注目スレがひとつの板に20個相当くらいあったとして(ちと多いか) ひとつの鯖にそんな興味のある板が3個くらいあったとして(最近詰め込み化) (10*4) + (3*2) = スレあたりdat呼び出し 46回 の 46 * 20 = 板あたり呼び出し 920回 の 920 * 3 = 鯖単位で 2760 回。 でも>>46 とか見るとこれではアクセス過多の不良個人ユーザーですな(w パーセンテージと一緒に鯖ごとに足切り回数を公表してもらえると気が楽かなあ… >>84 そういった閾値を明示するとぎりぎりの悪さをする人が増えるだけかと。 >>85 >ぎりぎりの悪さ どんな悪さだろう? 広告等の荒らし報告再開不可能になった >>86 制限ぎりぎりまでアクセスしまくるってことです。 >>87 意図的に(dat)アクセス数を引き上げるメリットが思いつかないんだけど… これまでは多かったけど引っかからないぎりぎりに抑えて頻繁にアクセスする、というのは それはそれで迷惑だけど許容の余地はあるでしょ。 >>88 うーん。でも公表する意味が思いつかないんですけど。 公表しなければ抑止効果にもなりますし。 >>89 ぜんりょう(棒読み)なユーザーの中には 「これくらいまでなら大丈夫なので自動アクセスとかの目安にしてね」 というのが示されてれば喜んでそれに従う、という人は少なくないと思うけどなあ。 デメリットのほうが大きいかしら。 自動アクセスなんてしている時点であまり善良とは・・・ >>90 いや、わかんないっす。 漏れは感覚的な意見を言っただけなんで。 やっぱ公開した方がいいのかなぁ。 「これ以上はダメ」という制限は、すぐに「ここまではいいんだ」という認識に 取って代わられるのがオチかと。 #「ならば、今すぐ全てのドライバーに制限速度を守らせてみせろ!」 >>83 専用ぶらうざ使えばDAT直読みだから read.cgiは関係ないのでは 基準 自動アクセスの時点で弾かれてもしょうがない でFAでいいんでは datを取るときにRangeヘッダを付けないリクエストを記録、とか。 SetEnvIf Request_URI "¥.dat$" datall SetEnvIf Range ".+" !datall CustomLog /var/log/httpd-datall.log combined env=datall >>96 それは .htaccess に記述するのですか? ちがうのか、 >>97 あ、httpd.confじゃなきゃだめぽいです=要root 218.226.22.79 ってどんな回線なんだろぅ nslookupしてみたら ↓ ntoska043079.oska.nt.adsl.ppp.infoweb.ne.jp こんなん出てきました >99 ここで調べれば即ですよ。 ttp://www.arearesearch.co.jp/ip-kensaku.html ちなみに調べたらこんなの出ました。 IPアドレス 218.226.22.79 ホスト名 ntoska043079.oska.nt.adsl.ppp.infoweb.ne.jp IPアドレス 割当国 ※ 日本 (JP) 都道府県 大阪府 市外局番 -- 接続回線 該当データ無し 218.226.22.79 ←→ ntoska043079.oska.nt.adsl.ppp.infoweb.ne.jp 大阪のフレッツADSLです。 http://qb3.2ch.net/test/read.cgi/sec2chd/1083246813/3 フレッツADSL:nt地域名\d+\.地域名.nt.adsl.ppp.infoweb.ne.jp >>98 \を¥で書くのは明らかに間違ってるだろ。 意味的にバックスラッシュでなきゃならないんだから >>95 一般論として、手動と自動の区別なんてできないぞ。 30分に1回datの更新を見る自動スクリプトより 2〜3分に1回リロード繰り返す手動閲覧者のほうが迷惑でしょ? 24時間365日休みなく2〜3分間隔でリロードし続ける人間はいません >>105 うん、だからといって自動スクリプトが悪いことにはならない。 アクセス手段ではなくアクセス頻度だけが問題になるべき。 >>101 ISP専用スレあるじゃん >>104 ファイルのダウンロードにたとえる >30分に1回datの更新を見る自動スクリプトより 帯域制限かけて長時間DL >2〜3分に1回リロード繰り返す手動閲覧者のほうが迷惑でしょ? 分割DLして短時間で終わるが負荷が高い どっちがいいんだろ? >>94 Σ(´д`; ハッ、ソウダッタ。ヨク考エレバ、 2chブラウザハ「dat」ヲ使ウノテアッテ、「read.cgi」ヲツカウワケジャナカッタンダ・・・・orz 適切な解答ありがとうございました。 もう一回このスレを一から読み直してみます(´・ω・`)ホントウニモウシワケナイ >>83 間違ってないぞ >83にはread.cgiとは書いてないしギコナビ使用してるとある >94がおかしい >>110 重ね重ね申し訳ないです。 >>83 での書き方も自分で書いておきながら判り辛い文章になってるので、 要約すれば、 ・普通に2chブラウザ(ギコナビ)で書き込み・閲覧する場合で 例えばある鯖の一つの板の現行スレのログが100個あって、 その100個分のdatの更新(差分取得)(この場合だとdatの呼び出しは100回?)が その鯖の中にあるdatの呼び出しが一つのIPで100回位でも、.htaccess規制に引っ掛かるかどうかを尋ねたかっただけなんです。 前に当該スレの前スレが生きてたとき (ちょうど去年の今頃かな?確か夜(ry氏辺りがこの規制の担当だった) 今まで普通に書き込み・閲覧していた(筈だと思う)人たちが いきなり規制を喰らったり(巻き添えも含め)した事が有った様な気もするので(記憶違いだったらごめんなさい) 質問した次第です。本当に申し訳ありません。 >>108 的外れの比喩は混乱の元だぞ。 というか何かにたとえなくてもわかるだろ。 ex6.2ch.net サーバ .dat 呼び出し回数 = 38757 deny from 218.226.22.79 #(2934) 0.08% deny from 61.198.101.9 #(2633) 0.07% deny はしてないけど、コピペできるように (将来は自動化をにらんで)改良中。。。 質問ですが .htaccess 内の記述は >>113 のように 行の途中から # でコメントを書くってのはありですか? >>115 ttp://cvs.apache.jp/apache/manual/configuring.html#syntax > ハッシュ文字 "#" で始まる行はコメントと見なされて無視されます。 > 設定ディレクティブの後の行ではコメントが含まれていてはいけません。 というわけで # は行頭のみ。途中からは使えません。 >>117 .htaccess を直接書き換えるのではなく、別のファイルを編集してから .htaccess に流し込んでみてはどうかしらん? >>69 貼っておきました。 でも、ログのファイル名がmaido3.com標準セッティングと違うかも。 >>120 いろいろ改造して、最新日付のをopenするように改造してたり、 >>110 今ここでの話題はread.cgiじゃないのか( ´_ゝ`)? >>122 どこに read.cgi限定と書いてある? それに >38 名前:FOX ★[] 投稿日:04/05/13 05:36 ID:??? >出力例) >read.cgi (← ここは .dat とか、bbs.cgi とか .html .txt に変わる) >46 名前:FOX ★[] 投稿日:04/05/13 07:03 ID:??? >pc4.2ch.net サーバ >.dat 呼び出し回数 = 139021 >219.106.23.235(11074) >51 名前:FOX ★[] 投稿日:04/05/13 07:13 ID:??? >pc4 bubble に入れた >order allow,deny >allow from all >deny from 219.106.23.235 確実に*.datも入ってる >どこにread.cgi限定と書いてある? これは蛇足ではないですか bubble.2ch.net サーバ .txt 呼び出し回数 = 4974 deny from 218.46.229.124 #(1049) 0.21% order allow,deny allow from all deny from 64.68.92 ←ここ deny from 64.68.81 ←ここ deny from 219.106.23.235 deny from 219.167.59.210 ←ここ の部分は read.cgi だけを deny したいときは order allow,deny allow from all <Limit File=read.cgi> deny from 64.68.92 ←ここ deny from 64.68.81 ←ここ </Limit> deny from 219.106.23.235 deny from 219.167.59.210 なんて書けるんですか? >>126 せっかくいろいろなジャンルがあるんだから 専門スレで聞こうよ・・・ >>126 <Files read.cgi> deny from 64.68.92 ←ここ deny from 64.68.81 ←ここ </Files> こんなんですー http://httpd.apache.org/docs-2.0/ja/mod/core.html#files oyster15 まで退役させたら .htaccess の共通化もできるので 一気に全サーバに配る仕組みも検討する予定。 今>>125 とか見てふと思ったんだけど、板内の複数のスレの更新を調べるときは、 更新チェックするごとに大きな subject.txt を読み込んで 目当てのスレのレス増分を鑑みてレス差分を取得するかどうか決めるよりも 目当てのすべてのスレの dat をとりあえず毎回差分取得したほうが好ましいのかな。 サーバーへのリクエスト回数が細かく多い(ダウンロード量は少なめ)のと、 ダウンロード量がある程度多い(リクエスト回数は少なめがち)のとどっちがマシなのかしら。 GET http://qb3.2ch.net/operate/subject.txt HTTP/1.0 HTTP/1.0 200 OK Last-Modified: Sun, 16 May 2004 04:49:06 GMT Accept-Ranges: bytes Content-Length: 5700 GET http://qb3.2ch.net/operate/dat/1082968554.dat HTTP/1.0 Range: bytes=33967- HTTP/1.0 206 Partial Content Last-Modified: Sun, 16 May 2004 02:08:08 GMT Accept-Ranges: bytes Content-Length: 1 Content-Range: bytes 33967-33967/33968 >>131 subject.txt を読まずに個別のDATだけを取得した方がいいかもしれない 更新のチェックだけなら差分取得せずにLast-Modifiedをチェックすればいいのでは? GET http://qb3.2ch.net/operate/dat/1082968554.dat HTTP/1.0 Range: bytes=34785- If-Modified-Since: Sun, 16 May 2004 05:07:03 GMT If-None-Match: "375c5-87e2-ade26bc0" HTTP/1.0 304 Not Modified ETag: "375c5-87e2-ade26bc0" >>133 If-Modified-Sinceを出すのはアプリが起動後2回目以降の取得だね IEでDLするとDLした日時になるし・・・ ISPで使われ始めてるZeus(httpd)はhtmlファイルのLast-Modifiedを返さないし ファイルの更新日時を気にしない人が多すぎる気がする ほう、荒らしとかしなくても、読むだけで悪禁ってか。 負荷が上がる無茶なアクセス頻度の人には制限でお引取り願うというのは Webサーバ管理の方向性そのものとしてはしごく真っ当。 単なるDENYではなく「1日のアクセス制限量を超えました」とでも表示を返してくれれば 周知効果もあっていいとは思うけど、まあ、それは無くても仕方ないやね。 鯖ごとの制限量突破によるアクセス制限はあっても良いかと、という素人考え。 規制と言うより遮断といった感じですかね。 どれくらいの間隔を持っているかというと たとえば etc サーバが ピークし時 6Mbps くらいの状態である場合 引っこ抜き屋さんたちは常時 2Mbps くらいで活動しているようです つまり ピーク時 6M なら = 2Mbps/6Mbps = ???% 早朝 3M = 2Mbps/3Mbps = 66.7% こんな感じのことがしょっちゅう起こっています。 うわっ。Σ(゚Д゚) そりゃひどい。。。 うちの鯖でも、規制対象だなー。 ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 07.5.5 2024/06/08 Walang Kapalit ★ | Donguri System Team 5ちゃんねる