【.htaccess】読みこみできない【規制作戦】
■ このスレッドは過去ログ倉庫に格納されています
http://qb3.2ch.net/test/read.cgi/operate/1082125059/864-865n 864 :動け動けウゴウゴ2ちゃんねる :04/04/26 16:31 ID:XBHI6262 全datさらうのを勧めるのもどうかと 865 :留守番 ★ :04/04/26 16:42 ID:??? >>864 最近増えてきているんですよねぇ .htaccess で deny の規制が復活の予感。 http://qb3.2ch.net/test/read.cgi/operate/1082125059/867-868n 867 :root ★ :04/04/26 16:47 ID:??? datかっさらいもさることながら、read.cgi経由も目につくような気が。 868 :留守番 ★ :04/04/26 16:49 ID:??? >>867 ですねぇ 思い立ったが吉日ってことで スレ立ててやりましょ life4.2ch.net サーバ .txt 呼び出し回数 = 14214 210.135.97.174(1188) 210.135.97.175(521) 210.135.97.172(487) 210.135.97.171(431) 210.135.97.177(425) 69.93.181.250(386) 210.135.97.176(351) 210.135.97.170(224) >68をさらにぐぐって調べてたらこんなのも ま、まさかねぇ・・・・・ハハハ(乾いた笑い ttp://www.i2ts.com/case/case.htm >>68 ホスティング業者のようですね。 ttp://www.i2ts.com/ 210.135.97.174はブラジルな会社ですね。 これは許してあげてー >>69 今読んだので、今日〜週末あたりにぼちぼちと。 まだオフィスにいたりして。これで何日連続オフィスで日付変わったかしら。 read.cgi を使って取り出してるのは googlebot等の検索エンジン .txt を中心に取り出してるのは *.razil.jp (find.2ch) http://qb3.2ch.net/test/read.cgi/operate/1082968554/ 必ずread.cgiを使う事になってるのが原因<googlebot等の検索エンジン find.2ch以外の検索エンジンは帰ってもらいましょう googleさんとイーツさんにお引取り願うだけでかなり違うと思います。 .dat 主に個人 若干気になるもの:総呼び出し回数の5%を超える 219.106.23.235 (ntt1-ppp489.utunomiya.sannet.ne.jp) pc4の8.0% 218.228.216.29 (218-228-216-29.eonet.ne.jp) bubbleの6.4% .txt 主にfind.2chの中の人 気になるもの:呼び出し回数が突出 210.138.60.135 (135.60.138.210.bn.2iij.net) pc4の4.3%、bubbleの28.0% 若干気になるもの:会社等 61.121.247.0/24 株式会社リンク pc4の1.4% 219.106.243.200/29 ネットワーク利用技術研究会 pc4の1.9% read.cgi 主にgooglebot.com 気になるもの:呼び出し回数が突出 64.68.92.0/24 googlebot.com pc4の39.6%、sports4の23.0%、life4の41.5% 211.4.214.128/26 株式会社イーツ sports4の4.1%、life4の18.6% >>61 > 書き方がまちがっているのか ? Order Deny,Allow Deny From ... Deny From ... Allow From all 順番じゅーよー そうか N% なんてのを自動で検出していろいろやればいいのか? まぁ せいぜい一時間に一回くらいしかできないだろうけど、 皆様のSEチックな議論が交わされている中で イキナリ鳥頭かつマヌケな質問で申し訳ないのですが、 一つの個人IP(Yahoo!!bb、OSはWinXPHome)で 普通に2chブラウザ(ギコナビ)利用して2chを閲覧する場合で、 たとえば、ある一つの板のスレのログが100個近くあって その100個近い現行スレたちのログ(dat)を取得する場合で 呼び出し回数(↑この場合だとdat呼び出しは100回位?)が多過ぎると規制の対象になってしまうのですか? (無論荒氏行為・広告投稿は規制以前の問題ですが) ギコナビはdatを差分取得するのは理解していますが、 それでも一つの個人IPで鯖へのdat呼び出し回数が多いと負担がかかってしまうという事は ここのスレを閲覧していてそう感じたので。 ちなみに行きつけの板の殆どがcomic4鯖・・・・(´・ω・`)チョットシンパイニナッテシツモンシタシダイデス、ハイ。 1日数十レスくらいのありがちな人気スレを 10回/1hくらいで夜頻繁に4時間くらいチェックしたとして(寝る前とか) 3回/1hくらいで朝夕まれに2時間くらいチェックしたとして(帰宅後とか) そんな注目スレがひとつの板に20個相当くらいあったとして(ちと多いか) ひとつの鯖にそんな興味のある板が3個くらいあったとして(最近詰め込み化) (10*4) + (3*2) = スレあたりdat呼び出し 46回 の 46 * 20 = 板あたり呼び出し 920回 の 920 * 3 = 鯖単位で 2760 回。 でも>>46 とか見るとこれではアクセス過多の不良個人ユーザーですな(w パーセンテージと一緒に鯖ごとに足切り回数を公表してもらえると気が楽かなあ… >>84 そういった閾値を明示するとぎりぎりの悪さをする人が増えるだけかと。 >>85 >ぎりぎりの悪さ どんな悪さだろう? 広告等の荒らし報告再開不可能になった >>86 制限ぎりぎりまでアクセスしまくるってことです。 >>87 意図的に(dat)アクセス数を引き上げるメリットが思いつかないんだけど… これまでは多かったけど引っかからないぎりぎりに抑えて頻繁にアクセスする、というのは それはそれで迷惑だけど許容の余地はあるでしょ。 >>88 うーん。でも公表する意味が思いつかないんですけど。 公表しなければ抑止効果にもなりますし。 >>89 ぜんりょう(棒読み)なユーザーの中には 「これくらいまでなら大丈夫なので自動アクセスとかの目安にしてね」 というのが示されてれば喜んでそれに従う、という人は少なくないと思うけどなあ。 デメリットのほうが大きいかしら。 自動アクセスなんてしている時点であまり善良とは・・・ >>90 いや、わかんないっす。 漏れは感覚的な意見を言っただけなんで。 やっぱ公開した方がいいのかなぁ。 「これ以上はダメ」という制限は、すぐに「ここまではいいんだ」という認識に 取って代わられるのがオチかと。 #「ならば、今すぐ全てのドライバーに制限速度を守らせてみせろ!」 >>83 専用ぶらうざ使えばDAT直読みだから read.cgiは関係ないのでは 基準 自動アクセスの時点で弾かれてもしょうがない でFAでいいんでは datを取るときにRangeヘッダを付けないリクエストを記録、とか。 SetEnvIf Request_URI "¥.dat$" datall SetEnvIf Range ".+" !datall CustomLog /var/log/httpd-datall.log combined env=datall >>96 それは .htaccess に記述するのですか? ちがうのか、 >>97 あ、httpd.confじゃなきゃだめぽいです=要root 218.226.22.79 ってどんな回線なんだろぅ nslookupしてみたら ↓ ntoska043079.oska.nt.adsl.ppp.infoweb.ne.jp こんなん出てきました >99 ここで調べれば即ですよ。 ttp://www.arearesearch.co.jp/ip-kensaku.html ちなみに調べたらこんなの出ました。 IPアドレス 218.226.22.79 ホスト名 ntoska043079.oska.nt.adsl.ppp.infoweb.ne.jp IPアドレス 割当国 ※ 日本 (JP) 都道府県 大阪府 市外局番 -- 接続回線 該当データ無し 218.226.22.79 ←→ ntoska043079.oska.nt.adsl.ppp.infoweb.ne.jp 大阪のフレッツADSLです。 http://qb3.2ch.net/test/read.cgi/sec2chd/1083246813/3 フレッツADSL:nt地域名\d+\.地域名.nt.adsl.ppp.infoweb.ne.jp >>98 \を¥で書くのは明らかに間違ってるだろ。 意味的にバックスラッシュでなきゃならないんだから >>95 一般論として、手動と自動の区別なんてできないぞ。 30分に1回datの更新を見る自動スクリプトより 2〜3分に1回リロード繰り返す手動閲覧者のほうが迷惑でしょ? 24時間365日休みなく2〜3分間隔でリロードし続ける人間はいません >>105 うん、だからといって自動スクリプトが悪いことにはならない。 アクセス手段ではなくアクセス頻度だけが問題になるべき。 >>101 ISP専用スレあるじゃん >>104 ファイルのダウンロードにたとえる >30分に1回datの更新を見る自動スクリプトより 帯域制限かけて長時間DL >2〜3分に1回リロード繰り返す手動閲覧者のほうが迷惑でしょ? 分割DLして短時間で終わるが負荷が高い どっちがいいんだろ? >>94 Σ(´д`; ハッ、ソウダッタ。ヨク考エレバ、 2chブラウザハ「dat」ヲ使ウノテアッテ、「read.cgi」ヲツカウワケジャナカッタンダ・・・・orz 適切な解答ありがとうございました。 もう一回このスレを一から読み直してみます(´・ω・`)ホントウニモウシワケナイ >>83 間違ってないぞ >83にはread.cgiとは書いてないしギコナビ使用してるとある >94がおかしい >>110 重ね重ね申し訳ないです。 >>83 での書き方も自分で書いておきながら判り辛い文章になってるので、 要約すれば、 ・普通に2chブラウザ(ギコナビ)で書き込み・閲覧する場合で 例えばある鯖の一つの板の現行スレのログが100個あって、 その100個分のdatの更新(差分取得)(この場合だとdatの呼び出しは100回?)が その鯖の中にあるdatの呼び出しが一つのIPで100回位でも、.htaccess規制に引っ掛かるかどうかを尋ねたかっただけなんです。 前に当該スレの前スレが生きてたとき (ちょうど去年の今頃かな?確か夜(ry氏辺りがこの規制の担当だった) 今まで普通に書き込み・閲覧していた(筈だと思う)人たちが いきなり規制を喰らったり(巻き添えも含め)した事が有った様な気もするので(記憶違いだったらごめんなさい) 質問した次第です。本当に申し訳ありません。 >>108 的外れの比喩は混乱の元だぞ。 というか何かにたとえなくてもわかるだろ。 ex6.2ch.net サーバ .dat 呼び出し回数 = 38757 deny from 218.226.22.79 #(2934) 0.08% deny from 61.198.101.9 #(2633) 0.07% deny はしてないけど、コピペできるように (将来は自動化をにらんで)改良中。。。 質問ですが .htaccess 内の記述は >>113 のように 行の途中から # でコメントを書くってのはありですか? >>115 ttp://cvs.apache.jp/apache/manual/configuring.html#syntax > ハッシュ文字 "#" で始まる行はコメントと見なされて無視されます。 > 設定ディレクティブの後の行ではコメントが含まれていてはいけません。 というわけで # は行頭のみ。途中からは使えません。 >>117 .htaccess を直接書き換えるのではなく、別のファイルを編集してから .htaccess に流し込んでみてはどうかしらん? >>69 貼っておきました。 でも、ログのファイル名がmaido3.com標準セッティングと違うかも。 >>120 いろいろ改造して、最新日付のをopenするように改造してたり、 >>110 今ここでの話題はread.cgiじゃないのか( ´_ゝ`)? >>122 どこに read.cgi限定と書いてある? それに >38 名前:FOX ★[] 投稿日:04/05/13 05:36 ID:??? >出力例) >read.cgi (← ここは .dat とか、bbs.cgi とか .html .txt に変わる) >46 名前:FOX ★[] 投稿日:04/05/13 07:03 ID:??? >pc4.2ch.net サーバ >.dat 呼び出し回数 = 139021 >219.106.23.235(11074) >51 名前:FOX ★[] 投稿日:04/05/13 07:13 ID:??? >pc4 bubble に入れた >order allow,deny >allow from all >deny from 219.106.23.235 確実に*.datも入ってる >どこにread.cgi限定と書いてある? これは蛇足ではないですか bubble.2ch.net サーバ .txt 呼び出し回数 = 4974 deny from 218.46.229.124 #(1049) 0.21% order allow,deny allow from all deny from 64.68.92 ←ここ deny from 64.68.81 ←ここ deny from 219.106.23.235 deny from 219.167.59.210 ←ここ の部分は read.cgi だけを deny したいときは order allow,deny allow from all <Limit File=read.cgi> deny from 64.68.92 ←ここ deny from 64.68.81 ←ここ </Limit> deny from 219.106.23.235 deny from 219.167.59.210 なんて書けるんですか? >>126 せっかくいろいろなジャンルがあるんだから 専門スレで聞こうよ・・・ >>126 <Files read.cgi> deny from 64.68.92 ←ここ deny from 64.68.81 ←ここ </Files> こんなんですー http://httpd.apache.org/docs-2.0/ja/mod/core.html#files oyster15 まで退役させたら .htaccess の共通化もできるので 一気に全サーバに配る仕組みも検討する予定。 今>>125 とか見てふと思ったんだけど、板内の複数のスレの更新を調べるときは、 更新チェックするごとに大きな subject.txt を読み込んで 目当てのスレのレス増分を鑑みてレス差分を取得するかどうか決めるよりも 目当てのすべてのスレの dat をとりあえず毎回差分取得したほうが好ましいのかな。 サーバーへのリクエスト回数が細かく多い(ダウンロード量は少なめ)のと、 ダウンロード量がある程度多い(リクエスト回数は少なめがち)のとどっちがマシなのかしら。 GET http://qb3.2ch.net/operate/subject.txt HTTP/1.0 HTTP/1.0 200 OK Last-Modified: Sun, 16 May 2004 04:49:06 GMT Accept-Ranges: bytes Content-Length: 5700 GET http://qb3.2ch.net/operate/dat/1082968554.dat HTTP/1.0 Range: bytes=33967- HTTP/1.0 206 Partial Content Last-Modified: Sun, 16 May 2004 02:08:08 GMT Accept-Ranges: bytes Content-Length: 1 Content-Range: bytes 33967-33967/33968 >>131 subject.txt を読まずに個別のDATだけを取得した方がいいかもしれない 更新のチェックだけなら差分取得せずにLast-Modifiedをチェックすればいいのでは? GET http://qb3.2ch.net/operate/dat/1082968554.dat HTTP/1.0 Range: bytes=34785- If-Modified-Since: Sun, 16 May 2004 05:07:03 GMT If-None-Match: "375c5-87e2-ade26bc0" HTTP/1.0 304 Not Modified ETag: "375c5-87e2-ade26bc0" >>133 If-Modified-Sinceを出すのはアプリが起動後2回目以降の取得だね IEでDLするとDLした日時になるし・・・ ISPで使われ始めてるZeus(httpd)はhtmlファイルのLast-Modifiedを返さないし ファイルの更新日時を気にしない人が多すぎる気がする ほう、荒らしとかしなくても、読むだけで悪禁ってか。 負荷が上がる無茶なアクセス頻度の人には制限でお引取り願うというのは Webサーバ管理の方向性そのものとしてはしごく真っ当。 単なるDENYではなく「1日のアクセス制限量を超えました」とでも表示を返してくれれば 周知効果もあっていいとは思うけど、まあ、それは無くても仕方ないやね。 鯖ごとの制限量突破によるアクセス制限はあっても良いかと、という素人考え。 規制と言うより遮断といった感じですかね。 どれくらいの間隔を持っているかというと たとえば etc サーバが ピークし時 6Mbps くらいの状態である場合 引っこ抜き屋さんたちは常時 2Mbps くらいで活動しているようです つまり ピーク時 6M なら = 2Mbps/6Mbps = ???% 早朝 3M = 2Mbps/3Mbps = 66.7% こんな感じのことがしょっちゅう起こっています。 うわっ。Σ(゚Д゚) そりゃひどい。。。 うちの鯖でも、規制対象だなー。 >>138 つまりetcでたとえると,常時30〜60%のリソースを 無駄にもぎ取られていると。 そなのよ しょっちゅうね、 やっかいなのは ADSL とか 光とか ISP経由のやつなのよね、 IPアドレスぶれるし >142 固定でないユーザーに関しては前にも少し触れましたけどプロパへ通報 コースでいいと思います。 こちらサイドとして要請したい事は「規制情報板に専用スレをもうけてアクセス ログを添付する。」これさえして頂ければ通報できます。 >>143 ログねぇ それがねぇ 巨大なのよねぇ・・・ どうしたもんだか >>142 たしかにぶれるからねえ… そういう相手って常にデータ呼び出してるんですよね? ともこ みたいに一定以上の単位時間当たりのデータ呼び出しを検知して 自動でdenyさせる機能は付けられないもんですかねえ…@素人考えだけども >>145 そのへんを研究中なんだけど いかんせん >>144 にも書いたとおりすごいアクセス数=超巨大なログ なので集計するのにコストがかかっちゃってねぇ ぼちぼち 考えて生きますか まずは固定は deny deny deny ↓ deny の AA >144 こちらとして欲しい物は該当IPが過剰にアクセスしている証拠があればいい ので該当IPのみ抽出しても問題はないと思います。 1) 特定の少数のユーザーに帯域を食われてるのがイヤン 2) 大量舐めアクセスに伴い鯖処理の負荷が無駄に上がってイヤン どっちなんでしょう。どっちもどっちっぽいけど。 >>148 3) 有名に也杉で人多杉でイヤン いっそのこと「2ちゃんねる」の看板を外してみるとか。 そして全く新しいシステム(掲示板とは限らない)で 別の「2ちゃんねる」を作るとかね。 とりあえずここでスペック・機能アップをやめて、 まったく別の、しかも管理しやすいシステムをひろゆき (もしくはその側近)が作れば、ユーザはそこに移動する のではないかと。 では誰がそのシステムを作るかというと ↓ │ _、_ │ ヽ( ,_ノ`)ノ 残念私のおいなりさんだ │ へノ / └→ ω ノ > >>146 denys ヽ(;´Д`)ノ <deny3つで でにーず ナンチャアッテ ( ) く ω> さておき。 引っ張りの検知,ログの抽出。 大海の鯨はでかいですね…うーん(ぷすぷす 「でない」にしてもやっぱり httpd は起動しちゃうんよねぇ @.htaccess inetd とか tcpserver で阻止できると カナーリ httpd の負荷は下がりそうだけど。。。 IPごとに転送量制限掛けるようなapacheのモジュールでなかったっけ? life4.2ch.net サーバ read.cgi 呼び出し回数 = 306376 deny from 64.68.81.15 #(11108) 0.04% deny from 211.4.214.174 #(11090) 0.04% life4.2ch.net サーバ .dat 呼び出し回数 = 156493 deny from 210.138.221.159 #(8174) 0.05% deny from 210.203.206.113 #(6974) 0.04% deny from 210.135.97.171 #(3989) 0.03% life4.2ch.net サーバ .txt 呼び出し回数 = 47085 deny from 210.135.97.174 #(2527) 0.05% deny from 69.93.181.250 #(1182) 0.03% academy2.2ch.net サーバ read.cgi 呼び出し回数 = 300155 deny from 64.68.81.15 #(13914) 0.05% deny from 64.68.81.16 #(13359) 0.04% deny from 64.68.81.19 #(13188) 0.04% deny from 64.68.81.4 #(13096) 0.04% deny from 64.68.81.18 #(13085) 0.04% deny from 64.68.81.5 #(12986) 0.04% deny from 64.68.81.12 #(12927) 0.04% deny from 64.68.81.11 #(12875) 0.04% deny from 64.68.81.14 #(12809) 0.04% deny from 64.68.81.10 #(12799) 0.04% deny from 64.68.81.9 #(12702) 0.04% deny from 64.68.81.6 #(12584) 0.04% deny from 64.68.81.17 #(12215) 0.04% deny from 211.4.214.173 #(11435) 0.04% deny from 211.4.214.175 #(10861) 0.04% deny from 211.4.214.174 #(8320) 0.03% >155-156 なんか有限会社未来検索ブラジルまで弾いっちゃってる悪寒 academy2.2ch.net サーバ .dat 呼び出し回数 = 135211 deny from 202.224.239.249 #(17311) 0.13% deny from 210.203.206.113 #(9766) 0.07% deny from 218.145.25.13 #(5024) 0.04% deny from 222.145.228.120 #(4165) 0.03% >155 210.135.97.174はブラジルな会社なので免除してあげて下さい(汗 あっと ちなみに出しているだけで 実際にははじいていません society.2ch.net サーバ .txt 呼び出し回数 = 53118 deny from 210.135.97.174 #(4014) 0.08% deny from 210.135.97.173 #(3080) 0.06% deny from 69.93.181.250 #(1487) 0.03% 現在試験的にこれをぽつぽつ入れています order allow,deny allow from all deny from 61.115.195.128/26 deny from 211.4.214.128/26 deny from 202.224.239.248/29 <Files read.cgi> deny from 64.68.92 deny from 64.68.81 </Files> deny from 219.106.23.235 deny from 219.167.59.210 deny from 210.138.60.135 deny from 218.223.194.216 >165 2ちゃん検索の会社です。>有限会社未来検索ブラジル いくらなんでもここはdenyにしちゃまずいでしょw >FOXさん ブラジルなIP調べたんですけど今上がってるのでは以下のがそうです。 ブラジルな会社のIP 210.135.97.171 210.135.97.174 210.135.97.173 正確なIP範囲はどうやらさんに聞かないといけないですけど210.135.97は免除で 大丈夫そうです。 >>166 りょうかいですー 210.203.206.113 ここってISP ? >167 どうやらISPのようですね。 ttp://www.bbiq.jp/ ※いつも使ってるIPサーチがこの時間帯なのに込んでて検索出来なかった。。 >>167 Network Information: [ネットワーク情報] a. [IPネットワークアドレス] 210.203.206.0 b. [ネットワーク名] QTNET-BBIQ f. [組織名] 九州通信ネットワーク株式会社 >164で挙がったIPの詳細です。 デジタルアーツ株式会社 (Digital Arts Inc.) DIGITALARTS [61.115.195.128 <-> 61.115.195.191] 61.115.195.128/26 株式会社イーツ (I2TS Inc.) I2TS-NET2 [211.4.214.128 <-> 211.4.214.191] 211.4.214.128/26 BEATMINTS [202.224.239.248 <-> 202.224.239.255] 202.224.239.248/29 ※Filesに記載しているところは全てISPでした。 219.106.23.235 ntt1-ppp489.utunomiya.sannet.ne.jp ttp://www.sannet.ne.jp 219.106.23.235 o059210.ap.plala.or.jp ぷらら 210.138.60.135 135.60.138.210.bn.2iij.net IIJNET 218.223.194.216 goa.self-core.org 山口ケーブルビジョン株式会社 ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 07.5.5 2024/06/08 Walang Kapalit ★ | Donguri System Team 5ちゃんねる