【.htaccess】読みこみできない【規制作戦】
■ このスレッドは過去ログ倉庫に格納されています
http://qb3.2ch.net/test/read.cgi/operate/1082125059/864-865n 864 :動け動けウゴウゴ2ちゃんねる :04/04/26 16:31 ID:XBHI6262 全datさらうのを勧めるのもどうかと 865 :留守番 ★ :04/04/26 16:42 ID:??? >>864 最近増えてきているんですよねぇ .htaccess で deny の規制が復活の予感。 http://qb3.2ch.net/test/read.cgi/operate/1082125059/867-868n 867 :root ★ :04/04/26 16:47 ID:??? datかっさらいもさることながら、read.cgi経由も目につくような気が。 868 :留守番 ★ :04/04/26 16:49 ID:??? >>867 ですねぇ 思い立ったが吉日ってことで スレ立ててやりましょ どうせなら.htaccessでリダイレクト先を広告でいっぱい埋め尽くせば良いのに(素 これで、みみずんタンやにくちゃんねるさんが規制されることはないんですよね? 懐かしいスレが復活しましたねぇ。 出張先から記念パピコ。 一定時間毎にsubback.htmlを読んで、新スレのみをいただくというのも 所謂「かっさらい」に該当するのでしょうか…? ようは、こういうことなのですが。 http://www.dqnplus.net/ >>8 subback.htmlよりsubject.txt取得の方が効率良いですし、おすすめです。 datかっさらいは・・・どうなんでしょう 以前newsplus.jpはそれで規制くらいましたね。 程度問題だとは思いますけど。 ありがとうございます。 たしかにsubback.txtを読んだ方が軽いですね。 変更することにします。 当面はこのスレの流れを読みつつ対応していきます。 鯖に負担をかけない程度にやさしくやる分にはいいんじゃないかなぁ。 コストの面からいうと、 ・>>1 を取るためだけの目的でread.cgiを呼ぶのはコストが高いので、避けてほしい ・datをとる場合、できるだけ前に取ったものの増分で入手してほしい といったところかなと。 あとは、read.cgi経由で統計情報のグラフに影響が出るぐらい、 がばちょと読んでいる方がたまにいるみたいということかなと。 なお、みみずんさんとかは、負荷のかからない時刻にやさしくスキャンいただいている模様であると、 その筋の方からうかがっておりますです。 「read.cgiでがばちょ」の対象になっていそうなのは、見ている範囲だと、 ・memories(の各バーチャルホスト) ・news5 ・news6 ・pc5 ・science2 あたりか。 あとは私が統計情報見ていないところでも、別途あるかも。 私のサイトでは、datから必要な情報は、 ・スレ立て人 ・>>1 なので、一度datをいただいてDBに入れたスレには二度とアクセスしていません。 もちろん、read.cgiは通していません。 ただ、subback.htmlを5分毎に読んでいるのですが、いかがなものでしょうか? こんな感じにした方が言いかと。 dat取得は1個ごとに10secのwaitをいれる newsplus.jpから入手した情報ですけどw × 作った ○ 使った 頭がつかれてるっぽい。。。 >>16 BBYのdatはどれ位の間保持されてますか? わかりました。 改良していきます。 ありがとうございました。 >>20 1時間ごとにclearだったかな?。一応100個までらしいです。 >>20 >>22 subject.txtから消えるだけで、bbynews/bbyliveのdatそのものは3日前のものまで残っています。 ただし元記事がスレッド削除された場合、最大30分の遅延でこちらのdatも消えます。 >>24 なるほど… どうもありがとうございます。 .htaccess で弾くとすると...... deny リストの数が多くなってきたら, 前作った mod_authz_iplist が効果的かも. >>28 そこは2chではないので2ch2.netの方に言ってくださいな >>29 そこも、newsplusやbizplus、dqnplusの subject.txtなんかを総ざらいしているはずですが。 鯖とか回線に余裕がある時間帯にGETすればいいですか? 何曜の何時ころ余裕あります? >>32 ども。 4時〜6時くらいが底みたいすね。 嗚呼、思い出すは去年の夏、、、 そしてマーリンルージュ、、、 記念ぱぴこ 別スレでレスした際にむむむさんのページ見てた際に気がついたんですけど たんですけどmemoriesで今日の4〜5時までの間にread.cgiブン回してぶっこ 抜きやってた痕跡がありますね。。 read.cgiのアクセス記録で見ればわかりますけど明らかに怪しい動きしています。 ttp://mumumu.mu/mrtg/mrtg-rrd.cgi/read/memoriesread.html う〜ん まじで何とかしなきぉだぞー 簡単にどのIPががんがん持っていっているかをアパッチのろぐから 一発で表示してくれる cgi きぼー 1) ログは巨大である(停止しているサーバでも 100M/day) 2) read.cgi だけ抽出して 呼び元の多い順に表示 出力例) read.cgi (← ここは .dat とか、bbs.cgi とか .html .txt に変わる) 1. 111.112.113.114 8,360 回 2. 222.112.113.114 4,230 回 3. 333.112.113.114 2,560 回 だれか作ってくれー pc4.2ch.net サーバ 371318 read.cgi 呼び出し回数 = 159230 64.68.92.14(6804) 64.68.92.9(6780) 64.68.92.18(6568) 64.68.92.11(6519) 64.68.92.10(6311) 64.68.92.17(6158) 64.68.92.19(6132) 64.68.92.4(6039) 64.68.92.5(5883) 64.68.92.6(5863) bubble.2ch.net サーバ read.cgi 呼び出し回数 = 64.68.92.14(4882) 64.68.92.9(4545) 64.68.92.18(4449) 64.68.92.10(4434) 64.68.92.11(4314) 64.68.92.17(4306) 64.68.92.19(4236) 64.68.92.6(4140) 64.68.92.5(4101) 64.68.92.4(4040) 64.68.92.16(2665) >40 それだけ見る限りでは、64.68.92.0/24(*****回)みたいな感じで纏めたほうが便利かも。 order allow,deny allow from all deny from 64.68.92. を入れてみる 64.68.92.* googlebot.com……グーグルか! なるほど(w pc4.2ch.net サーバ .dat 呼び出し回数 = 139021 219.106.23.235(11074) 219.167.59.210(4425) 218.228.216.29(2456) 220.210.180.206(1793) 218.228.216.14(1407) 218.228.185.40(1306) 202.225.240.125(1261) 61.201.230.16(1086) 218.228.216.129(980) 221.184.158.51(821) 143.90.87.123(615) googleが相手ならrobots.txtを置いておくというのでは駄目なのでしょうか? bubble.2ch.net サーバ .dat 呼び出し回数 = 30589 218.228.216.29(1967) 218.228.216.14(1137) bubble.2ch.net サーバ .txt 呼び出し回数 = 7075 210.138.60.135(1981) pc4.2ch.net サーバ .txt 呼び出し回数 = 46430 210.138.60.135(1991) 218.223.194.216(1092) 219.106.243.202(872) 210.147.179.31(834) 61.121.247.58(653) 210.170.129.199(540) 219.111.57.38(504) 210.173.38.6(451) 219.126.175.153(397) 202.213.149.85(392) 129.250.170.69(384) pc4 bubble に入れた order allow,deny allow from all deny from 64.68.92. deny from 219.106.23.235 deny from 219.167.59.210 deny from 210.138.60.135 deny from 218.223.194.216 どうしますかねぇ google とかのはいつでも止められるということで良いんですが、 固定IPのところもはじけばいいんですが、 その他のねぇ、、、 規制情報板経由ですかねぇ。 219.106.23.235 ntt1-ppp489.utunomiya.sannet.ne.jp 219.167.59.210 o059210.ap.plala.or.jp 210.138.60.135 135.60.138.210.bn.2iij.net 218.223.194.216 goa.self-core.org self-core.orgってなに? >53 whoisによると、ケーブルテレビで固定IPの個人ユーザーっぽい。 >52 個人でのぶっこ抜き行為ですけど明らかに2ちゃんの鯖に過剰に負担をかける 行為ですので通報は可能だと思います。 規制情報板へログを添付して掲載して頂ければ該当プロパへ通報します。 User-agent: * Disallow: /test で行儀のいいロボットにはお帰りいただけます。 もちろんGoogleも。 902に関して言えば、ログ移動後しばらく(どのくらいがしばらくかは不明) ロボちゃんに舐めてもらって、あとはお引取りいただくとか。 名前で調べてきてればそれも必要ないかな? >>38 >簡単にどのIPががんがん持っていっているかをアパッチのろぐから >一発で表示してくれる cgi きぼー ログ出力をカスタマイズしてると・・・ >46は差分取得してない所? pc4 にこれ入れたんだけど 定期的に相変わらずの転送量だなぁ 書き方がまちがっているのか ? order allow,deny allow from all deny from 64.68.92. deny from 219.106.23.235 deny from 219.167.59.210 deny from 210.138.60.135 deny from 218.223.194.216 >61 web制作板にあったので見てみましたけど合ってますね。 .htaccess質問コーナー http://pc5.2ch.net/test/read.cgi/hp/1065608009/ お行儀のいいrobotは>56でお帰り頂くとしても個人でやってるのは繋ぎ替えで やってきたらどうしようもないと思われ ※参照URL漁ってたら恐ろしい物が 間違っても絶対に実行しないでねw やったら全てのアクセスが拒否されます。 >deny from all test/.htaccess との兼ね合いだったようです。 只今 pc4 bubble で実験中。。。 あ、みみずんとかにくちゃんねるさんところのIPを弾かないようにしとかないとね(^_^;) IPアドレス聞いておこう・・・・ sports4.2ch.net サーバ read.cgi 呼び出し回数 = 68373 211.4.214.174(2819) 64.68.92.9(1769) 64.68.92.14(1737) 64.68.92.18(1578) 64.68.92.10(1575) 64.68.92.5(1564) 64.68.92.19(1544) 64.68.92.11(1530) 64.68.92.4(1513) 64.68.92.17(1497) 64.68.92.6(1409) 222.3.210.177(1156) 210.227.247.74(1052) life4.2ch.net サーバ read.cgi 呼び出し回数 = 88126 211.4.214.174(10998) 211.4.214.173(5376) 64.68.92.14(3312) 64.68.92.9(3236) 64.68.92.18(3033) 64.68.92.11(3018) 64.68.92.17(3010) 64.68.92.10(3000) 64.68.92.4(2907) 64.68.92.19(2857) 64.68.92.6(2845) 64.68.92.5(2799) 64.68.92.16(1764) 64.68.92.15(1662) 64.68.92.12(1630) 64.68.92.13(1489) 211.4.214.174を調べたらこんなの出ました。 ケイディディ株式会社 (KDD Corporation) SUBA-035-153 [サブアロケーション] 211.4.214.0 株式会社イーツ (I2TS Inc.) I2TS-NET2 [211.4.214.128 <-> 211.4.214.191] 211.4.214.128/26 構想していること qb4 に /.htaccess 用 /test/.htaccess 用の設定ファイルを置いて 他のサーバに一気に配って規制する仕組みが必要か・・・ root★さんにお願いなんですが ログとっているサーバ(uma oe peko)で /home/ch2abcd/logs/accsess_log でアクセスログをあされるように シンボリックリンク(っていうのかな?) はって欲しいでーす life4.2ch.net サーバ .txt 呼び出し回数 = 14214 210.135.97.174(1188) 210.135.97.175(521) 210.135.97.172(487) 210.135.97.171(431) 210.135.97.177(425) 69.93.181.250(386) 210.135.97.176(351) 210.135.97.170(224) >68をさらにぐぐって調べてたらこんなのも ま、まさかねぇ・・・・・ハハハ(乾いた笑い ttp://www.i2ts.com/case/case.htm >>68 ホスティング業者のようですね。 ttp://www.i2ts.com/ 210.135.97.174はブラジルな会社ですね。 これは許してあげてー >>69 今読んだので、今日〜週末あたりにぼちぼちと。 まだオフィスにいたりして。これで何日連続オフィスで日付変わったかしら。 read.cgi を使って取り出してるのは googlebot等の検索エンジン .txt を中心に取り出してるのは *.razil.jp (find.2ch) http://qb3.2ch.net/test/read.cgi/operate/1082968554/ 必ずread.cgiを使う事になってるのが原因<googlebot等の検索エンジン find.2ch以外の検索エンジンは帰ってもらいましょう googleさんとイーツさんにお引取り願うだけでかなり違うと思います。 .dat 主に個人 若干気になるもの:総呼び出し回数の5%を超える 219.106.23.235 (ntt1-ppp489.utunomiya.sannet.ne.jp) pc4の8.0% 218.228.216.29 (218-228-216-29.eonet.ne.jp) bubbleの6.4% .txt 主にfind.2chの中の人 気になるもの:呼び出し回数が突出 210.138.60.135 (135.60.138.210.bn.2iij.net) pc4の4.3%、bubbleの28.0% 若干気になるもの:会社等 61.121.247.0/24 株式会社リンク pc4の1.4% 219.106.243.200/29 ネットワーク利用技術研究会 pc4の1.9% read.cgi 主にgooglebot.com 気になるもの:呼び出し回数が突出 64.68.92.0/24 googlebot.com pc4の39.6%、sports4の23.0%、life4の41.5% 211.4.214.128/26 株式会社イーツ sports4の4.1%、life4の18.6% >>61 > 書き方がまちがっているのか ? Order Deny,Allow Deny From ... Deny From ... Allow From all 順番じゅーよー そうか N% なんてのを自動で検出していろいろやればいいのか? まぁ せいぜい一時間に一回くらいしかできないだろうけど、 皆様のSEチックな議論が交わされている中で イキナリ鳥頭かつマヌケな質問で申し訳ないのですが、 一つの個人IP(Yahoo!!bb、OSはWinXPHome)で 普通に2chブラウザ(ギコナビ)利用して2chを閲覧する場合で、 たとえば、ある一つの板のスレのログが100個近くあって その100個近い現行スレたちのログ(dat)を取得する場合で 呼び出し回数(↑この場合だとdat呼び出しは100回位?)が多過ぎると規制の対象になってしまうのですか? (無論荒氏行為・広告投稿は規制以前の問題ですが) ギコナビはdatを差分取得するのは理解していますが、 それでも一つの個人IPで鯖へのdat呼び出し回数が多いと負担がかかってしまうという事は ここのスレを閲覧していてそう感じたので。 ちなみに行きつけの板の殆どがcomic4鯖・・・・(´・ω・`)チョットシンパイニナッテシツモンシタシダイデス、ハイ。 1日数十レスくらいのありがちな人気スレを 10回/1hくらいで夜頻繁に4時間くらいチェックしたとして(寝る前とか) 3回/1hくらいで朝夕まれに2時間くらいチェックしたとして(帰宅後とか) そんな注目スレがひとつの板に20個相当くらいあったとして(ちと多いか) ひとつの鯖にそんな興味のある板が3個くらいあったとして(最近詰め込み化) (10*4) + (3*2) = スレあたりdat呼び出し 46回 の 46 * 20 = 板あたり呼び出し 920回 の 920 * 3 = 鯖単位で 2760 回。 でも>>46 とか見るとこれではアクセス過多の不良個人ユーザーですな(w パーセンテージと一緒に鯖ごとに足切り回数を公表してもらえると気が楽かなあ… >>84 そういった閾値を明示するとぎりぎりの悪さをする人が増えるだけかと。 >>85 >ぎりぎりの悪さ どんな悪さだろう? 広告等の荒らし報告再開不可能になった >>86 制限ぎりぎりまでアクセスしまくるってことです。 >>87 意図的に(dat)アクセス数を引き上げるメリットが思いつかないんだけど… これまでは多かったけど引っかからないぎりぎりに抑えて頻繁にアクセスする、というのは それはそれで迷惑だけど許容の余地はあるでしょ。 >>88 うーん。でも公表する意味が思いつかないんですけど。 公表しなければ抑止効果にもなりますし。 >>89 ぜんりょう(棒読み)なユーザーの中には 「これくらいまでなら大丈夫なので自動アクセスとかの目安にしてね」 というのが示されてれば喜んでそれに従う、という人は少なくないと思うけどなあ。 デメリットのほうが大きいかしら。 自動アクセスなんてしている時点であまり善良とは・・・ >>90 いや、わかんないっす。 漏れは感覚的な意見を言っただけなんで。 やっぱ公開した方がいいのかなぁ。 「これ以上はダメ」という制限は、すぐに「ここまではいいんだ」という認識に 取って代わられるのがオチかと。 #「ならば、今すぐ全てのドライバーに制限速度を守らせてみせろ!」 >>83 専用ぶらうざ使えばDAT直読みだから read.cgiは関係ないのでは 基準 自動アクセスの時点で弾かれてもしょうがない でFAでいいんでは datを取るときにRangeヘッダを付けないリクエストを記録、とか。 SetEnvIf Request_URI "¥.dat$" datall SetEnvIf Range ".+" !datall CustomLog /var/log/httpd-datall.log combined env=datall >>96 それは .htaccess に記述するのですか? ちがうのか、 >>97 あ、httpd.confじゃなきゃだめぽいです=要root 218.226.22.79 ってどんな回線なんだろぅ nslookupしてみたら ↓ ntoska043079.oska.nt.adsl.ppp.infoweb.ne.jp こんなん出てきました >99 ここで調べれば即ですよ。 ttp://www.arearesearch.co.jp/ip-kensaku.html ちなみに調べたらこんなの出ました。 IPアドレス 218.226.22.79 ホスト名 ntoska043079.oska.nt.adsl.ppp.infoweb.ne.jp IPアドレス 割当国 ※ 日本 (JP) 都道府県 大阪府 市外局番 -- 接続回線 該当データ無し ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 07.5.5 2024/06/08 Walang Kapalit ★ | Donguri System Team 5ちゃんねる