【.htaccess】読みこみできない【規制作戦】
■ このスレッドは過去ログ倉庫に格納されています
http://qb3.2ch.net/test/read.cgi/operate/1082125059/864-865n
864 ：動け動けウゴウゴ２ちゃんねる ：04/04/26 16:31 ID:XBHI6262
全datさらうのを勧めるのもどうかと
865 ：留守番 ★ ：04/04/26 16:42 ID:???
>>864
最近増えてきているんですよねぇ
.htaccess で deny の規制が復活の予感。
http://qb3.2ch.net/test/read.cgi/operate/1082125059/867-868n
867 ：root ★ ：04/04/26 16:47 ID:???
datかっさらいもさることながら、read.cgi経由も目につくような気が。
868 ：留守番 ★ ：04/04/26 16:49 ID:???
>>867
ですねぇ
思い立ったが吉日ってことで
スレ立ててやりましょ どうせなら.htaccessでリダイレクト先を広告でいっぱい埋め尽くせば良いのに（素 これで、みみずんﾀﾝやにくちゃんねるさんが規制されることはないんですよね？ 懐かしいスレが復活しましたねぇ。
出張先から記念パピコ。 一定時間毎にsubback.htmlを読んで、新スレのみをいただくというのも
所謂「かっさらい」に該当するのでしょうか…？
ようは、こういうことなのですが。
http://www.dqnplus.net/ >>8
subback.htmlよりsubject.txt取得の方が効率良いですし、おすすめです。
datかっさらいは・・・どうなんでしょう 以前newsplus.jpはそれで規制くらいましたね。
程度問題だとは思いますけど。 ありがとうございます。
たしかにsubback.txtを読んだ方が軽いですね。
変更することにします。
当面はこのスレの流れを読みつつ対応していきます。 鯖に負担をかけない程度にやさしくやる分にはいいんじゃないかなぁ。 コストの面からいうと、
・>>1を取るためだけの目的でread.cgiを呼ぶのはコストが高いので、避けてほしい
・datをとる場合、できるだけ前に取ったものの増分で入手してほしい
といったところかなと。
あとは、read.cgi経由で統計情報のグラフに影響が出るぐらい、
がばちょと読んでいる方がたまにいるみたいということかなと。
なお、みみずんさんとかは、負荷のかからない時刻にやさしくスキャンいただいている模様であると、
その筋の方からうかがっておりますです。 「read.cgiでがばちょ」の対象になっていそうなのは、見ている範囲だと、
・memories(の各バーチャルホスト)
・news5
・news6
・pc5
・science2
あたりか。
あとは私が統計情報見ていないところでも、別途あるかも。 私のサイトでは、datから必要な情報は、
・スレ立て人
・>>1
なので、一度datをいただいてDBに入れたスレには二度とアクセスしていません。
もちろん、read.cgiは通していません。
ただ、subback.htmlを5分毎に読んでいるのですが、いかがなものでしょうか？ こんな感じにした方が言いかと。
dat取得は1個ごとに10secのwaitをいれる
newsplus.jpから入手した情報ですけどｗ
× 作った
○ 使った
頭がつかれてるっぽい。。。 >>16
BBYのdatはどれ位の間保持されてますか？ わかりました。
改良していきます。
ありがとうございました。 >>20
1時間ごとにclearだったかな？。一応100個までらしいです。 >>20 >>22
subject.txtから消えるだけで、bbynews/bbyliveのdatそのものは3日前のものまで残っています。
ただし元記事がスレッド削除された場合、最大30分の遅延でこちらのdatも消えます。 >>24
なるほど…
どうもありがとうございます。 .htaccess で弾くとすると...... deny リストの数が多くなってきたら，
前作った mod_authz_iplist が効果的かも． >>28
そこは2chではないので2ch2.netの方に言ってくださいな >>29
そこも、newsplusやbizplus、dqnplusの
subject.txtなんかを総ざらいしているはずですが。 鯖とか回線に余裕がある時間帯にGETすればいいですか？
何曜の何時ころ余裕あります？ >>32
ども。
4時〜6時くらいが底みたいすね。 嗚呼、思い出すは去年の夏、、、
そしてマーリンルージュ、、、
記念ぱぴこ 別スレでレスした際にむむむさんのページ見てた際に気がついたんですけど
たんですけどmemoriesで今日の４〜５時までの間にread.cgiブン回してぶっこ
抜きやってた痕跡がありますね。。
read.cgiのアクセス記録で見ればわかりますけど明らかに怪しい動きしています。
ttp://mumumu.mu/mrtg/mrtg-rrd.cgi/read/memoriesread.html う〜ん
まじで何とかしなきぉだぞー
簡単にどのIPががんがん持っていっているかをアパッチのろぐから
一発で表示してくれる cgi きぼー
1) ログは巨大である(停止しているサーバでも 100M/day)
2) read.cgi だけ抽出して 呼び元の多い順に表示
出力例)
read.cgi (← ここは .dat とか、bbs.cgi とか .html .txt に変わる)
1. 111.112.113.114 8,360 回
2. 222.112.113.114 4,230 回
3. 333.112.113.114 2,560 回
だれか作ってくれー pc4.2ch.net サーバ
371318
read.cgi 呼び出し回数 = 159230
64.68.92.14(6804)
64.68.92.9(6780)
64.68.92.18(6568)
64.68.92.11(6519)
64.68.92.10(6311)
64.68.92.17(6158)
64.68.92.19(6132)
64.68.92.4(6039)
64.68.92.5(5883)
64.68.92.6(5863)
bubble.2ch.net サーバ
read.cgi 呼び出し回数 =
64.68.92.14(4882)
64.68.92.9(4545)
64.68.92.18(4449)
64.68.92.10(4434)
64.68.92.11(4314)
64.68.92.17(4306)
64.68.92.19(4236)
64.68.92.6(4140)
64.68.92.5(4101)
64.68.92.4(4040)
64.68.92.16(2665)
>40
それだけ見る限りでは、64.68.92.0/24(*****回)みたいな感じで纏めたほうが便利かも。 order allow,deny
allow from all
deny from 64.68.92.
を入れてみる 64.68.92.* googlebot.com……グーグルか！ なるほど（ｗ pc4.2ch.net サーバ
.dat 呼び出し回数 = 139021
219.106.23.235(11074)
219.167.59.210(4425)
218.228.216.29(2456)
220.210.180.206(1793)
218.228.216.14(1407)
218.228.185.40(1306)
202.225.240.125(1261)
61.201.230.16(1086)
218.228.216.129(980)
221.184.158.51(821)
143.90.87.123(615)
googleが相手ならrobots.txtを置いておくというのでは駄目なのでしょうか？ bubble.2ch.net サーバ
.dat 呼び出し回数 = 30589
218.228.216.29(1967)
218.228.216.14(1137)
bubble.2ch.net サーバ
.txt 呼び出し回数 = 7075
210.138.60.135(1981)
pc4.2ch.net サーバ
.txt 呼び出し回数 = 46430
210.138.60.135(1991)
218.223.194.216(1092)
219.106.243.202(872)
210.147.179.31(834)
61.121.247.58(653)
210.170.129.199(540)
219.111.57.38(504)
210.173.38.6(451)
219.126.175.153(397)
202.213.149.85(392)
129.250.170.69(384)
■ このスレッドは過去ログ倉庫に格納されています
