X



トップページ運用情報
1001コメント329KB

【.htaccess】読みこみできない【規制作戦】

■ このスレッドは過去ログ倉庫に格納されています
0001動け動けウゴウゴ2ちゃんねる
垢版 |
04/04/26 17:35ID:VlICTc6W
http://qb3.2ch.net/test/read.cgi/operate/1082125059/864-865n
864 :動け動けウゴウゴ2ちゃんねる :04/04/26 16:31 ID:XBHI6262
全datさらうのを勧めるのもどうかと
 
865 :留守番 ★ :04/04/26 16:42 ID:???
>>864
最近増えてきているんですよねぇ
.htaccess で deny の規制が復活の予感。
 
http://qb3.2ch.net/test/read.cgi/operate/1082125059/867-868n
867 :root ★ :04/04/26 16:47 ID:???
datかっさらいもさることながら、read.cgi経由も目につくような気が。
 
868 :留守番 ★ :04/04/26 16:49 ID:???
>>867
ですねぇ
 
思い立ったが吉日ってことで
スレ立ててやりましょ
0002FOX ★
垢版 |
04/04/26 17:42ID:???
さてさて、
0007rafale ★
垢版 |
04/04/26 20:23ID:???
懐かしいスレが復活しましたねぇ。
出張先から記念パピコ。
0008油すまし ◆NEXTdtOv..
垢版 |
04/04/26 20:46ID:gXFZW4t5
一定時間毎にsubback.htmlを読んで、新スレのみをいただくというのも
所謂「かっさらい」に該当するのでしょうか…?

ようは、こういうことなのですが。
http://www.dqnplus.net/
0010rafale ★
垢版 |
04/04/26 20:59ID:???
以前newsplus.jpはそれで規制くらいましたね。
程度問題だとは思いますけど。
0011油すまし ◆NEXTdtOv..
垢版 |
04/04/26 21:05ID:gXFZW4t5
ありがとうございます。
たしかにsubback.txtを読んだ方が軽いですね。
変更することにします。

当面はこのスレの流れを読みつつ対応していきます。
0013root ★
垢版 |
04/04/26 21:10ID:???
コストの面からいうと、

>>1を取るためだけの目的でread.cgiを呼ぶのはコストが高いので、避けてほしい
・datをとる場合、できるだけ前に取ったものの増分で入手してほしい

といったところかなと。

あとは、read.cgi経由で統計情報のグラフに影響が出るぐらい、
がばちょと読んでいる方がたまにいるみたいということかなと。

なお、みみずんさんとかは、負荷のかからない時刻にやさしくスキャンいただいている模様であると、
その筋の方からうかがっておりますです。
0014root ★
垢版 |
04/04/26 21:13ID:???
「read.cgiでがばちょ」の対象になっていそうなのは、見ている範囲だと、

・memories(の各バーチャルホスト)
・news5
・news6
・pc5
・science2

あたりか。

あとは私が統計情報見ていないところでも、別途あるかも。
0015油すまし ◆NEXTdtOv..
垢版 |
04/04/26 21:16ID:gXFZW4t5
私のサイトでは、datから必要な情報は、
・スレ立て人
>>1
なので、一度datをいただいてDBに入れたスレには二度とアクセスしていません。
もちろん、read.cgiは通していません。

ただ、subback.htmlを5分毎に読んでいるのですが、いかがなものでしょうか?
0016FOX ★
垢版 |
04/04/26 21:31ID:???
bby の方から取ってね
0024root ★
垢版 |
04/04/26 22:08ID:???
>>20 >>22
subject.txtから消えるだけで、bbynews/bbyliveのdatそのものは3日前のものまで残っています。
ただし元記事がスレッド削除された場合、最大30分の遅延でこちらのdatも消えます。
0026 ◆cZfSunOs.U
垢版 |
04/04/27 00:04ID:zkGDUSlK
.htaccess で弾くとすると...... deny リストの数が多くなってきたら,
前作った mod_authz_iplist が効果的かも.
0027YahooBB218126164168.bbtec.net
垢版 |
04/04/28 18:07ID:FvoAmdAD
f
0028動け動けウゴウゴ2ちゃんねる
垢版 |
04/04/28 19:21ID:+qGy6D/j
ここはどうなんでしょうか。
http://news.2ch2.net/
0035 ◆g4HrV7ViKA
垢版 |
04/04/29 14:59ID:haSeyQ3x
嗚呼、思い出すは去年の夏、、、
そしてマーリンルージュ、、、

記念ぱぴこ
0036reffi@報告人 ★
垢版 |
04/04/29 19:05ID:???
別スレでレスした際にむむむさんのページ見てた際に気がついたんですけど
たんですけどmemoriesで今日の4〜5時までの間にread.cgiブン回してぶっこ
抜きやってた痕跡がありますね。。

read.cgiのアクセス記録で見ればわかりますけど明らかに怪しい動きしています。

ttp://mumumu.mu/mrtg/mrtg-rrd.cgi/read/memoriesread.html
0038FOX ★
垢版 |
04/05/13 05:36ID:???
う〜ん
まじで何とかしなきぉだぞー

簡単にどのIPががんがん持っていっているかをアパッチのろぐから
一発で表示してくれる cgi きぼー

1) ログは巨大である(停止しているサーバでも 100M/day)
2) read.cgi だけ抽出して 呼び元の多い順に表示

出力例)
read.cgi (← ここは .dat とか、bbs.cgi とか .html .txt に変わる)
1. 111.112.113.114 8,360 回
2. 222.112.113.114 4,230 回
3. 333.112.113.114 2,560 回


だれか作ってくれー
0040FOX ★
垢版 |
04/05/13 06:42ID:???
pc4.2ch.net サーバ
371318
read.cgi 呼び出し回数 = 159230
64.68.92.14(6804)
64.68.92.9(6780)
64.68.92.18(6568)
64.68.92.11(6519)
64.68.92.10(6311)
64.68.92.17(6158)
64.68.92.19(6132)
64.68.92.4(6039)
64.68.92.5(5883)
64.68.92.6(5863)
0041FOX ★
垢版 |
04/05/13 06:47ID:???
bubble.2ch.net サーバ
read.cgi 呼び出し回数 =
64.68.92.14(4882)
64.68.92.9(4545)
64.68.92.18(4449)
64.68.92.10(4434)
64.68.92.11(4314)
64.68.92.17(4306)
64.68.92.19(4236)
64.68.92.6(4140)
64.68.92.5(4101)
64.68.92.4(4040)
64.68.92.16(2665)
0043FOX ★
垢版 |
04/05/13 06:54ID:???
order allow,deny
allow from all
deny from 64.68.92.

を入れてみる
0045FOX ★
垢版 |
04/05/13 06:59ID:???
>>42
わちしの perl じゃ無理っぽい
0046FOX ★
垢版 |
04/05/13 07:03ID:???
pc4.2ch.net サーバ
.dat 呼び出し回数 = 139021
219.106.23.235(11074)
219.167.59.210(4425)
218.228.216.29(2456)
220.210.180.206(1793)
218.228.216.14(1407)
218.228.185.40(1306)
202.225.240.125(1261)
61.201.230.16(1086)
218.228.216.129(980)
221.184.158.51(821)
143.90.87.123(615)
0048FOX ★
垢版 |
04/05/13 07:06ID:???
bubble.2ch.net サーバ
.dat 呼び出し回数 = 30589
218.228.216.29(1967)
218.228.216.14(1137)
0049FOX ★
垢版 |
04/05/13 07:07ID:???
bubble.2ch.net サーバ
.txt 呼び出し回数 = 7075
210.138.60.135(1981)

0050FOX ★
垢版 |
04/05/13 07:08ID:???
pc4.2ch.net サーバ
.txt 呼び出し回数 = 46430
210.138.60.135(1991)
218.223.194.216(1092)
219.106.243.202(872)
210.147.179.31(834)
61.121.247.58(653)
210.170.129.199(540)
219.111.57.38(504)
210.173.38.6(451)
219.126.175.153(397)
202.213.149.85(392)
129.250.170.69(384)
0051FOX ★
垢版 |
04/05/13 07:13ID:???
pc4 bubble に入れた

order allow,deny
allow from all
deny from 64.68.92.
deny from 219.106.23.235
deny from 219.167.59.210
deny from 210.138.60.135
deny from 218.223.194.216
0052FOX ★
垢版 |
04/05/13 07:15ID:???
どうしますかねぇ

google とかのはいつでも止められるということで良いんですが、
固定IPのところもはじけばいいんですが、

その他のねぇ、、、
規制情報板経由ですかねぇ。
0053動け動けウゴウゴ2ちゃんねる
垢版 |
04/05/13 07:19ID:A9DFIzNP
219.106.23.235 ntt1-ppp489.utunomiya.sannet.ne.jp
219.167.59.210 o059210.ap.plala.or.jp
210.138.60.135 135.60.138.210.bn.2iij.net
218.223.194.216 goa.self-core.org

self-core.orgってなに?
0055reffi@報告人 ★
垢版 |
04/05/13 12:02ID:???
>52
個人でのぶっこ抜き行為ですけど明らかに2ちゃんの鯖に過剰に負担をかける
行為ですので通報は可能だと思います。
規制情報板へログを添付して掲載して頂ければ該当プロパへ通報します。
0058動け動けウゴウゴ2ちゃんねる
垢版 |
04/05/13 14:34ID:FMMiy/9j
902に関して言えば、ログ移動後しばらく(どのくらいがしばらくかは不明)
ロボちゃんに舐めてもらって、あとはお引取りいただくとか。

名前で調べてきてればそれも必要ないかな?
0059 ◆F6an1MWJ7o
垢版 |
04/05/13 14:39ID:LrVk/jWq
>>38
>簡単にどのIPががんがん持っていっているかをアパッチのろぐから
>一発で表示してくれる cgi きぼー
ログ出力をカスタマイズしてると・・・


>46は差分取得してない所?
0061FOX ★
垢版 |
04/05/13 19:05ID:???
pc4 にこれ入れたんだけど
定期的に相変わらずの転送量だなぁ

書き方がまちがっているのか ?

order allow,deny
allow from all
deny from 64.68.92.
deny from 219.106.23.235
deny from 219.167.59.210
deny from 210.138.60.135
deny from 218.223.194.216
0062 ◆Reffi/bQ.c
垢版 |
04/05/13 19:16ID:DnZ9srzl
>61
web制作板にあったので見てみましたけど合ってますね。

.htaccess質問コーナー
http://pc5.2ch.net/test/read.cgi/hp/1065608009/

お行儀のいいrobotは>56でお帰り頂くとしても個人でやってるのは繋ぎ替えで
やってきたらどうしようもないと思われ


※参照URL漁ってたら恐ろしい物が
 間違っても絶対に実行しないでねw
 やったら全てのアクセスが拒否されます。

>deny from all
0063FOX ★
垢版 |
04/05/13 19:20ID:???
test/.htaccess との兼ね合いだったようです。
只今 pc4 bubble で実験中。。。
0064マァヴ ◆jxAYUMI09s @マァヴ ★
垢版 |
04/05/13 19:36ID:???
あ、みみずんとかにくちゃんねるさんところのIPを弾かないようにしとかないとね(^_^;)
IPアドレス聞いておこう・・・・
0065FOX ★
垢版 |
04/05/13 19:49ID:???
sports4.2ch.net サーバ
read.cgi 呼び出し回数 = 68373
211.4.214.174(2819)
64.68.92.9(1769)
64.68.92.14(1737)
64.68.92.18(1578)
64.68.92.10(1575)
64.68.92.5(1564)
64.68.92.19(1544)
64.68.92.11(1530)
64.68.92.4(1513)
64.68.92.17(1497)
64.68.92.6(1409)
222.3.210.177(1156)
210.227.247.74(1052)

0066FOX ★
垢版 |
04/05/13 19:49ID:???
誰じゃい
ぶん回しているのは、
0067FOX ★
垢版 |
04/05/13 19:54ID:???
life4.2ch.net サーバ
read.cgi 呼び出し回数 = 88126
211.4.214.174(10998)
211.4.214.173(5376)
64.68.92.14(3312)
64.68.92.9(3236)
64.68.92.18(3033)
64.68.92.11(3018)
64.68.92.17(3010)
64.68.92.10(3000)
64.68.92.4(2907)
64.68.92.19(2857)
64.68.92.6(2845)
64.68.92.5(2799)
64.68.92.16(1764)
64.68.92.15(1662)
64.68.92.12(1630)
64.68.92.13(1489)
0068 ◆Reffi/bQ.c
垢版 |
04/05/13 19:56ID:DnZ9srzl
211.4.214.174を調べたらこんなの出ました。

ケイディディ株式会社 (KDD Corporation)
SUBA-035-153 [サブアロケーション] 211.4.214.0
株式会社イーツ (I2TS Inc.)
I2TS-NET2 [211.4.214.128 <-> 211.4.214.191] 211.4.214.128/26
0069FOX ★
垢版 |
04/05/13 20:00ID:???
構想していること

qb4 に /.htaccess 用 /test/.htaccess 用の設定ファイルを置いて
他のサーバに一気に配って規制する仕組みが必要か・・・


root★さんにお願いなんですが
ログとっているサーバ(uma oe peko)で
/home/ch2abcd/logs/accsess_log でアクセスログをあされるように
シンボリックリンク(っていうのかな?) はって欲しいでーす
0071FOX ★
垢版 |
04/05/13 20:04ID:???
life4.2ch.net サーバ
.txt 呼び出し回数 = 14214
210.135.97.174(1188)
210.135.97.175(521)
210.135.97.172(487)
210.135.97.171(431)
210.135.97.177(425)
69.93.181.250(386)
210.135.97.176(351)
210.135.97.170(224)
0072 ◆Reffi/bQ.c
垢版 |
04/05/13 20:06ID:DnZ9srzl
>68をさらにぐぐって調べてたらこんなのも
ま、まさかねぇ・・・・・ハハハ(乾いた笑い


ttp://www.i2ts.com/case/case.htm
0077root ★
垢版 |
04/05/14 00:10ID:???
>>69
今読んだので、今日〜週末あたりにぼちぼちと。
まだオフィスにいたりして。これで何日連続オフィスで日付変わったかしら。
0078 ◆F6an1MWJ7o
垢版 |
04/05/14 00:54ID:/IONxbCB
read.cgi を使って取り出してるのは googlebot等の検索エンジン
.txt を中心に取り出してるのは *.razil.jp (find.2ch)


http://qb3.2ch.net/test/read.cgi/operate/1082968554/
必ずread.cgiを使う事になってるのが原因<googlebot等の検索エンジン

find.2ch以外の検索エンジンは帰ってもらいましょう
0079動け動けウゴウゴ2ちゃんねる
垢版 |
04/05/14 01:43ID:QSmVhNmj
googleさんとイーツさんにお引取り願うだけでかなり違うと思います。

.dat 主に個人
 若干気になるもの:総呼び出し回数の5%を超える
  219.106.23.235 (ntt1-ppp489.utunomiya.sannet.ne.jp) pc4の8.0%
  218.228.216.29 (218-228-216-29.eonet.ne.jp) bubbleの6.4%

.txt 主にfind.2chの中の人
 気になるもの:呼び出し回数が突出
  210.138.60.135 (135.60.138.210.bn.2iij.net) pc4の4.3%、bubbleの28.0%
 若干気になるもの:会社等
  61.121.247.0/24 株式会社リンク pc4の1.4%
  219.106.243.200/29 ネットワーク利用技術研究会 pc4の1.9%

read.cgi 主にgooglebot.com
 気になるもの:呼び出し回数が突出
  64.68.92.0/24 googlebot.com pc4の39.6%、sports4の23.0%、life4の41.5%
  211.4.214.128/26 株式会社イーツ sports4の4.1%、life4の18.6%
0081FOX ★
垢版 |
04/05/14 04:24ID:???
そうか N% なんてのを自動で検出していろいろやればいいのか?
まぁ せいぜい一時間に一回くらいしかできないだろうけど、
0083動け動けウゴウゴ2ちゃんねる
垢版 |
04/05/14 05:40ID:djSn5VCG
皆様のSEチックな議論が交わされている中で
イキナリ鳥頭かつマヌケな質問で申し訳ないのですが、

一つの個人IP(Yahoo!!bb、OSはWinXPHome)で
普通に2chブラウザ(ギコナビ)利用して2chを閲覧する場合で、
たとえば、ある一つの板のスレのログが100個近くあって
その100個近い現行スレたちのログ(dat)を取得する場合で
呼び出し回数(↑この場合だとdat呼び出しは100回位?)が多過ぎると規制の対象になってしまうのですか?
(無論荒氏行為・広告投稿は規制以前の問題ですが)

ギコナビはdatを差分取得するのは理解していますが、
それでも一つの個人IPで鯖へのdat呼び出し回数が多いと負担がかかってしまうという事は
ここのスレを閲覧していてそう感じたので。

ちなみに行きつけの板の殆どがcomic4鯖・・・・(´・ω・`)チョットシンパイニナッテシツモンシタシダイデス、ハイ。




0084動け動けウゴウゴ2ちゃんねる
垢版 |
04/05/14 11:20ID:9mqNLsYP
1日数十レスくらいのありがちな人気スレを
10回/1hくらいで夜頻繁に4時間くらいチェックしたとして(寝る前とか)
3回/1hくらいで朝夕まれに2時間くらいチェックしたとして(帰宅後とか)
そんな注目スレがひとつの板に20個相当くらいあったとして(ちと多いか)
ひとつの鯖にそんな興味のある板が3個くらいあったとして(最近詰め込み化)

 (10*4) + (3*2) = スレあたりdat呼び出し 46回 の
 46 * 20 = 板あたり呼び出し 920回 の
 920 * 3 = 鯖単位で 2760 回。

でも>>46とか見るとこれではアクセス過多の不良個人ユーザーですな(w
パーセンテージと一緒に鯖ごとに足切り回数を公表してもらえると気が楽かなあ…
0086 ◆F6an1MWJ7o
垢版 |
04/05/14 11:36ID:/IONxbCB
>>85
>ぎりぎりの悪さ
どんな悪さだろう?


広告等の荒らし報告再開不可能になった
0088動け動けウゴウゴ2ちゃんねる
垢版 |
04/05/14 11:46ID:PVHFEko3
>>87
意図的に(dat)アクセス数を引き上げるメリットが思いつかないんだけど…
これまでは多かったけど引っかからないぎりぎりに抑えて頻繁にアクセスする、というのは
それはそれで迷惑だけど許容の余地はあるでしょ。
0089 [―{}@{}@{}-] rafale ★
垢版 |
04/05/14 11:49ID:???
>>88
うーん。でも公表する意味が思いつかないんですけど。
公表しなければ抑止効果にもなりますし。
0090動け動けウゴウゴ2ちゃんねる
垢版 |
04/05/14 11:51ID:PVHFEko3
>>89
ぜんりょう(棒読み)なユーザーの中には
「これくらいまでなら大丈夫なので自動アクセスとかの目安にしてね」
というのが示されてれば喜んでそれに従う、という人は少なくないと思うけどなあ。
デメリットのほうが大きいかしら。
0092 [―{}@{}@{}-] rafale ★
垢版 |
04/05/14 11:54ID:???
>>90
いや、わかんないっす。
漏れは感覚的な意見を言っただけなんで。

やっぱ公開した方がいいのかなぁ。
0093動け動けウゴウゴ2ちゃんねる
垢版 |
04/05/14 12:59ID:UvV6XkkM
「これ以上はダメ」という制限は、すぐに「ここまではいいんだ」という認識に
取って代わられるのがオチかと。


#「ならば、今すぐ全てのドライバーに制限速度を守らせてみせろ!」
0096動け動けウゴウゴ2ちゃんねる
垢版 |
04/05/14 18:00ID:kbkG0dsC
datを取るときにRangeヘッダを付けないリクエストを記録、とか。

SetEnvIf Request_URI "¥.dat$" datall
SetEnvIf Range ".+" !datall
CustomLog /var/log/httpd-datall.log combined env=datall
0097FOX ★
垢版 |
04/05/14 18:13ID:???
>>96
それは .htaccess に記述するのですか?
ちがうのか、
0099FOX ★
垢版 |
04/05/14 19:20ID:???
218.226.22.79 ってどんな回線なんだろぅ
0100▲ 某ソレ511
垢版 |
04/05/14 19:21ID:1u5i4ycc
nslookupしてみたら
 ↓
ntoska043079.oska.nt.adsl.ppp.infoweb.ne.jp
こんなん出てきました
■ このスレッドは過去ログ倉庫に格納されています

ニューススポーツなんでも実況