【.htaccess】読みこみできない【規制作戦】

**動け動けウゴウゴ２ちゃんねる** · 04/04/26 17:35

http://qb3.2ch.net/test/read.cgi/operate/1082125059/864-865n
864 ：動け動けウゴウゴ２ちゃんねる：04/04/26 16:31 ID:XBHI6262
全datさらうのを勧めるのもどうかと
　
865 ：留守番 ★ ：04/04/26 16:42 ID:???
>>864
最近増えてきているんですよねぇ
.htaccess で deny の規制が復活の予感。
　
http://qb3.2ch.net/test/read.cgi/operate/1082125059/867-868n
867 ：root ★ ：04/04/26 16:47 ID:???
datかっさらいもさることながら、read.cgi経由も目につくような気が。
　
868 ：留守番 ★ ：04/04/26 16:49 ID:???
>>867
ですねぇ
　
思い立ったが吉日ってことで
スレ立ててやりましょ

**FOX ★** · 04/05/30 18:49

>>470

ちょっとテストにお付き合いくださいー
そのまま IP 変更しないで

ではニュー速(news12) でやりますー
見えますか?

**動け動けウゴウゴ２ちゃんねる** · 04/05/30 18:49

>>475
でしょう。
だから
>●を強制解約のほうが、まだ理解できる。
>●の金を払わせてるにもかかわらず、アクセスはさせないって、あんまりじゃないかな、と。
って書いたんだし。
.htaccessでアク禁、そして解除無し、●も退会。
それならまだ理解できる。
って、なんだか同じ事書いちゃったけど。
ようするに●は継続してるのに過去ログは読めませんという現状はどうなのよってね。

202.216.239.161 · 04/05/30 18:50

>>478
見えます

**動け動けウゴウゴ２ちゃんねる** · 04/05/30 18:51

お、解除されるのか。
よかったね。

**FOX ★** · 04/05/30 18:52

>>480

こんどはどうですかー

**動け動けウゴウゴ２ちゃんねる** · 04/05/30 18:53

ん、FOX★さん動いたー
>>480 さん良かったね

202.216.239.161 · 04/05/30 18:54

>>482
他の板も全部見えるようになりました

**名無し屋さん** ◆1.9qmHhjqk · 04/05/30 18:54

ひろゆきもマァブも最初に逝ってたよ。
●は運営には関係無いと、なるほど
何かあった時には良い方法だなと思いましたよ。

202.216.239.161 · 04/05/30 18:55

FOX ★様
こんな自分に対応ありがとうございます

以後専用ブラウザの使用方法を含め
負荷をかけないよう注意して利用いたします

ありがとうございました

**FOX ★** · 04/05/30 18:56

>>486
まてまてー

最後まで実験に付き合うこと　!!

202.216.239.161 · 04/05/30 18:57

はい、います(｀･ω･´)ｼｬｷｰﾝ

**動け動けウゴウゴ２ちゃんねる** · 04/05/30 18:57

>>479
そのIPアドレスに属する人が●購入者だというのは
2ch側はどうやって確かめればいい？

弾いているのは人じゃなくてただのIPアドレス。

**動け動けウゴウゴ２ちゃんねる** · 04/05/30 18:59

>>489
もちろん、確かめてから規制しろなんて言ってない。
というか、別に規制したって構わない。
あらゆるケースを想定して言ったんじゃなく、あくまで今回の202.216.239.161さんが規制を
解除されてもいいと思う一因って事。

**マァヴ** ◆jxAYUMI09s · 04/05/30 19:00

>479
強制ループか・・・(^_^;)

>486
がんばれー(^_^;)

**動け動けウゴウゴ２ちゃんねる** · 04/05/30 19:02

FOXの中の人も大変だな

**FOX ★** · 04/05/30 19:02

>>488
今ニゅー速見えますか?

**動け動けウゴウゴ２ちゃんねる** · 04/05/30 19:03

外野が騒ぎすぎってこってす

202.216.239.161 · 04/05/30 19:03

>>493　見えます

**FOX ★** · 04/05/30 19:06

へんだなぁ。。。

今どうでしょか?

index.html は見えるが
read.cgi bbs.cgi は見えないようにしたつもり

202.216.239.161 · 04/05/30 19:07

>>496
見えてます。IEでもLive2chでも

**FOX ★** · 04/05/30 19:08

>>497

IE でスレッド見てもらえます?

**FOX ★** · 04/05/30 19:08

たとえば

【自治スレ】規制緩和＆etc...
http://news12.2ch.net/test/read.cgi/news/1085306325/

202.216.239.161 · 04/05/30 19:08

>>496
各すれに入ると見えません。＞IE
トップは見れます。

202.216.239.161 · 04/05/30 19:09

>>499
は見れません。

**FOX ★** · 04/05/30 19:09

>>500
ok ok

どもでしたー

今度は引っかからないようにしてくださいー

202.216.239.161 · 04/05/30 19:11

FOX ★ 様
ありがとうございました

また、私の件での議論に加わってくださった方
ありがとうございました

◆WMaLhm.gkw · 04/05/30 19:13

>>496
index.htmlは見えるけどcgiは使えない、蛇の生殺し状態（ひとり人大杉状態）にもできるんだぁ……。
怖っ！

**動け動けウゴウゴ２ちゃんねる** · 04/05/30 19:13

>503
解除おめでとー

お兄さんおつかれさまでしたー

**外野ｧｧﾝ** · 04/05/30 19:14

お兄さん？

202.216.239.161 · 04/05/30 19:15

>>506
あってます・・・てかｵｻｰﾝに足入ってるかも

**動け動けウゴウゴ２ちゃんねる** · 04/05/30 19:16

>>477
いや～ん＿|￣|○　
今回の件を見てるとまだ手探り状態みたいね

>>503
おめで㌧

**FOX ★** · 04/05/30 19:18

効果は絶大だけどネ

**動け動けウゴウゴ２ちゃんねる** · 04/05/30 19:21

んーんよかったなー。
なんか色々誤解されて大変だったけど解除されたなら本望ですよ。

◆f0.zuburi6 · 04/05/30 19:23

>>509
今度はどんなたくらみですか？
わくわく

202.216.239.161 · 04/05/30 19:24

>>510
自分の理解できない部分（Live2chの仕様とか）を説明していただいたり
状況を分析していただいたり大変ありがとうございました。

**動け動けウゴウゴ２ちゃんねる** · 04/05/30 19:24

>>494
基準がやたら相対的なくせに結果がアク禁、という
なかなかアバンギャルドな作戦なんで
明日はちょっと頑張ってしまったわが身かもしれないということで
いちいち騒いだり突っ込んだりして地固めした気になって満足して
今夜はもう帰って火の鳥で狼マリモ観ようかなとか思ってる次第

**FOX ★** · 04/05/30 19:25

最終的には
deny は完全自動登録/解除かな、
現在の開発ペースだと、たぶん一年くらいかかるだろうけど

◆f0.zuburi6 · 04/05/30 19:27

>>514
なるほど。自動化っすか。
でも1年かかるとなると隠居できないっすねー

求む！有望な人材！かな？

**動け動けウゴウゴ２ちゃんねる** · 04/05/30 19:31

もしや、サザ（ｒｙ作戦の成果によって、
お兄さんはこれらに集中できるようになるのかな。
じつはこれも次世代に…とか？

**FOX ★** · 04/05/30 19:33

一番　手間隙かかってめんどくさいのは・・・
あれがなんとかなればなぁ

**マァヴ** ◆jxAYUMI09s · 04/05/30 20:45

高負荷サーバからの板の自動移転システムだな(^_^;)きっと
トラフィック側じゃなくてコンテンツ側でロードバランスを取るという画期（ｒｙ

**動け動けウゴウゴ２ちゃんねる** · 04/05/30 20:50

そんな無茶なｗ

**動け動けウゴウゴ２ちゃんねる** · 04/05/30 20:57

板が自分で考えて居心地が悪くなったら自分でお引越しっ!

**動け動けウゴウゴ２ちゃんねる** · 04/05/30 21:12

あんま基準厳しくすると>>350だと思うので適度に

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 03:01

質問・雑談スレでもかきましたが、

FLA板に入ろうとするとサーバーの宣伝が出るわけだが・・・・・

スレッドはみれる。スレ一覧がみれず書き込めない。

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 03:11

>>522
まずはIPを晒さないと話が進まないわけですが・・・。
あと専用ブラウザ使ってるのなら、そのブラウザの名前も
どうぞです。

pvl03d.eagle-net.ne.jp · 04/05/31 03:26

専用ブラウザは禁断の壷です。
いろいろとすいません。

pvl03d.eagle-net.ne.jp · 04/05/31 03:39

>>524
522です。

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 03:43

>>309-315
>>363-
あたりを参照してみて下さい……

でもFLA板ってpc5じゃなかったっけ？

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 04:16

>>526
http://pc5.2ch.net/swf/

pvl03d.eagle-net.ne.jp · 04/05/31 05:44

522です
同じプロパの人がカキコしてたのか……
少し前のレスぐらいみるのは基本ですね。またまたすいません。
FLA板は>>527の通りpc5です

とりあえず意味わからんのですが
プライベートアドレスで
IP210.230.239.78（固定）です。

気長にまちます。

**FOX ★** · 04/05/31 05:47

現在　全サーバに設定　(qb5.6 を除く)

deny from 203.192.158.0/23
deny from 210.160.72.144/29
deny from 210.230.239.64/26
deny from 61.115.195.128/26
deny from 211.4.214.128/26
deny from 202.224.239.248/29
deny from 64.68.92.
deny from 64.68.81.
deny from 220.5.107.128
deny from 211.133.152.175
deny from 61.198.96.151
deny from 219.106.23.235
deny from 219.167.59.210
deny from 210.138.60.135
deny from 218.223.194.216
deny from 202.226.244.32

**FOX ★** · 04/05/31 05:50

ex6.2ch.net サーバ
呼び出し回数 = 35750

deny from 219.38.250.12 #(2511) 7.02%
deny from 218.221.83.192 #(2228) 6.23%
deny from 61.214.24.75 #(1243) 3.48%
deny from 210.230.*.* #(715) 2%
deny from 218.225.*.* #(572) 1.6%
deny from 220.105.*.* #(570) 1.59%
deny from 210.146.*.* #(554) 1.55%
deny from 222.144.*.* #(425) 1.19%

**FOX ★** · 04/05/31 05:52

sports8.2ch.net サーバ
GET /test/read.cgi 呼び出し回数 = 4509

deny from 202.225.151.123 #(324) 7.19%
deny from 202.224.*.* #(79) 1.75%
deny from 222.5.*.* #(70) 1.55%
deny from 202.247.*.* #(51) 1.13%

◆WMaLhm.gkw · 04/05/31 05:57

IPアドレス：219.38.250.12
ホスト名：YahooBB219038250012.bbtec.net

IPアドレス：218.221.83.192
ホスト名：pdd53c0.ykhmac00.ap.so-net.ne.jp

IPアドレス：61.214.24.75
ホスト名：p6075-ipad02funabasi.chiba.ocn.ne.jp

IPアドレス：202.225.151.123
ホスト名：ktc151123.tmtv.ne.jp
ネットワークサービス名：つづきの森ケーブルネット

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 06:10

ぐぐる弾きにrobots.txt使わないのはどうして？

**FOX ★** · 04/05/31 06:34

because I am stupid.

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 06:37

>>56の内容のテキストファイルをrobots.txtという名前で
各サーバのルートに置くだけですが

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 06:43

ﾜﾗﾀ
googleだけなら

User-agent: Googlebot
Disallow: /*

これでおｋ。

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 06:47

>>478-503を見るに板のトップは見せるらしいから
Disallow: /test
のほうがいいのではないかと

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 07:24

暑いと思ったらもう夏休みか＞ID:3eP4QhhI ID:YXEx8nGB

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 07:28

と、夏厨が申しております

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 07:55

スレ冒頭～200ぐらいまで読め低脳共
>>52

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 08:51

deny from 64.68.92.
deny from 64.68.81.

↑じゃなくてrobots.txt置いとけば、
クローラーそのものが来なくなるから
その方が処理軽いかと思ったんだけどね

◆ShiorinZZo · 04/05/31 11:24

カスタマイズできるということもあると思うけど、
　ロボットはじきに限定なら＞ robots.txt
　システム共通化ができる. ＞ .htaccess
という面もあるのではないかと思われ。

**FOX ★** · 04/05/31 15:38

deny from 211.4.214.173 #(608) 4.3%
deny from 211.4.214.174 #(512) 3.62%
deny from 219.18.*.* #(137) 0.97%
deny from 61.115.*.* #(106) 0.75%
deny from 172.205.*.* #(76) 0.54%

**ひろゆき** ◆3SHRUNYAXA · 04/05/31 15:41

悪意のある人をはじくのが目的だから、
robots.txtなんて読んでないと思われ。

**ひろゆき** ◆3SHRUNYAXA · 04/05/31 15:47

http://2ch.net/robot3.txt

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 15:50

>>545
next generation:
にはちょっと笑ってしまいましたよ・・・

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 15:51

>>543
ケイディディ株式会社 (KDD Corporation)
SUBA-035-153 [サブアロケーション] 211.4.214.0
株式会社イーツ (I2TS Inc.)
I2TS-NET2 [211.4.214.128 <-> 211.4.214.191] 211.4.214.128/26

なんだろこの会社

ひろゆき的に、ググルロボは悪意なの？

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 16:03

>>541は一面的には正しい。
GoogleBotの類に対してはrobots.txtを自動で読ませて自力で帰ってもらうようにしたほうが
いちいちIPアドレスを調べてこちら側で範囲を推測して.htaccessを設定するよりもずっと手間は楽なはず。

大手検索エンジンのクローラ以外にもrobots.txtを読んでくれるやつがもしかしたらあるかもしれないし、
ファイル置くだけで勝手に帰ってくれるんだから置いておくことについてはいいことじゃん。と思う。

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 16:05

>>547
>>68-80あたりで既出の会社

**FOX ★** · 04/05/31 16:07

やっていることは・・・

google だから弾くじゃなくてさ
極端に資源を食っているアクセス元を弾くなんだな

それが　たまたままたまたまたまた(ry

肩が痛い、30肩が悪化したようだ

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 16:09

>>550
えぇっ～～～
40肩だとおもっていたのに・・・

**FOX ★** · 04/05/31 16:11

二十腰。

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 16:13

ただの更年期障害では…

なんか弾かなければならない、という強迫観念みたいなのが見て取れるかんじ。
帯域食ってるのはさくっと別扱いにしません？

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 16:14

及び腰、というのはどうか。

**FOX ★** · 04/05/31 16:16

>>553
たとえば全資源の 10% を使って read.cgi をぶん回しているとこが
5箇所あったらどーする?

半分はそこの為に全労力を２ちゃんねるが無料で提供しているわけだ

50% とかはまじな話しです
強迫観念どころか、全精力を傾けて排除中。。。

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 16:27

なんか>>553は自分でも変な書き方だなあ。
「.htaccessだけに固執しなくてもいいじゃん？」
…たぶんこれが近い。かも。robots.txtを避ける理由ないと思うし。
帯域食ってるのとアクセス回数多いのとは別に対処しようっての自体がなんか別の話だな。あれ？

ええと、それはサイトポリシーでもあると思うのでそれとしてひとつ質問。
最近弾いた効果って転送量とか鯖負荷とかで目に見えて出てます？

**ひろゆき** ◆3SHRUNYAXA · 04/05/31 16:30

はじくの賛成ー。

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 16:33

固定IPのケーブルでワイルドカード使ってるのも
そーゆーことなのかな

**FOX ★** · 04/05/31 16:45

>>556
ふむふむ
その場合は自動化するのはどうやってやれはせいいんですかねぇ?

IP -> robot.txt の自動生成は簡単なの?

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 16:49

今やっているような個人・団体のIPアドレス弾きにはrobots.txtは効果ないと思う。
あれはあくまで検索エンジンのロボットを弾くためのものだから。

**ひろゆき** ◆3SHRUNYAXA · 04/05/31 16:51

>>560さんに同意。

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 16:55

>>561
つまり
検索エンジンは基本的にＯＫ、だけど負荷かけたら弾くよ
って管理ポリシーって事ですな。

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 16:56

>>560
そね。期待を持たせる紛らわしい書き方だったかも。すみません。

抽出や自動化のどのへんがネックになってるのかがイマイチわかんないので、
外野から手助けやヒントをしてあげたくてもなかなか難しいのではないかと…
膨大なログから「何か」やって>>543を作ってる、というとこしかわからないわけですし。
手順やスクリプトは公開してもまずいことは無いんじゃないですかね。

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 16:56

robots.txtを置く
↓
ロボットさんのアクセスがなくなる
↓
他の人たちのパーセンテージが（ちょっと）上がる
↓
(ﾟдﾟ)ｳﾏｰ

**FOX ★** · 04/05/31 16:57

あと、即効性が要求されるんですよねぇ

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 17:00

>>562
というか、単にGoogleあたりを避けるつもりでrobots.txtを置いてしまうと

　「robots.txtを素直に読んでしまって入ってこれなくなる機械の体の人がいるのでマズい」

からなのではないかと(w

[―{}@{}@{}-] ux02.so-net.ne.jpn · 04/05/31 17:00

>>556
>robots.txtを避ける理由ないと思うし。
robots.txtを見るのはクライアント側の任意（見ない場合もあるのでスクリプトには無意味）
.htaccessは鯖側が強制的に弾く

>560-561が正しい

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 17:18

で、一応方向性としては

　・今はApacheのその日の普通のaccess.logを全部読み込んで
　　 IPアドレス順に並べたり抜き出したりして数えてる
　　（もっと早い軽いプログラムがあればそれを使ってもいい）

　・ (昨日の)access.logを自動で解析して今日の悪い人一覧とか抜き出して
　　その鯖の.htaccessに反映させたりしたい

　・溜まった.htaccessの不要なdenyは定期的に掃除できると便利かも

という感じでよろしいんでしょか。
まとめておくとだれかｽｰﾊﾟｰﾊｸｧｰな人が名乗り出てくれるかもしれないし。

>>567
でもrobots.txtは一度設定しておけばどんな紳士的ロボットに対しても有効。
メンテナンス不要なんだし併用を検討してもいいんじゃないかなとゆー意見。
ただ、robots.txtは一応Webサーバ上のただのasciiファイルなんで、
アクセスする際の負荷がある以上無問題とまではいかないんだけど。まあ未来へのお守りというか。

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 17:20

>>561
せめてうんよー板では、★つけてくれー
結構漏れ鳥との噂だし

**FOX ★** · 04/05/31 17:22

>>568

昨日とかじゃなく

たとえば　10 分毎にデータを取って
前の 10分に負荷を独り占めしたところは　以降 deny
毎朝リセットなんてのを考えていたり寝ていたり

**ひろゆき** ◆3SHRUNYAXA · 04/05/31 17:24

>>568
robots.txtを読むような紳士的なロボットであれば、
はじく必要ないと思うのですよ。
んで、robots.txtを読むのであれ、読まないのであれ、
紳士的でない負荷をかけるIPであれば遮断すると。

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 17:38

リクエストの元がどんな種類のものであれ、
現在の負荷のみで判断して、即座に止めるてことかー

んで一定期間でリセットする（予定）と

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 17:42

オフトピ臭いけど、紳士的かどうかに関係なくロボットは遮断してしまえば、
SEO目当ての業者を排除できるという副次的メリットが生まれるんじゃないかな。
むやみに2chからリンクされたページの順位は下げるロボットがいたらいいのに。

◆WMaLhm.gkw · 04/05/31 17:45

あー、なるほど。
過去に過剰負荷をかけたクローラーでも、別IPでまたーりクロールするならＯＫで、
そのまたーりクロールの妨げになるrobots.txtは置かないと。

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 17:45

ゆくゆくは解析するのはひとつの鯖でまとめて処理するようになるんでしょうかね。
でも、リアルタイムにガンガン増えるApacheのログから
分とか時間単位で頻繁に差分を抜き出すのって結構手法として厳しいような気も…
せめて静的なファイル単位でどうにかできると気楽かもしんない…教えてｴﾗｲ人

>>572
アクセス回数（＝ログのファイルサイズ）で区切って抜き出すほうが誤爆減るかも。

>>571
>>562な感じで、「問答無用でロボットを弾くことになるrobots.txtの機能は
管理サイドではとりあえず求めてないの」ということでいいですか？

**FOX ★** · 04/05/31 17:53

現在　毎時別のファイルに吐き出しています
つまり１ファイル最大一時間分のでーた

**動け動けウゴウゴ２ちゃんねる** · 04/05/31 17:55

.htaccessに自動に書き出しするところまではできてるの？

>>573
そういうのはBBQとかRockでいけるんじゃないの