クローラー＆過剰リロード対策スレ2【新バーボン】

**ｒｅｆｆｉ@報告人 ★** · 2005/04/16(土) 19:30:22

現状把握が困難なので前スレ参照してください。

前スレ
クローラー＆過剰リロード対策スレ
http://qb5.2ch.net/test/read.cgi/operate/1113508190/

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:32:16

初めての２げとになるか

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:32:55

専用ブラウザの巡回ぐらいで引っかからないようにしておけよ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:33:02

>>2
おめ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:33:25

>>4
あり
とりあえずクローラーについて

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:33:36

>>2
おめ

**怨念株式會社** · 2005/04/16(土) 19:34:41

いいかげんなまとめ
・今日の早朝実装済み
・一部の鯖には未導入らしい
・2chブラウザの巡回すると入る可能性有
・ツールは、１～５秒のウェイト入れないとダメっぽい

↓ＦＯＸ登場

**ヾ（ﾟﾊﾟ）ﾉ** ◆f0.zuburi6 · 2005/04/16(土) 19:35:51

(ﾟﾊﾟ≡ﾟﾊﾟ)

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:43:04

>>1
テンプレくらい貼っておけやｳﾞｫｹ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:45:23

★FAQ

■クローラーや過剰リロードとは？
・ツール等を使って板のスレッドを根こそぎＤＬする行為をクロール行為と
　いいます。
　クローラーとはクロール行為をする人の事です。
・過剰リロードとは文字通り過剰にリロードをしてsubject.txt等を取得
　する行為です。

■どうして迷惑なの？
　クロール行為や過剰リロードは鯖に過剰な負担をかけるため、最悪、鯖落ち
　する危険があります。

■やったらどうなるの？
　発見されて悪質な場合は規制情報板に掲載の上、該当プロバイダに通報
　されます。
　もしも先方が対応しなかったり、再発するような場合は .htaccessで
　denyする場合もあります。

■.htaccessでdenyされるとどうなるの？
　.htaccessでdenyされると書き込みはおろか閲覧すら出来なくなります。

426 名前：FOX ★ 投稿日：2005/04/16(土) 18:31:48 ID:???0 ?###
す
み
ま
せ
ん

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:46:22

>>1　乙ばーみやん

**讃岐＠焼きうどん ★** · NG

乙ぼみょー

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:47:06

追加で

■自分が規制されたか知りたい
ここに自分のIPがあったら規制されてます
http://qb6.2ch.net/_403/c403.cgi

**動け動けウゴウゴ２ちゃんねる** · NG

乙鍋

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:51:51

FOX★まだ？

◆QANoNotan. · 2005/04/16(土) 19:52:00

僕の肛門もクロールされそうです

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:52:14

>>3
「巡回で引っかかるから甘くしろ」ではなく、
「巡回はこの規制でひっかかるほどの迷惑行為になりうる」と見たほうがいいかと思われめ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:57:32

旧バーボンと統合するとかしないの？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:58:12

>>17
警告でも入んないとわかんねーべ、いきなりひでーよ。
30秒に1回リロード位でアウツだったのかよ。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 19:59:48

>>19
Janeのオートリロードは１０秒間隔だけど大丈夫？

**怨念株式會社** · 2005/04/16(土) 20:08:33

wait を１秒 => ５秒に変更
2005-04-16 20:01:20 "GET /mysv/dat/1113615003.dat HTTP/1.1" 200 717
2005-04-16 20:01:25 "GET /mysv/dat/1082968062.dat HTTP/1.1" 206 633
2005-04-16 20:01:31 "GET /mysv/dat/1103367974.dat HTTP/1.1" 206 21927
2005-04-16 20:01:36 "GET /mysv/dat/1099746138.dat HTTP/1.1" 206 208
2005-04-16 20:01:42 "GET /mysv/dat/1106229241.dat HTTP/1.1" 206 316
2005-04-16 20:01:47 "GET /mysv/dat/1048359283.dat HTTP/1.1" 206 179
2005-04-16 20:01:53 "GET /mysv/dat/1108717985.dat HTTP/1.1" 206 1908
2005-04-16 20:01:58 "GET /mysv/dat/1098658847.dat HTTP/1.1" 206 161

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 20:09:01

讃岐＠焼きうどん ★ ＝FOX★

**名無しさん＠通りすがり** ◆.q7T9q3bHY · NG

■見方
　12　BBON.life7　焼　192.168.0.1　(user1-0-168-192.example.com)　39
　~~　　　　　^^^^　~~~　^^^^^^^^^^　~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~　 ^^
　A　　　　　 B　　 C　　D　　　　　　 E　　　　　　　　　　　　　　　　　　　　F
　
　A　現在バーボンされているもののうち、古い順からの番号
　B　バーボンされる原因になった過剰アクセスを行ったサーバ
　C　焼マークがあるものは、BBQなどに掲載されているため書けない印
　D　IPアドレス
　E　ホスト名
　F　バーボンされてからの時間（分）　120分で自動解除

※焼→boo81で焼かれたのでバーボン解除後も引き続きBBQによって規制

■目安
　N分間にM回以上アクセスしたらばーぼん。
　巡回ならば撃つ数に依存。10分で10000発連撃すれば、絶対ひっかかります。
　いくつかは「ひ・み・つ」

**未承諾広告※** ◆TWARamEjuA · 2005/04/16(土) 20:15:08

mysv かぁ。。。
そろそろ看板飽きた頃合い。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 20:16:38

リミットはともかく、推奨（安全）値もひみつ？

**ひろゆき＠どうやら管理人 ★** · NG

210.135.98.227 (cw227.razil.jp)
210.135.98.228 (cw228.razil.jp)
210.135.98.229 (cw229.razil.jp)
210.135.98.230 (cw230.razil.jp)
210.135.98.231 (cw231.razil.jp)
210.135.98.232 (cw232.razil.jp)
210.135.98.233 (cw233.razil.jp)
210.135.98.234 (cw234.razil.jp)
ブラジルサーバーですー。
許可リストに入れといてくださいー。

**FOX ★** · 2005/04/16(土) 20:17:11

>>25
手動は安心

**FOX ★** · 2005/04/16(土) 20:18:01

>>26
はいー

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 20:21:57

202.239.148.13
AIR-EDGEのトルネードWEB
許可リストへの追加を求む。

**FOX ★** · 2005/04/16(土) 20:24:12

>>29
もちっと詳しく、
docomoとかauのプロキシみたいなもの?
それとも外部からでも使えるプロキシ?
また、その IPアドレス一個だけ?

**怨念株式會社** · 2005/04/16(土) 20:24:55

>>24
2chブラウザ使ってるから
看板見たこと無い

squid って
POSTは直接続
GETは別のホスト( or 串)使うって可能？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 20:32:33

このカウントは板毎？それとも鯖毎？はたまた 2ch 全域で共通？

**大佐は疲労困憊** ◆K76a0xu20c · NG

>>30
内部のみのプロキシですよん
エアエッジ高速化サービスのための物です。

**名無しさん＠通りすがり** ◆.q7T9q3bHY · NG

★現状

■指数
　100 基準値
　400 BBON 発動値

例
　BBON.life7.xxxx
　xxxx(数字) = BBON強弱指数
　最初の強さを 100、現在 400(四倍緩和)

　※1192 なら 11.92倍の負荷をかけているということです。

■cronでの自動動作リスト
登録済
　banana214 = pie(bbspink)
　banana218 = idol(bbspink)
　banana718 = sakura01(bbspink)
　banana720 = sakura02(bbspink)
　banana723 = sakura03(bbspink)
　tiger504 = game10
　tiger505 = news18
　tiger506 = game9/etc4/dso
　tiger508 = life7
　tiger509 = news19
　tiger510 = hobby7

保留
　tiger503 = live20
　tiger507 = live16

指数わすれてた；
間違いあったら訂正してちょ

29 pl191.mas1101.iidabashi.nttpc.ne.jp · 2005/04/16(土) 20:36:31

WILLCOMがAIR-EDGEユーザに対して提供している圧縮サービス。現在はMEGAPLUSとサービス名を変更している。
参照URL　ttp://www.willcom-inc.com/customer/download/megaplus/index.html

専用クライアントを必要とするためAIR-EDGEユーザ以外は利用できない。
他にIPアドレスがあるかどうかはわからない。

以下診断くん0.80aによる診断結果

一般的な情報
REMOTE_HOST 202.239.148.13　
REMOTE_ADDR 202.239.148.13　
HTTP_REFERER (none)　
HTTP_USER_AGENT .Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8b2) Gecko/20050410 Firefox/1.0+
HTTP_ACCEPT .text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5
HTTP_ACCEPT_LANGUAGE .ja,en-us;q=0.7,en;q=0.3
HTTP_ACCEPT_CHARSET .Shift_JIS,utf-8;q=0.7,*;q=0.7
HTTP_HOST .taruo.net
その他の情報
HTTP_CLIENT_IP .210.139.21.63
HTTP_CONNECTION . keep-alive　
HTTP_KEEP_ALIVE .300
判定
pl191.mas1101.iidabashi.nttpc.ne.jp (210.139.21.63)
判定：プロクシです proxy判定箇所が 1箇所、疑惑点が 1箇所ありました。
漏れ判定：1 箇所に漏れている疑いがあります。
総合評価：C

串判定されているので元々書き込みはできなかったんだが、バーボンに引っかかるのはちょっと……

◆WMaLhm.gkw · 2005/04/16(土) 20:37:34

>>23
更新しときます。

38　BBON.ex10.893　焼　192.168.0.1　(1.0.168.192.example.com)　24
^^　~~~~~~ ^^^^ ~~~~　^^　~~~~~~~~~~　^^^^^^^^^^^^^^^^^^^^^^^^　 ~~
A　 B　　　C　　D　　　E　F　　　　　　　G　　　　　　　　　　　　　　　 H

A　現在バーボンされているもののうち、古い順からの番号
B　BBONで始まっているものはreadでのバーボン、そうでないものはbbs.cgiのバーボン
C　バーボンされる原因になったサーバ
D　適正なアクセスの上限を100(%)とした場合の、問題のあるアクセスの量(%)
E　焼マークのあるものは串などであるため、バーボン解除後も書けません
F　IPアドレス
G　ホスト名
H　バーボンされてからの時間（分）　120分で自動解除

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 20:38:14

>>30
トルネード：エアーエッジ用のWEB高速閲覧用の専用プロキシ

**讃岐＠焼きうどん ★** · NG

>>30
他にも携帯用2chブラウザの中間鯖の除外

**大佐は疲労困憊** ◆K76a0xu20c · NG

あれ・・・ν速移転ですか？？？

それとも俺バーボン喰らった？

**大佐は疲労困憊** ◆K76a0xu20c · NG

ああ、気のせいでした。
すいません

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 20:45:52

携帯私家メニュー・imona・ANDY(FLASHブラウザ)・・・
って上で既出ですね

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 20:46:14

トルネードってPC接続の場合だけじゃないの？
だったらいらなくないか

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 20:46:29

トルネードとiMonaって仕組みが似てるんだよね

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 20:47:27

>>38
一般公開してる( and アクセスが多い) ところ意外は却下

らしい

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 20:48:05

>>42
君のその発言はトルネード利用者を敵に回した

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 20:51:06

規制されるとどいういメッセージなの？
普通のバーボンのFOXの顔も～ってのと同じ？

◆inODPD6owQ · NG

>>30
>202.239.148.13
>AIR-EDGEのトルネードWEB
これって竜巻のことですか？
そうだと２ちゃんねるでは公開串扱いだった気がするのですが。

**焼きうどん ★** · NG

>>44
じゃあｱｲﾓﾅ鯖は永久規制か

**大佐は** ZT078042.ppp.dion.ne.jp ◆K76a0xu20c · NG

>>47
ｙｅｓ。公開串扱いで書き込めない。

ＲＯＭるには必須だけど

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 20:55:45

>>44
一般公開していますし、アクセス数も多いですよ

>>48
君がキャップ付きで発言する意味はあるのかね

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 20:56:18

画像をおいてない２ちゃんで圧縮ソフトを使う意義はないな。
竜巻をはずせば

讃岐 ◆IamaVIPdCI · NG

>>50
キャップ外すの忘れてた
ただそれだけ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 20:57:28

２ちゃん専用に使ってるわけではないのでは

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 20:58:41

>>50
imonaってツール名だった気がするけど・・・

ドメイン(or 鯖)名だったらバーボンの除外可能 (固定ＩＰと言う条件がつく)

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 20:59:55

知らないことに口出さないほうがいいと思うけど

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 21:04:54

>>30
Air EDGE＋PCの利用者限定の最大500%の高速化サービス
PCに専用のソフトをインストールして使用する

7/末まで無料テスト期間中 → 8月からは\1,000/月
IPアドレスは、202.239.148.13 の1ヶだけ

◆MiMIZUNCjA · 2005/04/16(土) 21:07:33

うほっ。取得状況を見たら昼はsubback.htmlも読めて*.datも読めたのにsubback.htmlが読めなくなっていた。
とあるサーバーを除いて。
sports2.2ch.net
変動IPですしuser-agentを元においらの強制バーボンを除外していただけるとありがたかったり。。。ﾀﾞﾒ?

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 21:08:05

>>55
・・・。
中間鯖って黒やぎのようなものではないようですね

説明を見る限り
携帯 - 中間鯖(= imona) - 2ch
となってるからダメっぽ

携帯 - imona - 中間鯖 - 2ch
ならＯＫらしい

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 21:08:55

>>52
もっと、「キャップ」をつけて発言することの意味を考えたほうがいいね。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 21:10:24

Network Information: [ネットワーク情報]
a. [IPネットワークアドレス] 202.239.148.0/26
b. [ネットワーク名] VENTURI-NET
f. [組織名] DDIポケット株式会社
g. [Organization] DDI Pocket,Inc.
m. [管理者連絡窓口] SM5758JP
n. [技術連絡担当者] SM5758JP
p. [ネームサーバ]
[割当年月日] 2003/10/16
[返却年月日]
[最終更新] 2003/10/16 16:13:07(JST)

上位情報
----------
KDDI株式会社 (KDDI CORPORATION)
[割り振り] 202.239.128.0/18
DION (KDDI株式会社) (DION (KDDI CORPORATION))
SUBA-161-SBY [SUBA] 202.239.148.0/24

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 21:10:31

>>57
★さんが別のルート(串)を用意するって言ってたよ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 21:16:41

讃岐ってキャップ剥奪されたんじゃないっけ？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 21:17:25

>>51
画像だけが圧縮されるわけでは無い。

もっとも、ブラウザでgzip転送有効にしてればさほど圧縮されないし、
datの差分転送時も圧縮されないかも。

また、一応はプロキシなのでそれなりにキャッシュもしてる。
頻繁にレスされる様なスレでは意味無いだろうけど。

後は、クライアント～Venturi鯖間はTCP/IPのプロトコルスタックに手を入れた
変型プロトコルを使用し、その間の通信量ができるだけ減少する様に工夫してあります。

◆MiMIZUNCjA · 2005/04/16(土) 21:20:49

>>61
★さんってFOX★さんですか？
ううう。ありがたや

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 21:22:19

ところで、これって同じサーバーに入っているホストの場合は
全部を合計して計算するのかな？

例えば tiger506.maido3.com に入っているホストは
game9.2ch.net と etc4.2ch.net だけど、
それぞれに一回づつアクセスしたら
合計で二回なのかな？

讃岐 ◆IamaVIPdCI · NG

>>59
一応中間鯖の管理人に報告するから最初はつけてただけよ
>>48は付け忘れだけど

**ｒｅｆｆｉ@報告人 ★** · 2005/04/16(土) 21:23:13

>64
黒山羊さん一部開放するという話は前スレで出ていて黒山羊さん強化話はひ（ryに
話は行っていますのでゴーサインが出れば一気に進むと思います。

讃岐 ◆IamaVIPdCI · NG

>>66の訂正
付け忘れ→外し忘れ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 21:24:48

>59>62
粘着はよそでやってくれ

**非公開鯖運用中** ◆iMonaAkx1g · 2005/04/16(土) 21:30:15

>>58
携帯（iMona） - 中間鯖 - 2ch
こんな感じです。
iMonaはJavaアプリで携帯上で動作しています。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 21:38:10

>>69
粘着に見える君がおかしい

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 21:42:03

>>70
たぶん、
条件付で黒やぎ経由になる (バーボン除外は固定ＩＰじゃないと無理っぽ)

**非公開鯖運用中** ◆iMonaAkx1g · 2005/04/16(土) 22:00:57

>>72
公開しているところのほとんどは固定IPだと思われます。
とりあえずは作者鯖を除外してもらいたいですね。

◆MiMIZUNCjA · 2005/04/16(土) 22:14:08

>>67 よろしくお願いします。
>>70 固定IPですか。イロイロ見て回ってみます

**非公開鯖運用中** ◆iMonaAkx1g · 2005/04/16(土) 22:18:24

とりあえず作者鯖。

61.213.77.37 (j077037.ppp.asahi-net.or.jp)

バーボン中です。とほほ。

**ｒｅｆｆｉ@報告人 ★** · 2005/04/16(土) 22:22:48

>74
僕に言われても権限はありませんので（苦笑
黒山羊さんの使用についてはFOXさんとrootさんとの話し合いになると思います。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 22:23:40

>>72
携帯（アプリ）－中間鯖－黒山羊－2chスレ
ってこと？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 22:27:35

>>73
固定
ttp://imona.sakura.ne.jp/
ttp://www.imona2ch.com/
ttp://imona.sama.to/
ttp://qwe.ne.jp/

ddns
ttp://e-n-d.dyndns.org/imona/　
ttp://pochi.or.tp/　　　　　　　　　　
ttp://ahya.jpn.ph/imona/ 　　　　　
ttp://imona.dyndns.info/ 　　　　　　

リスト from
★携帯用 2chブラウザ iMona Part11★
ttp://pc8.2ch.net/test/read.cgi/software/1099852332/3

>>77
読み込みはそういうこと (書き込みは黒やぎ経由では出来ない)

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 22:33:00

ちなみに

www.imona2ch.com -> 216.22.28.65 -> ns1.datafly.net
imona.sama.to <-> 218.224.207.100
imona.sakura.ne.jp -> 202.181.99.8 -> www288.sakura.ne.jp
qwe.ne.jp <-> 202.229.20.200

この辺は除外可能

ＦＯＸ ★さん↑の４つは除外するようにしてください

DDNS使ってるところは >77 の形になる　（申請が必要かも）

**動け動けウゴウゴ２ちゃんねる** · 2005/04/16(土) 22:33:40

>>78
ttp://imona.dyndns.info/
ここは公開終了してる

＞読み込みはそういうこと (書き込みは黒やぎ経由では出来ない)
それならいいんだけれど

**非公開鯖運用中** ◆iMonaAkx1g · 2005/04/16(土) 22:39:47

やはり作者鯖の除外は難しいですか…がっくり。

>>80
iMonaは規制が正常に行われるようにbbs.cgiを呼び出して書き込みをしています。

**さくら♀** ◆iMona7m46s · 2005/04/16(土) 22:42:50

どえらい事になってますね・・・。

固定ＩＰならば除外可能・・・？
もしかして作者鯖は非固定？