X
トップページ⇒運用情報
1001コメント268KB
クローラー＆過剰リロード対策スレ
■ このスレッドは過去ログ倉庫に格納されています
0001ｒｅｆｆｉ@報告人 ★
垢版 |
2005/04/15(金) 04:49:50ID:???0
最近、頻発しているクローラーや過剰リロード対策スレッドです。

★FAQ

■クローラーや過剰リロードとは？
・ツール等を使って板のスレッドを根こそぎＤＬする行為をクロール行為と
　いいます。
　クローラーとはクロール行為をする人の事です。
・過剰リロードとは文字通り過剰にリロードをしてsubject.txt等を取得
　する行為です。

■どうして迷惑なの？
　クロール行為や過剰リロードは鯖に過剰な負担をかけるため、最悪、鯖落ち
　する危険があります。

■やったらどうなるの？
　発見されて悪質な場合は規制情報板に掲載の上、該当プロバイダに通報
　されます。
　もしも先方が対応しなかったり、再発するような場合は .htaccessで
　denyする場合もあります。

■.htaccessでdenyされるとどうなるの？
　.htaccessでdenyされると書き込みはおろか閲覧すら出来なくなります。
0622動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 10:04:54ID:pjRzjjfh0
既婚者だったのか…rootさん。

なんというか…いろいろ乙です。
家族サービス、ガンガッテ下さい（というのも変な言い方ｗ
0624よよよ ◆EX/mumumu2
垢版 |
2005/04/16(土) 10:07:06ID:Upn6KYm60
「カウントが120になれば消えていくので大丈夫だと思います。」
「私がいじったところとは独立に動いています。」
だそうです。
カウントと言うのは、>>621にコピペした奴の最後の数字だそうです。
0627動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 10:09:30ID:z+KMWu3f0
BBON.life7 　 219.113.242.220 (usen-219x113x242x220.ap-US.usen.ad.jp) 57

あと1時間ちょいで解除です
それまで待つしかないですな
0628よよよ ◆EX/mumumu2
垢版 |
2005/04/16(土) 10:11:17ID:Upn6KYm60
「リストに載っているうちは、
　全サーバ見るのも駄目な設定になったみたいです。」
「以前は、bbs.cgiだけでしたが、今は全て禁止されるようです。」

「そろそろ、出かけていい？」
0630動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 10:35:44ID:B7Wzf3uZ0
じゃ実況板以外で実況するよ
0631動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 10:38:44ID:hwSxjh4a0
実況を除いたら、ニュー速+、テレビ番組系(アニメ、特撮を含む)、週間少年漫画のネタバレスレ
の速度(勢い)が速いんだけど、この規制を知らない住民はみんな規制に引っかかるかもしれないな

VIPは・・・規制されてもいいや
0633動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 10:51:13ID:cL95qGaI0
iMonaに関してはdatやsubject.txtを一定時間サーバー上にキャッシュされるので逆に負荷を
減らしているんじゃないかな。
規制に引っかかる頻度ではあるが、、、。

http://imona.net/からスクリプトDLして見てみれ。
まぁ設定次第で毎回ダウンロードする形にも出来るけど。
0635 ◆MiMIZUNCjA
垢版 |
2005/04/16(土) 10:56:44ID:j3nuICpF0

（ ；Д ；)＜バーボンハウス入りになってしまった！
＜　)
　ハ
0636動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 10:57:46ID:/KMF411H0
>>39,63

実際に今どうなってるのか知らないけど、これって GET の話だよね？
HEAD の 200 は GET の 304 相当の扱いであって欲しい。
ま、検討の結果、206も304も200と区別なしってことならそれはそれだけど。
0638動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 11:01:54ID:oIXt/cJW0
31 BBON.game9 　 210.131.159.225 (ss2ch.em.gala.jp) 60
これはいいのか？

確か、ひ（ｒｙ）と契約してるところだった気が・・・
0639 [―{}@{}@{}-] 動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 11:04:15ID:gd6vGq7p0
バーボンハウス入りって●持ってても逃れられないの？
0640 ◆MiMIZUNCjA
垢版 |
2005/04/16(土) 11:05:29ID:j3nuICpF0
●は通用しません。
0642 [―{}@{}@{}-] 動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 11:09:51ID:gd6vGq7p0
なんだってー（AA略

とりあえず解除されるまで串刺して対応すると良さそうだな・・・
0643動け動けウゴウゴ２ちゃんねる
垢版 |
NGNG
●持ってても引っかかるってのはひどくないか？
って、●もってないおれが言うのもなんだけど。
0644動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 11:10:05ID:3GvqLJ6I0
ばーぼんてどういう意味なの？
それと例えば↓の例の場合

49 BBON.life7 焼 61.26.134.144 (61-26-134-144.rev.home.ne.jp) 16

この人はlife7の閲覧不可能って事？
焼ってついてるのとついてないのは何が違うの？
0649 [―{}@{}@{}-] 動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 11:15:11ID:gd6vGq7p0
万が一でも引っ掛かったら怖いなぁ・・・
0651動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 11:17:17ID:oIXt/cJW0
>>635
38 BBON.life7 　 218.46.194.240 (EATcf-434p240.ppp15.odn.ne.jp) 26
39 BBON.hobby7 　 202.229.14.2 (ps28.suite2.arena.ne.jp) 26
40 BBON.hobby7 　 219.66.172.45 (FNAfb-05p2-45.ppp11.odn.ad.jp) 26
この辺？
0653動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 11:25:35ID:3GvqLJ6I0
知識ないから314に出てくる単語の意味が全然わかんないけど
要は焼印のついてる人は尋常でないアクセス数を稼いだから2時間経っても暫くの間規制対象のままって事かね
ブラックリスト･オブ･ブラックリストって感じなんかな
0654EATcf-386p109.ppp15.odn.ne.jp ◆MiMIZUNCjA
垢版 |
2005/04/16(土) 11:26:36ID:j3nuICpF0
>>651
38の218.46.194.240です。
本日の午前1時頃から10時50分頃までそのIPでした。

10時〜10時30分頃にクロールした際のログから取得データを見ていると問題ない様子。
*.datとか取得できていたりするんでしょうか。
かちゅ〜しゃ(kage)での閲覧は不可でしたが。
0657 ◆MiMIZUNCjA
垢版 |
2005/04/16(土) 11:34:49ID:j3nuICpF0
またバーボン入りになりましたが問題なく*.datを取得できています。（オリジナルの巡回ソフトです）
かちゅ〜しゃでの閲覧ができないだけか・・・
0658フフンフ ◆H3WreiI4XI
垢版 |
2005/04/16(土) 11:41:21ID:GQXpBIvJO
>>87
死ね
0660 ◆WMaLhm.gkw
垢版 |
2005/04/16(土) 11:51:12ID:xvLcAJWn0
>>644
12　BBON.life7　焼　192.168.0.1　(user1-0-168-192.example.com)　39
~~　　　　　^^^^　~~~　^^^^^^^^^^　~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~　 ^^
A　　　　　 B　　 C　　D　　　　　　 E　　　　　　　　　　　　　　　　　　　　F

A　現在バーボンされているもののうち、古い順からの番号
B　バーボンされる原因になった過剰アクセスを行ったサーバ
C　焼マークがあるものは、BBQなどに掲載されているため書けない印
D　IPアドレス
E　ホスト名
F　バーボンされてからの時間（分）　120分で自動解除
0661動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 11:52:19ID:fzYREN7+0
ていうか、趣味で作った個人サイトごときで何でこんなに必死なの？

別にいいじゃんここいらで終わりでさ
0664名無し募集中。。。
垢版 |
2005/04/16(土) 12:11:25ID:d6DtW7WM0
とりあえず何秒に１回リロードしたらひっかかるか教えてよ
ずるむけの人
0667名無し募集中。。。
垢版 |
2005/04/16(土) 12:42:50ID:d6DtW7WM0
>>665
>>666
ありがと
むー鯖によって違うのか設定
0668動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 12:55:32ID:VEBKAvfF0
test
0673動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 13:30:20ID:kDLdue9J0
はぁ〜ん、ばーぼんﾘｽﾄに入ってしまたよ(*´Д｀*)
0674動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 13:35:15ID:PyM5h01w0
お忙しい中すみません。
質問です。

お気に入り内にあるライブなスレが全部で60位
1板最大15位（過疎板）
という状態で、お気に入り巡回すると引っかかっちゃうような状況でしょうか？
更新があったスレは全て開くような事になってます。
全部で10スレ位は開くことがあるのですが。
0675動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 13:37:12ID:4OZc2Dp20
とりあえず実況板はゆるゆるでお願いしますよ
0679動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 13:45:06ID:TrfGlJg30
たまに実況板いくけどキターとかばっかでとても読みきれる速度じゃないな
どの道読んでないんだから書き込みOnlyで閲覧不可にすれば少しは負荷減るんじゃない
0683動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 13:52:28ID:4OZc2Dp20
>>679
たまに行く人の意見ですね
こちとら主な活動場所が実況ですから
0684動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 13:55:24ID:OnV/AES2O
ヌー速なんかは記事を読んで面白くなければ次、また次てﾘﾛｰﾄﾞしなければ
情報いれるの遅くなるんですが、、新聞読んでるんじゃないので
0686動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 13:59:29ID:Cvl+lhmO0
>>679
それが慣れると読み切れちゃうんですよ
0688動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 14:00:35ID:TGwXooJm0
たまにしか実況板を見ない人が、よりによってサッカー実況のときに
覗き見したりすると超高速で無意味なものに見えるのだろう

いつもそんなスピードで流れてるわけじゃないから
0690動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 14:10:33ID:FtSOUUvuO
なんらかのエラーとでた。IMONAなんだがもうみれないんだろうか。これが一時的なものかどうかだけでも教えてくれないか。
0696 [―{}@{}@{}-] FOX ★
垢版 |
2005/04/16(土) 14:32:26ID:???0
どんなもんかな?

指標はこんなもんかな
1) 今回の目的である過度なクロールが撃退できているか?
2) それと同等な人がどれくらいいるか、
3) 除外されるべきものが除外されているか?
4) 各種専ブラのシーケンス(見た目と実際はかなり違うでしょう)
5) 運動不足の解消
0698 ◆MiMIZUNCjA
垢版 |
2005/04/16(土) 14:39:31ID:3/QkrThv0
>>696

＞5) 運動不足の解消

医者に年末までに5kg痩せて95kgになりましょうねといわれた。
ところで*.datのクロールはみみずんさーばーではバーボン行きの現在でも
問題なくできるんですが黒やぎさんって私でも使えるんですか？
0700動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 14:49:12ID:oIXt/cJW0
>>698
>黒やぎさんって私でも使えるんですか？
ＩＤとpass発行だって
申請が必要

確か、黒やぎ(squid-proxy)は 差分取得不可(gzip も)だったはず
0702FOX ★
垢版 |
2005/04/16(土) 14:56:23ID:???0
>>698
黒山羊さん使えます〜

もっとも良い方法を選択したほうがいいので
どうするかは決定してから実行したほうがよいでーす
0703 ◆MiMIZUNCjA
垢版 |
2005/04/16(土) 15:02:09ID:3/QkrThv0
ううう。黒山羊さんをgoogleで探しているけどよくわかｒない。。。proxyなんでしょか。URL教えて下さい。

>>702
あーい。何日か静観してます。
0705動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 15:03:40ID:qQ0ApyNo0
Janeのオートリロードって規制引っかかる？
0706動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 15:03:52ID:AvOs15E60
Janeでほとんどの板見れないんですけど？
0707動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 15:04:03ID:l0L4SrJh0
とりあえず、かちゅからJaneViewに移行したです。。

バーボン解除されてから、２〜３回巡回してみた
ですけど、とりあえず引っかからなくはなったんですが。
0709焼きうどん ★
垢版 |
NGNG
中間鯖(ｱｲﾓﾅｰ鯖)の管理人曰く、
「imonaはユーザー数がかなり多く、この手の規制は回避不能なので様子見する」
とのことです。
0711FOX ★
垢版 |
2005/04/16(土) 15:45:30ID:???0
BBON.life7.1192　の最後の1192の数字はBBON強弱指数です
最初の強さを100として現在200(二倍緩和)です

1192 というのは11.92倍の負荷をかけているということです

指数
100 基準値
200 BBON 発動値　←　現在
0712動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 15:46:22ID:owQ+E2BZ0
59 名前：EATcf-386p109.ppp15.odn.ne.jp ◆MiMIZUNCjA ：2005/04/16(土) 10:55:06
バーボンハウス入りになっていてビビッタ。
2時間で解除されるらしいが7時間は布団に入っていたのになぜ・。
同一固定IPからの読み出しでもダメなん？
ということでIP変えて接続中・・・
60 名前：名無しの報告 ：2005/04/16(土) 10:56:35 ID:aRhWdUAx
>>59 ついに、みみずんまでかｗ
0713のいぽー（本物） ◆News/n6/H2
垢版 |
2005/04/16(土) 15:53:14ID:Ou4gt41r0
>>711
45 BBON.news19.726 　 218.218.14.139 (EATcf-320p139.ppp15.odn.ne.jp) 16

これは許容負荷の7倍強の負荷をかけたと言うことか。
という事は規制されないためには今の巡回方法の1/7の速度/負荷にしろと言う事か。。。
2倍緩和状態なら1/3.5と。

う〜む。
普段何気なく行っていた巡回は中の人からみると相当な負荷になっていたのだな。反省。
昔の「俺様壱号」では2万スレとかを改造かちゅ〜しゃで一度にアクセスしていたからなぁ。。。
ホストを変えまくっていたとは言えサーバの中の人への負荷自体は一緒だからな。
死なされても文句は言えんね。
0714動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 15:53:24ID:uQfpdpKN0
クラシックのミラーとテスト１なんですが、
>>602 root▲ ★
＞219.113.242.218 219.113.242.220 の2つを除外リストに一時的に足しました。
↑とゆうことだったのですが、バーボンハウスにまた入ってます。
どうゆうこと？
0715動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 15:54:44ID:hc6sK8yA0
これって専ブラならひっかからないの？
0716 ◆MiMIZUNCjA
垢版 |
2005/04/16(土) 15:57:19ID:3/QkrThv0
54 BBON.life7.1659 　 210.252.234.153 (EATcf-391p153.ppp15.odn.ne.jp) 6

１６５９か。。。うむむむ
0720動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/16(土) 16:10:21ID:1AKiqpWm0
>>716
　　　　　　,.　-─-　、
　 　 　 ／ 　 ＿＿＿丶
　　　∠.　/´ ,.- 、r‐､`|
　 　 　 l　|　 | ｰ | lｰ | |
　　　　 ｌ. |＠`ー' ｏｰ' l　　
　　 (＼ヽヽ 〜〜〜〜ゝ　＜にんともかんとも
　　　＼.ゞ,＞ｎn‐r=＜
　　　　（ /　`＾^´｀ヽハ）
　　 　 /｀! ｰ--=≦-‐１
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況