クローラー&過剰リロード対策スレ
レス数が900を超えています。1000を超えると表示できなくなるよ。
最近、頻発しているクローラーや過剰リロード対策スレッドです。
★FAQ
■クローラーや過剰リロードとは?
・ツール等を使って板のスレッドを根こそぎDLする行為をクロール行為と
いいます。
クローラーとはクロール行為をする人の事です。
・過剰リロードとは文字通り過剰にリロードをしてsubject.txt等を取得
する行為です。
■どうして迷惑なの?
クロール行為や過剰リロードは鯖に過剰な負担をかけるため、最悪、鯖落ち
する危険があります。
■やったらどうなるの?
発見されて悪質な場合は規制情報板に掲載の上、該当プロバイダに通報
されます。
もしも先方が対応しなかったり、再発するような場合は .htaccessで
denyする場合もあります。
■.htaccessでdenyされるとどうなるの?
.htaccessでdenyされると書き込みはおろか閲覧すら出来なくなります。 >>805
違います。
VIPが今回の元凶だと思う!そうでないにしても2chにとって百害あって一利なしだから
消すべきです ID:KgCd+Km+0
m9(^Д^)プギャー なんで.htaccessなんていうすべてのアクセス時にファイルI/Oが発生するようなものを
この規模のサイトで使ってるんだろう。
いやリアルタイムで設定変更したいからとか「要望としてのなぜ」はわかるんだけど。 763 名前:動け動けウゴウゴ2ちゃんねる [sage] 投稿日:2005/04/16(土) 17:09:31 ID:KgCd+Km+0
今回は絶対VIPのせいだと思う。
お願いだからVIPとニー速関係全部消して
791 名前:動け動けウゴウゴ2ちゃんねる [sage] 投稿日:2005/04/16(土) 17:15:04 ID:KgCd+Km+0
VIP潰したほうがいいね。消そうよ。
798 名前:動け動けウゴウゴ2ちゃんねる [sage] 投稿日:2005/04/16(土) 17:15:53 ID:KgCd+Km+0
VIP消して!
804 名前:動け動けウゴウゴ2ちゃんねる [sage] 投稿日:2005/04/16(土) 17:16:31 ID:KgCd+Km+0
VIPのせいだと思う
808 名前:動け動けウゴウゴ2ちゃんねる [sage] 投稿日:2005/04/16(土) 17:17:38 ID:KgCd+Km+0
>>805
違います。
VIPが今回の元凶だと思う!そうでないにしても2chにとって百害あって一利なしだから
消すべきです
811 名前:動け動けウゴウゴ2ちゃんねる [sage] 投稿日:2005/04/16(土) 17:18:20 ID:KgCd+Km+0
ニー速も消すべきだと思う VIPより来ましたwwwwwwwwwwwwwwwwwwwww
ID:KgCd+Km+0 必 死 だ な wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwうぇwwwwwwwww 763 名前:動け動けウゴウゴ2ちゃんねる[sage] 投稿日:2005/04/16(土) 17:09:31 ID:KgCd+Km+0
今回は絶対VIPのせいだと思う。
お願いだからVIPとニー速関係全部消して
791 名前:動け動けウゴウゴ2ちゃんねる[sage] 投稿日:2005/04/16(土) 17:15:04 ID:KgCd+Km+0
VIP潰したほうがいいね。消そうよ。
798 名前:動け動けウゴウゴ2ちゃんねる[sage] 投稿日:2005/04/16(土) 17:15:53 ID:KgCd+Km+0
VIP消して!
804 名前:動け動けウゴウゴ2ちゃんねる[sage] 投稿日:2005/04/16(土) 17:16:31 ID:KgCd+Km+0
VIPのせいだと思う
808 名前:動け動けウゴウゴ2ちゃんねる[sage] 投稿日:2005/04/16(土) 17:17:38 ID:KgCd+Km+0
>>805
違います。
VIPが今回の元凶だと思う!そうでないにしても2chにとって百害あって一利なしだから
消すべきです
811 名前:動け動けウゴウゴ2ちゃんねる[sage] 投稿日:2005/04/16(土) 17:18:20 ID:KgCd+Km+0
ニー速も消すべきだと思う 俺もVIPから来ましたよwwwwwwwwうぇwwwwwwwwwwwww
ID:KgCd+Km+0 必 死 杉 wwwwwwwwwwwwwwwwwwwwwwwwwwwwwwwうぇwwwwwwwww
481 名前:root▲ ★ 投稿日:2005/04/16(土) 17:20:21 ID:???0 ?##
>>466
既におじさんが原因究明したようです。
そのうち叩かれにくるだろうから、適当に遊んであげてください。
さて、今重かったりおかしかったりするサーバは何かありますか。
c-au1の件は、承知しています。 ID:KgCd+Km+0という必死な人が居ると聞いてVIPからきますた 嫌vip釣れまくり事件wwwwwwwwっうはwwwwwwwww >>830
VIPPER以外の2chネラーは全員嫌っていると思いますけど。。。 ID:KgCd+Km+0ってID:xgpNe0gA? >>833
っぽいw あっちからいなくなったと思ったらこっちで頑張ってたんだな 、-'''"´ ̄ ̄`"''''-、
/ / ;;;;;;;;;;;;; \ \⌒⌒
/ ..::;;● ;;;;;;;;;;;;;, ●;;;;;;;;;::ヽ ^^
|. .::;;;;;;;;;;;(__人__);;;;;;;;;;;;;;;;::.|
 ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄
:::::;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;::::
:::::::;;;;;;;;;;;;;;;;;;;;;;;;;
::::::::::::::::∧_∧ そうやってなんでも
::::::::: ( ::;;;;;;;;:) VIPのせいにしてりゃいいさ…
_.. /⌒:::;;;;;ヽ
-― ―'ー'-''―-''/ / ::;;;;;;;;:| |―'''ー'-''――'`'
,, '''' . ''''' と./ゝ_;_;_ノヽつ 、、, ''" それがVIPクオリティ…
,,, '' ,,, ::;;;;;;;;;::: ,, ''''' ,,,, http://ex10.2ch.net/news4vip/ FO糞のウンコスクリプトが.htaccessを壊した
でFA? >>root ★さん、ここ見てますか?
クラシックミラーとテスト1がバーボンハウスに入ってしまってます。
運用情報板すら見れない状態になってます。なんとかして〜。 この板ってri.piだっけ、あれまだ生きてるんじゃなかったかな・・・
ちょっと試してみよう あっと、>843のレス無し。
バーボンには入ってないや。
でも運用情報板が見れない。
なんでだろ〜? 、-'''"´ ̄ ̄`"''''-、
/ / ;;;;;;;;;;;;; \ \⌒⌒
/ ..::;;● ;;;;;;;;;;;;;, ●;;;;;;;;;::ヽ ^^
|. .::;;;;;;;;;;;(__人__);;;;;;;;;;;;;;;;::.|
 ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄
:::::;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;::::
:::::::;;;;;;;;;;;;;;;;;;;;;;;;;
::::::::::::::::∧_∧ そうやってなんでも
::::::::: ( ::;;;;;;;;:) 俺のせいにしてりゃいいさ…
_.. /⌒:::;;;;;ヽ
-― ―'ー'-''―-''/ / ::;;;;;;;;:| |―'''ー'-''――'`'
,, '''' . ''''' と./ゝ_;_;_ノヽつ 、、, ''" それがFOXクオリティ…
,,, '' ,,, ::;;;;;;;;;::: ,, ''''' ,,,, http://qb5.2ch.net/operate/
いったん access_log に吐かれたものを読み込んで解析するより,
短時間に急激に多数アクセスしてくるのをリアルタイムで検出するには,
CustomLog |/path/to/watch combined
のように監視プログラムにパイプでログ情報を渡した方がいいのかな.
複数 CustomLog ディレクティブを指定すればそれぞれの指定ごとに
ログが吐かれるので,普通の access_log もそのまま出力できるし.
ログフォーマットはプログラムでパースしやすいように適宜変更する方がいいかも. どうかな
改修してみた。
現在
指数
100 基準値
400 BBON 発動値 ← 現在
今回のトラブルで、VIPが収まり付かなくなってるけど、
FOXたん、そこのところどう思う? さて、ここでは作業すすめたいので、
正座会場への依頼は、ほどほどでおながいします。
向こうではそのうちおじさんが、何かパフォーマンスしてくれることでしょう。
私も、期待しています。 >>872
pie.bbspink.com
idol.bbspink.com
sakura01.bbspink.com
sakura02.bbspink.com
sakura03.bbspink.com
を追加していただけるとありがたいです
登録されているサーバは同時に動き始めるんですよね?
できれば >>874 はリストの最初のほうに入れてもらいたいです 286 :動け動けウゴウゴ2ちゃんねる :2005/04/16(土) 17:09:35
FOXが調子に乗りすぎ クローラー設定でイジってて違うとこイジっちゃった
セックルするつもりがアヌスにニュルンとか・・・そんな感じ
288 :root▲ ★ :2005/04/16(土) 17:09:30 ID:???0 ?##
なおってきたかな。
>>880 done.
最初の5つに入れました。
次回の実行から、動き始めます。 >>882
root ★さん、FOX ★さん乙
今のところ様子見でいいのかな? 行った措置
1) 【出口】.htaccess に変なのが混入しないように値のチェックの強化
2) 【入口】BBON 発動基準値をあげ(緩和して)発生量を少なくした
3) 【中間】.htaccess の更新頻度を下げた >>874 のリストが一巡したら一回(運次第かも)
4) 【夜食】牛丼をたべた
5) 【現在】充実感で満たされている。
あー 今日も沢山叩かれた!!
>>885
もつかれさまです。
叩かれるのは運命だからしゃーないっしょ
サンドバック用の★でも用意したらどうでっしゃろ。 >>885
いい加減スレ立てて原因を正式発表しろぼけ。 >>885
おつかれ。実験に事故は付きものだから気を落とすな。 >>890
.htaccess に変なのが混入
じゃね? >>891
あんたの▲を狐んいあげるってのはどうだろう >>FOX
∧_∧
( ´・A・) 正座まだ?
( ∪ ∪
と__)__) 426 名前:FOX ★[] 投稿日:2005/04/16(土) 18:31:48 ID:???0 ?###
す
み
ま
せ
ん
キタ━━━( ´∀`)・ω・) ゚Д゚)・∀・) ̄ー ̄)´_ゝ`)━━━!!! newsplus.jpがバーボン入りしているってことは、全取得と差分取得の区別していないってことでOK? >>898
直接的な原因は.htaccess の破損
なぜ .htaccess が破損するかというと今までは stat.2ch からしか
更新の命令は来ないし、順番に呼び出しだったので錯綜しなかった
今回はいろいろなサーバから同時にリクエスト来るので壊れた レス数が900を超えています。1000を超えると表示できなくなるよ。