クローラー&過剰リロード対策スレ3【新バーボン】
■ このスレッドは過去ログ倉庫に格納されています
★FAQ ■クローラーや過剰リロードとは? ・ツール等を使って板のスレッドを根こそぎDLする行為をクロール行為と いいます。 クローラーとはクロール行為をする人の事です。 ・過剰リロードとは文字通り過剰にリロードをしてsubject.txt等を取得 する行為です。 ■どうして迷惑なの? クロール行為や過剰リロードは鯖に過剰な負担をかけるため、最悪、鯖落ち する危険があります。 ■やったらどうなるの? 発見されて悪質な場合は規制情報板に掲載の上、該当プロバイダに通報 されます。 もしも先方が対応しなかったり、再発するような場合は .htaccessで denyする場合もあります。 ■.htaccessでdenyされるとどうなるの? .htaccessでdenyされると書き込みはおろか閲覧すら出来なくなります。 426 名前:FOX ★ 投稿日:2005/04/16(土) 18:31:48 ID:???0 ?### す み ま せ ん ■自分が規制されたか知りたい ここに自分のIPがあったら規制されてます http://qb6.2ch.net/_403/c403.cgi ■見方 38 BBON.ex10.893 焼 192.168.0.1 (1.0.168.192.example.com) 24 ^^ ~~~~~~ ^^^^ ~~~~ ^^ ~~~~~~~~~~ ^^^^^^^^^^^^^^^^^^^^^^^^ ~~ A B C D E F G H A 現在バーボンされているもののうち、古い順からの番号 B BBONで始まっているものはreadでのバーボン、そうでないものはbbs.cgiのバーボン C バーボンされる原因になったサーバ D 適正なアクセスの上限を100(%)とした場合の、問題のあるアクセスの量(%) E 焼マークのあるものは串などであるため、バーボン解除後も書けません F IPアドレス G ホスト名 H バーボンされてからの時間(分) 120分で自動解除 ★現状 ■指数 100 基準値 400 BBON 発動値 例 BBON.life7.xxxx xxxx(数字) = BBON強弱指数 最初の強さを 100、現在 400(四倍緩和) ※1192 なら 11.92倍の負荷をかけているということです。 ■cronでの自動動作リスト 登録済 banana214 = pie(bbspink) banana218 = idol(bbspink) banana718 = sakura01(bbspink) banana720 = sakura02(bbspink) banana723 = sakura03(bbspink) tiger504 = game10 tiger505 = news18 tiger506 = game9/etc4/dso tiger508 = life7 tiger509 = news19 tiger510 = hobby7 保留 tiger503 = live20 tiger507 = live16 指数わすれてた; 間違いあったら訂正してちょ 間違いも何も 今はここ見れないしhttp://qb6.2ch.net/_403/c403.cgi これくしーとこれりれーはアドレス貼ったらいけないんじゃなかったか? 前スレの最後のほうの書き込みは書き込みバーボンの話だと思うのだが、このスレでやっちゃう? >>5 > これくしーとこれりれーはアドレス貼ったらいけないんじゃなかったか? なるべくなら控えて欲しいです(苦笑) info.2ch.net あたりに云々っていう話があったとかないとか? 前スレ終盤での展開、当事者は楽しいのかもしれないけれども、観ている側としては辛いだけのものかと。 ハロ固定かプロ固定かはよく判らんけれど、誰が読んでいても笑えたり悲しんだりと、判るように描いて欲しいなぁ♪ 自慰行為はいやん。もっと愛を込めて。 いやん > 指数わすれてた; > 間違いあったら訂正してちょ ここは消して欲しかった(;´∀`) 関連スレ 【野鳥の会】 BBS.2ch.net 全発言統計の巻 part4 http://qb5.2ch.net/test/read.cgi/operate/1097921896/ 前スレの残り案件 http://qb5.2ch.net/test/read.cgi/operate/1113647422/927 >927 :海王 ◆POSEIDONgg @削除海王 ★ :2005/08/17(水) 18:12:19 ID:???0 >どもども海王です。 > >>FOXさん&rootさん >□バーボンハウス規制□要望スレ >http://sports2.2ch.net/test/read.cgi/operatex/1123047026/l50 >↑のスレでの状況を踏まえて、管理人さんに↓のことを相談したところ、 >「書き込みのバーボンは現在全鯖共通の設定だけど、実況板(live鯖)だけ別にしたらどうか?」 >まず、御両人と相談してくれと言われました。 > >で、これを実現するには以下の4点を全て満たすことが必要と思われます。 >1.分けることが2chのポリシーに反しない。 >2.技術的に可能である。 >3.手間がそれほど掛からない。 >4.それが利用者のためになる。 >で、4は上記のスレ等を見ても、その方が良いと思いますし、これについては管理人さんも納得してくれると思います。 >それでお聞きしたいのは2と3についてです。分けるとしたらどんな感じでしょうか? >分けられるのであればその分け方について再度管理人さんに話を持っていって、そのわけ方が1に適うかどうか >判断してもらおうと思います。 >1〜4全て満たせるようなら、実装をお願いすることになると思いますがその際はよろしくお願いします。 >日常の閾値の設定変更などの業務は継続して私も行いますので。ではでは。 今日の電車男で、リロードバーボン処理のコスト問題が浮き彫りに。 何かするのかなぁ 当面現状維持 理由 供給側になんの変化も無いどころか需要だけが増えまくっているのが現状だから バーボンは「わかちあい」の精神を現実化してものです。 グローバルIP持っている持っていないはこの話しとは別の話しかと、 もっていない人は持ってください、 YahooBBもなく田舎のCATVとISDNしか通ってないここで(ry まぁ、アホみたいな勢いで人(read&bbs)が増えてるからなぁ バーボンやアク禁は間引きの役割か あとIE厨 特に某スレで人大杉で見れません><とレスして叩かれた香具師 書き込みが遅れました。私の考えもいちおう。 まず、バーボンには、 a) 書き込みバーボン b) リロードバーボン の、2種類があります。 で、昨日の「電車男」の放映直後にバーボンのリストを見てみたのですが (例のOCNの件で一般公開なURLは一時的に(?)止めていますが)、 ひっかかっているのはlive系も含めてそのほとんどが、b) のリロードバーボンでした。 つまり現状の書き込みバーボンの設定値(いくつなのかは秘密なので書きませんが)であれば、 一般的な書き込み方であれば、電車男のような「ものすごい状況」であっても、 (電車男は500res/min以上を記録) 書き込みバーボンではほとんどひっかからないと考えて、 差し支えない状況と思います。 つまり、問題が出ない限り、 今の数値はそれほど大きく変える必要はないんではないかなと思います。 で、リロードバーボンの数値は海王さんのみならず、私も数値をいじれない (直接見ればいじれるんでしょうけど、今見る気ないです)ものなので、 今回はそもそも範疇外なんではないかなと、思っていたりします。 で、バーボンのコンセプトとか総論とかについては、今のところ私の意見も >>14 ということで。 それで、このスレは一応リロードバーボンの話をするスレなので、 書き込みバーボンの話は、ちとスレ違いなんじゃないかなと。 >>21 当分現状維持(>>14 >>19 )というぐらいで、 今のところは必要ないんじゃないかなと。 どもども、お疲れ様です。返事どうもです。 長引くようなら別スレたてますけど、とりあえず、続行しますね。 >>14 ご意見(特に1のポリシーについてかな?)とその理由はわかりました。 引き続き>>11 に転載された2.と3.についてご意見お待ちしています。 >>19 お断りするのを忘れてましたが、これはリロードバーボンではなくて書き込みバーボンについてのことです。スマソ。 必要が無いということで、4.の利便性向上についての効果が薄いというご意見は分かりました。 また、総論として1.のポリシーについてのご意見もわかりました。 引き続き>>11 に転載された2.と3.についてご意見お待ちしています。 毎回毎回ログ見て、はいそれ違うよーリロードだよーってやりとりするのは 手間暇が掛かると思うので、せめてバーボン画面を違う物に出来たりできればいいと 思うのですが、そういうのってできるのですか? >>24 2. と 3. についてご意見をということなので、再度。 > それでお聞きしたいのは2と3についてです。分けるとしたらどんな感じでしょうか? >>19 で、 > つまり、問題が出ない限り、 > 今の数値はそれほど大きく変える必要はないんではないかなと思います。 と、答えているです。 つまり、 今の設定数値を変える必要はない => それならコストをかけてシステムを変更する(分ける)必要はない => ということで「分けるとしたら」という仮定そのもの(if文)が成立しないので、 現時点では 2. 3. を考える必要はない というのが、私の現時点での考えです。 つまりまとめると、 「書き込みバーボン」について現状の設定数値で困っている人はほとんどいないので、 特に気にしなくてよいと思う というのが、私の考えです。 で、リロードバーボンは、ひっかかっている人がちらほらといるようです。 というかほとんどがリロードバーボンかと。 それでも同時にひっかかっているものは100人(100IPアドレス)もないですね。 全体からしたらわずかな人数かと。 で、おじさんも書いていますが、リロードバーボンにせよ書き込みバーボンにせよ 「特定の少人数に資源を占有使用されない」ためのシステムなので、 現状の「ひっかかり具合」であれば、必要以上にころころと数値をいじる必要は、 ない気がするです。 今ちょっと状況を見てみたのですが、今30IPアドレスひっかかっていますが、 ・リロードバーボン 22 ・書き込みバーボン 8 というかんじのようです。いつもだいたい、このぐらいの比率ですね。 携帯並の数が困るなら考え物だけど、確かに少数過ぎる罠 しかもバーボンなんて数時間だしね いくつ引っかかってるか、判っててやってたんじゃないの? >>26 どのぐらいの人にどれだけのメリットがあるのか、というのと、 それにどれぐらいのコストがかかるのかを比較して検討するために コスト部分について教えてくれってことジャマイカ? 実はコストがすんごく低いのだったらやってもいいという結論になることもあるだろうし、 メリットについてはそれぞれの価値観で判断するのは良いし、そのためのデータも 出してるし。 ただ、コストについては他者にはわからないわけで、それを示した上で比較考量で やるべきでない、ということを言わないと駄目じゃない? コストの算定をさせずに結論持ってくると、冷静な分析に基づくものではなく、 政治的動機とみられることもありますよ。 >>14 を見る限り、変更にかかるコストが少なくても、 現状維持だという感じで受け止められる だから、「今は考える必要が無い」んじゃないの >>30 システムを組んだ人(>>14 )が、コストはわかっているですね。 書き込みバーボンは、私も実装の全貌を理解しているわけではなかったりするです。 で、変更にかかるの前に「仮に」を入れたうえで >>31 に同意かなと。 >>32 コストがどの程度かかるかを言わずにただ「コストがかかる」といって脅して 自分の考えを通すって手法は良くないんじゃないか? ちゃんとコストを明かせば、メリットの方はデータが揃っているんだから、 誰でも判断できるだろう(結論はそれぞれだろうけど) rootが8hはかかりっきりになります。といえばそれが人的コストなわけで、 鯖がn台必要ってことならそれが設備コストなわけで、詳細まではともかく 概算程度を明かせば良いと思うがね。 郵政民営化反対者が「民営化するとコストがふえるぞ!」といって何のコストが どれだけかかるか言わないって感じにみえるよ 「コストがかかる」って脅してるかなぁ むしろコストの話なんかしてなくて、バーボンが緩和されれば それを許容する受け皿が追いついてない(>>14 )って言ってるんじゃないかな 人的コストや設備コスト以前の段階で「今は現状維持」なんじゃないの つまり、 人が多い、さらに増える→それを許容できるだけの準備ができてから、 変更にかかる色んな問題を考えても良いんじゃない って事かと それ待つのが嫌な人は、選択肢として、グローバルを持てば、と >>35 じゃないかなぁ、としかいえないのはコストについてちゃんと言わないからでしょ。 バーボン全般の緩和についての話じゃなくて、実況板についてだけ緩和するって話だろ? 実況板の強化状況を考えれば他の板と基準を変えても受け皿が追いつかないってことは ないだろうと思われるが。 いずれにせよ、そういった議論の根拠になるデータを出さないのは良くないと思うけどね。 >>36 実況板に限定した話である上に、バーボンを無くすって話じゃないのだから それは見当違いだろ。 >>35 海王君と名無し海王君にとっては、海王君の考え通りにならないのは全部脅しや陰謀が原因なんでしょ。 >>37-38 ん?どっちも実況板の話だよ、追いついていないというのは>>14 からね (あとhttp://aa5.2ch.net/test/read.cgi/nanmin/1123842975/665 とか) 「実況板は強化されてるから追いつかないはずがない」の方が根拠もデータも無いなぁ これ以上食い下がっても、無駄な予感。 誰もやらんと言ってる以上、言い出しっぺがコスト計算も改良も全て独力で出来る 気概でないと。 ん? 名無しで海王が潜伏してるのか? もうボロだしてるんでしょ? ポロリが合ったと聞いて朝早くから駆けつけてきますた(;´Д`)ハァハァ… すすきので酔っ払い→帰ってきて寝る前に勢いで書き込み→起きてとりあえず書き込み 殺伐としたスレにヘーベルハウスが!! /| |/__ ヽ| l l│<ハーイ ┷┷┷ 実況で1分に6回リロードしてるんだけど、これくらいは大丈夫? >>54-55 くだらない質問とくだらない回答の見本 >>54-55 VIPPERと実況厨は巣にお帰りください >>56 くだらないと言うくだらない煽りの見本 違う場所で要望してたようなので、あらためてお願いします。 ν速記者キャップで8スレバーボン逝きは厳しいですね。依頼が溜まる事もあるので 少し緩めてほしいです。倍くらいだと助かります。 http://qb5.2ch.net/test/read.cgi/operate/1119014882/68 先ほど確認したら13スレでバーボンでした。依頼で9スレ立てましたが、溜まると16 スレでも厳しいかも知れません。ご検討のほどを。 ご参考までに http://qb5.2ch.net/test/read.cgi/sec2chd/1116128878/536-538 >>60 >>58 のスレで誘導したコテハンが馬鹿だから気にすんな >>58 のスレに書いておけば必要だと思ったら変えてくれるよ。 30 BBON.comic6.418 65.54.188.108 (msnbot.msn.com) 64 ボットが... 47 BBON.pc8.466 131.206.108.31 (iroha.club.kyutech.ac.jp) 64 http://iroha.club.kyutech.ac.jp/ へ 30分ぶりくらいにアクセスしたら13分前にバーボン入りとか意味ワカンネ 7BBON.life7.462 65.54.188.108 (msnbot.msn.com) 99 14BBON.pie.407 207.46.98.56 (msnbot.msn.com) 79 23BBON.hobby8.572 66.249.66.41 (crawl-66-249-66-41.googlebot.com) 39 20BBON.anime.998 66.249.66.41 (crawl-66-249-66-41.googlebot.com) 4 ばーぼん機能していなくね? 規制されてるのに普通に読めたりする 3BBON.news19.409 219.127.148.251 (inetfw01ext.jpo.go.jp) 118 >>26 お返事遅くなってすみません。ネット環境が悪かったもので。 書き方が悪かったようで上手く伝わらなかったようですみません。 rootさんの価値観や考えに基づいた前提のもとでの結論は理解しました。 一度rootさんの前提を外していただいた上で、ご回答願えればと思います。 つまり、ある種の前提に基づいた必要・不必要という価値判断としてのご意見は 良く分かりましたので技術的な側面としてのご意見を頂ければということです。 また私のネット環境が不安定になる可能性がありますので、ご返事が遅くなるかも しれませんが、よろしくお願いします。 >>70 >2.技術的に可能である。 >3.手間がそれほど掛からない。 について、それが純粋に技術的にみてどうなのか、っていうことですね。 書き込みバーボンの中身のコード(ソース)は、私は実際に読んでいないので 推測に過ぎませんが、live系だけ設定の系統を分けることは、技術的には可能でしょう。 (上記2.の答え) それで、そのための手間がかかるかどうかですが、 中身を見ていないのでなんともいえませんが、 少なくともnews4vipのスレ立て数制限を元の状態に戻すために 掲示板システムに必要な変更コストに比べれば、明らかに少ないと思います。(上記3.の答え) で、4. が一番の問題かなと思います。 「利用者とはいったい誰なのか」というのをきちんと定義しないと、議論点が明確にならないと思います。 (これは、>>14 の3行目にかかわる話なわけです) で、>>71 はあくまで個人的な見解を、技術的な側面で答えたものです。 私の現状認識は現時点で >>26 の、 > 現時点では 2. 3. を考える必要はない から、変化していません。 ということで現時点でこの問題について、ここでこれ以上議論する気はなかったりします。 つまり「議論のための議論」をここ(運用情報板)でこれ以上しても、しかたないということで。 7BBON.qb5.493 218.44.188.254 (pc6.tsc-nw-unet.ocn.ne.jp) 86 19BBON.pc8.1019 210.188.228.15 (n1.210-188-228-15.mixi.jp) 46 29BBON.news18.534 219.111.2.32 (32.2.111.219.st.bbexcite.jp) 1 219.111.2.32<>newsplus.jp 7BBON.pc8.484 202.181.96.106 (202.181.96.106) 66 202.181.96.106<>p2.bbsnews.jp 10BBON.tv7.510 221.186.83.98 (pc2.nippon-homes-unet.ocn.ne.jp) 104 日本ホームズttp://www.nippon-homes.co.jp/ 13BBON.pc8.1020 210.188.228.15 (n1.210-188-228-15.mixi.jp) 104 ソーシャル・ネットワーキングサイトmixihttp://mixi.jp/ 22BBON.pc8.466 131.206.108.31 (iroha.club.kyutech.ac.jp) 104 九州工業大学情報工学部学生自治ネットワーク委員会 - irohahttp://iroha.club.kyutech.ac.jp/ 42 209.0.27.228 (kiso.opriver.com) 26 トリプルエックスレンタルサーバhttp://xxx-www.com/ >>71-72 早々にご返事どうもです。 技術的に可能、コスト的には比較的少ない、ということで理解しました。 4.については私なりの意見もありますし、rootさんのご意見もあるでしょうが、 それについては基本的に管理人さんが決めることなのでその点について議論する 気は初めから全くありません。そのように取られるようには書いてないつもりでしたが、 誤解を与えたようですみません。 >>78 ひとつだけ。 > コスト的には比較的少ない ですが、私は「それは直近の問題のうち、一番コストが高いと思われるものと比較して」 という文脈で書いています。 海王さんはわかっているかと思いますが、「比較的」という文脈は注意する必要があって、 ここでは「一番コストが高いものよりは、コストが低いと思います」ということでしかありませんです。 news4vipのスレ立て数問題(ここではスレ違い)については、こちらに書いた比喩も参照いただければと。 http://aa5.2ch.net/test/read.cgi/nanmin/1126450225/287 >>78 root氏の意見を聞いておきながらなんだそれ。 議論するつもりもなく管理人が決めることだというのなら 初めから管理人に聞けばいいじゃないか。 何がしかの語質でも取るつもりだったのかはわからんがが、質問しておいてその言い草は root氏に対して失礼だとおもうがいかがかな。 >>80 >>11 で初めから2,3についてのみ意見を聞いてるのにそれに初めは答えずに聞かれていない 1とか4について書くって言う失礼な対応をしたのはroot氏のほうだと思われ。 そもそも議論ではなく質問だったはずのものを「議論のための議論」とか言い出して、 質疑を議論に見せかけようとしたroot氏こそ失礼だと思うがね。 >>81 にゃるほど。 そういう時こそ海王 ◆POSEIDONgg @削除海王 ★を名乗って質問すれば わだかまりなくスムーズに意見交換が出来ると思うがどうか。 名乗って意見したからといって根に持ち憤慨するようなroot氏ではないと思われ。 (・3・) エェー 元々がグローバルとローカルの仕様の違いその物だからNE >>83 キャップの有無で対応を変えるroot氏でもあるまいよ ただ私怨粘着自作自演と来たら孤独死するまで無視が適切な対応かと思われですが >root師 以前は10秒前後で同期完了していたんですが、今は3-4分かかってます つまり常に3−40%の時間帯はliveb1が信頼できない状態なんです 今morningcoffeeで追試してますが、14:00の壁は乗り切れたっぽい ???こっちの問題だったのか? 14:10も無事に乗り切った。うーむ、 再現性を失ったので取り消します。 お騒がせしました。>rootさん >>89 落ちてる場合は遅延じゃなくて同期自体が全く行われないはず。 すでに書く意味がないですが、こちらでの発生状況は 9月中のex10では問題がなくて、 datジンギスカン導入以前のex11で既に発生してました。 最後の発生は今朝方で、302を受け取ってました。 とりあえず現状で問題ないのでそれでよしとします。 mokei.net(205.209.134.80)から、http://hobby8.2ch.net/mokei/subject.txt へのアクセスが バーボンされてるっぽいんだけど。 ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 07.5.4 2024/05/19 Walang Kapalit ★ | Donguri System Team 5ちゃんねる