X


クローラー&過剰リロード対策スレ3【新バーボン】

■ このスレッドは過去ログ倉庫に格納されています
1動け動けウゴウゴ2ちゃんねる
垢版 |
2005/08/18(木) 18:02:30ID:Q/el7KqO0
クローラーや過剰リロードについてどうぞ


バーボンハウス
http://info.2ch.net/wiki/pukiwiki.php?BourbonHouse

これくしー
http://sv2ch.baila6.jp/collexy.cgi

これりれー
http://sv2ch.baila6.jp/collerelay.cgi

前スレ
クローラー&過剰リロード対策スレ2【新バーボン】
http://qb5.2ch.net/test/read.cgi/operate/1113647422/
2005/08/19(金) 19:34:47ID:gTfXpzgL0
>>14を見る限り、変更にかかるコストが少なくても、
現状維持だという感じで受け止められる

だから、「今は考える必要が無い」んじゃないの
NGNG
>>30
システムを組んだ人(>>14)が、コストはわかっているですね。
書き込みバーボンは、私も実装の全貌を理解しているわけではなかったりするです。

で、変更にかかるの前に「仮に」を入れたうえで >>31 に同意かなと。
2005/08/19(金) 19:58:16ID:8RZBjeZj0
>>32
コストがどの程度かかるかを言わずにただ「コストがかかる」といって脅して
自分の考えを通すって手法は良くないんじゃないか?

ちゃんとコストを明かせば、メリットの方はデータが揃っているんだから、
誰でも判断できるだろう(結論はそれぞれだろうけど)

rootが8hはかかりっきりになります。といえばそれが人的コストなわけで、
鯖がn台必要ってことならそれが設備コストなわけで、詳細まではともかく
概算程度を明かせば良いと思うがね。

郵政民営化反対者が「民営化するとコストがふえるぞ!」といって何のコストが
どれだけかかるか言わないって感じにみえるよ
2005/08/19(金) 20:03:46ID:/hvOztUL0
鯖が1板に1つ割り当てられるくらいは必要です
2005/08/19(金) 20:23:44ID:gTfXpzgL0
「コストがかかる」って脅してるかなぁ
むしろコストの話なんかしてなくて、バーボンが緩和されれば
それを許容する受け皿が追いついてない(>>14)って言ってるんじゃないかな
人的コストや設備コスト以前の段階で「今は現状維持」なんじゃないの
2005/08/19(金) 20:27:00ID:gTfXpzgL0
つまり、

人が多い、さらに増える→それを許容できるだけの準備ができてから、
変更にかかる色んな問題を考えても良いんじゃない って事かと

それ待つのが嫌な人は、選択肢として、グローバルを持てば、と
2005/08/19(金) 20:28:02ID:8RZBjeZj0
>>35
じゃないかなぁ、としかいえないのはコストについてちゃんと言わないからでしょ。
バーボン全般の緩和についての話じゃなくて、実況板についてだけ緩和するって話だろ?
実況板の強化状況を考えれば他の板と基準を変えても受け皿が追いつかないってことは
ないだろうと思われるが。

いずれにせよ、そういった議論の根拠になるデータを出さないのは良くないと思うけどね。
2005/08/19(金) 20:29:32ID:8RZBjeZj0
>>36
実況板に限定した話である上に、バーボンを無くすって話じゃないのだから
それは見当違いだろ。
2005/08/19(金) 20:32:39ID:PdElmlT40
>>35
海王君と名無し海王君にとっては、海王君の考え通りにならないのは全部脅しや陰謀が原因なんでしょ。
2005/08/19(金) 20:42:00ID:gTfXpzgL0
>>37-38
ん?どっちも実況板の話だよ、追いついていないというのは>>14からね
(あとhttp://aa5.2ch.net/test/read.cgi/nanmin/1123842975/665とか)

「実況板は強化されてるから追いつかないはずがない」の方が根拠もデータも無いなぁ
2005/08/19(金) 21:36:00ID:r130roaL0
これ以上食い下がっても、無駄な予感。
誰もやらんと言ってる以上、言い出しっぺがコスト計算も改良も全て独力で出来る
気概でないと。
2005/08/19(金) 21:36:42ID:3cvBfAJN0
気概で技術力は埋めようは無いと思われ。
2005/08/19(金) 21:42:08ID:r130roaL0
>>42
じゃあ、技術力に言い換えておく。
44動け動けウゴウゴ2ちゃんねる
垢版 |
2005/08/19(金) 23:05:32ID:yHTqr9q50
ん?
名無しで海王が潜伏してるのか?

もうボロだしてるんでしょ?
2005/08/20(土) 04:49:58ID:???0
ボロッ
2005/08/20(土) 05:39:39ID:5omRHA690
>>45
2005/08/20(土) 07:19:39ID:QU7Klwz90
>>45
いつも早朝になるとハイになるね
NGNG
ポロリが合ったと聞いて朝早くから駆けつけてきますた(;´Д`)ハァハァ…
2005/08/20(土) 14:14:55ID:???0
ハイ
NGNG
たらちゃん?
2005/08/20(土) 15:20:26ID:k/IIShDa0
すすきので酔っ払い→帰ってきて寝る前に勢いで書き込み→起きてとりあえず書き込み
2005/08/20(土) 15:24:44ID:NCh/VWCS0
殺伐としたスレにヘーベルハウスが!!

       /|
       |/__
       ヽ| l l│<ハーイ
       ┷┷┷
2005/08/20(土) 18:15:16ID:nuhIvg/50
>>49
北海道、夏の2連覇おめでとう
2005/08/21(日) 22:59:05ID:XnIoeWTJO
実況で1分に6回リロードしてるんだけど、これくらいは大丈夫?
2005/08/22(月) 00:49:31ID:9gfQ8l/I0
>>54
焼かれてないなら大丈夫じゃない
2005/08/22(月) 01:12:42ID:lQ0wHq0K0
>>54-55
くだらない質問とくだらない回答の見本
2005/08/22(月) 06:20:00ID:095kB1WaO
>>54-55
VIPPERと実況厨は巣にお帰りください

>>56
くだらないと言うくだらない煽りの見本
58みのる
垢版 |
NGNG
違う場所で要望してたようなので、あらためてお願いします。

ν速記者キャップで8スレバーボン逝きは厳しいですね。依頼が溜まる事もあるので
少し緩めてほしいです。倍くらいだと助かります。
http://qb5.2ch.net/test/read.cgi/operate/1119014882/68

先ほど確認したら13スレでバーボンでした。依頼で9スレ立てましたが、溜まると16
スレでも厳しいかも知れません。ご検討のほどを。

ご参考までに
http://qb5.2ch.net/test/read.cgi/sec2chd/1116128878/536-538
2005/08/23(火) 21:24:40ID:twFxmm1D0
>>58

>>20
>>22
60みのる
垢版 |
NGNG
>>59
失礼しました。
2005/08/24(水) 11:58:01ID:qk35nz1Z0
>>60
>>58のスレで誘導したコテハンが馬鹿だから気にすんな
>>58のスレに書いておけば必要だと思ったら変えてくれるよ。
62
垢版 |
2005/09/03(土) 17:09:07ID:0rpIjYEG0
30 BBON.comic6.418 65.54.188.108 (msnbot.msn.com) 64
ボットが...

47 BBON.pc8.466 131.206.108.31 (iroha.club.kyutech.ac.jp) 64
http://iroha.club.kyutech.ac.jp/
2005/09/04(日) 16:14:19ID:68ICPSWI0
30分ぶりくらいにアクセスしたら13分前にバーボン入りとか意味ワカンネ
2005/09/11(日) 13:10:35ID:Q9Q039d50
7BBON.life7.462 65.54.188.108 (msnbot.msn.com) 99
14BBON.pie.407 207.46.98.56 (msnbot.msn.com) 79
23BBON.hobby8.572 66.249.66.41 (crawl-66-249-66-41.googlebot.com) 39
2005/09/11(日) 14:04:37ID:wU8RoEEy0
20BBON.anime.998 66.249.66.41 (crawl-66-249-66-41.googlebot.com) 4
66名無しさん@そうだ選挙に行こう
垢版 |
2005/09/11(日) 22:47:26ID:LxfCsYFS0
ばーぼん機能していなくね?
規制されてるのに普通に読めたりする
2005/09/11(日) 22:52:23ID:LxfCsYFS0
10分遅れで機能し始めたようだ
2005/09/13(火) 15:39:26ID:CvKW+3v30
3BBON.news19.409 219.127.148.251 (inetfw01ext.jpo.go.jp) 118
2005/09/13(火) 17:30:55ID:dT2HDFHz0
>>68
特許庁キター
2005/09/14(水) 14:47:37ID:WV37GduV0
>>26
お返事遅くなってすみません。ネット環境が悪かったもので。

書き方が悪かったようで上手く伝わらなかったようですみません。
rootさんの価値観や考えに基づいた前提のもとでの結論は理解しました。

一度rootさんの前提を外していただいた上で、ご回答願えればと思います。

つまり、ある種の前提に基づいた必要・不必要という価値判断としてのご意見は
良く分かりましたので技術的な側面としてのご意見を頂ければということです。

また私のネット環境が不安定になる可能性がありますので、ご返事が遅くなるかも
しれませんが、よろしくお願いします。
2005/09/14(水) 15:13:16ID:???0
>>70
>2.技術的に可能である。
>3.手間がそれほど掛からない。

について、それが純粋に技術的にみてどうなのか、っていうことですね。

書き込みバーボンの中身のコード(ソース)は、私は実際に読んでいないので
推測に過ぎませんが、live系だけ設定の系統を分けることは、技術的には可能でしょう。
(上記2.の答え)

それで、そのための手間がかかるかどうかですが、
中身を見ていないのでなんともいえませんが、
少なくともnews4vipのスレ立て数制限を元の状態に戻すために
掲示板システムに必要な変更コストに比べれば、明らかに少ないと思います。(上記3.の答え)

で、4. が一番の問題かなと思います。
「利用者とはいったい誰なのか」というのをきちんと定義しないと、議論点が明確にならないと思います。
(これは、>>14 の3行目にかかわる話なわけです)
2005/09/14(水) 15:18:16ID:???0
で、>>71 はあくまで個人的な見解を、技術的な側面で答えたものです。

私の現状認識は現時点で >>26 の、
>  現時点では 2. 3. を考える必要はない
から、変化していません。

ということで現時点でこの問題について、ここでこれ以上議論する気はなかったりします。
つまり「議論のための議論」をここ(運用情報板)でこれ以上しても、しかたないということで。
2005/09/14(水) 16:49:20ID:Uk42totf0
7BBON.qb5.493 218.44.188.254 (pc6.tsc-nw-unet.ocn.ne.jp) 86
19BBON.pc8.1019 210.188.228.15 (n1.210-188-228-15.mixi.jp) 46
2005/09/14(水) 17:02:37ID:Uk42totf0
29BBON.news18.534 219.111.2.32 (32.2.111.219.st.bbexcite.jp) 1

219.111.2.32<>newsplus.jp
2005/09/14(水) 17:08:57ID:Uk42totf0
7BBON.pc8.484 202.181.96.106 (202.181.96.106) 66

202.181.96.106<>p2.bbsnews.jp
2005/09/15(木) 17:50:45ID:jnNHHzY70
10BBON.tv7.510 221.186.83.98 (pc2.nippon-homes-unet.ocn.ne.jp) 104
日本ホームズttp://www.nippon-homes.co.jp/

13BBON.pc8.1020 210.188.228.15 (n1.210-188-228-15.mixi.jp) 104
ソーシャル・ネットワーキングサイトmixihttp://mixi.jp/

22BBON.pc8.466 131.206.108.31 (iroha.club.kyutech.ac.jp) 104
九州工業大学情報工学部学生自治ネットワーク委員会 - irohahttp://iroha.club.kyutech.ac.jp/

42 209.0.27.228 (kiso.opriver.com) 26
トリプルエックスレンタルサーバhttp://xxx-www.com/
2005/09/15(木) 18:08:25ID:NSHO0dcA0
そういうスレじゃない
2005/09/15(木) 21:14:16ID:qIrdQxwo0
>>71-72
早々にご返事どうもです。
技術的に可能、コスト的には比較的少ない、ということで理解しました。

4.については私なりの意見もありますし、rootさんのご意見もあるでしょうが、
それについては基本的に管理人さんが決めることなのでその点について議論する
気は初めから全くありません。そのように取られるようには書いてないつもりでしたが、
誤解を与えたようですみません。
2005/09/15(木) 21:38:59ID:???0
>>78
ひとつだけ。

> コスト的には比較的少ない

ですが、私は「それは直近の問題のうち、一番コストが高いと思われるものと比較して」
という文脈で書いています。

海王さんはわかっているかと思いますが、「比較的」という文脈は注意する必要があって、
ここでは「一番コストが高いものよりは、コストが低いと思います」ということでしかありませんです。

news4vipのスレ立て数問題(ここではスレ違い)については、こちらに書いた比喩も参照いただければと。
http://aa5.2ch.net/test/read.cgi/nanmin/1126450225/287
2005/09/15(木) 21:42:50ID:ZA9q4Uz40
>>78
root氏の意見を聞いておきながらなんだそれ。

議論するつもりもなく管理人が決めることだというのなら
初めから管理人に聞けばいいじゃないか。

何がしかの語質でも取るつもりだったのかはわからんがが、質問しておいてその言い草は
root氏に対して失礼だとおもうがいかがかな。
2005/09/15(木) 22:43:02ID:GCB0R+Wk0
>>80
>>11で初めから2,3についてのみ意見を聞いてるのにそれに初めは答えずに聞かれていない
1とか4について書くって言う失礼な対応をしたのはroot氏のほうだと思われ。

そもそも議論ではなく質問だったはずのものを「議論のための議論」とか言い出して、
質疑を議論に見せかけようとしたroot氏こそ失礼だと思うがね。
2005/09/15(木) 23:04:30ID:cGlhX8fQ0
このことは外野が言うことじゃないな
2005/09/15(木) 23:24:56ID:ZA9q4Uz40
>>81
にゃるほど。

そういう時こそ海王 ◆POSEIDONgg @削除海王 ★を名乗って質問すれば
わだかまりなくスムーズに意見交換が出来ると思うがどうか。

名乗って意見したからといって根に持ち憤慨するようなroot氏ではないと思われ。
2005/09/16(金) 13:02:15ID:X30IYRn50
(・3・) エェー 元々がグローバルとローカルの仕様の違いその物だからNE
2005/09/17(土) 14:05:00ID:4eJiD7Ej0
>>83
キャップの有無で対応を変えるroot氏でもあるまいよ

ただ私怨粘着自作自演と来たら孤独死するまで無視が適切な対応かと思われですが
2005/10/08(土) 13:49:06ID:WMu7fKXu0
>root師

以前は10秒前後で同期完了していたんですが、今は3-4分かかってます
つまり常に3−40%の時間帯はliveb1が信頼できない状態なんです
2005/10/08(土) 13:55:16ID:???0
>>86
うーむ。

今もそうですかね。
2005/10/08(土) 14:05:09ID:WMu7fKXu0
今morningcoffeeで追試してますが、14:00の壁は乗り切れたっぽい
???こっちの問題だったのか?
2005/10/08(土) 14:06:59ID:YH81ixoC0
遅延してたのはex10が落ちてた時じゃなくて?
2005/10/08(土) 14:18:16ID:WMu7fKXu0
14:10も無事に乗り切った。うーむ、
再現性を失ったので取り消します。
お騒がせしました。>rootさん

>>89
落ちてる場合は遅延じゃなくて同期自体が全く行われないはず。

すでに書く意味がないですが、こちらでの発生状況は
9月中のex10では問題がなくて、
datジンギスカン導入以前のex11で既に発生してました。
最後の発生は今朝方で、302を受け取ってました。

とりあえず現状で問題ないのでそれでよしとします。
NGNG
mokei.net(205.209.134.80)から、http://hobby8.2ch.net/mokei/subject.txtへのアクセスが
バーボンされてるっぽいんだけど。
2005/10/12(水) 15:29:18ID:???0
>>91
久しぶりに見た。

アクセスが頻繁だと、バーボンになるですね。
頻繁の度合いが問題なわけで。

で、別の話題ですが、
質問・雑談スレ203@運用情報板
http://qb5.2ch.net/test/read.cgi/operate/1128929048/227-231

検索系の一部は除外する方向でいくことになる見込み。
ということで、IPアドレスブロックの情報をここにいただければ、あとはたんたんと。

Googlebot, msnbot, Yahoo, あとどっかあったっけか。
2005/10/12(水) 15:33:55ID:JiyEK6IW0
とりあえずこの歴代スレでのgooglebotとmsnbot
>>62
>>64
>>65
http://qb5.2ch.net/test/read.cgi/operate/1113647422/713-714
http://qb5.2ch.net/test/read.cgi/operate/1113647422/841
NGNG
>>92
もう少し詳しく説明する。

1.mokei.netにはうpろだを置いている。
2.模型板の住人以外の利用を制限するため、うp時に模型板スレのURLを入力させる。
3.そのURLの照合情報として、http://hobby8.2ch.net/mokei/subject.txtを取得する。
4.subject.txtの取得は画像の投稿1件につき1度だけ実施される。
5.その頻度は1日に数件〜十数件である→規制直前の実績 http://mokei.net/up/imglist.cgi

正直、バーボンを出される覚えがないんですが。誰かのおごり?
2005/10/12(水) 15:39:44ID:???0
>>94
> 正直、バーボンを出される覚えがないんですが。誰かのおごり?

そういう意味ですか。

何時ごろバーボン出されたか教えてください。
時間とれたら、あとでログを見てみるです。

>>93
どもです。あとで。
2005/10/12(水) 15:40:13ID:SfY3pPQp0
googlebotは66.249.64.0/20だっけ
2005/10/12(水) 15:40:15ID:JiyEK6IW0
>>93のIPアドレス

google

66.249.65.138
66.249.65.207
66.249.65.8
66.249.66.10
66.249.65.34
66.249.66.41
66.249.65.43
66.249.66.71
66.249.66.172
66.249.66.209
66.249.66.211


msnbot

65.54.188.108
207.46.98.56
NGNG

ask Mozilla/2.0/ってどこだっけ?
NGNG
>>95
おそらく、10/4 9:30以降。
それからずっとバーボン。
http://qb6.2ch.net/_403/c403.cgi のリストには載ってない。
100root▲ ★
垢版 |
NGNG
>>99
変っすね。リストに掲載されてないと。

確認してみます。
101root▲ ★
垢版 |
NGNG
えっとね、User-Agentがl(秘密)になってないかなと。>>99
できれば、変えていただきたく。
NGNG
>>101
やってみた。
バーボンは出なくなったが人大杉が出た。
NGNG
>>102
撤回。
うまくいった。ありがと。
104root▲ ★
垢版 |
2005/10/12(水) 16:31:49ID:???0
>>102
205.209.134.80 [12/Oct/2005:00:29:17 -0700] "GET /mokei/subject.txt HTTP/1.1" 200 39845 "-" "mokei.net/1.0"

200だから、ちゃんととれてると思うんだけど。
105root▲ ★
垢版 |
2005/10/12(水) 16:32:14ID:???0
>>103
了解。
2005/10/23(日) 21:22:28ID:zq8MX3c20
変な人?
64.233.166.136 DoCoMo/1.0/P502i/c10 (Google CHTML Proxy/1.0)

NetRange: 64.233.160.0 - 64.233.191.255
CIDR: 64.233.160.0/19
NetName: GOOGLE
2005/10/26(水) 21:52:33ID:rxI3qoexO
携帯からgoogleの串を使うとそうなる
NGNG
>>107
串?(・∀・)ニヤニヤ
109動け動けウゴウゴ2ちゃんねる
垢版 |
2005/11/02(水) 03:01:29ID:pEiHa3pi0
http://wmlproxy.google.com/chtmltrans/p=i/q=/s=0/h=ja/i=Shift_JIS/d=1/g=@26site@3Dsearch@26hl@3Dja@26lr@3D@26ie@3DUTF@2D8@26inlang@3Dja@26c2coff@3D1@26mrestrict@3Dchtml/u=qb5.2ch.net@2Ftest@2Fread.cgi@2Foperate@2F1124355750@2F/c=0
こういうことだろ。
110root▲ ★
垢版 |
NGNG
>>93 >>96 >>97 あたりでよいのかしら。
2005/11/03(木) 02:38:52ID:tlF0R3oT0
ネット上だと昔の情報があってわかりにくいなぁ
とりあえず↓あたりは日々更新されてるっぽい
でも、日本語のページに来るのとは違かったりするのかしらん

ttp://www.spidertrack.org/index.php?page=spider&spider=google&dateRange=today#dateRange
2005/11/06(日) 18:30:02ID:f+coxvtF0
最近流行りの2getツール
http://news19.2ch.net/test/read.cgi/news/1131122606/
こいつは2getするためにsubject.txtを何度も読みにいっていると思われ。
規制きぼん
113動け動けウゴウゴ2ちゃんねる
垢版 |
2005/11/09(水) 20:52:45ID:ANZzboeK0
あげ
2005/11/09(水) 20:54:53ID:ANZzboeK0
http://news19.2ch.net/test/read.cgi/news/1131122606/664-
ここで規制回避して荒らす方法を探っている
2005/11/18(金) 15:44:10ID:j0ccQHgE0
news4vipが更新されてないような
116動け動けウゴウゴ2ちゃんねる
垢版 |
2005/11/26(土) 20:25:35ID:uTmLRVVl0
壺のお知らせ
2005/11/26 19:41 新規メッセージ
  【最速1000】激しく負荷実験、みんな参加するんだ。

以下の板で、最速1000にチャレンジしてみてください。

なんでも実況(ジュピター)@2ch掲示板
http://live22x.2ch.net/livejupiter/

激しいツールの使用大歓迎。
ただし、今日だけです。
日付が変わったら、第1回は終了。

↑これを鵜呑みにして最速1000に参加するとバーボンなのは仕様ですか?
117動け動けウゴウゴ2ちゃんねる
垢版 |
2005/11/26(土) 20:26:41ID:uTmLRVVl0
信じてしまって苦しんでいる人々↓

http://sports2.2ch.net/test/read.cgi/operatex/1127058256/l50
118root▲ ★
垢版 |
NGNG
>>116-117
すまぬ、もうはずしました。

もう入ってしまった人には、ごめんなさいというしか。
2005/11/26(土) 20:48:14ID:CECU2nvX0
samba規制は入ったままなの?
2005/11/26(土) 20:55:54ID:rvYWJ++10
このスレを見た人はコピペでもいいので30分以内に
7つのスレへ貼り付けてください。
そおすれば14日後、好きな人に告白され、
17日後にはあなたに幸せがおとずれるでしょう
NGNG
このスレ?
スレ丸ごとコピペするの?
122root▲ ★
垢版 |
NGNG
>>119
21:50 に解除予定。
2005/11/30(水) 17:24:35ID:YQy8ivWo0
俺はまだバーボン送りになったことないけど、どうやったらなるの?
124
垢版 |
2005/11/30(水) 19:38:15ID:VTDtahWa0
>>123 連投しまくるorリロードしまくる
●もちなら連投しまくったほうがバーボン飛ばされやすい
125123
垢版 |
2005/11/30(水) 19:43:20ID:YQy8ivWo0
>>124
要するに荒らし行為ですね。
そんなことしないから、送られることないだろな。
レスサンクス。
2005/12/01(木) 05:27:40ID:WT5WuSgp0
http://liveb1.2ch.net/
全板になるのを体育座りで待ってます
2005/12/03(土) 04:01:21ID:IYzDEp0a0
>>126
なにこれ?
128127
垢版 |
2005/12/03(土) 04:03:47ID:IYzDEp0a0
自己解決スマソ
129root▲ ★
垢版 |
NGNG
memories へのクローリングがひどいようなので、
実験的にmemories収容ホストのリロードバーボンを有効にしました。

全収容サーバの合計でカウントされます。
(teri.2ch.net でリストに入ってくるのが、memories でひっかかったものです)

memories収容ホストへのdenyの配置はまだです。
全部にdeny list配るのはコスト高い(やりたくない)ので、
1箇所に配ればいい仕組みを作って、おじさんに配布をお願いするかんじで。

で、こうなると、Google/Yahoo/MSNのbotあたりはスルーがいいのかなと。
スルーは合意していたんで、作業しないとってかんじで。
130root▲ ★
垢版 |
NGNG
>>129
…って、ライブな板がないと、ひょっとするとバーボンにならないのかもですね。

このへんは、後で調整かなと。
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。