クローラー＆過剰リロード対策スレ2【新バーボン】

**ｒｅｆｆｉ@報告人 ★** · 2005/04/16(土) 19:30:22

現状把握が困難なので前スレ参照してください。

前スレ
クローラー＆過剰リロード対策スレ
http://qb5.2ch.net/test/read.cgi/operate/1113508190/

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 18:16:22

VIPPER
空気嫁。

**あ ψ▼** · 2005/04/17(日) 18:17:48

これはUAは関係無くIPを規制されるのか？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 18:28:02

>>204
If-Modified-Since か Range を使えばいいよ (HEAD やる必要なし)

一番効率的な方法はレス数を管理すること
subject.txt からレス数とdatファイル名・スレタイを取得

前回取得したレス数との差分で大きかったらdat取得 (マイナスになったら「(レス or スレ自体の)あぼ～ん」 or 「スレスト」)

こっちは
スレ立て日時(=ファイル名)　取得済み　現在　前回取得　差分　スレタイで管理
1113323045　141　179　141　38　激エロ動画補完所 10
1112901029　307　457　307　150　【蕾開花】アナルスレ17【春真っ盛り】
1113223560　170　210　170　40　【ｲﾝ】子供同士でえっちしちゃってる画像27【ﾋﾟｵ】
1105276894　744　754　744　10　いでじゅうのエロ画像激しくキボンヌ 3
1111297637　428　467　428　39　現在のあれ以外の何かの数→
1106990883　265　275　265　10　『詳細スレ』運営スレ Part4
1111992619　284　299　284　15　【警視庁】ドキドキまあちゃんゲーム【問題４】
1113644492　5　23　5　18　すじ Part21
1111850162　310　341　310　31　フェラチオ画像11
1113680782　　10　　10　サモンナイトの萌え画像スレPart16

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 18:32:28

なにそのスレ達

**root▲ ★** · NG

>>209-210
Roger.

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 19:50:01

人大杉で専ブラ導入。

今度は専ブラで規制。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 19:58:46

新バーボンの立ち上げが1日遅かったら、今頃はリストが
BBON.liventv.***
で埋め尽くされていたのか・・・ｗ

2005/04/17(日) 20:46:11

スレ立てで、テンプレ貼りまくったのが原因かなぁ…
バーボンハウスに初めて来たよ…
次からは●をはずしてゆっくり貼ろう…ごめんなさい…

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 20:56:57

1000越え

13 BBON.music4.2385 　 221.246.103.242 (usen-221x246x103x242.ap-US01.usen.ad.jp) 84
28 BBON.travel2.2689 　 210.165.238.84 (pl340.nas926.o-tokyo.nttpc.ne.jp) 34
35 BBON.travel2.1174 　 210.135.73.232 (ppa05-0b32.din.or.jp) 14

<<217
某板のsubject.txtの順番

◆WMaLhm.gkw · 2005/04/17(日) 21:05:29

c403.cgiにあるホストって、ときどきhttpdが立ち上がっているのがあって面白いよね。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 21:05:36

>>222
一瞬でどこの板か分かった俺は orz な気分で一杯ですが

ところで新バーボンの規制値は、専用ブラウザ使っていても手動では先ず不可能な値を使っているって認識でいいの？

**root▲ ★** · NG

>>224
…だと思います。

明らかに「手動だけでひっかかった」という方は、
どうやったのかを添えて、こちらのスレまで。

◆MiMIZUNCjA · 2005/04/17(日) 21:40:31

>>216
ありがとうございます。週末までに何とか作れるかも。。。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 22:01:08

>>224
手動であっても巡回（の機能）は使用しない事
巡回（の機能）使うと自動でやってるのと同じになってしまう

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 22:06:12

>>224 >>227
ありがとうございます。巡回は自動だと思っているので大丈夫です。

ただ、専用ブラウザだと IE 等に比べてアクセス間隔が短縮されるので、もしや……と思ったわけです。
ヒマなときだと、かなりの量の板を手動巡回してますし……

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 22:26:51

一度に30個くらいタブを開いて連打更新は昔やったことあるなぁ。
こうすることで普通に巡回するよりもスピーディにログを回収。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 22:27:21

携帯電話の専ブラ(imona)は多数のユーザーが同一鯖を経由してログ取得を行うので、
その鯖が規制に引っ掛かり、結果的に専ブラが使えない状況に陥っている。
こういう鯖は除外しないの？
融通きかないかな。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 22:32:22

>>230
それはもうimonaの仕様を改めてもらうしかないよね。
気がつけば今のままのimonaは排除するって流れなわけだし。
それか、電車男スイッチその他の導入まで数ヶ月待つか。

**動け動けウゴウゴ２ちゃんねる** · NG

山羊鯖がimona配ればいいのか、

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 22:38:09

>>232
結局今のままではそこに行きつきそうな可能性も捨てがたい。
配布元になれば端末から直接アクセスできるし。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 22:41:08

>>231
何のためにiMonaが中間鯖経由してるのかわかってねえな、あんたは
アプリの仕様でiアプリはアプリを落としたところだけ
auのEZアプリ（Java)は3箇所のみしかアクセスできないから
中間鯖経由してんだぞ
それを規制されたらiMonaの意味無いじゃんか

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 22:45:04

>>234
だから>>232-233という可能性もあるかもしれない。
（ウルトラＣだろうけど。）

現状で携帯からのアクセスが過多になってるのは事実ですからねぇ。
そもそも携帯からのアクセスをバッサリ切られても不思議じゃないですよ。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 22:47:56

糸みみずさんって何やってる人？

**root▲ ★** · NG

サーバの大幅増強は決まっているわけで、外向け(外の携帯メニューとか、良心的なクローラーさんとか)の
blackgoat(datを持っているサーバ)の増設もあると思ってるです。
つまり、時間が解決するんではないかと。

**さくら♀** ◆iMona7m46s · 2005/04/17(日) 22:58:18

>>230-235
一部の中間鯖からのアクセスが集中しているだけでiMona全体が引っかかっている訳ではないです。
利用者同士で
上手に各公開鯖へ分散すれは新バーボンを回避する事も可能です。
どうなるか決まりきってない以上、利用者同士が呼びかけあってアクセスの分散を図るのが今出来る
一番の方法です。意見は出す方が良いに決まってます。が、ここで騒いでもアレでしょうから、

携帯用2chブラウザiMona質問スレPart6
http://hobby7.2ch.net/test/read.cgi/appli/1113058932/l50

こっちで意見を出し合いましょう。。。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 23:01:41

iモード使うのとimona使うのではどちらが鯖に優しいの？運営の方々

あなたに従いますよ
iモード使えとおっしゃるのなら使いましょう

もしimonaを使う方が良いのなら
規制から除外して。

**マァヴ** ◆jxAYUMI09s · NG

imonaやクラシック、みみずんや肉チャンネルさんなどについては現状でバーボンされることと
この先どうなるかが見えないのが不安なとことやね(^_^;)
方向性だけでも提示したほうが、全体の流れがスムースになると思われ。

**FOX ★** · 2005/04/17(日) 23:07:29

Black Goat 経由で　>>240

**動け動けウゴウゴ２ちゃんねる** · NG

それらは特別な配慮をする必要がある存在なのか、という話は、

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 23:09:57

あっさり解決

**root▲ ★** · NG

>>240
ですね。

数日以内に、まずはクラシックミラー・クラシックテストを使用して、
外向けblackgoatのテストをはじめる予定です。

で、その後は段階的に外にサービス開放、、、といきたいところですが、
中向けスイッチ(1G対応)が、いつくるかに依存しているですね。

で、blackgoat2台がその結果おなかいっぱいになってきたら、
横並びで増やしていくことになるのかなと。

blackgoatはI/Oが強烈に強くないといけないので、tiny tigerではちょっとつらい気がするので、
DoCoMo用のtiny tiger投入後に、今のc-docomo系に使っているcobraを1つ使うとか、
そういうことになるんじゃないかなと、勝手に考えています。

**マァヴ** ◆jxAYUMI09s · NG

ふむ・・・・(^_^;)
１　外部の携帯フロントエンドやログ収集サイトについては黒ヤギさんからログを取得していただく

さて(^_^;)
・準備ができるまではどうする？
・開放は一般開放？　それともIP指定開放？

稀 ◆W.e.h.w.K. · NG

>>245
IP指定開放なんじゃないんですか？

**マァヴ** ◆jxAYUMI09s · NG

>246
ってことは、告知とか窓口とか・・・・まあ、なるようになるか(^_^;)

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 23:32:14

黒山羊さんたら読まずに食べた

**root▲ ★** · NG

>>245
たぶん最初はIPアドレス指定で、
ゆとりが出れば、一般開放(ただしリミットつき、ひどいと403)っていうかんじかと。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 23:37:00

iMonaユーザってどれくらいいるんですかね。
（かく言う私も出先ではお世話になってるんですが）

全員がc.2ch.netに回ったらいきなりc.2ch.netの負荷倍増になったりして。

**FOX ★** · NG

詳しくは知らないんですが

その中間サーバというやらが 10台あったとして
それぞれが２ちゃんねるのサーバを見に行くより
BlackGoat を見に行くほうが２ちゃんねるの各サーバは
大助かりなわけでして、

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 23:43:01

つか携帯用全部を黒山羊に集めて、アクセス増えたらカネかけて増設なんてするよりも、
各中間鯖に適正なウェイト入れてもらって負荷分散するほうが、２ちゃんにとっても(ﾟдﾟ)ｳﾏｰだと思えるのだが。

**root▲ ★** · NG

>>252
各中間サーバに適正なウェイト入れてもらったうえで、アクセスを全部黒山羊に集めるのが
ｳﾏｰだと思うです。

**FOX ★** · NG

>>252
bbs用サーバ一台当たりの容量は有限で常に逼迫していますのよん。
たとえば ex10 とか、

稀 ◆W.e.h.w.K. · 2005/04/17(日) 23:48:20

黒山羊
↓
中間
↓
imona

こっちは？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 23:50:26

>>253,254
そですか、、、
んじゃ、そうゆうことで(･`ω´･)ノ

**root▲ ★** · NG

>>255
つまり、多段化ですね。そういうの、できるですか。
悪くないかもです。

**FOX ★** · NG

iMoma について考えると

２ちゃんねるの各サーバ
↓
Black Goat x N台
↓
Black Goat 外向き
↓
中間さーば
↓
クライアント

って考えていたけど?

**root▲ ★** · NG

>>258
なるほどです。
はじめから、多段化でいくと。< 外向け

**FOX ★** · NG

Black Goat 外向き = White Goat かも知れず、

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 23:58:14

>>255
BlackGoatが１分のwait、さらに中間鯖のwait、使いにくくなるな多分。

**root▲ ★** · NG

>>260
そのほうがまぎらわしくないから、それでいきますか。 < 名前

稀 ◆W.e.h.w.K. · NG

白山羊さんか

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 00:01:25

そうするとまずは外向き（多段）黒山羊さんの実験ですか。
あっ、それ以前に機材の調達待ちになるのかな？

**FOX ★** · NG

White Goat は TinyTiger でok?

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 00:03:05

データ落ちが沢山発生する気がするｗ＞白山羊さんと黒山羊さん

稀 ◆W.e.h.w.K. · NG

機材はもうあるのか

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 00:05:34

し～かた～がないのでお～てがみか～いた

**root▲ ★** · NG

>>265
ローカルキャッシュを持つとすると、
SCSIディスクのほうがいいかもなと。
参考: >>244

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 00:14:48

>>249
>ゆとりが出れば、一般開放(ただしリミットつき、ひどいと403)っていうかんじかと。
今のやつと同じじゃん

white goatのIPアドレスは非公開
IPアドレスの指定は無しの方がいいと思われる

静的ＩＰ (ＩＰ指定)
新バーボンでの除外 whitegoat の利用も可能

動的ＩＰ
新バーボンは除外しない whitegoatの利用するときのIPアドレスを教える (squid側でIDとpassを設定)

**FOX ★** · NG

はいー >>269

当面は TinyTiger をごぼこぼ投入して
あまった Cobra 等を適宜実戦配備(wite goat等)の方向で

五月いっぱいまでに TinyTiger を 6台 or more入れるということで、

**root▲ ★** · NG

>>270
アクセス回数については、ひどい、の基準値を、大幅に上げる(あるいは、なし)です。

**FOX ★** · NG

>>270
何を目的にって書いてくれないと
意味がわからんぞ、

**root▲ ★** · NG

>>271
了解です。

スイッチは、一つ目のtiny tigerと時期をあわせて投入ってかんじですかね。
ひょっとすると、GWに私が自分で据付(w、とかだったりして。

**FOX ★** · NG

>>274
日程的には微妙かも、、、
Jim が請求書書いて
ひろゆきが振り込んで
Jimが発注
届いたら私たちがごそごそ

なんですが
JIm月曜日から某国出稼ぎという噂

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 00:21:42

>>273
whitegoat は DDNSを使用している人(iMonaの中間鯖等)への新バーボン回避
とした方がいいような気がする

無闇に一般公開してしまうと新バーボン回避だけの道具として利用されてしまう可能性が高い

**root▲ ★** · NG

>>275
なるほど、そですか。

FreeBSD 5.4Rも、ちょうど微妙になってきたし。
まぁ、RCまできているので、ex10とかには現地で入れてくる予定ではあります。

あくまで目的は修行なんで(6搭乗12,000マイル)、現地での作業はシュミの範囲だったりするわけですけど。

**root▲ ★** · NG

こんな絵をかいてくれた人がいました。

772 名前：さくら♀ ◆iMona7m46s [sage] 投稿日：2005/04/18(月) 00:24:29
今はこんな感じかしらん。
ttp://nov.s56.xrea.com/kurosiro.jpg

**さくら♀** ◆iMona7m46s · 2005/04/18(月) 00:29:24

わぁ・・・。即座にこっちにペタリンコされてるｗ

**FOX ★** · NG

>>278
wait?? の部分は議論しても仕方が無いので
実際に構築してから調整&調整っすね。

Jim にさっさと請求書送れと催促のメール出しました。
Good Giga switch & TinyTigerx6 & 専用ラック

**root▲ ★** · NG

>>280
了解です。

わたしのほうは、cの中のひとたちと、予備実験はじめるです。
多段化はsquidだからできるはずだけど、増分取得まわりでは
微妙にチューニングが必要かもですね。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 00:32:40

＞ゆとりが出れば、一般開放(ただしリミットつき、ひどいと403)っていうかんじかと。

例えばの話ですが
BEで入って１モリタポ払うとreadだけ５００緩和するとかになるんでしょうか？

**root▲ ★** · NG

>>282
そういった細かな仕様については、骨格ができて、動かし始めてからですね。
>>280 の第一段落におなじかなと。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 00:37:16

虎の子をはたいてTinyTiger x6 購入ですか。
新サーバには電車１号・２号とか名前がつくのかなｗ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 00:41:29

train と hermes で

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 00:42:03

鯖に余裕があったらp2用BlackGoatとか
●持ち専用BlackGoatとか構築して欲しかったり････

無理だよね(´･ω･`)･････

**FOX ★** · NG

galaさんとかは専用のWhite Goatで供給するのが
トレンドかと、

**マァヴ** ◆jxAYUMI09s · NG

>278
ちょと違うっぽい(^_^;)
黒ヤギさんは何匹もいて、それぞれ担当する２ｃｈのBBSサーバが違う。
たとえば黒ヤギさん１号はex10とnews系とlive系。２号はそのほか全部担当って感じ。
最終的に黒ヤギさんが何匹になるかはわかんないけど、いずれにしろ担当サーバがそれぞれに割り振られる・・・・と
んで、c.2ch.netのフロントエンド群は黒ヤギさんから直接データをもらう。
（読み出したいBBSサーバによって、問い合わせる黒ヤギさんを選ぶ）
白ヤギさんは、黒ヤギ軍団に対するキャッシュサーバで、外部のフロントエンドサーバからの呼び出しに応じて
適切な黒ヤギさんにデータを要求する。
もちろん白ヤギさんにキャッシュされていれば、それを外部フロントエンドに返す。

って感じかな？(^_^;)文字で書くとややこしい

**root▲ ★** · NG

>>288
>>278 の絵は、概念図っすからね。
どのリクエストをどう振るかとか、板やサーバで首振るか(今はそうなっていますが)とかは、
実装段階での采配かなと。

**マァヴ** ◆jxAYUMI09s · NG

>289
ぅぃぅぃ(^_^;)相関概念ですな
白ヤギさんのイメージとしてなんでもう一段キャッシュ入れるのかってのがわかりにくいかな
と思って、黒ヤギ軍団のイメージを書いてみたのです。
いや、結局わかりにくいんだけどさ(^_^;)

**root▲ ★** · NG

なんにせよ、携帯対応を含む、内外からのdat要求をうまく処理するのは
雪だるまと並んで今年の大きなテーマの一つだと思っていますので、
そのつもりで、すすめていこうかなと。

**マァヴ** ◆jxAYUMI09s · NG

んだすな(^_^;)
今のところおちついてるPCのアクセスも、将来大爆発したら同じ枠組みで捌いたりとか・・・・

**FOX ★** · NG

ex10 で BBON 動かしてみた

**root▲ ★** · NG

>>293
51 BBON.ex10.484 　 202.229.14.2 (ps28.suite2.arena.ne.jp) 2
52 BBON.ex10.481 　 222.7.19.174 (ZL019174.ppp.dion.ne.jp) 2
53 BBON.ex10.400 　 219.106.159.178 (baidb6a9fb2.bai.ne.jp) 2

3人ですか。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 01:27:52

白山羊にアクセスする為にはやっぱりIDとパスワードを
iMona中間鯖管理人等に発行することになるんでしょうね
それ以外のアクセスははじく、と

**マァヴ** ◆jxAYUMI09s · NG

こんな感じで(^_^;)
http://yy92.kakiko.com/photo/1113755299074036.jpg

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 01:31:29

白山羊さんにiMona中間鯖業務自体をやらせてしまえとか思った僕はだめですか。
まあ、自分専用の中間鯖立ててるからあんまり関係ない話だけど。

**FOX ★** · NG

大きな流れは「雪だるま作戦」です。
つまり「複数台で一つの仮想サーバ１台として稼動させる」流れです。
携帯からのアクセスの分離もその一環と考えられます。
クローリングを２ちゃんねるの各サーバからはじく(別の出入り口を用意する)
というのもまさにこの流れです。

さらに進むと「read.cgiの別サーバ化」「bbs.cgiの別サーバ化」なんて感じですかねぇ

**root▲ ★** · NG

>>296
概ね、そんな路線ですね。

>>297
公式iMona中間サーバというのは、ありうるかもです。
でもiMonaについて、べんきょしないといけないですね(概念ぐらいは知っていますけど)。わたしが。

さて、きょうはそろそろ、みせじまいで。

**root▲ ★** · NG

>>298
うんうん。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 01:41:12

わかりやすさで>>278に一票

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 01:42:47

ttp://saiken.ddo.jp/upload2/is/data/IS_00072.jpgとなるわけですか。

**マァヴ** ◆jxAYUMI09s · NG

んでわ、スキルないし見守るしかできないなんてつまんないというあなたに(^_^;)

2ch GOAT Systemの概念図を描くスレッド(^_^;)
http://yy92.kakiko.com/test/read.cgi/beta/1113756194/l50

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 02:12:48

>>79
とりあえずqweのとこのiMona鯖は

imona.jp→202.229.14.203

の固定ＩＰだからqwe.ne.jpを除外しても無意味。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 02:18:32

>>115 一定期間鯖が落ちたため、全てのスレ(バイク板)を新スレと誤認識した
そういうことはたまに起こるとは思いますが（そして >>216 みたいな処理をしてない全中間サーバからの激しいアクセスが起きるでしょうが）、
一般的に、中間サーバが欲しいのはスレッド単位ではなくて、板単位の更新情報ですよね。

>>261 BlackGoatが１分のwait
ということであれば、各掲示板について、
「h時 m分0秒～ m分59秒の全発言」を過去30分間とか60分間とかについて保存しておいて、
1つの掲示板、1分間あたり1回のリクエストで返す仕組みを提供するのはいかがかと。
10分間とか1時間とかのファイルは公開しても良いかもしれません。

/minute.cgi/operate/200504180212 とリクエストすると
1113647422 48 304 (このスレの >>304 の内容)
みたいな行が全スレ分ずらずらと帰ってくる、そういうイメージなんですが、長くなりましたがいかがでしょう。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 02:25:22

バーボンハウスのタイトルタグがちゃんと閉じてないので直して～

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 02:46:24

ほんまやw

<title>ようこそバーボンハウスへ</title/>

**FOX ★** · NG

はいはい

**FOX ★** · NG

あれれん?
誰かが既に直してような、

**FOX ★** · NG

みっけ c403.cgiの方か、

**動け動けウゴウゴ２ちゃんねる** · NG

FOXたんは朝までたいへんね・・・。

**306** · 2005/04/18(月) 11:38:45

>>310
おつ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 14:59:21

ﾌｫｯｸｿさんはいつ寝てるんだろう？　

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 15:00:57

>>313
FOXは共通キャップな訳だが．．．