X

クローラー&過剰リロード対策スレ2【新バーボン】

■ このスレッドは過去ログ倉庫に格納されています
2005/04/16(土) 19:30:22ID:???0
現状把握が困難なので前スレ参照してください。

前スレ
クローラー&過剰リロード対策スレ
http://qb5.2ch.net/test/read.cgi/operate/1113508190/
2005/04/17(日) 17:48:40ID:n/rNCALH0
218.227.33.80 (eAc1Ads080.tky.mesh.ad.jp)
60.34.38.175 (i60-34-38-175.s02.a006.ap.plala.or.jp) ←たぶんこっち
2005/04/17(日) 17:55:24ID:dedmGuCP0
IF-MODIFIED:だっけ?
2005/04/17(日) 18:01:00ID:CB4g6Hor0
一切巡回が出来ないのが辛いかもかも(哀)

でも生串みっけたのでえへへ♪
2005/04/17(日) 18:06:00ID:rZX0OT0xO
12時頃iMONA復活したと思ったらまた使えなくなってるのは仕様ですか
209ひろゆき@どうやら管理人 ★
垢版 |
NGNG
galaはスルーしてくださいー。
210ひろゆき@どうやら管理人 ★
垢版 |
NGNG
210.131.159.128/25,210.249.156.128/26
だそうですー。
211讃岐 ◆IamaVIPdCI
垢版 |
NGNG
ひろゆきワロスwww
遅刻するなよwww
212讃岐 ◆IamaVIPdCI
垢版 |
2005/04/17(日) 18:15:16ID:hkDHif/H0
誤爆すまん
213動け動けウゴウゴ2ちゃんねる
垢版 |
2005/04/17(日) 18:15:24ID:+1ALuvXa0
>>209-210
CNNにVIPPERが投票して逆転しましたよ
2005/04/17(日) 18:16:22ID:UXcOyVma0
VIPPER
空気嫁。
215あ ψ▼
垢版 |
2005/04/17(日) 18:17:48ID:C4HspXKOO
これはUAは関係無くIPを規制されるのか?
2005/04/17(日) 18:28:02ID:lwM/vvCG0
>>204
If-Modified-Since か Range を使えばいいよ (HEAD やる必要なし)

一番効率的な方法はレス数を管理すること
subject.txt からレス数とdatファイル名・スレタイを取得

前回取得したレス数との差分で大きかったらdat取得 (マイナスになったら「(レス or スレ自体の)あぼ〜ん」 or 「スレスト」)

こっちは
スレ立て日時(=ファイル名) 取得済み 現在 前回取得 差分 スレタイ で管理
1113323045 141 179 141 38 激エロ動画補完所 10
1112901029 307 457 307 150 【蕾開花】アナルスレ17【春真っ盛り】
1113223560 170 210 170 40 【イン】子供同士でえっちしちゃってる画像27【ピオ】
1105276894 744 754 744 10 いでじゅうのエロ画像激しくキボンヌ 3
1111297637 428 467 428 39 現在のあれ以外の何かの数→
1106990883 265 275 265 10 『詳細スレ』運営スレ Part4
1111992619 284 299 284 15 【警視庁】ドキドキまあちゃんゲーム【問題4】
1113644492 5 23 5 18 すじ Part21
1111850162 310 341 310 31 フェラチオ画像11
1113680782  10  10 サモンナイトの萌え画像スレPart16
2005/04/17(日) 18:32:28ID:hkDHif/H0
なにそのスレ達
218root▲ ★
垢版 |
NGNG
>>209-210
Roger.
2005/04/17(日) 19:50:01ID:X6uJFPtCO
人大杉で専ブラ導入。

今度は専ブラで規制。
2005/04/17(日) 19:58:46ID:c/844e6u0
新バーボンの立ち上げが1日遅かったら、今頃はリストが
BBON.liventv.***
で埋め尽くされていたのか・・・w
2005/04/17(日) 20:46:11ID:J0sGZrQD0
スレ立てで、テンプレ貼りまくったのが原因かなぁ…
バーボンハウスに初めて来たよ…
次からは●をはずしてゆっくり貼ろう…ごめんなさい…
2005/04/17(日) 20:56:57ID:lwM/vvCG0
1000越え

13 BBON.music4.2385   221.246.103.242 (usen-221x246x103x242.ap-US01.usen.ad.jp) 84
28 BBON.travel2.2689   210.165.238.84 (pl340.nas926.o-tokyo.nttpc.ne.jp) 34
35 BBON.travel2.1174   210.135.73.232 (ppa05-0b32.din.or.jp) 14

<<217
某板のsubject.txtの順番
2005/04/17(日) 21:05:29ID:rgatSwTb0
c403.cgiにあるホストって、ときどきhttpdが立ち上がっているのがあって面白いよね。
2005/04/17(日) 21:05:36ID:AZ6yq8m+0
>>222
一瞬でどこの板か分かった俺は orz な気分で一杯ですが

ところで新バーボンの規制値は、専用ブラウザ使っていても手動では先ず不可能な値を使っているって認識でいいの?
225root▲ ★
垢版 |
NGNG
>>224
…だと思います。

明らかに「手動だけでひっかかった」という方は、
どうやったのかを添えて、こちらのスレまで。
226 ◆MiMIZUNCjA
垢版 |
2005/04/17(日) 21:40:31ID:Lx6sa0WX0
>>216
ありがとうございます。週末までに何とか作れるかも。。。
2005/04/17(日) 22:01:08ID:lwM/vvCG0
>>224
手動であっても巡回(の機能)は使用しない事
巡回(の機能)使うと自動でやってるのと同じになってしまう
2005/04/17(日) 22:06:12ID:AZ6yq8m+0
>>224>>227
ありがとうございます。巡回は自動だと思っているので大丈夫です。

ただ、専用ブラウザだと IE 等に比べてアクセス間隔が短縮されるので、もしや……と思ったわけです。
ヒマなときだと、かなりの量の板を手動巡回してますし……
2005/04/17(日) 22:26:51ID:hkDHif/H0
一度に30個くらいタブを開いて連打更新は昔やったことあるなぁ。
こうすることで普通に巡回するよりもスピーディにログを回収。
2005/04/17(日) 22:27:21ID:X6uJFPtCO
携帯電話の専ブラ(imona)は多数のユーザーが同一鯖を経由してログ取得を行うので、
その鯖が規制に引っ掛かり、結果的に専ブラが使えない状況に陥っている。
こういう鯖は除外しないの?
融通きかないかな。
2005/04/17(日) 22:32:22ID:hkDHif/H0
>>230
それはもうimonaの仕様を改めてもらうしかないよね。
気がつけば今のままのimonaは排除するって流れなわけだし。
それか、電車男スイッチその他の導入まで数ヶ月待つか。
NGNG
山羊鯖がimona配ればいいのか、
2005/04/17(日) 22:38:09ID:hkDHif/H0
>>232
結局今のままではそこに行きつきそうな可能性も捨てがたい。
配布元になれば端末から直接アクセスできるし。
2005/04/17(日) 22:41:08ID:VoijqS5k0
>>231
何のためにiMonaが中間鯖経由してるのかわかってねえな、あんたは
アプリの仕様でiアプリはアプリを落としたところだけ
auのEZアプリ(Java)は3箇所のみしかアクセスできないから
中間鯖経由してんだぞ
それを規制されたらiMonaの意味無いじゃんか
2005/04/17(日) 22:45:04ID:hkDHif/H0
>>234
だから>>232-233という可能性もあるかもしれない。
(ウルトラCだろうけど。)

現状で携帯からのアクセスが過多になってるのは事実ですからねぇ。
そもそも携帯からのアクセスをバッサリ切られても不思議じゃないですよ。
2005/04/17(日) 22:47:56ID:hkDHif/H0
糸みみずさんって何やってる人?
237root▲ ★
垢版 |
NGNG
サーバの大幅増強は決まっているわけで、外向け(外の携帯メニューとか、良心的なクローラーさんとか)の
blackgoat(datを持っているサーバ)の増設もあると思ってるです。
つまり、時間が解決するんではないかと。
2005/04/17(日) 22:58:18ID:56b7U8U70
>>230-235
一部の中間鯖からのアクセスが集中しているだけでiMona全体が引っかかっている訳ではないです。
利用者同士で
上手に各公開鯖へ分散すれは新バーボンを回避する事も可能です。
どうなるか決まりきってない以上、利用者同士が呼びかけあってアクセスの分散を図るのが今出来る
一番の方法です。意見は出す方が良いに決まってます。が、ここで騒いでもアレでしょうから、

携帯用2chブラウザiMona質問スレPart6
http://hobby7.2ch.net/test/read.cgi/appli/1113058932/l50

こっちで意見を出し合いましょう。。。
2005/04/17(日) 23:01:41ID:X6uJFPtCO
iモード使うのとimona使うのではどちらが鯖に優しいの?運営の方々

あなたに従いますよ
iモード使えとおっしゃるのなら使いましょう

もしimonaを使う方が良いのなら
規制から除外して。
NGNG
imonaやクラシック、みみずんや肉チャンネルさんなどについては現状でバーボンされることと
この先どうなるかが見えないのが不安なとことやね(^_^;)
方向性だけでも提示したほうが、全体の流れがスムースになると思われ。
241FOX ★
垢版 |
2005/04/17(日) 23:07:29ID:???0
Black Goat 経由で >>240
NGNG
それらは特別な配慮をする必要がある存在なのか、という話は、
2005/04/17(日) 23:09:57ID:hkDHif/H0
あっさり解決
244root▲ ★
垢版 |
NGNG
>>240
ですね。

数日以内に、まずはクラシックミラー・クラシックテストを使用して、
外向けblackgoatのテストをはじめる予定です。

で、その後は段階的に外にサービス開放、、、といきたいところですが、
中向けスイッチ(1G対応)が、いつくるかに依存しているですね。

で、blackgoat2台がその結果おなかいっぱいになってきたら、
横並びで増やしていくことになるのかなと。

blackgoatはI/Oが強烈に強くないといけないので、tiny tigerではちょっとつらい気がするので、
DoCoMo用のtiny tiger投入後に、今のc-docomo系に使っているcobraを1つ使うとか、
そういうことになるんじゃないかなと、勝手に考えています。
NGNG
ふむ・・・・(^_^;)
1 外部の携帯フロントエンドやログ収集サイトについては黒ヤギさんからログを取得していただく

さて(^_^;)
・準備ができるまではどうする?
・開放は一般開放? それともIP指定開放?
246◆W.e.h.w.K.
垢版 |
NGNG
>>245
IP指定開放なんじゃないんですか?
NGNG
>246
ってことは、告知とか窓口とか・・・・まあ、なるようになるか(^_^;)
2005/04/17(日) 23:32:14ID:hkDHif/H0
黒山羊さんたら読まずに食べた
249root▲ ★
垢版 |
NGNG
>>245
たぶん最初はIPアドレス指定で、
ゆとりが出れば、一般開放(ただしリミットつき、ひどいと403)っていうかんじかと。
2005/04/17(日) 23:37:00ID:I4UrYT050
iMonaユーザってどれくらいいるんですかね。
(かく言う私も出先ではお世話になってるんですが)

全員がc.2ch.netに回ったらいきなりc.2ch.netの負荷倍増になったりして。
251FOX ★
垢版 |
NGNG
詳しくは知らないんですが

その中間サーバというやらが 10台あったとして
それぞれが2ちゃんねるのサーバを見に行くより
BlackGoat を見に行くほうが2ちゃんねるの各サーバは
大助かりなわけでして、
2005/04/17(日) 23:43:01ID:rrrdxgpw0
つか携帯用全部を黒山羊に集めて、アクセス増えたらカネかけて増設なんてするよりも、
各中間鯖に適正なウェイト入れてもらって負荷分散するほうが、2ちゃんにとっても(゚д゚)ウマーだと思えるのだが。
253root▲ ★
垢版 |
NGNG
>>252
各中間サーバに適正なウェイト入れてもらったうえで、アクセスを全部黒山羊に集めるのが
ウマーだと思うです。
254FOX ★
垢版 |
NGNG
>>252
bbs用サーバ一台当たりの容量は有限で常に逼迫していますのよん。
たとえば ex10 とか、
255◆W.e.h.w.K.
垢版 |
2005/04/17(日) 23:48:20ID:hkDHif/H0
黒山羊

中間

imona

こっちは?
2005/04/17(日) 23:50:26ID:rrrdxgpw0
>>253,254
そですか、、、
んじゃ、そうゆうことで(・`ω´・)ノ
257root▲ ★
垢版 |
NGNG
>>255
つまり、多段化ですね。そういうの、できるですか。
悪くないかもです。
258FOX ★
垢版 |
NGNG
iMoma について考えると

2ちゃんねるの各サーバ

Black Goat x N台

Black Goat 外向き

中間さーば

クライアント

って考えていたけど?
259root▲ ★
垢版 |
NGNG
>>258
なるほどです。
はじめから、多段化でいくと。< 外向け
260FOX ★
垢版 |
NGNG
Black Goat 外向き = White Goat かも知れず、
2005/04/17(日) 23:58:14ID:/gsNBAY30
>>255
BlackGoatが1分のwait、さらに中間鯖のwait、使いにくくなるな多分。
262root▲ ★
垢版 |
NGNG
>>260
そのほうがまぎらわしくないから、それでいきますか。 < 名前
263◆W.e.h.w.K.
垢版 |
NGNG
白山羊さんか
2005/04/18(月) 00:01:25ID:3H23Ez1u0
そうするとまずは外向き(多段)黒山羊さんの実験ですか。
あっ、それ以前に機材の調達待ちになるのかな?
265FOX ★
垢版 |
NGNG
White Goat は TinyTiger でok?
2005/04/18(月) 00:03:05ID:3H23Ez1u0
データ落ちが沢山発生する気がするw>白山羊さんと黒山羊さん
267◆W.e.h.w.K.
垢版 |
NGNG
機材はもうあるのか
2005/04/18(月) 00:05:34ID:dedmGuCP0
し〜かた〜がないのでお〜てがみか〜いた
269root▲ ★
垢版 |
NGNG
>>265
ローカルキャッシュを持つとすると、
SCSIディスクのほうがいいかもなと。
参考: >>244
2005/04/18(月) 00:14:48ID:3qICJBMW0
>>249
>ゆとりが出れば、一般開放(ただしリミットつき、ひどいと403)っていうかんじかと。
今のやつと同じじゃん

white goatのIPアドレスは非公開
IPアドレスの指定は無し の方がいいと思われる


静的IP (IP指定)
新バーボンでの除外 whitegoat の利用も可能

動的IP
新バーボンは除外しない whitegoatの利用するときのIPアドレスを教える (squid側でIDとpassを設定)
271FOX ★
垢版 |
NGNG
はいー >>269

当面は TinyTiger をごぼこぼ投入して
あまった Cobra 等を適宜実戦配備(wite goat等)の方向で

五月いっぱいまでに TinyTiger を 6台 or more入れるということで、
272root▲ ★
垢版 |
NGNG
>>270
アクセス回数については、ひどい、の基準値を、大幅に上げる(あるいは、なし)です。
273FOX ★
垢版 |
NGNG
>>270
何を目的にって書いてくれないと
意味がわからんぞ、
274root▲ ★
垢版 |
NGNG
>>271
了解です。

スイッチは、一つ目のtiny tigerと時期をあわせて投入ってかんじですかね。
ひょっとすると、GWに私が自分で据付(w、とかだったりして。
275FOX ★
垢版 |
NGNG
>>274
日程的には微妙かも、、、
Jim が請求書書いて
ひろゆきが振り込んで
Jimが発注
届いたら私たちがごそごそ

なんですが
JIm月曜日から某国出稼ぎという噂
2005/04/18(月) 00:21:42ID:3qICJBMW0
>>273
whitegoat は DDNSを使用している人(iMonaの中間鯖等)への新バーボン回避
とした方がいいような気がする


無闇に一般公開してしまうと新バーボン回避だけの道具として利用されてしまう可能性が高い
277root▲ ★
垢版 |
NGNG
>>275
なるほど、そですか。

FreeBSD 5.4Rも、ちょうど微妙になってきたし。
まぁ、RCまできているので、ex10とかには現地で入れてくる予定ではあります。

あくまで目的は修行なんで(6搭乗12,000マイル)、現地での作業はシュミの範囲だったりするわけですけど。
278root▲ ★
垢版 |
NGNG
こんな絵をかいてくれた人がいました。

772 名前:さくら♀ ◆iMona7m46s [sage] 投稿日:2005/04/18(月) 00:24:29
今はこんな感じかしらん。
ttp://nov.s56.xrea.com/kurosiro.jpg
2005/04/18(月) 00:29:24ID:ZN17vRu20
わぁ・・・。即座にこっちにペタリンコされてるw
280FOX ★
垢版 |
NGNG
>>278
wait?? の部分は議論しても仕方が無いので
実際に構築してから調整&調整っすね。


Jim にさっさと請求書送れと催促のメール出しました。
Good Giga switch & TinyTigerx6 & 専用ラック
281root▲ ★
垢版 |
NGNG
>>280
了解です。

わたしのほうは、cの中のひとたちと、予備実験はじめるです。
多段化はsquidだからできるはずだけど、増分取得まわりでは
微妙にチューニングが必要かもですね。
2005/04/18(月) 00:32:40ID:trmCApyx0
>ゆとりが出れば、一般開放(ただしリミットつき、ひどいと403)っていうかんじかと。

例えばの話ですが
BEで入って1モリタポ払うとreadだけ500緩和するとかになるんでしょうか?
283root▲ ★
垢版 |
NGNG
>>282
そういった細かな仕様については、骨格ができて、動かし始めてからですね。
>>280 の第一段落におなじかなと。
2005/04/18(月) 00:37:16ID:3H23Ez1u0
虎の子をはたいてTinyTiger x6 購入ですか。
新サーバには電車1号・2号とか名前がつくのかなw
2005/04/18(月) 00:41:29ID:qTfjtn1K0
train と hermes で
2005/04/18(月) 00:42:03ID:LJvR7hFG0
鯖に余裕があったらp2用BlackGoatとか
●持ち専用BlackGoatとか構築して欲しかったり・・・・

無理だよね(´・ω・`)・・・・・
287FOX ★
垢版 |
NGNG
galaさんとかは専用のWhite Goatで供給するのが
トレンドかと、
NGNG
>278
ちょと違うっぽい(^_^;)
黒ヤギさんは何匹もいて、それぞれ担当する2chのBBSサーバが違う。
たとえば黒ヤギさん1号はex10とnews系とlive系。2号はそのほか全部担当って感じ。
最終的に黒ヤギさんが何匹になるかはわかんないけど、いずれにしろ担当サーバがそれぞれに割り振られる・・・・と
んで、c.2ch.netのフロントエンド群は黒ヤギさんから直接データをもらう。
(読み出したいBBSサーバによって、問い合わせる黒ヤギさんを選ぶ)
白ヤギさんは、黒ヤギ軍団に対するキャッシュサーバで、外部のフロントエンドサーバからの呼び出しに応じて
適切な黒ヤギさんにデータを要求する。
もちろん白ヤギさんにキャッシュされていれば、それを外部フロントエンドに返す。

って感じかな?(^_^;)文字で書くとややこしい
289root▲ ★
垢版 |
NGNG
>>288
>>278 の絵は、概念図っすからね。
どのリクエストをどう振るかとか、板やサーバで首振るか(今はそうなっていますが)とかは、
実装段階での采配かなと。
NGNG
>289
ぅぃぅぃ(^_^;)相関概念ですな
白ヤギさんのイメージとしてなんでもう一段キャッシュ入れるのかってのがわかりにくいかな
と思って、黒ヤギ軍団のイメージを書いてみたのです。
いや、結局わかりにくいんだけどさ(^_^;)
291root▲ ★
垢版 |
NGNG
なんにせよ、携帯対応を含む、内外からのdat要求をうまく処理するのは
雪だるまと並んで今年の大きなテーマの一つだと思っていますので、
そのつもりで、すすめていこうかなと。
NGNG
んだすな(^_^;)
今のところおちついてるPCのアクセスも、将来大爆発したら同じ枠組みで捌いたりとか・・・・
293FOX ★
垢版 |
NGNG
ex10 で BBON 動かしてみた
294root▲ ★
垢版 |
NGNG
>>293
51 BBON.ex10.484   202.229.14.2 (ps28.suite2.arena.ne.jp) 2
52 BBON.ex10.481   222.7.19.174 (ZL019174.ppp.dion.ne.jp) 2
53 BBON.ex10.400   219.106.159.178 (baidb6a9fb2.bai.ne.jp) 2

3人ですか。
2005/04/18(月) 01:27:52ID:Ql/zDF8l0
白山羊にアクセスする為にはやっぱりIDとパスワードを
iMona中間鯖管理人等に発行することになるんでしょうね
それ以外のアクセスははじく、と
NGNG
こんな感じで(^_^;)
http://yy92.kakiko.com/photo/1113755299074036.jpg
2005/04/18(月) 01:31:29ID:QpdwwqkT0
白山羊さんにiMona中間鯖業務自体をやらせてしまえとか思った僕はだめですか。
まあ、自分専用の中間鯖立ててるからあんまり関係ない話だけど。
298FOX ★
垢版 |
NGNG
大きな流れは「雪だるま作戦」です。
つまり「複数台で一つの仮想サーバ1台として稼動させる」流れです。
携帯からのアクセスの分離もその一環と考えられます。
クローリングを2ちゃんねるの各サーバからはじく(別の出入り口を用意する)
というのもまさにこの流れです。

さらに進むと「read.cgiの別サーバ化」「bbs.cgiの別サーバ化」なんて感じですかねぇ
299root▲ ★
垢版 |
NGNG
>>296
概ね、そんな路線ですね。

>>297
公式iMona中間サーバというのは、ありうるかもです。
でもiMonaについて、べんきょしないといけないですね(概念ぐらいは知っていますけど)。わたしが。

さて、きょうはそろそろ、みせじまいで。
300root▲ ★
垢版 |
NGNG
>>298
うんうん。
2005/04/18(月) 01:41:12ID:qTfjtn1K0
わかりやすさで>>278に一票
2005/04/18(月) 01:42:47ID:hOqUHSvb0
ttp://saiken.ddo.jp/upload2/is/data/IS_00072.jpgとなるわけですか。
NGNG
んでわ、スキルないし見守るしかできないなんてつまんないというあなたに(^_^;)

2ch GOAT Systemの概念図を描くスレッド(^_^;)
http://yy92.kakiko.com/test/read.cgi/beta/1113756194/l50
2005/04/18(月) 02:12:48ID:uFQfaMnm0
>>79
とりあえずqweのとこのiMona鯖は

imona.jp→202.229.14.203

の固定IPだからqwe.ne.jpを除外しても無意味。
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。

ニューススポーツなんでも実況