X

クローラー＆過剰リロード対策スレ2【新バーボン】

■ このスレッドは過去ログ倉庫に格納されています
2005/04/16(土) 19:30:22ID:???0
現状把握が困難なので前スレ参照してください。

前スレ
クローラー＆過剰リロード対策スレ
http://qb5.2ch.net/test/read.cgi/operate/1113508190/
179root▲ ★
垢版 |
NGNG
全サーバ、自動チェック有効にしてみるか。
(live系とex10を除く)
180root▲ ★
垢版 |
NGNG
これで全部かしら。< ライブな掲示板サーバ

2chplus
aa5
academy3
book3
bubble3
comic5 comic6
etc3 etc4
ex9 (ex10)
food6
game9 game10
hobby5 hobby7
human5
life7
(live14) (live15) (live16) (live18) (live19) (live20)
love3
money3
music4
news18 news19
off3
pc7 pc8
qa
qb5 qb6
school4
science3
society3
sports7
that3
tmp4
travel2
tv6 tv7
181root▲ ★
垢版 |
NGNG
dso があるですね(追加済み)。
182root▲ ★
垢版 |
NGNG
で、リストが大きくなりすぎていまいちな場合は、これを入れるっていう戦略かなと。

【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17
http://qb5.2ch.net/test/read.cgi/operate/1107376477/834
2005/04/17(日) 12:42:34ID:n90Awt5H0
>>180-181
PIE上の分は、おそらくそれで全てだと思いますー。。
184root▲ ★
垢版 |
NGNG
前スレからの事項(チラシの裏メモ)

・gala.jp のIPアドレスはバーボン除外リストに入れるべきか? ＞ひ（りゃ に要確認
・ex9 にはバーボンシステムから .htaccess が配られていないかも ＞おじさんに要確認
・Range: bytes=0- で全datをリターンコード206で取れるので、206はあまり軽くできない
・みみずんさんは今(400にしてから)もひっかかるのだろうか
・blackgoatの公開実験を、まずはcの中の人たちとすすめる
・上記がうまくいくようなら、外のひとたち(もし協力いただけるならiMona中間サーバの人とか)とも徐々に
・CustomLog |/path/to/watch combined のようにパイプでログ情報を渡すといいかも
2005/04/17(日) 13:12:18ID:nYPmkCZb0
ちょっとテスト
NGNG
規制くらうとインターネット接続すらできなくなるのは仕様？
2005/04/17(日) 14:15:36ID:Gr2gLgCS0
それはバーボンじゃなくて普通の規制でプロバイダに解約されたんじゃないのか
2005/04/17(日) 14:47:50ID:0AlSQIPu0
うはｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗ
2005/04/17(日) 14:53:34ID:KEq2K98y0
ふと思ったのだが、このシステムは
企業やプロ市民団体とかの組織的だった工作活動が自動迎撃される予感。

新聞とかＴＶとかでどっかの会社やプロ市民団体のDQN行為が記事になる。
　　　↓
２ちゃんで祭りになってスレが建ちまくる。
　　　↓
その団体がバイトを使って世論誘導の組織的工作を開始。
スレがその団体を擁護するレスで埋まりだす。
　　　↓
当該スレをバイト達がリロードしまくり。
　　　↓
バ　ー　ボ　ン　発　動　！
　　　↓
工作員達、アク禁になったのでｼｮﾎﾞｰﾝ。
　　　↓
http://qb6.2ch.net/_403/c403.cgi にアク禁のログが
残っているのが発見されてさらに祭りになる。


なんて素晴らしいシステムなんだ（ｗ
190root▲ ★
垢版 |
NGNG
>>184
> ・gala.jp のIPアドレスはバーボン除外リストに入れるべきか? ＞ひ（りゃ に要確認

40BBON.music4.446　 210.131.159.225 (ss2ch.em.gala.jp) 13

やはり、除外リストに入れたほうがよさげね。
ピンポイントで除外リストに入れておきます。
191動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/17(日) 15:19:33ID:s4SCNplx0
１０分ぐらいで解除されたんだが、手動？
192root▲ ★
垢版 |
NGNG
>>191
なーんも、してない。(観察はたまにしてるけど)
193あ ψ▼
垢版 |
2005/04/17(日) 16:16:39ID:C4HspXKOO
これはclassicや他の携帯ブラウザにも適用されるんだよね＞ﾊﾞﾎﾞｰﾝ
2005/04/17(日) 16:38:56ID:wy17oVLR0
バーボン入り記念真紀子（泪）＠おそらく2ch鯖監視係。
2005/04/17(日) 16:44:18ID:1NIbLBPS0
>>194
ああだから、missedになってるんですね・・・
いろんなところに弊害が出てますな。
2005/04/17(日) 16:47:04ID:I8TCHseX0
自分もなんですけど4時ちょうどに大量にリストされてるのが気になる
2005/04/17(日) 16:52:56ID:VXNbvx2O0
どうも狼住人です
即死回避で連投してたら規制されましたorz
こんなの初めてだorz
2005/04/17(日) 17:02:29ID:n/rNCALH0
連投できないex10に価値はありますか
199某47 ◆ap/yuix/tw
垢版 |
NGNG
>>197
ex10サーバーはまだ対象外
その規制はこのスレではない
2005/04/17(日) 17:08:53ID:VXNbvx2O0
>>199
えっ？
↓に自分のIPあったのですが・・・

■自分が規制されたか知りたい
ここに自分のIPがあったら規制されてます
http://qb6.2ch.net/_403/c403.cgi
2005/04/17(日) 17:14:30ID:VXNbvx2O0
そういやBBONとは書いてませんからねー
モロ厨丸出しですな
では失礼しました
2005/04/17(日) 17:29:13ID:lwM/vvCG0
>>197
この辺？

73 news4vip 　 61.86.159.78 (dsl020-078.kcn.ne.jp) 37
74 news4vip 　 222.151.13.72 (i222-151-13-72.s02.a014.ap.plala.or.jp) 37
2005/04/17(日) 17:30:38ID:fId142gb0
>>202
狼
204 ◆MiMIZUNCjA
垢版 |
2005/04/17(日) 17:46:41ID:zU2OjysD0
>>184
＞みみずんさんは今(400にしてから)もひっかかるのだろうか

引っ掛かっています・・・。ごめんなさい。
取得済みのファイルは*.datをHEADでチェックしたあとにファイルサイズが異なればGETしているのでそれで負荷が倍になっているのかもしれません。
HEADに1秒のウェイトを入れてみたけど変わるわけも無くバーボン入りです。
昨日は3745なんて数字出したので相当に負荷をかけています。すいません

あ、そうそう昨日はバーボンでも*.datの取得はできましたがもうできませんね。。。
2005/04/17(日) 17:48:40ID:n/rNCALH0
218.227.33.80 (eAc1Ads080.tky.mesh.ad.jp)
60.34.38.175 (i60-34-38-175.s02.a006.ap.plala.or.jp)　←たぶんこっち
2005/04/17(日) 17:55:24ID:dedmGuCP0
IF-MODIFIED:だっけ？
2005/04/17(日) 18:01:00ID:CB4g6Hor0
一切巡回が出来ないのが辛いかもかも（哀）

でも生串みっけたのでえへへ♪
2005/04/17(日) 18:06:00ID:rZX0OT0xO
12時頃iMONA復活したと思ったらまた使えなくなってるのは仕様ですか
209ひろゆき＠どうやら管理人 ★
垢版 |
NGNG
galaはスルーしてくださいー。
210ひろゆき＠どうやら管理人 ★
垢版 |
NGNG
210.131.159.128/25,210.249.156.128/26
だそうですー。
211讃岐 ◆IamaVIPdCI
垢版 |
NGNG
ひろゆきﾜﾛｽｗｗｗ
遅刻するなよｗｗｗ
212讃岐 ◆IamaVIPdCI
垢版 |
2005/04/17(日) 18:15:16ID:hkDHif/H0
誤爆すまん
213動け動けウゴウゴ２ちゃんねる
垢版 |
2005/04/17(日) 18:15:24ID:+1ALuvXa0
>>209-210
CNNにVIPPERが投票して逆転しましたよ
2005/04/17(日) 18:16:22ID:UXcOyVma0
VIPPER
空気嫁。
215あ ψ▼
垢版 |
2005/04/17(日) 18:17:48ID:C4HspXKOO
これはUAは関係無くIPを規制されるのか？
2005/04/17(日) 18:28:02ID:lwM/vvCG0
>>204
If-Modified-Since か Range を使えばいいよ (HEAD やる必要なし)

一番効率的な方法はレス数を管理すること
subject.txt からレス数とdatファイル名・スレタイを取得

前回取得したレス数との差分で大きかったらdat取得 (マイナスになったら「(レス or スレ自体の)あぼ〜ん」 or 「スレスト」)

こっちは
スレ立て日時(=ファイル名)　取得済み　現在　前回取得　差分　スレタイ で管理
1113323045　141　179　141　38　激エロ動画補完所 10
1112901029　307　457　307　150　【蕾開花】アナルスレ17【春真っ盛り】
1113223560　170　210　170　40　【ｲﾝ】子供同士でえっちしちゃってる画像27【ﾋﾟｵ】
1105276894　744　754　744　10　いでじゅうのエロ画像激しくキボンヌ 3
1111297637　428　467　428　39　現在のあれ以外の何かの数→
1106990883　265　275　265　10　『詳細スレ』運営スレ Part4
1111992619　284　299　284　15　【警視庁】ドキドキまあちゃんゲーム【問題４】
1113644492　5　23　5　18　すじ Part21
1111850162　310　341　310　31　フェラチオ画像11
1113680782　　10　　10　サモンナイトの萌え画像スレPart16
2005/04/17(日) 18:32:28ID:hkDHif/H0
なにそのスレ達
218root▲ ★
垢版 |
NGNG
>>209-210
Roger.
2005/04/17(日) 19:50:01ID:X6uJFPtCO
人大杉で専ブラ導入。

今度は専ブラで規制。
2005/04/17(日) 19:58:46ID:c/844e6u0
新バーボンの立ち上げが1日遅かったら、今頃はリストが
BBON.liventv.***
で埋め尽くされていたのか・・・ｗ
2005/04/17(日) 20:46:11ID:J0sGZrQD0
スレ立てで、テンプレ貼りまくったのが原因かなぁ…
バーボンハウスに初めて来たよ…
次からは●をはずしてゆっくり貼ろう…ごめんなさい…
2005/04/17(日) 20:56:57ID:lwM/vvCG0
1000越え

13 BBON.music4.2385 　 221.246.103.242 (usen-221x246x103x242.ap-US01.usen.ad.jp) 84
28 BBON.travel2.2689 　 210.165.238.84 (pl340.nas926.o-tokyo.nttpc.ne.jp) 34
35 BBON.travel2.1174 　 210.135.73.232 (ppa05-0b32.din.or.jp) 14

<<217
某板のsubject.txtの順番
2005/04/17(日) 21:05:29ID:rgatSwTb0
c403.cgiにあるホストって、ときどきhttpdが立ち上がっているのがあって面白いよね。
2005/04/17(日) 21:05:36ID:AZ6yq8m+0
>>222
一瞬でどこの板か分かった俺は orz な気分で一杯ですが

ところで新バーボンの規制値は、専用ブラウザ使っていても手動では先ず不可能な値を使っているって認識でいいの？
225root▲ ★
垢版 |
NGNG
>>224
…だと思います。

明らかに「手動だけでひっかかった」という方は、
どうやったのかを添えて、こちらのスレまで。
226 ◆MiMIZUNCjA
垢版 |
2005/04/17(日) 21:40:31ID:Lx6sa0WX0
>>216
ありがとうございます。週末までに何とか作れるかも。。。
2005/04/17(日) 22:01:08ID:lwM/vvCG0
>>224
手動であっても巡回（の機能）は使用しない事
巡回（の機能）使うと自動でやってるのと同じになってしまう
2005/04/17(日) 22:06:12ID:AZ6yq8m+0
>>224>>227
ありがとうございます。巡回は自動だと思っているので大丈夫です。

ただ、専用ブラウザだと IE 等に比べてアクセス間隔が短縮されるので、もしや……と思ったわけです。
ヒマなときだと、かなりの量の板を手動巡回してますし……
2005/04/17(日) 22:26:51ID:hkDHif/H0
一度に30個くらいタブを開いて連打更新は昔やったことあるなぁ。
こうすることで普通に巡回するよりもスピーディにログを回収。
2005/04/17(日) 22:27:21ID:X6uJFPtCO
携帯電話の専ブラ(imona)は多数のユーザーが同一鯖を経由してログ取得を行うので、
その鯖が規制に引っ掛かり、結果的に専ブラが使えない状況に陥っている。
こういう鯖は除外しないの？
融通きかないかな。
2005/04/17(日) 22:32:22ID:hkDHif/H0
>>230
それはもうimonaの仕様を改めてもらうしかないよね。
気がつけば今のままのimonaは排除するって流れなわけだし。
それか、電車男スイッチその他の導入まで数ヶ月待つか。
NGNG
山羊鯖がimona配ればいいのか、
2005/04/17(日) 22:38:09ID:hkDHif/H0
>>232
結局今のままではそこに行きつきそうな可能性も捨てがたい。
配布元になれば端末から直接アクセスできるし。
2005/04/17(日) 22:41:08ID:VoijqS5k0
>>231
何のためにiMonaが中間鯖経由してるのかわかってねえな、あんたは
アプリの仕様でiアプリはアプリを落としたところだけ
auのEZアプリ（Java)は3箇所のみしかアクセスできないから
中間鯖経由してんだぞ
それを規制されたらiMonaの意味無いじゃんか
2005/04/17(日) 22:45:04ID:hkDHif/H0
>>234
だから>>232-233という可能性もあるかもしれない。
（ウルトラＣだろうけど。）

現状で携帯からのアクセスが過多になってるのは事実ですからねぇ。
そもそも携帯からのアクセスをバッサリ切られても不思議じゃないですよ。
2005/04/17(日) 22:47:56ID:hkDHif/H0
糸みみずさんって何やってる人？
237root▲ ★
垢版 |
NGNG
サーバの大幅増強は決まっているわけで、外向け(外の携帯メニューとか、良心的なクローラーさんとか)の
blackgoat(datを持っているサーバ)の増設もあると思ってるです。
つまり、時間が解決するんではないかと。
2005/04/17(日) 22:58:18ID:56b7U8U70
>>230-235
一部の中間鯖からのアクセスが集中しているだけでiMona全体が引っかかっている訳ではないです。
利用者同士で
上手に各公開鯖へ分散すれは新バーボンを回避する事も可能です。
どうなるか決まりきってない以上、利用者同士が呼びかけあってアクセスの分散を図るのが今出来る
一番の方法です。意見は出す方が良いに決まってます。が、ここで騒いでもアレでしょうから、

携帯用2chブラウザiMona質問スレPart6
http://hobby7.2ch.net/test/read.cgi/appli/1113058932/l50

こっちで意見を出し合いましょう。。。
2005/04/17(日) 23:01:41ID:X6uJFPtCO
iモード使うのとimona使うのではどちらが鯖に優しいの？運営の方々

あなたに従いますよ
iモード使えとおっしゃるのなら使いましょう

もしimonaを使う方が良いのなら
規制から除外して。
NGNG
imonaやクラシック、みみずんや肉チャンネルさんなどについては現状でバーボンされることと
この先どうなるかが見えないのが不安なとことやね(^_^;)
方向性だけでも提示したほうが、全体の流れがスムースになると思われ。
241FOX ★
垢版 |
2005/04/17(日) 23:07:29ID:???0
Black Goat 経由で　>>240
NGNG
それらは特別な配慮をする必要がある存在なのか、という話は、
2005/04/17(日) 23:09:57ID:hkDHif/H0
あっさり解決
244root▲ ★
垢版 |
NGNG
>>240
ですね。

数日以内に、まずはクラシックミラー・クラシックテストを使用して、
外向けblackgoatのテストをはじめる予定です。

で、その後は段階的に外にサービス開放、、、といきたいところですが、
中向けスイッチ(1G対応)が、いつくるかに依存しているですね。

で、blackgoat2台がその結果おなかいっぱいになってきたら、
横並びで増やしていくことになるのかなと。

blackgoatはI/Oが強烈に強くないといけないので、tiny tigerではちょっとつらい気がするので、
DoCoMo用のtiny tiger投入後に、今のc-docomo系に使っているcobraを1つ使うとか、
そういうことになるんじゃないかなと、勝手に考えています。
NGNG
ふむ・・・・(^_^;)
１　外部の携帯フロントエンドやログ収集サイトについては黒ヤギさんからログを取得していただく

さて(^_^;)
・準備ができるまではどうする？
・開放は一般開放？　それともIP指定開放？
246稀 ◆W.e.h.w.K.
垢版 |
NGNG
>>245
IP指定開放なんじゃないんですか？
NGNG
>246
ってことは、告知とか窓口とか・・・・まあ、なるようになるか(^_^;)
2005/04/17(日) 23:32:14ID:hkDHif/H0
黒山羊さんたら読まずに食べた
249root▲ ★
垢版 |
NGNG
>>245
たぶん最初はIPアドレス指定で、
ゆとりが出れば、一般開放(ただしリミットつき、ひどいと403)っていうかんじかと。
2005/04/17(日) 23:37:00ID:I4UrYT050
iMonaユーザってどれくらいいるんですかね。
（かく言う私も出先ではお世話になってるんですが）

全員がc.2ch.netに回ったらいきなりc.2ch.netの負荷倍増になったりして。
251FOX ★
垢版 |
NGNG
詳しくは知らないんですが

その中間サーバというやらが 10台あったとして
それぞれが２ちゃんねるのサーバを見に行くより
BlackGoat を見に行くほうが２ちゃんねるの各サーバは
大助かりなわけでして、
2005/04/17(日) 23:43:01ID:rrrdxgpw0
つか携帯用全部を黒山羊に集めて、アクセス増えたらカネかけて増設なんてするよりも、
各中間鯖に適正なウェイト入れてもらって負荷分散するほうが、２ちゃんにとっても(ﾟдﾟ)ｳﾏｰだと思えるのだが。
253root▲ ★
垢版 |
NGNG
>>252
各中間サーバに適正なウェイト入れてもらったうえで、アクセスを全部黒山羊に集めるのが
ｳﾏｰだと思うです。
254FOX ★
垢版 |
NGNG
>>252
bbs用サーバ一台当たりの容量は有限で常に逼迫していますのよん。
たとえば ex10 とか、
255稀 ◆W.e.h.w.K.
垢版 |
2005/04/17(日) 23:48:20ID:hkDHif/H0
黒山羊
↓
中間
↓
imona

こっちは？
2005/04/17(日) 23:50:26ID:rrrdxgpw0
>>253,254
そですか、、、
んじゃ、そうゆうことで(･`ω´･)ノ
257root▲ ★
垢版 |
NGNG
>>255
つまり、多段化ですね。そういうの、できるですか。
悪くないかもです。
258FOX ★
垢版 |
NGNG
iMoma について考えると

２ちゃんねるの各サーバ
↓
Black Goat x N台
↓
Black Goat 外向き
↓
中間さーば
↓
クライアント

って考えていたけど?
259root▲ ★
垢版 |
NGNG
>>258
なるほどです。
はじめから、多段化でいくと。< 外向け
260FOX ★
垢版 |
NGNG
Black Goat 外向き = White Goat かも知れず、
2005/04/17(日) 23:58:14ID:/gsNBAY30
>>255
BlackGoatが１分のwait、さらに中間鯖のwait、使いにくくなるな多分。
262root▲ ★
垢版 |
NGNG
>>260
そのほうがまぎらわしくないから、それでいきますか。 < 名前
263稀 ◆W.e.h.w.K.
垢版 |
NGNG
白山羊さんか
2005/04/18(月) 00:01:25ID:3H23Ez1u0
そうするとまずは外向き（多段）黒山羊さんの実験ですか。
あっ、それ以前に機材の調達待ちになるのかな？
265FOX ★
垢版 |
NGNG
White Goat は TinyTiger でok?
2005/04/18(月) 00:03:05ID:3H23Ez1u0
データ落ちが沢山発生する気がするｗ＞白山羊さんと黒山羊さん
267稀 ◆W.e.h.w.K.
垢版 |
NGNG
機材はもうあるのか
2005/04/18(月) 00:05:34ID:dedmGuCP0
し〜かた〜がないのでお〜てがみか〜いた
269root▲ ★
垢版 |
NGNG
>>265
ローカルキャッシュを持つとすると、
SCSIディスクのほうがいいかもなと。
参考: >>244
2005/04/18(月) 00:14:48ID:3qICJBMW0
>>249
>ゆとりが出れば、一般開放(ただしリミットつき、ひどいと403)っていうかんじかと。
今のやつと同じじゃん

white goatのIPアドレスは非公開
IPアドレスの指定は無し の方がいいと思われる


静的ＩＰ (ＩＰ指定)
新バーボンでの除外 whitegoat の利用も可能

動的ＩＰ
新バーボンは除外しない whitegoatの利用するときのIPアドレスを教える (squid側でIDとpassを設定)
271FOX ★
垢版 |
NGNG
はいー >>269

当面は TinyTiger をごぼこぼ投入して
あまった Cobra 等を適宜実戦配備(wite goat等)の方向で

五月いっぱいまでに TinyTiger を 6台 or more入れるということで、
272root▲ ★
垢版 |
NGNG
>>270
アクセス回数については、ひどい、の基準値を、大幅に上げる(あるいは、なし)です。
273FOX ★
垢版 |
NGNG
>>270
何を目的にって書いてくれないと
意味がわからんぞ、
274root▲ ★
垢版 |
NGNG
>>271
了解です。

スイッチは、一つ目のtiny tigerと時期をあわせて投入ってかんじですかね。
ひょっとすると、GWに私が自分で据付(w、とかだったりして。
275FOX ★
垢版 |
NGNG
>>274
日程的には微妙かも、、、
Jim が請求書書いて
ひろゆきが振り込んで
Jimが発注
届いたら私たちがごそごそ

なんですが
JIm月曜日から某国出稼ぎという噂
2005/04/18(月) 00:21:42ID:3qICJBMW0
>>273
whitegoat は DDNSを使用している人(iMonaの中間鯖等)への新バーボン回避
とした方がいいような気がする


無闇に一般公開してしまうと新バーボン回避だけの道具として利用されてしまう可能性が高い
277root▲ ★
垢版 |
NGNG
>>275
なるほど、そですか。

FreeBSD 5.4Rも、ちょうど微妙になってきたし。
まぁ、RCまできているので、ex10とかには現地で入れてくる予定ではあります。

あくまで目的は修行なんで(6搭乗12,000マイル)、現地での作業はシュミの範囲だったりするわけですけど。
278root▲ ★
垢版 |
NGNG
こんな絵をかいてくれた人がいました。

772 名前：さくら♀ ◆iMona7m46s [sage] 投稿日：2005/04/18(月) 00:24:29
今はこんな感じかしらん。
ttp://nov.s56.xrea.com/kurosiro.jpg
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況