クローラー＆過剰リロード対策スレ2【新バーボン】

**ｒｅｆｆｉ@報告人 ★** · 2005/04/16(土) 19:30:22

現状把握が困難なので前スレ参照してください。

前スレ
クローラー＆過剰リロード対策スレ
http://qb5.2ch.net/test/read.cgi/operate/1113508190/

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 07:20:43

>>168
毒かな？もしかしたら喪かも。当時、喪があったかわからんけど
ぷらすやら電車やらでひ（ryの人にも結構金が入ってるんだな

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 07:22:15

おれのPCにネタがたくさんあり本を出せるが編集できない
　半角板　・・・裏多数で無理
　ハングル板；；；面白いが売れまい
　運営板；；；専門すぎ　散漫でうれない
　ブログ板；；；ひろゆき、ほりえもん本出し済
　

**FlashLight** ◆f.lightAf6 · 2005/04/17(日) 07:32:53

電波男と痴漢男の出版停止してくれよ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 08:43:51

なんでひろゆきに金が入ってんだ？てかあんまり出してると２番煎じ状態で売れなくなると思うが

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 08:47:58

電車男がネタだという人は騙されやすい。
http://qa.2ch.net/test/read.cgi/argue/1105042129/l50

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 09:12:16

ばーぼんったかもorz
調子に乗りすぎた…

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 09:47:48

>>169
せっかく還元してくれてんのに

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 10:38:36

いまは電車男でも痴漢男でもねぇ、
　お　ぱ　ん　ち　ゅ　先　生　が熱いぜ！

**root▲ ★** · NG

>>162 了解です。

電車男に支えられる携帯サーバ環境ってことで。

**root▲ ★** · NG

全サーバ、自動チェック有効にしてみるか。
(live系とex10を除く)

**root▲ ★** · NG

これで全部かしら。< ライブな掲示板サーバ

2chplus
aa5
academy3
book3
bubble3
comic5 comic6
etc3 etc4
ex9 (ex10)
food6
game9 game10
hobby5 hobby7
human5
life7
(live14) (live15) (live16) (live18) (live19) (live20)
love3
money3
music4
news18 news19
off3
pc7 pc8
qa
qb5 qb6
school4
science3
society3
sports7
that3
tmp4
travel2
tv6 tv7

**root▲ ★** · NG

dso があるですね(追加済み)。

**root▲ ★** · NG

で、リストが大きくなりすぎていまいちな場合は、これを入れるっていう戦略かなと。

【Project peko】2ch特化型サーバ・ロケーション構築作戦 Part17
http://qb5.2ch.net/test/read.cgi/operate/1107376477/834

**▲ 某ソレ511** · 2005/04/17(日) 12:42:34

>>180-181
PIE上の分は、おそらくそれで全てだと思いますー。。

**root▲ ★** · NG

前スレからの事項(チラシの裏メモ)

・gala.jp のIPアドレスはバーボン除外リストに入れるべきか? ＞ひ（りゃに要確認
・ex9 にはバーボンシステムから .htaccess が配られていないかも＞おじさんに要確認
・Range: bytes=0- で全datをリターンコード206で取れるので、206はあまり軽くできない
・みみずんさんは今(400にしてから)もひっかかるのだろうか
・blackgoatの公開実験を、まずはcの中の人たちとすすめる
・上記がうまくいくようなら、外のひとたち(もし協力いただけるならiMona中間サーバの人とか)とも徐々に
・CustomLog |/path/to/watch combined のようにパイプでログ情報を渡すといいかも

P061198253137.ppp.prin.ne.jp · 2005/04/17(日) 13:12:18

ちょっとテスト

**動け動けウゴウゴ２ちゃんねる** · NG

規制くらうとインターネット接続すらできなくなるのは仕様？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 14:15:36

それはバーボンじゃなくて普通の規制でプロバイダに解約されたんじゃないのか

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 14:47:50

うはｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 14:53:34

ふと思ったのだが、このシステムは
企業やプロ市民団体とかの組織的だった工作活動が自動迎撃される予感。

新聞とかＴＶとかでどっかの会社やプロ市民団体のDQN行為が記事になる。
　　　↓
２ちゃんで祭りになってスレが建ちまくる。
　　　↓
その団体がバイトを使って世論誘導の組織的工作を開始。
スレがその団体を擁護するレスで埋まりだす。
　　　↓
当該スレをバイト達がリロードしまくり。
　　　↓
バ　ー　ボ　ン　発　動　！
　　　↓
工作員達、アク禁になったのでｼｮﾎﾞｰﾝ。
　　　↓
http://qb6.2ch.net/_403/c403.cgi にアク禁のログが
残っているのが発見されてさらに祭りになる。

なんて素晴らしいシステムなんだ（ｗ

**root▲ ★** · NG

>>184
> ・gala.jp のIPアドレスはバーボン除外リストに入れるべきか? ＞ひ（りゃに要確認

40BBON.music4.446　 210.131.159.225 (ss2ch.em.gala.jp) 13

やはり、除外リストに入れたほうがよさげね。
ピンポイントで除外リストに入れておきます。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 15:19:33

１０分ぐらいで解除されたんだが、手動？

**root▲ ★** · NG

>>191
なーんも、してない。(観察はたまにしてるけど)

**あ ψ▼** · 2005/04/17(日) 16:16:39

これはclassicや他の携帯ブラウザにも適用されるんだよね＞ﾊﾞﾎﾞｰﾝ

**未承諾広告※** ◆TWARamEjuA · 2005/04/17(日) 16:38:56

バーボン入り記念真紀子（泪）＠おそらく2ch鯖監視係。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 16:44:18

>>194
ああだから、missedになってるんですね・・・
いろんなところに弊害が出てますな。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 16:47:04

自分もなんですけど4時ちょうどに大量にリストされてるのが気になる

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 16:52:56

どうも狼住人です
即死回避で連投してたら規制されましたorz
こんなの初めてだorz

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 17:02:29

連投できないex10に価値はありますか

**某47** ◆ap/yuix/tw · NG

>>197
ex10サーバーはまだ対象外
その規制はこのスレではない

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 17:08:53

>>199
えっ？
↓に自分のIPあったのですが・・・

■自分が規制されたか知りたい
ここに自分のIPがあったら規制されてます
http://qb6.2ch.net/_403/c403.cgi

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 17:14:30

そういやBBONとは書いてませんからねー
モロ厨丸出しですな
では失礼しました

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 17:29:13

>>197
この辺？

73 news4vip 　 61.86.159.78 (dsl020-078.kcn.ne.jp) 37
74 news4vip 　 222.151.13.72 (i222-151-13-72.s02.a014.ap.plala.or.jp) 37

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 17:30:38

>>202
狼

◆MiMIZUNCjA · 2005/04/17(日) 17:46:41

>>184
＞みみずんさんは今(400にしてから)もひっかかるのだろうか

引っ掛かっています・・・。ごめんなさい。
取得済みのファイルは*.datをHEADでチェックしたあとにファイルサイズが異なればGETしているのでそれで負荷が倍になっているのかもしれません。
HEADに1秒のウェイトを入れてみたけど変わるわけも無くバーボン入りです。
昨日は3745なんて数字出したので相当に負荷をかけています。すいません

あ、そうそう昨日はバーボンでも*.datの取得はできましたがもうできませんね。。。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 17:48:40

218.227.33.80 (eAc1Ads080.tky.mesh.ad.jp)
60.34.38.175 (i60-34-38-175.s02.a006.ap.plala.or.jp)　←たぶんこっち

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 17:55:24

IF-MODIFIED:だっけ？

**未承諾広告※** ◆TWARamEjuA · 2005/04/17(日) 18:01:00

一切巡回が出来ないのが辛いかもかも（哀）

でも生串みっけたのでえへへ♪

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 18:06:00

12時頃iMONA復活したと思ったらまた使えなくなってるのは仕様ですか

**ひろゆき＠どうやら管理人 ★** · NG

galaはスルーしてくださいー。

**ひろゆき＠どうやら管理人 ★** · NG

210.131.159.128/25,210.249.156.128/26
だそうですー。

讃岐 ◆IamaVIPdCI · NG

ひろゆきﾜﾛｽｗｗｗ
遅刻するなよｗｗｗ

讃岐 ◆IamaVIPdCI · 2005/04/17(日) 18:15:16

誤爆すまん

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 18:15:24

>>209-210
CNNにVIPPERが投票して逆転しましたよ

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 18:16:22

VIPPER
空気嫁。

**あ ψ▼** · 2005/04/17(日) 18:17:48

これはUAは関係無くIPを規制されるのか？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 18:28:02

>>204
If-Modified-Since か Range を使えばいいよ (HEAD やる必要なし)

一番効率的な方法はレス数を管理すること
subject.txt からレス数とdatファイル名・スレタイを取得

前回取得したレス数との差分で大きかったらdat取得 (マイナスになったら「(レス or スレ自体の)あぼ～ん」 or 「スレスト」)

こっちは
スレ立て日時(=ファイル名)　取得済み　現在　前回取得　差分　スレタイで管理
1113323045　141　179　141　38　激エロ動画補完所 10
1112901029　307　457　307　150　【蕾開花】アナルスレ17【春真っ盛り】
1113223560　170　210　170　40　【ｲﾝ】子供同士でえっちしちゃってる画像27【ﾋﾟｵ】
1105276894　744　754　744　10　いでじゅうのエロ画像激しくキボンヌ 3
1111297637　428　467　428　39　現在のあれ以外の何かの数→
1106990883　265　275　265　10　『詳細スレ』運営スレ Part4
1111992619　284　299　284　15　【警視庁】ドキドキまあちゃんゲーム【問題４】
1113644492　5　23　5　18　すじ Part21
1111850162　310　341　310　31　フェラチオ画像11
1113680782　　10　　10　サモンナイトの萌え画像スレPart16

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 18:32:28

なにそのスレ達

**root▲ ★** · NG

>>209-210
Roger.

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 19:50:01

人大杉で専ブラ導入。

今度は専ブラで規制。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 19:58:46

新バーボンの立ち上げが1日遅かったら、今頃はリストが
BBON.liventv.***
で埋め尽くされていたのか・・・ｗ

2005/04/17(日) 20:46:11

スレ立てで、テンプレ貼りまくったのが原因かなぁ…
バーボンハウスに初めて来たよ…
次からは●をはずしてゆっくり貼ろう…ごめんなさい…

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 20:56:57

1000越え

13 BBON.music4.2385 　 221.246.103.242 (usen-221x246x103x242.ap-US01.usen.ad.jp) 84
28 BBON.travel2.2689 　 210.165.238.84 (pl340.nas926.o-tokyo.nttpc.ne.jp) 34
35 BBON.travel2.1174 　 210.135.73.232 (ppa05-0b32.din.or.jp) 14

<<217
某板のsubject.txtの順番

◆WMaLhm.gkw · 2005/04/17(日) 21:05:29

c403.cgiにあるホストって、ときどきhttpdが立ち上がっているのがあって面白いよね。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 21:05:36

>>222
一瞬でどこの板か分かった俺は orz な気分で一杯ですが

ところで新バーボンの規制値は、専用ブラウザ使っていても手動では先ず不可能な値を使っているって認識でいいの？

**root▲ ★** · NG

>>224
…だと思います。

明らかに「手動だけでひっかかった」という方は、
どうやったのかを添えて、こちらのスレまで。

◆MiMIZUNCjA · 2005/04/17(日) 21:40:31

>>216
ありがとうございます。週末までに何とか作れるかも。。。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 22:01:08

>>224
手動であっても巡回（の機能）は使用しない事
巡回（の機能）使うと自動でやってるのと同じになってしまう

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 22:06:12

>>224 >>227
ありがとうございます。巡回は自動だと思っているので大丈夫です。

ただ、専用ブラウザだと IE 等に比べてアクセス間隔が短縮されるので、もしや……と思ったわけです。
ヒマなときだと、かなりの量の板を手動巡回してますし……

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 22:26:51

一度に30個くらいタブを開いて連打更新は昔やったことあるなぁ。
こうすることで普通に巡回するよりもスピーディにログを回収。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 22:27:21

携帯電話の専ブラ(imona)は多数のユーザーが同一鯖を経由してログ取得を行うので、
その鯖が規制に引っ掛かり、結果的に専ブラが使えない状況に陥っている。
こういう鯖は除外しないの？
融通きかないかな。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 22:32:22

>>230
それはもうimonaの仕様を改めてもらうしかないよね。
気がつけば今のままのimonaは排除するって流れなわけだし。
それか、電車男スイッチその他の導入まで数ヶ月待つか。

**動け動けウゴウゴ２ちゃんねる** · NG

山羊鯖がimona配ればいいのか、

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 22:38:09

>>232
結局今のままではそこに行きつきそうな可能性も捨てがたい。
配布元になれば端末から直接アクセスできるし。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 22:41:08

>>231
何のためにiMonaが中間鯖経由してるのかわかってねえな、あんたは
アプリの仕様でiアプリはアプリを落としたところだけ
auのEZアプリ（Java)は3箇所のみしかアクセスできないから
中間鯖経由してんだぞ
それを規制されたらiMonaの意味無いじゃんか

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 22:45:04

>>234
だから>>232-233という可能性もあるかもしれない。
（ウルトラＣだろうけど。）

現状で携帯からのアクセスが過多になってるのは事実ですからねぇ。
そもそも携帯からのアクセスをバッサリ切られても不思議じゃないですよ。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 22:47:56

糸みみずさんって何やってる人？

**root▲ ★** · NG

サーバの大幅増強は決まっているわけで、外向け(外の携帯メニューとか、良心的なクローラーさんとか)の
blackgoat(datを持っているサーバ)の増設もあると思ってるです。
つまり、時間が解決するんではないかと。

**さくら♀** ◆iMona7m46s · 2005/04/17(日) 22:58:18

>>230-235
一部の中間鯖からのアクセスが集中しているだけでiMona全体が引っかかっている訳ではないです。
利用者同士で
上手に各公開鯖へ分散すれは新バーボンを回避する事も可能です。
どうなるか決まりきってない以上、利用者同士が呼びかけあってアクセスの分散を図るのが今出来る
一番の方法です。意見は出す方が良いに決まってます。が、ここで騒いでもアレでしょうから、

携帯用2chブラウザiMona質問スレPart6
http://hobby7.2ch.net/test/read.cgi/appli/1113058932/l50

こっちで意見を出し合いましょう。。。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 23:01:41

iモード使うのとimona使うのではどちらが鯖に優しいの？運営の方々

あなたに従いますよ
iモード使えとおっしゃるのなら使いましょう

もしimonaを使う方が良いのなら
規制から除外して。

**マァヴ** ◆jxAYUMI09s · NG

imonaやクラシック、みみずんや肉チャンネルさんなどについては現状でバーボンされることと
この先どうなるかが見えないのが不安なとことやね(^_^;)
方向性だけでも提示したほうが、全体の流れがスムースになると思われ。

**FOX ★** · 2005/04/17(日) 23:07:29

Black Goat 経由で　>>240

**動け動けウゴウゴ２ちゃんねる** · NG

それらは特別な配慮をする必要がある存在なのか、という話は、

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 23:09:57

あっさり解決

**root▲ ★** · NG

>>240
ですね。

数日以内に、まずはクラシックミラー・クラシックテストを使用して、
外向けblackgoatのテストをはじめる予定です。

で、その後は段階的に外にサービス開放、、、といきたいところですが、
中向けスイッチ(1G対応)が、いつくるかに依存しているですね。

で、blackgoat2台がその結果おなかいっぱいになってきたら、
横並びで増やしていくことになるのかなと。

blackgoatはI/Oが強烈に強くないといけないので、tiny tigerではちょっとつらい気がするので、
DoCoMo用のtiny tiger投入後に、今のc-docomo系に使っているcobraを1つ使うとか、
そういうことになるんじゃないかなと、勝手に考えています。

**マァヴ** ◆jxAYUMI09s · NG

ふむ・・・・(^_^;)
１　外部の携帯フロントエンドやログ収集サイトについては黒ヤギさんからログを取得していただく

さて(^_^;)
・準備ができるまではどうする？
・開放は一般開放？　それともIP指定開放？

稀 ◆W.e.h.w.K. · NG

>>245
IP指定開放なんじゃないんですか？

**マァヴ** ◆jxAYUMI09s · NG

>246
ってことは、告知とか窓口とか・・・・まあ、なるようになるか(^_^;)

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 23:32:14

黒山羊さんたら読まずに食べた

**root▲ ★** · NG

>>245
たぶん最初はIPアドレス指定で、
ゆとりが出れば、一般開放(ただしリミットつき、ひどいと403)っていうかんじかと。

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 23:37:00

iMonaユーザってどれくらいいるんですかね。
（かく言う私も出先ではお世話になってるんですが）

全員がc.2ch.netに回ったらいきなりc.2ch.netの負荷倍増になったりして。

**FOX ★** · NG

詳しくは知らないんですが

その中間サーバというやらが 10台あったとして
それぞれが２ちゃんねるのサーバを見に行くより
BlackGoat を見に行くほうが２ちゃんねるの各サーバは
大助かりなわけでして、

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 23:43:01

つか携帯用全部を黒山羊に集めて、アクセス増えたらカネかけて増設なんてするよりも、
各中間鯖に適正なウェイト入れてもらって負荷分散するほうが、２ちゃんにとっても(ﾟдﾟ)ｳﾏｰだと思えるのだが。

**root▲ ★** · NG

>>252
各中間サーバに適正なウェイト入れてもらったうえで、アクセスを全部黒山羊に集めるのが
ｳﾏｰだと思うです。

**FOX ★** · NG

>>252
bbs用サーバ一台当たりの容量は有限で常に逼迫していますのよん。
たとえば ex10 とか、

稀 ◆W.e.h.w.K. · 2005/04/17(日) 23:48:20

黒山羊
↓
中間
↓
imona

こっちは？

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 23:50:26

>>253,254
そですか、、、
んじゃ、そうゆうことで(･`ω´･)ノ

**root▲ ★** · NG

>>255
つまり、多段化ですね。そういうの、できるですか。
悪くないかもです。

**FOX ★** · NG

iMoma について考えると

２ちゃんねるの各サーバ
↓
Black Goat x N台
↓
Black Goat 外向き
↓
中間さーば
↓
クライアント

って考えていたけど?

**root▲ ★** · NG

>>258
なるほどです。
はじめから、多段化でいくと。< 外向け

**FOX ★** · NG

Black Goat 外向き = White Goat かも知れず、

**動け動けウゴウゴ２ちゃんねる** · 2005/04/17(日) 23:58:14

>>255
BlackGoatが１分のwait、さらに中間鯖のwait、使いにくくなるな多分。

**root▲ ★** · NG

>>260
そのほうがまぎらわしくないから、それでいきますか。 < 名前

稀 ◆W.e.h.w.K. · NG

白山羊さんか

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 00:01:25

そうするとまずは外向き（多段）黒山羊さんの実験ですか。
あっ、それ以前に機材の調達待ちになるのかな？

**FOX ★** · NG

White Goat は TinyTiger でok?

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 00:03:05

データ落ちが沢山発生する気がするｗ＞白山羊さんと黒山羊さん

稀 ◆W.e.h.w.K. · NG

機材はもうあるのか

**動け動けウゴウゴ２ちゃんねる** · 2005/04/18(月) 00:05:34

し～かた～がないのでお～てがみか～いた

**root▲ ★** · NG

>>265
ローカルキャッシュを持つとすると、
SCSIディスクのほうがいいかもなと。
参考: >>244