X



トップページ運用情報
1001コメント264KB
bby -- スレッド情報一元管理システム構築スレ
■ このスレッドは過去ログ倉庫に格納されています
0004動け動けウゴウゴ2ちゃんねる04/01/03 01:11ID:YKwYEXq+
>>1 乙
とりあえず、妄想でも書いてみます

1.スレ立て時鯖or板ごとに情報を記録
2.一定時間毎に各鯖に置いてあるpostman.cgi(仮)を起動
3.管理サーバー上のpostoffice.cgi(仮)が起動されログ受付
4.各板or鯖ごと?一括?で保存 日付ごとに分類?
必要性があれば、項目ごとの区切りテキストを使って、cgi経由で観覧
別に、呼び出し方向はどちらでもいいとは思います
00052ch壷愛用者〜ヘ(゚д゚ヘ))))))〜61 ◆GIKOZNVVBs 04/01/03 01:20ID:8QfcMvxF
スレタイなども保存するのなら

thread.txt(仮)
スレkey<>板dir<>スレタイ<>建てた人<>時刻<>予備<>\n

で記録していって
gets.cgi(仮)で各鯖のthread.txt(仮)を(σ・∀・)σゲッツ!!

どうかな?
0006動け動けウゴウゴ2ちゃんねる04/01/03 02:06ID:J/Ymzk/H
あっちの>627
> スレタイ(や+系だと記者名)も別途収集できるといいのかな。
> 64バイト未満なら今のDNSのしくみで収集できるけど、スレタイはそうはいかんですからね。
>
> @400000003ff57db01dd3d764 d8dad9b3:ce6c:e590 + 0001 1073053093.male.human2.2ch.net.bby.2ch.net
> @400000003ff57dc11703039c 403eec22:3029:0d13 + 0001 1073053111.mnewsplus.news6.2ch.net.bby.2ch.net
> @400000003ff57dc4384aed44 41139b6a:74a6:f47d + 0001 1073053114.kitchen.tmp2.2ch.net.bby.2ch.net
> @400000003ff57dde154993cc d8da8232:9857:b2b8 + 0001 1073053142.ascii.okazu.bbspink.com.bby.2ch.net

ポイントは各板をクロールしなくても新スレ一覧リストを作れるって言うところだと思うわけで。
この情報を元にまずnewbornthreadstoday.txtみたいなのを
時間 http://human2.2ch.net/test/read.cgi/male/1073053093/
時間 http://news6.2ch.net/test/read.cgi/mnewsplus/1073053111/
時間 http://tmp2.2ch.net/test/read.cgi/kitchen/1073053114/
時間 http://okazu.bbspink.com/test/read.cgi/ascii/1073053142/
な感じで作って、スレタイや記者名も収集したければ、newbornthreads.txtを一定期間で読むクライアントの方で
http://news6.2ch.net/test/read.cgi/mnewsplus/1073053111/1をとってきて分析すればええんではないかと。
0007動け動けウゴウゴ2ちゃんねる04/01/03 02:25ID:mp17hXdO
スレ立て時にタイトルとか一緒に送って記録するのって難しい?
00087M. ◆dq7M./4Uw. 04/01/03 02:26ID:kpSW2uAy
それほど難しいことじゃないと思うけどなぁ。
負荷のほどはわからないけど、
0011 ◆BDFCNV1.to 04/01/03 04:30ID:zXlL/5wX
だらだら小出しになりますが、、、

ひとつの目的として
新スレがたったら通知するという機能を
多数の方が実装しているなぁと感じています。
なぜならば、 subject.txt を超高頻度でがんがん取得
しているのがログを見ているとわかります。
以前サーバ状況が逼迫している時は .htaccess で deny しました。

BBY が公式に稼動すれば他のサーバの負荷を上げることなく
かつ転送量も上げることなくその機能を実装している人も気兼ねなく
使えるようになるのではないかと考えています。
0012 ◆BDFCNV1.to 04/01/03 04:34ID:zXlL/5wX
スレ立て規制というのがありますが
板ごとの規制のため
実際には板またぎサーバまたぎでスレ乱立されています。

この辺も BBY を導入して
形の見える出力が得られれば何か対策方法があるのではないかと
思っています。

/24 /29 とかでやれば今のISPによっての不公平感を
ちょっとはなくせるとかなんて、
0013動け動けウゴウゴ2ちゃんねる04/01/03 04:44ID:Pz5cHh1w
ああ、なるほど、ヘッドラインてそういうことね。
よくある掲示板のヘッドラインみたいなのを考えて、全板の新スレが
つらつら並んでるのを想像しちゃってたよ。
板別の新スレがわかるならいいね。
0015動け動けウゴウゴ2ちゃんねる04/01/03 19:34ID:Pz5cHh1w
スレタイもDNSに渡すとなると、分割するしかないのかねえ。
DNS以外の方法で、スレタイをBBYに送る、BBYが取りに行く
とかの方がスマートかねえ。
0017ひろゆき@どうやら管理人 ★04/01/05 14:58ID:???
一元管理することで、どういうことが出来るようになるのだろう、、?
0018動け動けウゴウゴ2ちゃんねる04/01/05 15:02ID:yt9kbR0f
まだ管理するかどうかのレベルじゃなくて新しく立ったスレのリスト作りをやりましょう
というレベルの話。
今まで、どの板でどのぐらいスレが立っているか、という情報は保持していなかったけど
まずはそういうデータを集めてながめてニヤニヤしようという。。
0019ひろゆき@どうやら管理人 ★04/01/05 15:04ID:???
>どの板でどのぐらいスレが立っているか
subject.txtで出来るような、、、

リストを作ることで、新しくどういうことが出来るようになるのか
いまいちわからんのですね。
0020z3304/01/05 15:10ID:1Ikxwraj
>>19
えーと

bbs.cgiに何かの仕掛けをしかけて、
各板で新スレが立ったら、自動的に一つのところに通知したいのです。
その仕掛けとは、DNS問い合わせ。
で、通知された記録から、最近立ったスレッドのリストが作れます。

と言うわけです。(合ってますよね?)
0021 ◆BDFCNV1.to 04/01/05 15:17ID:fNmBQJ8N
>>19

できますねー
それを 5sec 置き、全板で
数百人がやっていると思われ
0024ひろゆき@どうやら管理人 ★04/01/05 18:07ID:???
>>20
実装する機能はわかるのですが、
その機能が出来ることで、
なにを実現したいのかよくわからないのですね。
0026某ソレ51104/01/05 18:12ID:T1d2uE99
たとえば、すべての板で立ったスレの名前を記録できるなら、
今日の夜中にあったような、全部の板に同じ名前のスレを立てるような
ことをできなくすることが出来るかもしれない。
0028ひろゆき@どうやら管理人 ★04/01/05 18:19ID:???
>新スレがたったら通知するという機能
各掲示板レベルではあるかもしれませんが、
全板レベルで知りたい人ってのが想像つかなかったり。

スレッドの乱立対策だったら、
内容の判定までしないといけないので、
リソースコストが高い気がするです。

何がどう便利になるのかわからないけど、
bbyのサーバが重くなることだけは確かな気がするです。
bbyのサーバが全てのスレッドを検知する仕様にしていると、
bbyサーバが重くなると2ch全体が重くなるわけで、
そういうサーバの仕事を増やすのであれば、
それなりのメリットがなければ、
デメリットのほうが大きくなってしまうと思うですね。
0029ひろゆき@どうやら管理人 ★04/01/05 18:20ID:???
んで、スレッドタイトルの乱立や、
新スレッドの検知に関しては、2ch検索で既に実現できてる機能なので、
車輪の再発明をしても仕方ないと思うのです。

0030root ★04/01/05 18:30ID:???
>>27 にあるような、乱立検知&ある程度の自動対応と、
各サーバや各板でどのくらいのペースでスレが立ってるかの把握、ってのが
落としどころかな。

そのぐらいなら、bby側は大して重くならんです(統計とるのは別マシンでやるし)。
そのへんがDNS技術のいいところかな。

把握のほうは、ぼちぼちやってみようかなとは思ってるんですが。
0031root ★04/01/05 18:30ID:???
ということで、これからしばらく新年会等によりオフライン。
0032某ソレ51104/01/05 18:30ID:T1d2uE99
ううん、、まあ、subject.txtがすごい勢いで読まれてるのは、
たぶん立ったスレの情報と言うよりも、スレにどれだけレスがついてるか
(「今日おもち食った奴の数→(136)」 の(136)の部分)のほうを取得する方が
目的としては多い気がしますしねぇ。
「新スレが立つ」だけの情報なら、情報として意味は少ないかな。
んで、同じスレタイの乱立は、どうせひとつの板にひとつしかスレが立たないので、
削除依頼かdat落ちを待てばいい話であって、いちいちスレ立ての時に
水際でくい止めるメリットがあまりない、と。。
でも、一日に立つスレの数って言っても、単なる書き込みよりも量が少ないのは確かなので、
そんな極端に負荷が増大することはないと思いますけどね。。。
0034未承諾広告※ ◆aiY4htt2.2 04/01/05 18:59ID:dX+C34No
スレッドタイトルの NG ワードを検知して規制が出来るとか。

金銭的なメリットは少ないかもしれないけれども、スレッドの建ち具合を全鯖に渡って把握できるので、
今後の鯖構築に役立つとは思うけれども。。。

♪subject.txt を監視する方が大変かと思いますです。思いますです。
00357M. ◆dq7M./4Uw. 04/01/05 21:09ID:9lWhWiRJ
>各サーバや各板でどのくらいのペースでスレが立ってるかの把握
まぁそれはすbじぇct。txtでちょいちょーいと出来ますねぇ。
0036z3304/01/05 22:41ID:1Ikxwraj
>>24
そういわれたら・・・
うーむ・・・

乱立検知にしても、どれほど効果あるのでしょうか・・・
そもそも、それをやるほどのメリットがあるかどうかもありますし。

となると、実験目的と言うことになってしまうのでは無いでしょうか?
これが、乱立等のデータ収集に有効か否かの実験とか。
0037ひろゆき@どうやら管理人 ★04/01/06 03:10ID:???
bbyのサーバが重くならないんだったら、
いいじゃないですかねぇ、、

と意見を鞍替え。
0038動け動けウゴウゴ2ちゃんねる04/01/06 03:13ID:rImctT51
「君子豹変す」ですなぁ・・・
0039ひろゆき@どうやら管理人 ★04/01/06 03:14ID:???
でへへ。
0044ひろゆき@どうやら管理人 ★04/01/07 10:06ID:???
>>43
そんな感じでいいんじゃないでしょうかー。
0045 ◆BDFCNV1.to 04/01/07 13:22ID:php7A5eb
>>43
ほぅほぅ、、

bbs.cgi に入れてみようかな、
0046z3304/01/07 22:03ID:v/dS1RFm
ちょっと説明書き換えてみました。
問題は長い文字は切っているので、長いものは送れないってところでしょうか。
その辺をちゃんとする場合はもっと工夫が必要ですね。

ところで、外部かのbby.2ch.netへの問い合わせはもちろん弾いてますよね?
0047root ★04/01/07 23:34ID:???
よくまとまってますね。>>43

1箇所。
>DNSで送れる文字
>アルファベット(A〜Z,a〜z),数値(0〜9),ハイフン(-)

じつは、そうではないのだ。都市伝説ではそういわれてるけどね。

DNSでは、8ビットデータはおろか、ピリオドそのものすらもラベルとして扱えます。
RFC 1035にも「ラベルは8ビット値を含んでよい」と明記されてるです。
たしかに、互換性のためにホスト名の文法を守るべき、ということにはなってますが、
DNSで取り扱える文字がアルファベット・数値・ハイフンだけというのは、正しくないです。

Although labels can contain any 8 bit values in octets that make up a
label, it is strongly recommended that labels follow the preferred
syntax described elsewhere in this memo, which is compatible with
existing host naming conventions.

もちろん、ホスト名にそんな文字を含んじゃだめ(これは別のRFCで定義)、ということで、
DNSに出す前に値をチェックしてエラーにしているプログラムが多くあることも、
また事実です。

例えば、壷もそうかな。
0048root ★04/01/07 23:43ID:???
つまり、どういうことかというと、
DNS側には8ビット文字列をそのまま保持できるので、
(少なくともBIND 9やdjbdnsでは問題なし)
利用する側からは、エンコーディングしないでそのままDNSに投げてもかまわない、
ということです。

もちろん、DNSに投げる*前の段階*で、
\がエスケープされちゃったりとかするかもしれないので、
そういう処理は必要かも。このへんはシステムのライブラリ依存かな。
0049z3304/01/08 22:15ID:YEwHwLnZ
>>47-48
なるほど・・
勉強になりますた。
0050z3304/01/13 08:26ID:EYMdDCj2
保守必要?
0051動け動けウゴウゴ2ちゃんねる04/01/16 17:44ID:/VmjJb7w
つまりIDNがアプリケーション側でエンコーディングする方式を
採用したのは互換性と情報の圧縮を考慮してのこと
draft段階では8ビット通せるんだからそのまま投げりゃいいだろ、
という案もあった
0054動け動けウゴウゴ2ちゃんねる04/01/17 15:43ID:wqmKw/lq
そのうち各スレにユニークなスレッドキーが与えられるようになって
サーバをまたがったスレ移動とかも問題なくできるようになったりするんだろうか?
0055z3304/01/18 00:25ID:tcrQN95V
>>54
いまは、移動先に同じキーのスレがあると、
1インクリメントされる仕様だったと思いますが?
ユニークとかはあまり関係ないのでは無いでしょうか?
0056FOX ★04/01/20 20:09ID:???
ひさびさにプログラム書いて見るかな。
(ボケ防止ではありませんよ)

bby.2ch.net にログインする情報希望 > root★さん
0059mono04/01/20 22:43ID:HCucyain
subject.cgiを毎回GETしに行くのにいい代替案ないでしょうか
select文だけ使えるDBが公開されたらいいな
0060root ★04/01/20 23:59ID:???
>>56
メール発射しました。
0062FOX ★04/01/21 17:47ID:???
極度のふつかよい中。。。

>>60
もらいましたー
0065FOX ★04/01/23 16:08ID:???
ログインできなかった。
再度問い合わせ中。。。
0066FOX ★04/01/23 16:35ID:???
はいれたー

どもでした > root ★さん

ページはここに作っていいのかな?
http://bbq.2ch.net/bby/
0067FOX ★04/01/23 17:15ID:???
ほにゃらら/bby2ch/log/main はFTPでログインしても
見えないんですか?
0068root ★04/01/23 20:43ID:???
>>67
セキュリティ上の理由です。($HOMEから下しか見えないようにしてある)
別途対応します。
0069FOX ★04/01/23 21:37ID:???
>current というのがが現在のログで

ということですが、一日分? or 複数日分?
0071root ★04/01/24 00:00ID:???
>>69
>>70 のとおりですね。
multilogが管理しているので、容量でローテーションされます。
0072root ★04/01/24 00:00ID:???
たぶん、bbxの処理みたいに、標準入力を食って、
パイプで動くプログラムを作るのがよいと思いますです。
0073FOX ★04/01/24 00:03ID:???
ほうほう
それは標準入力を食べるプログラム書いて、
root★さんにありかを伝えると
どんどん(bbyがコールされるたびに)そのプログラムが
呼び出されると思っていいんですか?
0074root ★04/01/24 00:12ID:???
はい、そうです。

で、標準入力から食べさせるときは、最初の @なんちゃら がないものとして作ってください。
つまり、

@40000000401139232260e934 d8dad9b3:a33c:f7e3 + 0001 1074870552.morningcoffee.ex2.2ch.net.bby.2ch.net
@40000000401139242e226acc d8dad9b3:a50e:3696 + 0001 1074870553.news.news4.2ch.net.bby.2ch.net
@400000004011392a0cab186c d8da8232:b00b:0b29 + 0001 1074870560.motenai.love.2ch.net.bby.2ch.net
@400000004011394535a39334 d8da8232:b00b:185a + 0001 1074870588.motenai.love.2ch.net.bby.2ch.net
@400000004011394913ee45a4 d8dad9b3:405d:e619 + 0001 1074870590.exam.school2.2ch.net.bby.2ch.net
@400000004011394e06a74134 d8dad9b3:87d0:2e0b + 0001 1074870594.offevent.off.2ch.net.bby.2ch.net

ではなくて、

d8dad9b3:a33c:f7e3 + 0001 1074870552.morningcoffee.ex2.2ch.net.bby.2ch.net
d8dad9b3:a50e:3696 + 0001 1074870553.news.news4.2ch.net.bby.2ch.net
d8da8232:b00b:0b29 + 0001 1074870560.motenai.love.2ch.net.bby.2ch.net
d8da8232:b00b:185a + 0001 1074870588.motenai.love.2ch.net.bby.2ch.net
d8dad9b3:405d:e619 + 0001 1074870590.exam.school2.2ch.net.bby.2ch.net
d8dad9b3:87d0:2e0b + 0001 1074870594.offevent.off.2ch.net.bby.2ch.net

という形になるということです。

開発・デバッグは、いったんcurrentファイルをcp・加工して、
それを標準入力からくべればOKでしょう。
0075FOX ★04/01/24 00:13ID:???
ほーい

んじゃ、作ったら連絡しまーす
0076FOX ★04/01/24 14:43ID:???
できたー

ありかをメールしまーす。 > root ★さん
0077root ★04/01/26 02:20ID:???
仕込みました。>>76
詳細は、メールしますです。
0080動け動けウゴウゴ2ちゃんねる04/01/30 18:36ID:nQ6TLJnL
なるほど、全板から最新10スレと、
news系サーバから最新10スレというわけですね?

ところで
>2004/01/30 最新10レス表示作った。erimo all と news 最新10個ネ
は最新10スレのことですよね、、、?
0081FOX ★04/01/30 18:38ID:???
そですー
0083root ★04/01/30 18:49ID:???
おおっ。

タイトルは、どうしましょ。
個人的には、TXTレコードとか使いたい気分。
0084FOX ★04/01/30 19:10ID:???
TXTレコード って何ですか?
0086root ★04/01/30 19:26ID:???
DNSの機能(というか、登録可能なレコード)のひとつです。

実例を見せたほうがよさそうなので、

$ nslookup -type=txt txttest.uma.2ch.net

と、どっかのサーバでやってみてください。
(上記はあえて、SJISで入れていたり)
0087FOX ★04/01/30 19:30ID:???

Server: localhost
Address: 127.0.0.1

Non-authoritative answer:
txttest.uma.2ch.net text = "TXT???R[?h?I?e?X?g"

って言われた。
0088root ★04/01/30 19:34ID:???
およ、そいつぁ、nslookup 側で8ビット通らない?あるいはそのマシンのライブラリの問題?
あるいは、画面側の問題かな。

www.2ch.netでも大丈夫だったんで、あらかた大丈夫だと思ったんだけど。

(umaサーバ)
%nslookup -type=txt txttest.uma.2ch.net
Server: localhost
Address: 127.0.0.1

Non-authoritative answer:
txttest.uma.2ch.net text = "TXTレコードのテスト"

(www.2ch.net (非oyster))
$ nslookup -type=txt txttest.uma.2ch.net
Server: monitor.he.net
Address: 216.218.130.50

Non-authoritative answer:
txttest.uma.2ch.net text = "TXTレコードのテスト"
0089動け動けウゴウゴ2ちゃんねる04/01/30 19:37ID:wYMhQT9R

壷から記念。。
0090動け動けウゴウゴ2ちゃんねる04/01/30 19:37ID:OKxhR/Eq
壺カキコ
0091動け動けウゴウゴ2ちゃんねる04/01/30 19:37ID:JMAyf9o8
壷?
0092FOX ★04/01/30 19:37ID:???
bbq.2ch.net でやりましたー
Putty さんが日本語理解不可能なのかしら。。。
00932chtubo愛用者〜ヘ(゚д゚ヘ))))))〜61 ◆2CHTUBOC5A 04/01/30 19:37ID:ayRj2GQn
tuboがtuboからとーじょー!
0096動け動けウゴウゴ2ちゃんねる04/01/30 19:38ID:UKSqHS/P
壷カキ★
0099動け動けウゴウゴ2ちゃんねる04/01/30 19:39ID:d66EVT8m
呼ばれたので記念。でもゾヌで書いてたりする。
0100動け動けウゴウゴ2ちゃんねる04/01/30 19:39ID:fyq5FULQ
壷に呼ばれました。
■ このスレッドは過去ログ倉庫に格納されています

ニューススポーツなんでも実況