read.cgiの片隅に表示されている関連キーワードを
きちんとメンテナンスしてみようなスレッド。
探検
関連キーワードをなんとかしようスレ
■ このスレッドは過去ログ倉庫に格納されています
478動け動けウゴウゴ2ちゃんねる
2007/03/15(木) 20:08:32ID:/5nJizMU0 findたまに重いとか話出るけど冗長化しなくて大丈夫なの
ふらだんすに振るとか
ふらだんすに振るとか
HDDの速度がはやいハードウェアをどこかから調達するといい感じなんですかね。
T-Bananaサーバーの実験を手伝うって名目でなんとかしてもらうとか、、
T-Bananaサーバーの実験を手伝うって名目でなんとかしてもらうとか、、
2007/03/15(木) 23:01:17ID:MBGNf4P70
名目て
大義名分ってやつですよ。えぇえぇ。
自己板の規制解除しなさい
>>479 pc11 = T-banana なので >>431 ということで......
# そろそろ http://qb5.2ch.net/test/read.cgi/operate/1172208065/797 を
# やってもいい頃じゃないか,って気もしないではないですが......
>>480 さっそく http://qb5.2ch.net/test/read.cgi/operate/1172208065/913 がw
ただ,過去ログ用の HDD でほしいのは速度より容量なんですよね.
# むむむさんの >>477 の真意は,「HDD にダメージを与えず長持ちさせたい」ってことじゃないかと.
T-banana のようにディスク I/O の性能が高く,かつ RAM もたくさん積んであるマシンなら,
むしろ MySQL でデカいデータをがんがん扱う用途の方が向いてそうな気がしますね,個人的には.
# そろそろ http://qb5.2ch.net/test/read.cgi/operate/1172208065/797 を
# やってもいい頃じゃないか,って気もしないではないですが......
>>480 さっそく http://qb5.2ch.net/test/read.cgi/operate/1172208065/913 がw
ただ,過去ログ用の HDD でほしいのは速度より容量なんですよね.
# むむむさんの >>477 の真意は,「HDD にダメージを与えず長持ちさせたい」ってことじゃないかと.
T-banana のようにディスク I/O の性能が高く,かつ RAM もたくさん積んであるマシンなら,
むしろ MySQL でデカいデータをがんがん扱う用途の方が向いてそうな気がしますね,個人的には.
必要なHDD容量の算定からはじめてみますか。
「各スレ単位で必要な容量 x 過去ログ発生速度」で,どれだけの期間持つか,てな感じですか.
データを .js のように直接表示できる形で保存するとサイズは大きくなるが CPU の仕事は少ない,
一方 CSV のような形で保存するとサイズは小さくなるが表示する際の CPU の仕事が増える,と.
まぁ CPU の仕事が増えるといっても,現状 p2.2ch.io 1台で全ライブスレの
getf.cgi 表示させてるぐらいなので,stiger を専用で割り当てるなら問題ないと思いますが.
ただ,各スレ単位でファイル作ると,HDD 消費はバイト単位でなくフラグメントサイズ単位になるんですよね.
HDD スペースの利用効率を向上させるには,1ファイルに複数のスレのデータを書き込んだ方がいいのか.
その代わり,必要なデータを検索する仕事が増えると.1ファイルに書き込みつつ
検索も効率的にするには......結局 MySQL を使うとかなるのかな.
データを .js のように直接表示できる形で保存するとサイズは大きくなるが CPU の仕事は少ない,
一方 CSV のような形で保存するとサイズは小さくなるが表示する際の CPU の仕事が増える,と.
まぁ CPU の仕事が増えるといっても,現状 p2.2ch.io 1台で全ライブスレの
getf.cgi 表示させてるぐらいなので,stiger を専用で割り当てるなら問題ないと思いますが.
ただ,各スレ単位でファイル作ると,HDD 消費はバイト単位でなくフラグメントサイズ単位になるんですよね.
HDD スペースの利用効率を向上させるには,1ファイルに複数のスレのデータを書き込んだ方がいいのか.
その代わり,必要なデータを検索する仕事が増えると.1ファイルに書き込みつつ
検索も効率的にするには......結局 MySQL を使うとかなるのかな.
freebsdのフラグメントサイズってどれくらいなんですか?
ひーさん2証なんとか汁><。
>>489
デフォルトでは16k(16384)ですね。
man newfs
...
-b block-size
The block size of the file system, in bytes. It must be a power
of 2. The default size is 16384 bytes, and the smallest allow-
able size is 4096 bytes. The optimal block:fragment ratio is
8:1. Other ratios are possible, but are not recommended, and may
produce poor results.
4k まで小さくできますが、あんまりおすすめしないかも。
デフォルトでは16k(16384)ですね。
man newfs
...
-b block-size
The block size of the file system, in bytes. It must be a power
of 2. The default size is 16384 bytes, and the smallest allow-
able size is 4096 bytes. The optimal block:fragment ratio is
8:1. Other ratios are possible, but are not recommended, and may
produce poor results.
4k まで小さくできますが、あんまりおすすめしないかも。
専門な話題なので横槍!
フラグメントサイズはブロックサイズを8分の1したものがデフォルトで使われるので 2k(2048)バイト ではないかと。
newfs -b 16384 -f 2048 のように指定されているはずか、オプションなしのどちらかですね。
man newfs
-f frag-size
ファイルシステムのフラグメントサイズをバイト単位で指定します。
blocksize/8 から blocksize までの範囲の、2 のべき乗である必要があります。
デフォルトは 2048 バイトです。
フラグメントサイズはブロックサイズを8分の1したものがデフォルトで使われるので 2k(2048)バイト ではないかと。
newfs -b 16384 -f 2048 のように指定されているはずか、オプションなしのどちらかですね。
man newfs
-f frag-size
ファイルシステムのフラグメントサイズをバイト単位で指定します。
blocksize/8 から blocksize までの範囲の、2 のべき乗である必要があります。
デフォルトは 2048 バイトです。
過去ログのファイル数ってどれくらいなんすかね。。
各板のライブスレ数は大きく変動しないという前提なら,
過去ログ発生速度≒新スレが立つ速度
なのかなぁ......
過去ログ発生速度≒新スレが立つ速度
なのかなぁ......
2007/03/17(土) 22:31:56ID:QoCeQg460
これどういうシステムなの?
どうやったら反映されるの?
どうやったら反映されるの?
2007/03/19(月) 11:31:06ID:DEGsDWtn0
スレ内の全レスから単語抽出、DB化して、一定の条件で最頻と思われる
単語を表示させる。
単語を表示させる。
2007/04/01(日) 17:25:54ID:azmkmmMB0
>133
多分92のキーワードというのがスレの関連した語句になるので、それの検索は考えています。
自動的に"「74」「SevenFour」"など関連した語句の摘出は、ネタとしては面白いのですが、
難易度が高いというか、スレ名によっては多分バカ検索になるので、やるとしても実験的な機能としての
実装になります。多分正解は134さんが書かれているスレッド検索に正規表現をサポートでしょう。
>135
いろいろ作っていますが、どれも中途半端でして、、、
>136-139
先にも書きましたが、弱いとか、上手くいかないのではなく、元々対応していないというのが正解のようです。
今回版で一応修正しましたので、御報告いただければ助かります。
>141
>●対応って、面倒なの?
有償アカウントが必要なんですよね? いまのところ対応予定無しです。
>それと、まちBBSとかが見れないんだけど
過去ログを見ると2chに完全対応したら対応させる等書かれていましたので、メニューのトップには
表示されていますが、対応していません。対応させたいのですが、他が優先順位が高いので調査等保留状態です。
>142
すみません。ちょっと意味が判りません。
>143
まだ考え中ですが、本体側ではスレへアクセスの時に毎回キーワード取得してデータベースに溜めていきます。
あとキーワードを入力するIFを用意してユーザーからも入力が可能とします。
js側のAPIはデータベースへアクセスするsfSystem.getKeywordsとsfSystem.setKeywordを用意します。
溜められたデーターは検索やスマートボードに使ったり出来ます。
データベース内の削除は必要かなぁ。と 時間がなかなか取れないので、そんな感じで止っています。
多分92のキーワードというのがスレの関連した語句になるので、それの検索は考えています。
自動的に"「74」「SevenFour」"など関連した語句の摘出は、ネタとしては面白いのですが、
難易度が高いというか、スレ名によっては多分バカ検索になるので、やるとしても実験的な機能としての
実装になります。多分正解は134さんが書かれているスレッド検索に正規表現をサポートでしょう。
>135
いろいろ作っていますが、どれも中途半端でして、、、
>136-139
先にも書きましたが、弱いとか、上手くいかないのではなく、元々対応していないというのが正解のようです。
今回版で一応修正しましたので、御報告いただければ助かります。
>141
>●対応って、面倒なの?
有償アカウントが必要なんですよね? いまのところ対応予定無しです。
>それと、まちBBSとかが見れないんだけど
過去ログを見ると2chに完全対応したら対応させる等書かれていましたので、メニューのトップには
表示されていますが、対応していません。対応させたいのですが、他が優先順位が高いので調査等保留状態です。
>142
すみません。ちょっと意味が判りません。
>143
まだ考え中ですが、本体側ではスレへアクセスの時に毎回キーワード取得してデータベースに溜めていきます。
あとキーワードを入力するIFを用意してユーザーからも入力が可能とします。
js側のAPIはデータベースへアクセスするsfSystem.getKeywordsとsfSystem.setKeywordを用意します。
溜められたデーターは検索やスマートボードに使ったり出来ます。
データベース内の削除は必要かなぁ。と 時間がなかなか取れないので、そんな感じで止っています。
499498
2007/04/01(日) 17:29:44ID:azmkmmMB0 あう、誤爆すまん。
500動け動けウゴウゴ2ちゃんねる
2007/04/01(日) 21:24:12ID:E7umBdRz0501動け動けウゴウゴ2ちゃんねる
2007/04/06(金) 19:29:06ID:vyYNJZL70 同じキーで何回も検索するとヒット数がまちまちになるぞ
ヒットしたりしなかったりするスレがある模様
ヒットしたりしなかったりするスレがある模様
503動け動けウゴウゴ2ちゃんねる
2007/04/25(水) 18:23:22ID:0Clz8p7L0 >>497
スレ内に一度も出てない単語はキーワードとして表示されないの?
スレ内に一度も出てない単語はキーワードとして表示されないの?
>>503 そういうことになってます.
505動け動けウゴウゴ2ちゃんねる
2007/04/27(金) 18:31:25ID:3Jd+uTfZ0 これもひでえなあ
ろう じろう しま があってしまじろうがないw
http://p2.2ch.io/getf.cgi?http://game11.2ch.net/test/read.cgi/amusement/1163256789/l50
ろう じろう しま があってしまじろうがないw
http://p2.2ch.io/getf.cgi?http://game11.2ch.net/test/read.cgi/amusement/1163256789/l50
506動け動けウゴウゴ2ちゃんねる
2007/04/28(土) 23:33:49ID:atmqjoj00 ひらがなとカタカナの2字ははじこうぜ
507動け動けウゴウゴ2ちゃんねる
2007/04/30(月) 01:25:58ID:2vpscozg0 アイコンスレでアイコって酷くね
http://p2.2ch.io/getf.cgi?http://bubble6.2ch.net/test/read.cgi/2chse/1163082315/701-800
無論無関係なスレばかりヒット&元のスレもヒットせず
リザルトがないのとかあってもまるで関連性のないやつは除外できないんかね
http://p2.2ch.io/getf.cgi?http://bubble6.2ch.net/test/read.cgi/2chse/1163082315/701-800
無論無関係なスレばかりヒット&元のスレもヒットせず
リザルトがないのとかあってもまるで関連性のないやつは除外できないんかね
前後の状況によって「アイコン」の区切りはまちまちになるみたいですねぇ<MeCab
【Be】アイコン売買促進スレ★7【icon】
【 記号,括弧開,*,*,*,*,【,【,【
Be 名詞,固有名詞,組織,*,*,*,*
】 記号,括弧閉,*,*,*,*,】,】,】
アイコン 名詞,固有名詞,一般,*,*,*,*
売買 名詞,サ変接続,*,*,*,*,売買,バイバイ,バイバイ
促進 名詞,サ変接続,*,*,*,*,促進,ソクシン,ソクシン
スレ 名詞,一般,*,*,*,*,*
★ 記号,一般,*,*,*,*,★,★,★
7 名詞,数,*,*,*,*,*
【 記号,括弧開,*,*,*,*,【,【,【
icon 名詞,固有名詞,組織,*,*,*,*
】 記号,括弧閉,*,*,*,*,】,】,】
EOS
2ちゃんねる beアイコン サイト
2 名詞,数,*,*,*,*,2,ニ,ニ
ちゃん 名詞,接尾,人名,*,*,*,ちゃん,チャン,チャン
ねる 動詞,自立,*,*,一段,基本形,ねる,ネル,ネル
be 名詞,固有名詞,組織,*,*,*,*
アイコン 名詞,一般,*,*,*,*,*
サイト 名詞,一般,*,*,*,*,サイト,サイト,サイト
EOS
アイコン全リスト、販売者登録所、価格情報ほか
アイコ 名詞,固有名詞,一般,*,*,*,アイコ,アイコ,アイコ
ン 名詞,非自立,一般,*,*,*,ン,ン,ン
全 接頭詞,名詞接続,*,*,*,*,全,ゼン,ゼン
リスト 名詞,一般,*,*,*,*,リスト,リスト,リスト
、 記号,読点,*,*,*,*,、,、,、
販売 名詞,サ変接続,*,*,*,*,販売,ハンバイ,ハンバイ
者 名詞,接尾,一般,*,*,*,者,シャ,シャ
登録 名詞,サ変接続,*,*,*,*,登録,トウロク,トーロク
所 名詞,接尾,一般,*,*,*,所,ショ,ショ
、 記号,読点,*,*,*,*,、,、,、
価格 名詞,一般,*,*,*,*,価格,カカク,カカク
情報 名詞,一般,*,*,*,*,情報,ジョウホウ,ジョーホー
ほか 名詞,副詞可能,*,*,*,*,ほか,ホカ,ホカ
EOS
アイコンショッパー
アイコンショッパー 名詞,固有名詞,組織,*,*,*,*
EOS
他板のアイコンスレ(2ちゃんねる検索)
他 接頭詞,名詞接続,*,*,*,*,他,タ,タ
板 名詞,一般,*,*,*,*,板,イタ,イタ
の 助詞,連体化,*,*,*,*,の,ノ,ノ
アイコンスレ 名詞,一般,*,*,*,*,*
( 記号,括弧開,*,*,*,*,(,(,(
2 名詞,数,*,*,*,*,2,ニ,ニ
ちゃん 名詞,接尾,人名,*,*,*,ちゃん,チャン,チャン
ねる 動詞,自立,*,*,一段,基本形,ねる,ネル,ネル
検索 名詞,サ変接続,*,*,*,*,検索,ケンサク,ケンサク
) 記号,括弧閉,*,*,*,*,),),)
EOS
【Be】アイコン売買促進スレ★7【icon】
【 記号,括弧開,*,*,*,*,【,【,【
Be 名詞,固有名詞,組織,*,*,*,*
】 記号,括弧閉,*,*,*,*,】,】,】
アイコン 名詞,固有名詞,一般,*,*,*,*
売買 名詞,サ変接続,*,*,*,*,売買,バイバイ,バイバイ
促進 名詞,サ変接続,*,*,*,*,促進,ソクシン,ソクシン
スレ 名詞,一般,*,*,*,*,*
★ 記号,一般,*,*,*,*,★,★,★
7 名詞,数,*,*,*,*,*
【 記号,括弧開,*,*,*,*,【,【,【
icon 名詞,固有名詞,組織,*,*,*,*
】 記号,括弧閉,*,*,*,*,】,】,】
EOS
2ちゃんねる beアイコン サイト
2 名詞,数,*,*,*,*,2,ニ,ニ
ちゃん 名詞,接尾,人名,*,*,*,ちゃん,チャン,チャン
ねる 動詞,自立,*,*,一段,基本形,ねる,ネル,ネル
be 名詞,固有名詞,組織,*,*,*,*
アイコン 名詞,一般,*,*,*,*,*
サイト 名詞,一般,*,*,*,*,サイト,サイト,サイト
EOS
アイコン全リスト、販売者登録所、価格情報ほか
アイコ 名詞,固有名詞,一般,*,*,*,アイコ,アイコ,アイコ
ン 名詞,非自立,一般,*,*,*,ン,ン,ン
全 接頭詞,名詞接続,*,*,*,*,全,ゼン,ゼン
リスト 名詞,一般,*,*,*,*,リスト,リスト,リスト
、 記号,読点,*,*,*,*,、,、,、
販売 名詞,サ変接続,*,*,*,*,販売,ハンバイ,ハンバイ
者 名詞,接尾,一般,*,*,*,者,シャ,シャ
登録 名詞,サ変接続,*,*,*,*,登録,トウロク,トーロク
所 名詞,接尾,一般,*,*,*,所,ショ,ショ
、 記号,読点,*,*,*,*,、,、,、
価格 名詞,一般,*,*,*,*,価格,カカク,カカク
情報 名詞,一般,*,*,*,*,情報,ジョウホウ,ジョーホー
ほか 名詞,副詞可能,*,*,*,*,ほか,ホカ,ホカ
EOS
アイコンショッパー
アイコンショッパー 名詞,固有名詞,組織,*,*,*,*
EOS
他板のアイコンスレ(2ちゃんねる検索)
他 接頭詞,名詞接続,*,*,*,*,他,タ,タ
板 名詞,一般,*,*,*,*,板,イタ,イタ
の 助詞,連体化,*,*,*,*,の,ノ,ノ
アイコンスレ 名詞,一般,*,*,*,*,*
( 記号,括弧開,*,*,*,*,(,(,(
2 名詞,数,*,*,*,*,2,ニ,ニ
ちゃん 名詞,接尾,人名,*,*,*,ちゃん,チャン,チャン
ねる 動詞,自立,*,*,一段,基本形,ねる,ネル,ネル
検索 名詞,サ変接続,*,*,*,*,検索,ケンサク,ケンサク
) 記号,括弧閉,*,*,*,*,),),)
EOS
509動け動けウゴウゴ2ちゃんねる
2007/05/03(木) 16:13:12ID:X+h1qUif0 カタカナやひらがなで直後にンが来る語句は
ンの直前で区切っちゃいけないんじゃないの
ンの直前で区切っちゃいけないんじゃないの
510動け動けウゴウゴ2ちゃんねる
2007/05/13(日) 23:52:21ID:MYLVfRHs0 あと拗音とか促音の直前で区切るのも
http://anime2.2ch.net/test/read.cgi/anime3/1164732724/l50
http://anime2.2ch.net/test/read.cgi/anime3/1164732724/l50
まぁ,単語の区切りは http://mecab.sourceforge.net/ に依存してますからねぇ......
513動け動けウゴウゴ2ちゃんねる
2007/05/16(水) 02:45:21ID:hDvpyprTO とまと
514動け動けウゴウゴ2ちゃんねる
2007/07/03(火) 00:54:54ID:jUIBhvnj0 また拗音で始まるのが
http://p2.2ch.io/getf.cgi?http://hobby9.2ch.net/test/read.cgi/dog/1147454761/l50
http://hobby9.2ch.net/test/read.cgi/dog/1147454761/l50
http://p2.2ch.io/getf.cgi?http://hobby9.2ch.net/test/read.cgi/dog/1147454761/l50
http://hobby9.2ch.net/test/read.cgi/dog/1147454761/l50
515動け動けウゴウゴ2ちゃんねる
2007/07/11(水) 19:21:02ID:YcnBJDt20 メンテ予告とかメンテ中の表示とかすこしは工夫すればいいのに
517'
2007/07/26(木) 13:46:00ID:SSKwDJ+BO ぴろゆきどこにいるんですか??
518動け動けウゴウゴ2ちゃんねる
2007/09/18(火) 01:02:17ID:iAwGFgtR0 あのさクリックされたのとか実際に検索で使われてるやつの優先度あげない?
■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 「子どもは産まないかも」と思う女性たち 少子化進む中「産まない」が言えない理由 [煮卵★]
- 道路陥没事故、原因は“技術者をないがしろにしたツケ”か 日本に必要な政策は「工業高校の設備科を増やすこと」 ★2 [お断り★]
- コンビニ内のレジで商品の支払いを「たばこ」で…レジの液晶画面をたたいて壊した40代男を逮捕 神奈川・藤沢市 [少考さん★]
- 【香川】飲食店で食中毒 3人に症状 カンピロバクターを検出 生ジンギスカン、とり肝さしなどを食べたという [シャチ★]
- 小島瑠璃子の夫が手がけた「温泉アプリ」で深まる謎…提携先施設の支配人は「ウチは契約した覚えはない」 [ネギうどん★]
- IMF声明「日本は財政再建を今すぐ始めるべき、補助金を廃止、金融所得課税強化」「物価2%インフレは正しい道」 ★2 [お断り★]
- トランプ大統領「日産は素晴らしい会社だ。USスチールにすごい投資を計画している」 [281145569]
- 岸博幸氏「石破茂よりトランプの方が格上なんだから肘つきはダメ。早期会談は安倍昭恵さんの助力が大きいから、安倍派への恩返しを」 [432287167]
- 「90年代までの日本人は、皆が笑顔だった」→マジ? [137153447]
- 🏡💕⚽📣ブラジルに生まれてよかったー🇧🇷💃
- 🏴‍☠👯‍♀🔥⚔ホロライブに出会えてよかったー🌸
- 【実況】博衣こよりのえちえちロマサガ2🧪 ★9