read.cgiの片隅に表示されている関連キーワードを
きちんとメンテナンスしてみようなスレッド。
探検
関連キーワードをなんとかしようスレ
■ このスレッドは過去ログ倉庫に格納されています
必要なHDD容量の算定からはじめてみますか。
「各スレ単位で必要な容量 x 過去ログ発生速度」で,どれだけの期間持つか,てな感じですか.
データを .js のように直接表示できる形で保存するとサイズは大きくなるが CPU の仕事は少ない,
一方 CSV のような形で保存するとサイズは小さくなるが表示する際の CPU の仕事が増える,と.
まぁ CPU の仕事が増えるといっても,現状 p2.2ch.io 1台で全ライブスレの
getf.cgi 表示させてるぐらいなので,stiger を専用で割り当てるなら問題ないと思いますが.
ただ,各スレ単位でファイル作ると,HDD 消費はバイト単位でなくフラグメントサイズ単位になるんですよね.
HDD スペースの利用効率を向上させるには,1ファイルに複数のスレのデータを書き込んだ方がいいのか.
その代わり,必要なデータを検索する仕事が増えると.1ファイルに書き込みつつ
検索も効率的にするには......結局 MySQL を使うとかなるのかな.
データを .js のように直接表示できる形で保存するとサイズは大きくなるが CPU の仕事は少ない,
一方 CSV のような形で保存するとサイズは小さくなるが表示する際の CPU の仕事が増える,と.
まぁ CPU の仕事が増えるといっても,現状 p2.2ch.io 1台で全ライブスレの
getf.cgi 表示させてるぐらいなので,stiger を専用で割り当てるなら問題ないと思いますが.
ただ,各スレ単位でファイル作ると,HDD 消費はバイト単位でなくフラグメントサイズ単位になるんですよね.
HDD スペースの利用効率を向上させるには,1ファイルに複数のスレのデータを書き込んだ方がいいのか.
その代わり,必要なデータを検索する仕事が増えると.1ファイルに書き込みつつ
検索も効率的にするには......結局 MySQL を使うとかなるのかな.
freebsdのフラグメントサイズってどれくらいなんですか?
ひーさん2証なんとか汁><。
>>489
デフォルトでは16k(16384)ですね。
man newfs
...
-b block-size
The block size of the file system, in bytes. It must be a power
of 2. The default size is 16384 bytes, and the smallest allow-
able size is 4096 bytes. The optimal block:fragment ratio is
8:1. Other ratios are possible, but are not recommended, and may
produce poor results.
4k まで小さくできますが、あんまりおすすめしないかも。
デフォルトでは16k(16384)ですね。
man newfs
...
-b block-size
The block size of the file system, in bytes. It must be a power
of 2. The default size is 16384 bytes, and the smallest allow-
able size is 4096 bytes. The optimal block:fragment ratio is
8:1. Other ratios are possible, but are not recommended, and may
produce poor results.
4k まで小さくできますが、あんまりおすすめしないかも。
専門な話題なので横槍!
フラグメントサイズはブロックサイズを8分の1したものがデフォルトで使われるので 2k(2048)バイト ではないかと。
newfs -b 16384 -f 2048 のように指定されているはずか、オプションなしのどちらかですね。
man newfs
-f frag-size
ファイルシステムのフラグメントサイズをバイト単位で指定します。
blocksize/8 から blocksize までの範囲の、2 のべき乗である必要があります。
デフォルトは 2048 バイトです。
フラグメントサイズはブロックサイズを8分の1したものがデフォルトで使われるので 2k(2048)バイト ではないかと。
newfs -b 16384 -f 2048 のように指定されているはずか、オプションなしのどちらかですね。
man newfs
-f frag-size
ファイルシステムのフラグメントサイズをバイト単位で指定します。
blocksize/8 から blocksize までの範囲の、2 のべき乗である必要があります。
デフォルトは 2048 バイトです。
過去ログのファイル数ってどれくらいなんすかね。。
各板のライブスレ数は大きく変動しないという前提なら,
過去ログ発生速度≒新スレが立つ速度
なのかなぁ......
過去ログ発生速度≒新スレが立つ速度
なのかなぁ......
2007/03/17(土) 22:31:56ID:QoCeQg460
これどういうシステムなの?
どうやったら反映されるの?
どうやったら反映されるの?
2007/03/19(月) 11:31:06ID:DEGsDWtn0
スレ内の全レスから単語抽出、DB化して、一定の条件で最頻と思われる
単語を表示させる。
単語を表示させる。
2007/04/01(日) 17:25:54ID:azmkmmMB0
>133
多分92のキーワードというのがスレの関連した語句になるので、それの検索は考えています。
自動的に"「74」「SevenFour」"など関連した語句の摘出は、ネタとしては面白いのですが、
難易度が高いというか、スレ名によっては多分バカ検索になるので、やるとしても実験的な機能としての
実装になります。多分正解は134さんが書かれているスレッド検索に正規表現をサポートでしょう。
>135
いろいろ作っていますが、どれも中途半端でして、、、
>136-139
先にも書きましたが、弱いとか、上手くいかないのではなく、元々対応していないというのが正解のようです。
今回版で一応修正しましたので、御報告いただければ助かります。
>141
>●対応って、面倒なの?
有償アカウントが必要なんですよね? いまのところ対応予定無しです。
>それと、まちBBSとかが見れないんだけど
過去ログを見ると2chに完全対応したら対応させる等書かれていましたので、メニューのトップには
表示されていますが、対応していません。対応させたいのですが、他が優先順位が高いので調査等保留状態です。
>142
すみません。ちょっと意味が判りません。
>143
まだ考え中ですが、本体側ではスレへアクセスの時に毎回キーワード取得してデータベースに溜めていきます。
あとキーワードを入力するIFを用意してユーザーからも入力が可能とします。
js側のAPIはデータベースへアクセスするsfSystem.getKeywordsとsfSystem.setKeywordを用意します。
溜められたデーターは検索やスマートボードに使ったり出来ます。
データベース内の削除は必要かなぁ。と 時間がなかなか取れないので、そんな感じで止っています。
多分92のキーワードというのがスレの関連した語句になるので、それの検索は考えています。
自動的に"「74」「SevenFour」"など関連した語句の摘出は、ネタとしては面白いのですが、
難易度が高いというか、スレ名によっては多分バカ検索になるので、やるとしても実験的な機能としての
実装になります。多分正解は134さんが書かれているスレッド検索に正規表現をサポートでしょう。
>135
いろいろ作っていますが、どれも中途半端でして、、、
>136-139
先にも書きましたが、弱いとか、上手くいかないのではなく、元々対応していないというのが正解のようです。
今回版で一応修正しましたので、御報告いただければ助かります。
>141
>●対応って、面倒なの?
有償アカウントが必要なんですよね? いまのところ対応予定無しです。
>それと、まちBBSとかが見れないんだけど
過去ログを見ると2chに完全対応したら対応させる等書かれていましたので、メニューのトップには
表示されていますが、対応していません。対応させたいのですが、他が優先順位が高いので調査等保留状態です。
>142
すみません。ちょっと意味が判りません。
>143
まだ考え中ですが、本体側ではスレへアクセスの時に毎回キーワード取得してデータベースに溜めていきます。
あとキーワードを入力するIFを用意してユーザーからも入力が可能とします。
js側のAPIはデータベースへアクセスするsfSystem.getKeywordsとsfSystem.setKeywordを用意します。
溜められたデーターは検索やスマートボードに使ったり出来ます。
データベース内の削除は必要かなぁ。と 時間がなかなか取れないので、そんな感じで止っています。
499498
2007/04/01(日) 17:29:44ID:azmkmmMB0 あう、誤爆すまん。
500動け動けウゴウゴ2ちゃんねる
2007/04/01(日) 21:24:12ID:E7umBdRz0501動け動けウゴウゴ2ちゃんねる
2007/04/06(金) 19:29:06ID:vyYNJZL70 同じキーで何回も検索するとヒット数がまちまちになるぞ
ヒットしたりしなかったりするスレがある模様
ヒットしたりしなかったりするスレがある模様
503動け動けウゴウゴ2ちゃんねる
2007/04/25(水) 18:23:22ID:0Clz8p7L0 >>497
スレ内に一度も出てない単語はキーワードとして表示されないの?
スレ内に一度も出てない単語はキーワードとして表示されないの?
>>503 そういうことになってます.
505動け動けウゴウゴ2ちゃんねる
2007/04/27(金) 18:31:25ID:3Jd+uTfZ0 これもひでえなあ
ろう じろう しま があってしまじろうがないw
http://p2.2ch.io/getf.cgi?http://game11.2ch.net/test/read.cgi/amusement/1163256789/l50
ろう じろう しま があってしまじろうがないw
http://p2.2ch.io/getf.cgi?http://game11.2ch.net/test/read.cgi/amusement/1163256789/l50
506動け動けウゴウゴ2ちゃんねる
2007/04/28(土) 23:33:49ID:atmqjoj00 ひらがなとカタカナの2字ははじこうぜ
507動け動けウゴウゴ2ちゃんねる
2007/04/30(月) 01:25:58ID:2vpscozg0 アイコンスレでアイコって酷くね
http://p2.2ch.io/getf.cgi?http://bubble6.2ch.net/test/read.cgi/2chse/1163082315/701-800
無論無関係なスレばかりヒット&元のスレもヒットせず
リザルトがないのとかあってもまるで関連性のないやつは除外できないんかね
http://p2.2ch.io/getf.cgi?http://bubble6.2ch.net/test/read.cgi/2chse/1163082315/701-800
無論無関係なスレばかりヒット&元のスレもヒットせず
リザルトがないのとかあってもまるで関連性のないやつは除外できないんかね
前後の状況によって「アイコン」の区切りはまちまちになるみたいですねぇ<MeCab
【Be】アイコン売買促進スレ★7【icon】
【 記号,括弧開,*,*,*,*,【,【,【
Be 名詞,固有名詞,組織,*,*,*,*
】 記号,括弧閉,*,*,*,*,】,】,】
アイコン 名詞,固有名詞,一般,*,*,*,*
売買 名詞,サ変接続,*,*,*,*,売買,バイバイ,バイバイ
促進 名詞,サ変接続,*,*,*,*,促進,ソクシン,ソクシン
スレ 名詞,一般,*,*,*,*,*
★ 記号,一般,*,*,*,*,★,★,★
7 名詞,数,*,*,*,*,*
【 記号,括弧開,*,*,*,*,【,【,【
icon 名詞,固有名詞,組織,*,*,*,*
】 記号,括弧閉,*,*,*,*,】,】,】
EOS
2ちゃんねる beアイコン サイト
2 名詞,数,*,*,*,*,2,ニ,ニ
ちゃん 名詞,接尾,人名,*,*,*,ちゃん,チャン,チャン
ねる 動詞,自立,*,*,一段,基本形,ねる,ネル,ネル
be 名詞,固有名詞,組織,*,*,*,*
アイコン 名詞,一般,*,*,*,*,*
サイト 名詞,一般,*,*,*,*,サイト,サイト,サイト
EOS
アイコン全リスト、販売者登録所、価格情報ほか
アイコ 名詞,固有名詞,一般,*,*,*,アイコ,アイコ,アイコ
ン 名詞,非自立,一般,*,*,*,ン,ン,ン
全 接頭詞,名詞接続,*,*,*,*,全,ゼン,ゼン
リスト 名詞,一般,*,*,*,*,リスト,リスト,リスト
、 記号,読点,*,*,*,*,、,、,、
販売 名詞,サ変接続,*,*,*,*,販売,ハンバイ,ハンバイ
者 名詞,接尾,一般,*,*,*,者,シャ,シャ
登録 名詞,サ変接続,*,*,*,*,登録,トウロク,トーロク
所 名詞,接尾,一般,*,*,*,所,ショ,ショ
、 記号,読点,*,*,*,*,、,、,、
価格 名詞,一般,*,*,*,*,価格,カカク,カカク
情報 名詞,一般,*,*,*,*,情報,ジョウホウ,ジョーホー
ほか 名詞,副詞可能,*,*,*,*,ほか,ホカ,ホカ
EOS
アイコンショッパー
アイコンショッパー 名詞,固有名詞,組織,*,*,*,*
EOS
他板のアイコンスレ(2ちゃんねる検索)
他 接頭詞,名詞接続,*,*,*,*,他,タ,タ
板 名詞,一般,*,*,*,*,板,イタ,イタ
の 助詞,連体化,*,*,*,*,の,ノ,ノ
アイコンスレ 名詞,一般,*,*,*,*,*
( 記号,括弧開,*,*,*,*,(,(,(
2 名詞,数,*,*,*,*,2,ニ,ニ
ちゃん 名詞,接尾,人名,*,*,*,ちゃん,チャン,チャン
ねる 動詞,自立,*,*,一段,基本形,ねる,ネル,ネル
検索 名詞,サ変接続,*,*,*,*,検索,ケンサク,ケンサク
) 記号,括弧閉,*,*,*,*,),),)
EOS
【Be】アイコン売買促進スレ★7【icon】
【 記号,括弧開,*,*,*,*,【,【,【
Be 名詞,固有名詞,組織,*,*,*,*
】 記号,括弧閉,*,*,*,*,】,】,】
アイコン 名詞,固有名詞,一般,*,*,*,*
売買 名詞,サ変接続,*,*,*,*,売買,バイバイ,バイバイ
促進 名詞,サ変接続,*,*,*,*,促進,ソクシン,ソクシン
スレ 名詞,一般,*,*,*,*,*
★ 記号,一般,*,*,*,*,★,★,★
7 名詞,数,*,*,*,*,*
【 記号,括弧開,*,*,*,*,【,【,【
icon 名詞,固有名詞,組織,*,*,*,*
】 記号,括弧閉,*,*,*,*,】,】,】
EOS
2ちゃんねる beアイコン サイト
2 名詞,数,*,*,*,*,2,ニ,ニ
ちゃん 名詞,接尾,人名,*,*,*,ちゃん,チャン,チャン
ねる 動詞,自立,*,*,一段,基本形,ねる,ネル,ネル
be 名詞,固有名詞,組織,*,*,*,*
アイコン 名詞,一般,*,*,*,*,*
サイト 名詞,一般,*,*,*,*,サイト,サイト,サイト
EOS
アイコン全リスト、販売者登録所、価格情報ほか
アイコ 名詞,固有名詞,一般,*,*,*,アイコ,アイコ,アイコ
ン 名詞,非自立,一般,*,*,*,ン,ン,ン
全 接頭詞,名詞接続,*,*,*,*,全,ゼン,ゼン
リスト 名詞,一般,*,*,*,*,リスト,リスト,リスト
、 記号,読点,*,*,*,*,、,、,、
販売 名詞,サ変接続,*,*,*,*,販売,ハンバイ,ハンバイ
者 名詞,接尾,一般,*,*,*,者,シャ,シャ
登録 名詞,サ変接続,*,*,*,*,登録,トウロク,トーロク
所 名詞,接尾,一般,*,*,*,所,ショ,ショ
、 記号,読点,*,*,*,*,、,、,、
価格 名詞,一般,*,*,*,*,価格,カカク,カカク
情報 名詞,一般,*,*,*,*,情報,ジョウホウ,ジョーホー
ほか 名詞,副詞可能,*,*,*,*,ほか,ホカ,ホカ
EOS
アイコンショッパー
アイコンショッパー 名詞,固有名詞,組織,*,*,*,*
EOS
他板のアイコンスレ(2ちゃんねる検索)
他 接頭詞,名詞接続,*,*,*,*,他,タ,タ
板 名詞,一般,*,*,*,*,板,イタ,イタ
の 助詞,連体化,*,*,*,*,の,ノ,ノ
アイコンスレ 名詞,一般,*,*,*,*,*
( 記号,括弧開,*,*,*,*,(,(,(
2 名詞,数,*,*,*,*,2,ニ,ニ
ちゃん 名詞,接尾,人名,*,*,*,ちゃん,チャン,チャン
ねる 動詞,自立,*,*,一段,基本形,ねる,ネル,ネル
検索 名詞,サ変接続,*,*,*,*,検索,ケンサク,ケンサク
) 記号,括弧閉,*,*,*,*,),),)
EOS
509動け動けウゴウゴ2ちゃんねる
2007/05/03(木) 16:13:12ID:X+h1qUif0 カタカナやひらがなで直後にンが来る語句は
ンの直前で区切っちゃいけないんじゃないの
ンの直前で区切っちゃいけないんじゃないの
510動け動けウゴウゴ2ちゃんねる
2007/05/13(日) 23:52:21ID:MYLVfRHs0 あと拗音とか促音の直前で区切るのも
http://anime2.2ch.net/test/read.cgi/anime3/1164732724/l50
http://anime2.2ch.net/test/read.cgi/anime3/1164732724/l50
まぁ,単語の区切りは http://mecab.sourceforge.net/ に依存してますからねぇ......
513動け動けウゴウゴ2ちゃんねる
2007/05/16(水) 02:45:21ID:hDvpyprTO とまと
514動け動けウゴウゴ2ちゃんねる
2007/07/03(火) 00:54:54ID:jUIBhvnj0 また拗音で始まるのが
http://p2.2ch.io/getf.cgi?http://hobby9.2ch.net/test/read.cgi/dog/1147454761/l50
http://hobby9.2ch.net/test/read.cgi/dog/1147454761/l50
http://p2.2ch.io/getf.cgi?http://hobby9.2ch.net/test/read.cgi/dog/1147454761/l50
http://hobby9.2ch.net/test/read.cgi/dog/1147454761/l50
515動け動けウゴウゴ2ちゃんねる
2007/07/11(水) 19:21:02ID:YcnBJDt20 メンテ予告とかメンテ中の表示とかすこしは工夫すればいいのに
517'
2007/07/26(木) 13:46:00ID:SSKwDJ+BO ぴろゆきどこにいるんですか??
518動け動けウゴウゴ2ちゃんねる
2007/09/18(火) 01:02:17ID:iAwGFgtR0 あのさクリックされたのとか実際に検索で使われてるやつの優先度あげない?
■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 備蓄米の輸送費を国が負担と小泉農相 ★2 [おっさん友の会★]
- 「おにぎりすら食べられない」相次ぐ郵便局員の突然死 [おっさん友の会★]
- 芸能】中居正広氏の代理人が音声データを再要求「開示できるはず」 第三委の“ゼロ回答”受け ★4 [jinjin★]
- 「美人だね」「スタイルいいね」「ちゃん付」は全てアウト? 意外と知らないセクハラの境界線 [少考さん★]
- 【関東】「性善説に訴えるのは限界」JRバスの警告も完全無視…「相席ブロック」問題を呼びかけも効果はナシ ★2 [少考さん★]
- 妊娠発表41歳女性芸人、優先席マナー記したブログに賛否「座ってる健康な人、全員スマホに夢中で」「優先されて当然!という気持ちで…」 [jinjin★]
- 【実況】博衣こよりのえちえち鬼武者3🧪
- 中国人🇨🇳ネトウヨが小日本を河北省と認識し旅行ブーム!なんだ、俺ら中国人だったんだ… [776365898]
- 【悲報】日産逝く、栃木工場も売却か……マジでジャップの終わりの始まり…日本が落ちぶれていくの見るのがつれぇわw [904880432]
- 小泉新総理「自民党をぶっこわす!農協民営化!農協解散!抵抗勢力は公認しない!」 これで総選挙圧勝できるよな [452836546]
- 人はどうせ死ぬ…
- (ヽ´ん`)「あっ、これ女のレスだ」→分かるときあるよな? [658711333]