関連キーワードをなんとかしようスレ
■ このスレッドは過去ログ倉庫に格納されています
read.cgiの片隅に表示されている関連キーワードを きちんとメンテナンスしてみようなスレッド。 試すにしても,ライブ dat のキーワード表示に悪影響を与えると元も子もないんで...... なので,過去ログに対処するなら専用鯖等のリソース投入が前提じゃないかなぁと. まぁ,専用「鯖」でなくとも,今の c2 に過去ログ用にストレージ追加とかでもいいかもですけど. スタートレックをスタートとレックで区切るのやめて欲しい まぁ,意図してる訳じゃないけど MeCab がそう区切ってるってことで......>>470 過去ログに関しては、関連キーワードが変更されることがないので、 スレッドkeyのテキストファイルを作って置いておくだけでいいと思うのです。 ってことで、mysqlはいらないかと。 しんぷるいずべすと、と。 ところで >>472 なんかネタ落としてってw ひろゆきを訴えたGJ会社員(35) 今度は毎日新聞を訴えてひろゆき涙目www http://news23.2ch.net/test/read.cgi/news/1173860149/ >>472 なるほど......となると,あとは memories 等に どういう形で入れればいいか,またそれをどうやって read.cgi で 表示させるか,ってあたりですか.ぼちぼち考えてみます. XMLにしてjavascriptでincludeみたいなのって出来ないんでしたっけ? >>475 XMLHttpRequest だと同一ドメイン(というか実質同一鯖)の制限がありますが, JSON ならその制限なしで可能です.というか,read.html 用 I/F では今も JSON 的な やり方でやってます.ただ,read.cgi だとブラウザ側の JavaScript の処理能力の不安があって...... 1台、それ用のサーバを用意するかんじですかね。 memoriesのHDDに常時書き込み負荷をかけるのは、 できれば避けたいかも。 findたまに重いとか話出るけど冗長化しなくて大丈夫なの ふらだんすに振るとか UNIX板のスレをOperaで見ると、今も >>184 の現象 | Operaだと関連キーワードやofuda.ccのあれととスレの一番上の全部や掲示板に戻るが重なって | 掲示板に戻るがクリックできない。 なのですが、>>375-388 のは pc11 鯖には入ってないんでしょうか? HDDの速度がはやいハードウェアをどこかから調達するといい感じなんですかね。 T-Bananaサーバーの実験を手伝うって名目でなんとかしてもらうとか、、 >>479 pc11 = T-banana なので >>431 ということで...... # そろそろ http://qb5.2ch.net/test/read.cgi/operate/1172208065/797 を # やってもいい頃じゃないか,って気もしないではないですが...... >>480 さっそく http://qb5.2ch.net/test/read.cgi/operate/1172208065/913 がw ただ,過去ログ用の HDD でほしいのは速度より容量なんですよね. # むむむさんの >>477 の真意は,「HDD にダメージを与えず長持ちさせたい」ってことじゃないかと. T-banana のようにディスク I/O の性能が高く,かつ RAM もたくさん積んであるマシンなら, むしろ MySQL でデカいデータをがんがん扱う用途の方が向いてそうな気がしますね,個人的には. >>484 > # むむむさんの >>477 の真意は,「HDD にダメージを与えず長持ちさせたい」ってことじゃないかと. ですね。 memoriesはデータ格納時以外はほぼread onlyで使いたいなと。 >>480 HDDの容量が20G台でいいなら、 今使っていないstigerを1台、それ用に割り当ててみるとかですが、 もっと必要なかんじですかね。 「各スレ単位で必要な容量 x 過去ログ発生速度」で,どれだけの期間持つか,てな感じですか. データを .js のように直接表示できる形で保存するとサイズは大きくなるが CPU の仕事は少ない, 一方 CSV のような形で保存するとサイズは小さくなるが表示する際の CPU の仕事が増える,と. まぁ CPU の仕事が増えるといっても,現状 p2.2ch.io 1台で全ライブスレの getf.cgi 表示させてるぐらいなので,stiger を専用で割り当てるなら問題ないと思いますが. ただ,各スレ単位でファイル作ると,HDD 消費はバイト単位でなくフラグメントサイズ単位になるんですよね. HDD スペースの利用効率を向上させるには,1ファイルに複数のスレのデータを書き込んだ方がいいのか. その代わり,必要なデータを検索する仕事が増えると.1ファイルに書き込みつつ 検索も効率的にするには......結局 MySQL を使うとかなるのかな. freebsdのフラグメントサイズってどれくらいなんですか? >>489 デフォルトでは16k(16384)ですね。 man newfs ... -b block-size The block size of the file system, in bytes. It must be a power of 2. The default size is 16384 bytes, and the smallest allow- able size is 4096 bytes. The optimal block:fragment ratio is 8:1. Other ratios are possible, but are not recommended, and may produce poor results. 4k まで小さくできますが、あんまりおすすめしないかも。 専門な話題なので横槍! フラグメントサイズはブロックサイズを8分の1したものがデフォルトで使われるので 2k(2048)バイト ではないかと。 newfs -b 16384 -f 2048 のように指定されているはずか、オプションなしのどちらかですね。 man newfs -f frag-size ファイルシステムのフラグメントサイズをバイト単位で指定します。 blocksize/8 から blocksize までの範囲の、2 のべき乗である必要があります。 デフォルトは 2048 バイトです。 >>492 確かに、フラグメントサイズとブロックサイズは別物ですね。 ご指摘&補足すみませんです。 各板のライブスレ数は大きく変動しないという前提なら, 過去ログ発生速度≒新スレが立つ速度 なのかなぁ...... これどういうシステムなの? どうやったら反映されるの? スレ内の全レスから単語抽出、DB化して、一定の条件で最頻と思われる 単語を表示させる。 >133 多分92のキーワードというのがスレの関連した語句になるので、それの検索は考えています。 自動的に"「74」「SevenFour」"など関連した語句の摘出は、ネタとしては面白いのですが、 難易度が高いというか、スレ名によっては多分バカ検索になるので、やるとしても実験的な機能としての 実装になります。多分正解は134さんが書かれているスレッド検索に正規表現をサポートでしょう。 >135 いろいろ作っていますが、どれも中途半端でして、、、 >136-139 先にも書きましたが、弱いとか、上手くいかないのではなく、元々対応していないというのが正解のようです。 今回版で一応修正しましたので、御報告いただければ助かります。 >141 >●対応って、面倒なの? 有償アカウントが必要なんですよね? いまのところ対応予定無しです。 >それと、まちBBSとかが見れないんだけど 過去ログを見ると2chに完全対応したら対応させる等書かれていましたので、メニューのトップには 表示されていますが、対応していません。対応させたいのですが、他が優先順位が高いので調査等保留状態です。 >142 すみません。ちょっと意味が判りません。 >143 まだ考え中ですが、本体側ではスレへアクセスの時に毎回キーワード取得してデータベースに溜めていきます。 あとキーワードを入力するIFを用意してユーザーからも入力が可能とします。 js側のAPIはデータベースへアクセスするsfSystem.getKeywordsとsfSystem.setKeywordを用意します。 溜められたデーターは検索やスマートボードに使ったり出来ます。 データベース内の削除は必要かなぁ。と 時間がなかなか取れないので、そんな感じで止っています。 同じキーで何回も検索するとヒット数がまちまちになるぞ ヒットしたりしなかったりするスレがある模様 >>497 スレ内に一度も出てない単語はキーワードとして表示されないの? これもひでえなあ ろう じろう しま があってしまじろうがないw http://p2.2ch.io/getf.cgi?http ://game11.2ch.net/test/read.cgi/amusement/1163256789/l50 アイコンスレでアイコって酷くね http://p2.2ch.io/getf.cgi?http ://bubble6.2ch.net/test/read.cgi/2chse/1163082315/701-800 無論無関係なスレばかりヒット&元のスレもヒットせず リザルトがないのとかあってもまるで関連性のないやつは除外できないんかね 前後の状況によって「アイコン」の区切りはまちまちになるみたいですねぇ<MeCab 【Be】アイコン売買促進スレ★7【icon】 【 記号,括弧開,*,*,*,*,【,【,【 Be 名詞,固有名詞,組織,*,*,*,* 】 記号,括弧閉,*,*,*,*,】,】,】 アイコン 名詞,固有名詞,一般,*,*,*,* 売買 名詞,サ変接続,*,*,*,*,売買,バイバイ,バイバイ 促進 名詞,サ変接続,*,*,*,*,促進,ソクシン,ソクシン スレ 名詞,一般,*,*,*,*,* ★ 記号,一般,*,*,*,*,★,★,★ 7 名詞,数,*,*,*,*,* 【 記号,括弧開,*,*,*,*,【,【,【 icon 名詞,固有名詞,組織,*,*,*,* 】 記号,括弧閉,*,*,*,*,】,】,】 EOS 2ちゃんねる beアイコン サイト 2 名詞,数,*,*,*,*,2,ニ,ニ ちゃん 名詞,接尾,人名,*,*,*,ちゃん,チャン,チャン ねる 動詞,自立,*,*,一段,基本形,ねる,ネル,ネル be 名詞,固有名詞,組織,*,*,*,* アイコン 名詞,一般,*,*,*,*,* サイト 名詞,一般,*,*,*,*,サイト,サイト,サイト EOS アイコン全リスト、販売者登録所、価格情報ほか アイコ 名詞,固有名詞,一般,*,*,*,アイコ,アイコ,アイコ ン 名詞,非自立,一般,*,*,*,ン,ン,ン 全 接頭詞,名詞接続,*,*,*,*,全,ゼン,ゼン リスト 名詞,一般,*,*,*,*,リスト,リスト,リスト 、 記号,読点,*,*,*,*,、,、,、 販売 名詞,サ変接続,*,*,*,*,販売,ハンバイ,ハンバイ 者 名詞,接尾,一般,*,*,*,者,シャ,シャ 登録 名詞,サ変接続,*,*,*,*,登録,トウロク,トーロク 所 名詞,接尾,一般,*,*,*,所,ショ,ショ 、 記号,読点,*,*,*,*,、,、,、 価格 名詞,一般,*,*,*,*,価格,カカク,カカク 情報 名詞,一般,*,*,*,*,情報,ジョウホウ,ジョーホー ほか 名詞,副詞可能,*,*,*,*,ほか,ホカ,ホカ EOS アイコンショッパー アイコンショッパー 名詞,固有名詞,組織,*,*,*,* EOS 他板のアイコンスレ(2ちゃんねる検索) 他 接頭詞,名詞接続,*,*,*,*,他,タ,タ 板 名詞,一般,*,*,*,*,板,イタ,イタ の 助詞,連体化,*,*,*,*,の,ノ,ノ アイコンスレ 名詞,一般,*,*,*,*,* ( 記号,括弧開,*,*,*,*,(,(,( 2 名詞,数,*,*,*,*,2,ニ,ニ ちゃん 名詞,接尾,人名,*,*,*,ちゃん,チャン,チャン ねる 動詞,自立,*,*,一段,基本形,ねる,ネル,ネル 検索 名詞,サ変接続,*,*,*,*,検索,ケンサク,ケンサク ) 記号,括弧閉,*,*,*,*,),),) EOS カタカナやひらがなで直後にンが来る語句は ンの直前で区切っちゃいけないんじゃないの まぁ,単語の区切りは http://mecab.sourceforge.net/ に依存してますからねぇ...... メンテ予告とかメンテ中の表示とかすこしは工夫すればいいのに あのさクリックされたのとか実際に検索で使われてるやつの優先度あげない? ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 07.5.0 2024/04/24 Walang Kapalit ★ | Donguri System Team 5ちゃんねる