関連キーワードをなんとかしようスレ

**ひろゆき＠どうやら管理人 ★** · 2006/12/17(日) 13:08:47

read.cgiの片隅に表示されている関連キーワードを
きちんとメンテナンスしてみようなスレッド。

**動け動けウゴウゴ２ちゃんねる** · 2007/03/08(木) 18:59:20

それだと次スレ追跡には使いづらいわねえ

**トラックバック ★** · 2007/03/08(木) 21:08:02

【トラックバック来たよ】 (ver. 0.11)
[タイトル] スレタイ検索スレッドタイトル検索サービス♪2find
[発ブログ] ネットサービス＠2ch掲示板
http://pc11.2ch.net/test/read.cgi/esite/1173355555/l50
[＝要約＝]

主要なもの
http://ttsearch.net/　http://www2.ttsearch.net/
http://page2.xrea.jp/tgrep/tgrep2-test.cgi
http://www6.big.or.jp/%7Ebeyond/bbsnews/

公式のサービス
http://find.2ch.net/ http://test.razil.jp/（苦情は向こうで）
http://h.u.la/dance/
http://is.2ch.net/

その他の検索
http://www.google.co.jp/search?&q=site%3A2ch.net
http://www.2chs.net/
http://www.mimizun.com/
http://makimo.to/

こんな風に使ったり　http://find.2ch.net/?STR=find

<a href="../test/read.cgi/esite/1173355555/2-30" target="_blank">>>2-30</a>

**動け動けウゴウゴ２ちゃんねる** · 2007/03/11(日) 20:51:40

>>456
スレ落ち後は次スレ追跡モードに差し替えるとかは？

株価【1000】 △△ ◆cZfSunOs.U · 2007/03/11(日) 21:52:08

>>459 そのためのデータを保持することになれば，結局データが膨張し続けることになるし，
またデータを保持せず on the fly に生成させるとなると，忙しくなりすぎて破綻しそうだし......
いずれにせよ，過去ログ用に別途専用鯖等のリソースを投入するとかでもない限り困難ではないかと......

**ひろゆき＠どうやら管理人 ★** · 2007/03/12(月) 12:41:31

過去ログ用に固定テキストをひたすら保存するサーバがあっても
いいような気がしてきました。
つか、memoriesに同居とか。

**動け動けウゴウゴ２ちゃんねる** · 2007/03/12(月) 12:49:49

>>461
memoriesそろそろ容量が少なくなってきてるらしいですよ・・・。
まあ、増設できるらしいですが・・・。
前にもらったtigerあまってないんですか？

それとbeのメール機能が時々おかしいので見てもらえるとうれしいです・・・。

**動け動けウゴウゴ２ちゃんねる** · 2007/03/12(月) 14:54:54

なんかコストばっか掛かって利が無いような。
datにくっ付けちゃうってのはどうなの？できない？

**動け動けウゴウゴ２ちゃんねる** · 2007/03/12(月) 20:38:10

>>460
「次スレ追跡する」ボタンみたいにワンクッションおくとかは？
見たい人だけ使う

株価【960】 △△ ◆cZfSunOs.U · 2007/03/12(月) 20:51:43

>>461 なるほど......ただ，memories だと HDD 容量もさることながら
httpd + offlaw.cgi なんかと競合しないかなぁ，とか（MySQL を
ストレスなく動かすには，メモリとかリソース結構食いますし）．

>>462 残ってる stiger を専用で使うならリソースの競合とかは心配ないですね．
ただ，そんなに HDD 容量がデカいわけでもないんで...... とはいえ，
単にライブな dat のキーワードをコピーして保存するだけなら，
重要度計算用のデカいテーブル (regwords) は過去ログデータの方では
不要なんで，当面は心配ないかも．中長期的には問題ですが......
もっとも，問題が起きたらその時改めて考えよう，ということにしておけば
2ch らしいかも？ｗ

>>463 dat にそういうデータを付けていいのかどうか，っていう
ポリシーの問題もあるかもですね．あと，dat 落ちを制御してる
F22 はいろいろ亜種ができてるらしいとかで，それぞれの鯖で
個別に F22 を改造しなきゃならないかも，っていうのも......

株価【960】 △△ ◆cZfSunOs.U · 2007/03/12(月) 20:56:16

>>464 ワンクッション置いても，データ保存するとすれば
結局データ量が増大することに変わりないですし，
on the fly に生成するにしても，今の p2.2ch.io / c2.2ch.io は
リアルタイムにキーワード抽出する前提で作ってないので
苦しいことには変わりないです．

**動け動けウゴウゴ２ちゃんねる** · 2007/03/12(月) 21:03:17

難しいかなって思うのもいいけど、がんがん試しちゃうのも吉。
もちろん試すのにいろいろ準備とかあって大変だとは思うけど。

株価【960】 △△ ◆cZfSunOs.U · 2007/03/12(月) 21:33:42

試すにしても，ライブ dat のキーワード表示に悪影響を与えると元も子もないんで......
なので，過去ログに対処するなら専用鯖等のリソース投入が前提じゃないかなぁと．

株価【960】 △△ ◆cZfSunOs.U · 2007/03/12(月) 21:37:20

まぁ，専用「鯖」でなくとも，今の c2 に過去ログ用にストレージ追加とかでもいいかもですけど．

**動け動けウゴウゴ２ちゃんねる** · 2007/03/13(火) 20:31:36

スタートレックをスタートとレックで区切るのやめて欲しい

株価【1250】 △△ ◆cZfSunOs.U · 2007/03/13(火) 22:58:42

まぁ，意図してる訳じゃないけど MeCab がそう区切ってるってことで......>>470

**ひろゆき＠どうやら管理人 ★** · 2007/03/14(水) 19:54:38

過去ログに関しては、関連キーワードが変更されることがないので、
スレッドkeyのテキストファイルを作って置いておくだけでいいと思うのです。
ってことで、mysqlはいらないかと。

**動け動けウゴウゴ２ちゃんねる** · 2007/03/14(水) 20:08:28

しんぷるいずべすと、と。

ところで

>>472
なんかネタ落としてってｗ

ひろゆきを訴えたGJ会社員（３５）　今度は毎日新聞を訴えてひろゆき涙目ｗｗｗ
http://news23.2ch.net/test/read.cgi/news/1173860149/

株価【1095】 △△ ◆cZfSunOs.U · 2007/03/14(水) 20:48:05

>>472 なるほど......となると，あとは memories 等に
どういう形で入れればいいか，またそれをどうやって read.cgi で
表示させるか，ってあたりですか．ぼちぼち考えてみます．

**ひろゆき＠どうやら管理人 ★** · 2007/03/14(水) 21:55:27

XMLにしてjavascriptでincludeみたいなのって出来ないんでしたっけ？

株価【1000】 △△ ◆cZfSunOs.U · 2007/03/15(木) 05:01:15

>>475 XMLHttpRequest だと同一ドメイン（というか実質同一鯖）の制限がありますが，
JSON ならその制限なしで可能です．というか，read.html 用 I/F では今も JSON 的な
やり方でやってます．ただ，read.cgi だとブラウザ側の JavaScript の処理能力の不安があって......

**root▲▲ ★** · 2007/03/15(木) 13:05:40

1台、それ用のサーバを用意するかんじですかね。

memoriesのHDDに常時書き込み負荷をかけるのは、
できれば避けたいかも。

**動け動けウゴウゴ２ちゃんねる** · 2007/03/15(木) 20:08:32

findたまに重いとか話出るけど冗長化しなくて大丈夫なの
ふらだんすに振るとか

**動け動けウゴウゴ２ちゃんねる** · 2007/03/15(木) 22:40:12

UNIX板のスレをOperaで見ると、今も >>184 の現象
| Operaだと関連キーワードやofuda.ccのあれととスレの一番上の全部や掲示板に戻るが重なって
| 掲示板に戻るがクリックできない。
なのですが、>>375-388 のは pc11 鯖には入ってないんでしょうか？

**ひろゆき＠どうやら管理人 ★** · 2007/03/15(木) 22:58:59

HDDの速度がはやいハードウェアをどこかから調達するといい感じなんですかね。
T-Bananaサーバーの実験を手伝うって名目でなんとかしてもらうとか、、

**動け動けウゴウゴ２ちゃんねる** · 2007/03/15(木) 23:01:17

名目て

**ひろゆき＠どうやら管理人 ★** · 2007/03/15(木) 23:04:15

大義名分ってやつですよ。えぇえぇ。

**フェンリル** ◆Fenrir/gaQ · 2007/03/15(木) 23:06:54

自己板の規制解除しなさい

株価【1000】 △△ ◆cZfSunOs.U · 2007/03/16(金) 06:49:26

>>479 pc11 = T-banana なので >>431 ということで......

# そろそろ http://qb5.2ch.net/test/read.cgi/operate/1172208065/797 を
# やってもいい頃じゃないか，って気もしないではないですが......

>>480 さっそく http://qb5.2ch.net/test/read.cgi/operate/1172208065/913 がｗ
ただ，過去ログ用の HDD でほしいのは速度より容量なんですよね．
# むむむさんの >>477 の真意は，「HDD にダメージを与えず長持ちさせたい」ってことじゃないかと．

T-banana のようにディスク I/O の性能が高く，かつ RAM もたくさん積んであるマシンなら，
むしろ MySQL でデカいデータをがんがん扱う用途の方が向いてそうな気がしますね，個人的には．

**root▲▲ ★** · 2007/03/16(金) 10:15:40

>>484
> # むむむさんの >>477 の真意は，「HDD にダメージを与えず長持ちさせたい」ってことじゃないかと．

ですね。
memoriesはデータ格納時以外はほぼread onlyで使いたいなと。

**root▲▲ ★** · 2007/03/16(金) 10:17:32

>>480
HDDの容量が20G台でいいなら、
今使っていないstigerを1台、それ用に割り当ててみるとかですが、
もっと必要なかんじですかね。

**ひろゆき＠どうやら管理人 ★** · 2007/03/16(金) 12:59:57

必要なHDD容量の算定からはじめてみますか。

株価【950】 △△ ◆cZfSunOs.U · 2007/03/16(金) 19:36:54

「各スレ単位で必要な容量 x 過去ログ発生速度」で，どれだけの期間持つか，てな感じですか．

データを .js のように直接表示できる形で保存するとサイズは大きくなるが CPU の仕事は少ない，
一方 CSV のような形で保存するとサイズは小さくなるが表示する際の CPU の仕事が増える，と．
まぁ CPU の仕事が増えるといっても，現状 p2.2ch.io 1台で全ライブスレの
getf.cgi 表示させてるぐらいなので，stiger を専用で割り当てるなら問題ないと思いますが．

ただ，各スレ単位でファイル作ると，HDD 消費はバイト単位でなくフラグメントサイズ単位になるんですよね．
HDD スペースの利用効率を向上させるには，1ファイルに複数のスレのデータを書き込んだ方がいいのか．
その代わり，必要なデータを検索する仕事が増えると．1ファイルに書き込みつつ
検索も効率的にするには......結局 MySQL を使うとかなるのかな．

**ひろゆき＠どうやら管理人 ★** · 2007/03/16(金) 22:31:20

freebsdのフラグメントサイズってどれくらいなんですか？

**動け動けウゴウゴ２ちゃんねる** · NG

ひーさん2証なんとか汁＞＜。

**root▲▲ ★** · 2007/03/16(金) 22:58:22

>>489
デフォルトでは16k(16384)ですね。

man newfs
...
-b block-size
The block size of the file system, in bytes. It must be a power
of 2. The default size is 16384 bytes, and the smallest allow-
able size is 4096 bytes. The optimal block:fragment ratio is
8:1. Other ratios are possible, but are not recommended, and may
produce poor results.

4k まで小さくできますが、あんまりおすすめしないかも。

◆Choco52.ko · 2007/03/16(金) 23:27:05

専門な話題なので横槍！
フラグメントサイズはブロックサイズを８分の１したものがデフォルトで使われるので 2k(2048)バイトではないかと。
newfs -b 16384 -f 2048 のように指定されているはずか、オプションなしのどちらかですね。

man newfs

-f frag-size
ファイルシステムのフラグメントサイズをバイト単位で指定します。
blocksize/8 から blocksize までの範囲の、2 のべき乗である必要があります。
デフォルトは 2048 バイトです。

**root▲▲ ★** · 2007/03/16(金) 23:48:12

>>492
確かに、フラグメントサイズとブロックサイズは別物ですね。
ご指摘&補足すみませんです。

**ひろゆき＠どうやら管理人 ★** · 2007/03/17(土) 12:36:35

過去ログのファイル数ってどれくらいなんすかね。。

株価【960】 △△ ◆cZfSunOs.U · 2007/03/17(土) 19:55:25

各板のライブスレ数は大きく変動しないという前提なら，
過去ログ発生速度≒新スレが立つ速度
なのかなぁ......

**動け動けウゴウゴ２ちゃんねる** · 2007/03/17(土) 22:31:56

これどういうシステムなの？
どうやったら反映されるの？

**動け動けウゴウゴ２ちゃんねる** · 2007/03/19(月) 11:31:06

スレ内の全レスから単語抽出、DB化して、一定の条件で最頻と思われる
単語を表示させる。

**動け動けウゴウゴ２ちゃんねる** · 2007/04/01(日) 17:25:54

>133
多分92のキーワードというのがスレの関連した語句になるので、それの検索は考えています。
自動的に"「74」「SevenFour」"など関連した語句の摘出は、ネタとしては面白いのですが、
難易度が高いというか、スレ名によっては多分バカ検索になるので、やるとしても実験的な機能としての
実装になります。多分正解は134さんが書かれているスレッド検索に正規表現をサポートでしょう。

>135
いろいろ作っていますが、どれも中途半端でして、、、

>136-139
先にも書きましたが、弱いとか、上手くいかないのではなく、元々対応していないというのが正解のようです。
今回版で一応修正しましたので、御報告いただければ助かります。

>141
>●対応って、面倒なの？
有償アカウントが必要なんですよね? いまのところ対応予定無しです。
>それと、まちBBSとかが見れないんだけど
過去ログを見ると2chに完全対応したら対応させる等書かれていましたので、メニューのトップには
表示されていますが、対応していません。対応させたいのですが、他が優先順位が高いので調査等保留状態です。

>142
すみません。ちょっと意味が判りません。

>143
まだ考え中ですが、本体側ではスレへアクセスの時に毎回キーワード取得してデータベースに溜めていきます。
あとキーワードを入力するIFを用意してユーザーからも入力が可能とします。
js側のAPIはデータベースへアクセスするsfSystem.getKeywordsとsfSystem.setKeywordを用意します。
溜められたデーターは検索やスマートボードに使ったり出来ます。
データベース内の削除は必要かなぁ。と時間がなかなか取れないので、そんな感じで止っています。

**498** · 2007/04/01(日) 17:29:44

あう、誤爆すまん。

**動け動けウゴウゴ２ちゃんねる** · 2007/04/01(日) 21:24:12

何で本スレに限って出ないんだろうな
http://find.2ch.net/?STR=%A5%AB%A5%EC%A1%BC%A5%DF%A5%E5%A1%BC%A5%B8%A5%A2%A5%E0

http://food8.2ch.net/test/read.cgi/curry/1175356755/l50

**動け動けウゴウゴ２ちゃんねる** · 2007/04/06(金) 19:29:06

同じキーで何回も検索するとヒット数がまちまちになるぞ
ヒットしたりしなかったりするスレがある模様

**nanasi** · 2007/04/07(土) 17:34:36

>>60
神

**動け動けウゴウゴ２ちゃんねる** · 2007/04/25(水) 18:23:22

>>497
スレ内に一度も出てない単語はキーワードとして表示されないの？

株価【900】 △△ ◆cZfSunOs.U · 2007/04/26(木) 08:35:10

>>503 そういうことになってます．

**動け動けウゴウゴ２ちゃんねる** · 2007/04/27(金) 18:31:25

これもひでえなあ
ろうじろうしまがあってしまじろうがないｗ
http://p2.2ch.io/getf.cgi?http://game11.2ch.net/test/read.cgi/amusement/1163256789/l50

**動け動けウゴウゴ２ちゃんねる** · 2007/04/28(土) 23:33:49

ひらがなとカタカナの２字ははじこうぜ

**動け動けウゴウゴ２ちゃんねる** · 2007/04/30(月) 01:25:58

アイコンスレでアイコって酷くね
http://p2.2ch.io/getf.cgi?http://bubble6.2ch.net/test/read.cgi/2chse/1163082315/701-800
無論無関係なスレばかりヒット＆元のスレもヒットせず

リザルトがないのとかあってもまるで関連性のないやつは除外できないんかね

株価【780】 △△ ◆cZfSunOs.U · 2007/04/30(月) 17:33:19

前後の状況によって「アイコン」の区切りはまちまちになるみたいですねぇ＜MeCab

【Be】アイコン売買促進スレ★7【icon】
【記号,括弧開,*,*,*,*,【,【,【
Be 名詞,固有名詞,組織,*,*,*,*
】記号,括弧閉,*,*,*,*,】,】,】
アイコン名詞,固有名詞,一般,*,*,*,*
売買名詞,サ変接続,*,*,*,*,売買,バイバイ,バイバイ
促進名詞,サ変接続,*,*,*,*,促進,ソクシン,ソクシン
スレ名詞,一般,*,*,*,*,*
★ 記号,一般,*,*,*,*,★,★,★
7 名詞,数,*,*,*,*,*
【記号,括弧開,*,*,*,*,【,【,【
icon 名詞,固有名詞,組織,*,*,*,*
】記号,括弧閉,*,*,*,*,】,】,】
EOS

２ちゃんねる beアイコンサイト
２名詞,数,*,*,*,*,２,ニ,ニ
ちゃん名詞,接尾,人名,*,*,*,ちゃん,チャン,チャン
ねる動詞,自立,*,*,一段,基本形,ねる,ネル,ネル
be 名詞,固有名詞,組織,*,*,*,*
アイコン名詞,一般,*,*,*,*,*
サイト名詞,一般,*,*,*,*,サイト,サイト,サイト
EOS

アイコン全リスト、販売者登録所、価格情報ほか
アイコ名詞,固有名詞,一般,*,*,*,アイコ,アイコ,アイコ
ン名詞,非自立,一般,*,*,*,ン,ン,ン
全接頭詞,名詞接続,*,*,*,*,全,ゼン,ゼン
リスト名詞,一般,*,*,*,*,リスト,リスト,リスト
、記号,読点,*,*,*,*,、,、,、
販売名詞,サ変接続,*,*,*,*,販売,ハンバイ,ハンバイ
者名詞,接尾,一般,*,*,*,者,シャ,シャ
登録名詞,サ変接続,*,*,*,*,登録,トウロク,トーロク
所名詞,接尾,一般,*,*,*,所,ショ,ショ
、記号,読点,*,*,*,*,、,、,、
価格名詞,一般,*,*,*,*,価格,カカク,カカク
情報名詞,一般,*,*,*,*,情報,ジョウホウ,ジョーホー
ほか名詞,副詞可能,*,*,*,*,ほか,ホカ,ホカ
EOS

アイコンショッパー
アイコンショッパー名詞,固有名詞,組織,*,*,*,*
EOS

他板のアイコンスレ（２ちゃんねる検索）
他接頭詞,名詞接続,*,*,*,*,他,タ,タ
板名詞,一般,*,*,*,*,板,イタ,イタ
の助詞,連体化,*,*,*,*,の,ノ,ノ
アイコンスレ名詞,一般,*,*,*,*,*
（記号,括弧開,*,*,*,*,（,（,（
２名詞,数,*,*,*,*,２,ニ,ニ
ちゃん名詞,接尾,人名,*,*,*,ちゃん,チャン,チャン
ねる動詞,自立,*,*,一段,基本形,ねる,ネル,ネル
検索名詞,サ変接続,*,*,*,*,検索,ケンサク,ケンサク
）記号,括弧閉,*,*,*,*,）,）,）
EOS

**動け動けウゴウゴ２ちゃんねる** · 2007/05/03(木) 16:13:12

カタカナやひらがなで直後にンが来る語句は
ンの直前で区切っちゃいけないんじゃないの

**動け動けウゴウゴ２ちゃんねる** · 2007/05/13(日) 23:52:21

あと拗音とか促音の直前で区切るのも
http://anime2.2ch.net/test/read.cgi/anime3/1164732724/l50

株価【900】 △△ ◆cZfSunOs.U · 2007/05/14(月) 00:28:23

まぁ，単語の区切りは http://mecab.sourceforge.net/ に依存してますからねぇ......

p3084-ip01kyoto.kyoto.ocn.ne.jp · 2007/05/15(火) 16:20:44

syosinsya

**動け動けウゴウゴ２ちゃんねる** · 2007/05/16(水) 02:45:21

とまと

**動け動けウゴウゴ２ちゃんねる** · 2007/07/03(火) 00:54:54

また拗音で始まるのが
http://p2.2ch.io/getf.cgi?http://hobby9.2ch.net/test/read.cgi/dog/1147454761/l50
http://hobby9.2ch.net/test/read.cgi/dog/1147454761/l50

**動け動けウゴウゴ２ちゃんねる** · 2007/07/11(水) 19:21:02

メンテ予告とかメンテ中の表示とかすこしは工夫すればいいのに

◆0Two/OnDrg · 2007/07/19(木) 06:18:32

だね

' · 2007/07/26(木) 13:46:00

ぴろゆきどこにいるんですか？？

**動け動けウゴウゴ２ちゃんねる** · 2007/09/18(火) 01:02:17

あのさクリックされたのとか実際に検索で使われてるやつの優先度あげない？