きちんとメンテナンスしてみようなスレッド。
探検
関連キーワードをなんとかしようスレ
■ このスレッドは過去ログ倉庫に格納されています
きちんとメンテナンスしてみようなスレッド。
0402動け動けウゴウゴ２ちゃんねる
2007/02/17(土) 15:55:07ID:hVA6QFAM0おお。
下の奴しか知らなかったので、上でやってみる。
0403動け動けウゴウゴ２ちゃんねる
2007/02/17(土) 21:49:44ID:RVm512sw0今は直ってるみたい
そのときは二文字のが一文字だけになったり後ろが化けたりしてた
そのまますり抜けるってことはないとは思いますが，またあったら知らせて下さい．
静かな時間帯にでも入れ替えておこう＜DBD::mysql
--- DBD-mysql-4.001/dbdimp.c
+++ DBD-mysql-4.001/dbdimp.c
@@ -3750,19 +3773,11 @@
"Error happened while tried to clean up stmt",NULL);
return 0;
}
+ /* to avoid SIGSEGV when reusing this statement handle */
+ imp_sth->stmt->bind_result_done= 0;
}
(ry
# これも含めパッチ投げて反応待ちだったり．
# http://bugs.mysql.com/bug.php?id=26388
0406動け動けウゴウゴ２ちゃんねる
2007/02/18(日) 22:01:39ID:qfY4A8BA0http://p2.2ch.io/getf.cgi?http://news22.2ch.net/test/read.cgi/newsplus/1171768421/l50
マラソンをクリックするとこれに
http://find.2ch.net/?BBS=ALL&TYPE=TITLE&ENCODING=SJIS&STR=%83%7D%83%89%83%5C%83%93
0407stream ◆PNstream2s
2007/02/18(日) 22:09:21ID:XzsEMgbQ02ch検索側がおかしいと思う
0408stream ◆PNstream2s
2007/02/18(日) 22:13:20ID:XzsEMgbQ0%83%89 ラ
%83%5C ソ
%83%93 ン
%5C \
%83%83 ャ
0409動け動けウゴウゴ２ちゃんねる
2007/02/18(日) 22:19:53ID:ZJ8NfgfI0http://find.2ch.net/ のPerlスクリプトの正規表現マッチさせてるところに \Q いれれば解決
0410動け動けウゴウゴ２ちゃんねる
2007/02/18(日) 22:33:55ID:ZJ8NfgfI0URIいじってみたけど、少し違ってたみたい。
getf.cgi で %5C をふたつ重ねるようにすればいいのかな？＜こちらは動作確認
http://find.2ch.net/?BBS=ALL&TYPE=TITLE&ENCODING=SJIS&STR=%83%7D%83%89%83%5C%5C%83%93
0411stream ◆PNstream2s
2007/02/18(日) 22:51:03ID:XzsEMgbQ00412動け動けウゴウゴ２ちゃんねる
2007/02/18(日) 22:59:08ID:ZJ8NfgfI0find.2ch.net の方は EUC で処理してるっぽいのに、getf.cgi の出力が SHIFT_JIS で
発行されてる部分が多分食い違いの原因。
気を使うべき正規表現を扱ってる find.2ch.net の中を修正するのが筋なのは確かかも
0413動け動けウゴウゴ２ちゃんねる
2007/02/19(月) 00:38:36ID:Qm35+Bmi0修正しますた。
エンコーディング変換前になぜかstripslashes()が。なんでだろ。
0415動け動けウゴウゴ２ちゃんねる
2007/02/19(月) 08:46:54ID:kfF0dg9s0もう解決してるっぽいけど、Shift_JISの2バイト目のバックスラッシュの取り扱いの問題だね。
データのエンコーディングの扱いが曖昧だとハマる。
0416動け動けウゴウゴ２ちゃんねる
2007/02/19(月) 08:57:09ID:dFaVY2iE0PerlでShift_JISの２バイト文字を含む文字から安全に \ を取り除きたい場合は
$strings =~ s/([\x81-\x9f\xe0-\xfc][\x40-\xfc])|\x5c(\x5c)?/$1$2/g;
\\ と二つ並んだものは \ ひとつに。それ以外の単独の \ は全部除去されます。
どのように \ でエスケープされてるかを正しく把握しないと余分な処理しそうなのでご注意
0417動け動けウゴウゴ２ちゃんねる
2007/02/19(月) 11:12:32ID:CkwXuHW70なんにも見えないんですがどうにかなりませんかね＾＾；。。
ttp://up.spawn.jp/file/up3382.gif
0418動け動けウゴウゴ２ちゃんねる
2007/02/19(月) 13:01:54ID:pBEvSMZ10......と言おうと思ったら，そもそも Safari だと read.js 自体ちゃんと動かないんですね．
う〜む......
0420おふぃす
2007/02/20(火) 01:03:00ID:EBLhrkLWP誰かの案は採用されたのかい？まだアイディア出しの段階？
0421動け動けウゴウゴ２ちゃんねる
2007/02/20(火) 10:46:59ID:vxB49Y9b00423動け動けウゴウゴ２ちゃんねる
2007/02/22(木) 00:11:20ID:qlrx2fQN0何が？
0424動け動けウゴウゴ２ちゃんねる
2007/02/22(木) 00:19:08ID:wmcK2NTs00426動け動けウゴウゴ２ちゃんねる
2007/02/22(木) 01:30:14ID:CIG1Pa+z0キーワード【 rw InnoDB urls id words cgi ch 】
0427動け動けウゴウゴ２ちゃんねる
2007/02/25(日) 01:39:09ID:ha5BeV2q0次スレ追っかける時面倒な場合がある
（キーワードが本文であまり使われてない場合とか）
0428おふぃす
2007/02/25(日) 06:13:46ID:+aZFC3xFP雑談2007に書いたつもりが誤爆ったのさ♪
入らないこともありうる，と（スレタイは本文の2倍のウェイトで計算してはいますが）．
0430動け動けウゴウゴ２ちゃんねる
2007/02/26(月) 00:33:04ID:cBYEeqLc0tv11鯖ではまだ、ページヘッダのリンクに触れない気がします w/Opera9
快適になって安心していたのですが、まだ全鯖対応ではありませんでしたか？
今は T-banana とそれ以外で read.cgi のソースが統一されておらず，
その作業と併せて行った方が効率的なので，それまでしばらくお待ち下さい．
0432動け動けウゴウゴ２ちゃんねる
2007/02/26(月) 23:50:24ID:0DZUXpKj00433動け動けウゴウゴ２ちゃんねる
2007/02/27(火) 01:20:23ID:GeMrAsRv0別枠化するか
本文が400kbでスレタイが40bなら10000倍換算ぐらいがいいと思う
0434動け動けウゴウゴ２ちゃんねる
2007/02/27(火) 01:22:26ID:GeMrAsRv00436動け動けウゴウゴ２ちゃんねる
2007/02/27(火) 14:17:31ID:hig0wXqC0ずれた要望はあんまり気にしない方が良いかと。
第一、次スレ検索を主目的にしようとしてる時点で趣旨が違う。
同じ話題が話されているのが次スレだけとは限らないし、
雑談スレなんかスレ毎にキーワードが違うのが当たり前。
関連キーワード検索は「そのスレの内容と同じ話題のスレを検索」
するのであって、「次スレを検索」は用途としてはあっていない。
（結果的に代用出来る場合もあるだけ）
0437動け動けウゴウゴ２ちゃんねる
2007/02/28(水) 01:50:16ID:u1t4BgBC00438動け動けウゴウゴ２ちゃんねる
2007/03/03(土) 08:38:56ID:tOQK59wa00439動け動けウゴウゴ２ちゃんねる
2007/03/03(土) 11:56:46ID:oee6jhnS0キーワードとして利用するのは名詞だけなので......
ﾒｰﾙﾎﾞｯｸｽﾊﾟﾝｸするまで爆撃合戦するスレ
ﾒｰﾙﾎﾞｯｸｽﾊﾟﾝｸ 記号,一般,*,*,*,*,*
する 動詞,自立,*,*,サ変・スル,基本形,する,スル,スル
まで 助詞,副助詞,*,*,*,*,まで,マデ,マデ
爆撃 名詞,サ変接続,*,*,*,*,爆撃,バクゲキ,バクゲキ
合戦 名詞,サ変接続,*,*,*,*,合戦,カッセン,カッセン
する 動詞,自立,*,*,サ変・スル,基本形,する,スル,スル
スレ 名詞,固有名詞,組織,*,*,*,*
EOS
メールボックスパンクするまで爆撃合戦するスレ
メールボックス 名詞,一般,*,*,*,*,メールボックス,メールボックス,メールボックス
パンク 名詞,サ変接続,*,*,*,*,パンク,パンク,パンク
する 動詞,自立,*,*,サ変・スル,基本形,する,スル,スル
まで 助詞,副助詞,*,*,*,*,まで,マデ,マデ
爆撃 名詞,サ変接続,*,*,*,*,爆撃,バクゲキ,バクゲキ
合戦 名詞,サ変接続,*,*,*,*,合戦,カッセン,カッセン
する 動詞,自立,*,*,サ変・スル,基本形,する,スル,スル
スレ 名詞,固有名詞,組織,*,*,*,*
EOS
0441動け動けウゴウゴ２ちゃんねる
2007/03/03(土) 14:43:03ID:wHf2rjr800442動け動けウゴウゴ２ちゃんねる
2007/03/03(土) 17:19:16ID:yF+lRADQ0このあたりの Perl コード欲しいですか？ jcode.pl だけでなんとかなるなら不要かもだけど
0443動け動けウゴウゴ２ちゃんねる
2007/03/03(土) 17:28:59ID:yF+lRADQ0パーサは c2.2ch.io の処理で一番重い部分なんで（ほとんどは
MeCab によるものですが），さらに重くするのがいいのかどうか，ってとこで．
# 仮に正規化するなら，1-way の変換ではなく MeCab の処理結果を元に戻す，
# ってとこまでやらなきゃならないですし．
0445動け動けウゴウゴ２ちゃんねる
2007/03/04(日) 09:51:09ID:nVnbTany0全角のキーワードとして表示してもいいのならそれだけでもいいんですが，
半角のは半角のまま表示ということになると，いったん全角に変換したのを
半角に戻す処理も必要になって，そうなると処理が複雑になってくると．
不可能ではないんですが，重くなりそうだなぁ，と......
0447動け動けウゴウゴ２ちゃんねる
2007/03/04(日) 19:47:14ID:i3rGGgjT00448動け動けウゴウゴ２ちゃんねる
2007/03/04(日) 20:21:29ID:Qp8jFuR10全角に変換したままってのもどうかなぁ......とも思ってたんですが，
とりあえず全角のままでやってみます．
再クロールは2日周期なんで徐々に反映されるかと．
0450動け動けウゴウゴ２ちゃんねる
2007/03/05(月) 13:05:32ID:ckCgsY7X0それによる不都合も相当ある
http://pc11.2ch.net/test/read.cgi/esite/1034264315/l50
tGrepは完璧
0451動け動けウゴウゴ２ちゃんねる
2007/03/05(月) 18:26:45ID:D+u/AYgk0http://news22.2ch.net/test/read.cgi/newsplus/1172896755/l50
http://p2.2ch.io/getf.cgi?http://news22.2ch.net/test/read.cgi/newsplus/1172896755/l50
0452動け動けウゴウゴ２ちゃんねる
2007/03/05(月) 19:26:23ID:qjpPIEp900453動け動けウゴウゴ２ちゃんねる
2007/03/06(火) 02:56:01ID:1Igmeu5x0と思ったら，>>449 の時にミスったようですね，すみません．
これから(再)クロールされる分は正常になるかと．
0455動け動けウゴウゴ２ちゃんねる
2007/03/06(火) 18:25:54ID:RZaN2IVv0前は生きてたと思ったけど
ただ，再クロールは2日周期なので，落ちてからデータが消えるまでのタイムラグはあると思いますが．
0457動け動けウゴウゴ２ちゃんねる
2007/03/08(木) 18:59:20ID:cMnMtVSa00458トラックバック ★
2007/03/08(木) 21:08:02ID:cMnMtVSa0[タイトル] スレタイ検索 スレッドタイトル検索サービス♪2find
[発ブログ] ネットサービス＠2ch掲示板
http://pc11.2ch.net/test/read.cgi/esite/1173355555/l50
[＝要約＝]
主要なもの
http://ttsearch.net/ http://www2.ttsearch.net/
http://page2.xrea.jp/tgrep/tgrep2-test.cgi
http://www6.big.or.jp/%7Ebeyond/bbsnews/
公式のサービス
http://find.2ch.net/ http://test.razil.jp/（苦情は向こうで）
http://h.u.la/dance/
http://is.2ch.net/
その他の検索
http://www.google.co.jp/search?&q=site%3A2ch.net
http://www.2chs.net/
http://www.mimizun.com/
http://makimo.to/
こんな風に使ったり http://find.2ch.net/?STR=find
<a href="../test/read.cgi/esite/1173355555/2-30" target="_blank">>>2-30</a>
0459動け動けウゴウゴ２ちゃんねる
2007/03/11(日) 20:51:40ID:L60sUdWe0スレ落ち後は次スレ追跡モードに差し替えるとかは？
またデータを保持せず on the fly に生成させるとなると，忙しくなりすぎて破綻しそうだし......
いずれにせよ，過去ログ用に別途専用鯖等のリソースを投入するとかでもない限り困難ではないかと......
いいような気がしてきました。
つか、memoriesに同居とか。
0462動け動けウゴウゴ２ちゃんねる
2007/03/12(月) 12:49:49ID:Mzo4MlK10memoriesそろそろ容量が少なくなってきてるらしいですよ・・・。
まあ、増設できるらしいですが・・・。
前にもらったtigerあまってないんですか？
それとbeのメール機能が時々おかしいので見てもらえるとうれしいです・・・。
0463動け動けウゴウゴ２ちゃんねる
2007/03/12(月) 14:54:54ID:AFyu+OQm0datにくっ付けちゃうってのはどうなの？できない？
0464動け動けウゴウゴ２ちゃんねる
2007/03/12(月) 20:38:10ID:rmdcm8FM0「次スレ追跡する」ボタンみたいにワンクッションおくとかは？
見たい人だけ使う
httpd + offlaw.cgi なんかと競合しないかなぁ，とか（MySQL を
ストレスなく動かすには，メモリとかリソース結構食いますし）．
>>462 残ってる stiger を専用で使うならリソースの競合とかは心配ないですね．
ただ，そんなに HDD 容量がデカいわけでもないんで...... とはいえ，
単にライブな dat のキーワードをコピーして保存するだけなら，
重要度計算用のデカいテーブル (regwords) は過去ログデータの方では
不要なんで，当面は心配ないかも．中長期的には問題ですが......
もっとも，問題が起きたらその時改めて考えよう，ということにしておけば
2ch らしいかも？ｗ
>>463 dat にそういうデータを付けていいのかどうか，っていう
ポリシーの問題もあるかもですね．あと，dat 落ちを制御してる
F22 はいろいろ亜種ができてるらしいとかで，それぞれの鯖で
個別に F22 を改造しなきゃならないかも，っていうのも......
結局データ量が増大することに変わりないですし，
on the fly に生成するにしても，今の p2.2ch.io / c2.2ch.io は
リアルタイムにキーワード抽出する前提で作ってないので
苦しいことには変わりないです．
0467動け動けウゴウゴ２ちゃんねる
2007/03/12(月) 21:03:17ID:AIFnMu+70もちろん試すのにいろいろ準備とかあって大変だとは思うけど。
なので，過去ログに対処するなら専用鯖等のリソース投入が前提じゃないかなぁと．
0470動け動けウゴウゴ２ちゃんねる
2007/03/13(火) 20:31:36ID:rUlVQy5G0スレッドkeyのテキストファイルを作って置いておくだけでいいと思うのです。
ってことで、mysqlはいらないかと。
0473動け動けウゴウゴ２ちゃんねる
2007/03/14(水) 20:08:28ID:LYxNhfWe0ところで
>>472
なんかネタ落としてってｗ
ひろゆきを訴えたGJ会社員（３５） 今度は毎日新聞を訴えてひろゆき涙目ｗｗｗ
http://news23.2ch.net/test/read.cgi/news/1173860149/
どういう形で入れればいいか，またそれをどうやって read.cgi で
表示させるか，ってあたりですか．ぼちぼち考えてみます．
JSON ならその制限なしで可能です．というか，read.html 用 I/F では今も JSON 的な
やり方でやってます．ただ，read.cgi だとブラウザ側の JavaScript の処理能力の不安があって......
memoriesのHDDに常時書き込み負荷をかけるのは、
できれば避けたいかも。
0478動け動けウゴウゴ２ちゃんねる
2007/03/15(木) 20:08:32ID:/5nJizMU0ふらだんすに振るとか
| Operaだと関連キーワードやofuda.ccのあれととスレの一番上の全部や掲示板に戻るが重なって
| 掲示板に戻るがクリックできない。
なのですが、>>375-388 のは pc11 鯖には入ってないんでしょうか？
T-Bananaサーバーの実験を手伝うって名目でなんとかしてもらうとか、、
0481動け動けウゴウゴ２ちゃんねる
2007/03/15(木) 23:01:17ID:MBGNf4P70# そろそろ http://qb5.2ch.net/test/read.cgi/operate/1172208065/797 を
# やってもいい頃じゃないか，って気もしないではないですが......
>>480 さっそく http://qb5.2ch.net/test/read.cgi/operate/1172208065/913 がｗ
ただ，過去ログ用の HDD でほしいのは速度より容量なんですよね．
# むむむさんの >>477 の真意は，「HDD にダメージを与えず長持ちさせたい」ってことじゃないかと．
T-banana のようにディスク I/O の性能が高く，かつ RAM もたくさん積んであるマシンなら，
むしろ MySQL でデカいデータをがんがん扱う用途の方が向いてそうな気がしますね，個人的には．
> # むむむさんの >>477 の真意は，「HDD にダメージを与えず長持ちさせたい」ってことじゃないかと．
ですね。
memoriesはデータ格納時以外はほぼread onlyで使いたいなと。
HDDの容量が20G台でいいなら、
今使っていないstigerを1台、それ用に割り当ててみるとかですが、
もっと必要なかんじですかね。
データを .js のように直接表示できる形で保存するとサイズは大きくなるが CPU の仕事は少ない，
一方 CSV のような形で保存するとサイズは小さくなるが表示する際の CPU の仕事が増える，と．
まぁ CPU の仕事が増えるといっても，現状 p2.2ch.io 1台で全ライブスレの
getf.cgi 表示させてるぐらいなので，stiger を専用で割り当てるなら問題ないと思いますが．
ただ，各スレ単位でファイル作ると，HDD 消費はバイト単位でなくフラグメントサイズ単位になるんですよね．
HDD スペースの利用効率を向上させるには，1ファイルに複数のスレのデータを書き込んだ方がいいのか．
その代わり，必要なデータを検索する仕事が増えると．1ファイルに書き込みつつ
検索も効率的にするには......結局 MySQL を使うとかなるのかな．
デフォルトでは16k(16384)ですね。
man newfs
...
-b block-size
The block size of the file system, in bytes. It must be a power
of 2. The default size is 16384 bytes, and the smallest allow-
able size is 4096 bytes. The optimal block:fragment ratio is
8:1. Other ratios are possible, but are not recommended, and may
produce poor results.
4k まで小さくできますが、あんまりおすすめしないかも。
フラグメントサイズはブロックサイズを８分の１したものがデフォルトで使われるので 2k(2048)バイト ではないかと。
newfs -b 16384 -f 2048 のように指定されているはずか、オプションなしのどちらかですね。
man newfs
-f frag-size
ファイルシステムのフラグメントサイズをバイト単位で指定します。
blocksize/8 から blocksize までの範囲の、2 のべき乗である必要があります。
デフォルトは 2048 バイトです。
確かに、フラグメントサイズとブロックサイズは別物ですね。
ご指摘&補足すみませんです。
過去ログ発生速度≒新スレが立つ速度
なのかなぁ......
0496動け動けウゴウゴ２ちゃんねる
2007/03/17(土) 22:31:56ID:QoCeQg460どうやったら反映されるの？
0497動け動けウゴウゴ２ちゃんねる
2007/03/19(月) 11:31:06ID:DEGsDWtn0単語を表示させる。
0498動け動けウゴウゴ２ちゃんねる
2007/04/01(日) 17:25:54ID:azmkmmMB0多分92のキーワードというのがスレの関連した語句になるので、それの検索は考えています。
自動的に"「74」「SevenFour」"など関連した語句の摘出は、ネタとしては面白いのですが、
難易度が高いというか、スレ名によっては多分バカ検索になるので、やるとしても実験的な機能としての
実装になります。多分正解は134さんが書かれているスレッド検索に正規表現をサポートでしょう。
>135
いろいろ作っていますが、どれも中途半端でして、、、
>136-139
先にも書きましたが、弱いとか、上手くいかないのではなく、元々対応していないというのが正解のようです。
今回版で一応修正しましたので、御報告いただければ助かります。
>141
>●対応って、面倒なの？
有償アカウントが必要なんですよね? いまのところ対応予定無しです。
>それと、まちBBSとかが見れないんだけど
過去ログを見ると2chに完全対応したら対応させる等書かれていましたので、メニューのトップには
表示されていますが、対応していません。対応させたいのですが、他が優先順位が高いので調査等保留状態です。
>142
すみません。ちょっと意味が判りません。
>143
まだ考え中ですが、本体側ではスレへアクセスの時に毎回キーワード取得してデータベースに溜めていきます。
あとキーワードを入力するIFを用意してユーザーからも入力が可能とします。
js側のAPIはデータベースへアクセスするsfSystem.getKeywordsとsfSystem.setKeywordを用意します。
溜められたデーターは検索やスマートボードに使ったり出来ます。
データベース内の削除は必要かなぁ。と 時間がなかなか取れないので、そんな感じで止っています。
0499498
2007/04/01(日) 17:29:44ID:azmkmmMB00500動け動けウゴウゴ２ちゃんねる
2007/04/01(日) 21:24:12ID:E7umBdRz0http://find.2ch.net/?STR=%A5%AB%A5%EC%A1%BC%A5%DF%A5%E5%A1%BC%A5%B8%A5%A2%A5%E0
http://food8.2ch.net/test/read.cgi/curry/1175356755/l50
0501動け動けウゴウゴ２ちゃんねる
2007/04/06(金) 19:29:06ID:vyYNJZL70ヒットしたりしなかったりするスレがある模様
■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 岸田首相「いま日本においては30年ぶりに経済の明るい兆しが出てきました」 ★4 [Hitzeschleier★]
- 岸田首相「いま日本においては30年ぶりに経済の明るい兆しが出てきました」 ★3 [Hitzeschleier★]
- 【交番で性行為】既婚者の警察官が「W不倫」パトカー巡回の時間に交番で「欲望から流れで性行為に」 [PARADISE★]
- 【ドジャース】大谷翔平、1安打1打点 先輩・菊池雄星から自己最速＆球団記録の打球速度192キロ チームは先発全員安打で絶好調6連勝 [フォーエバー★]
- 「生涯で訪れるべき国ランキング2024」でタイがトップ、日本は… [少考さん★]
- 【文春】〈ロシアに小国ウクライナが勝てるわけない〉いなば食品の社長が全社員に送りつけた“怪メール”公開 [Ailuropoda melanoleuca★]
- LAD @ TOR ★8
- 新潟競馬 1回2日目
- 2024 MotoGP 第4戦 スペインGP Lap2
- 【SPOTV/U-NEXT/ABEMA】プレミアリーグ総合 ★135
- とらせん
- 【NJPW】新日本プロレスワールド part.1966
- 【実況】博衣こよりのえちえちFF8リバース【最終回】🧪
- 【実況】博衣こよりのえちえちFF7リバース【最終回】🧪
- 【実況】博衣こよりのえちえちFF9リバース【最終回】🧪
- ぬわ粘禁止のお🏡
- お前ら見抜きOK？
- 【悲報】キシオ「30年ぶりに経済の明るい兆し」投稿が大炎上 [115996789]