datをUTF8にするのはどうだろうスレッド

**ひろゆき＠どうやら管理人 ★** · 2008/04/12(土) 13:13:09

datをUTF8にするのはどうだろうスレッドです。

影響があるのは、AA周りすかねぇ。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 13:15:03

↓ハゲスト

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 13:15:27

野
々
村

**ひろゆき＠どうやら管理人 ★** · 2008/04/12(土) 13:15:37

utf8にしちゃえば、read.jsが使えるので、
サーバリソースは軽くなるかなぁと。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 13:20:51

ぅぉたらこだ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 13:22:59

転送量とDAT容量は増加するかね。

やるならBOMつきにしてほしいなぁ。

**c(・ω・c))))))** ◆....w.VIPQ · 2008/04/12(土) 13:29:09

　　 /⌒ヽ)
　　i三　∪
　○三　|
　　(/~∪
　　三三
　三三
三三三

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 13:29:54

今更変更かい

2008/04/12(土) 13:32:00

**root▲▲ ★** · 2008/04/12(土) 13:34:07

今日はちとこれからおでかけにつき、記念カキコのみで。

何となく、いろんなところが影響ありな気がしますけど、
やる価値はあるかもですね。

ただ、これまでのSJISのdatを変換するのは実際的ではなさそうなので、
どうしても「混ざった」状態になると。
ということで大抵のスクリプト(削除など)は、
両方対応にしないと、だめなような。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 13:34:42

大変だ！キャップが割れたぞ！！

**root▲▲ ★** · 2008/04/12(土) 13:35:32

で、ライブなdatだけでも一斉に変換するかどうか、
というのも考えどころなのかな、と。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 13:37:15

UTF8なんてffftpの設定か
テラタームの初期設定くらいでしか見たことない

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 13:37:53

そんなにサーバリソースが重かったのか
知らなかった

**ひろゆき＠どうやら管理人 ★** · 2008/04/12(土) 13:41:17

utf8のdatファイルを.dataとかにするか、
qb7みたいに新しいサーバ名の.datを全部utf8にするか、、、

管理周りは粛々と対応すればなんとかなると思うのですが、
アスキーアートみたいに、出来なくなることとか、
デメリットはどういうのがあるのかなぁ。。と。

**Cooks** · 2008/04/12(土) 13:41:34

よくわからんけど
read.cgiをapacheモジュールにしたらいい
ついでにbbs.cgiも
mod_2ch

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 13:42:54

>>15
そんなことよりbeをどうにかしろやコラ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 13:44:45

デメリットや手間のわりにメリットは少ないかと・・・
大抵のソフトウェアはdatはSJISだと決めてハードコーディングしてるだろうかなぁ・・・

**stream** ◆PNstream2s · 2008/04/12(土) 13:52:47

UTF-8でAAが影響受ける？なんで？
フォントなら、CSSでsans-serifつけりゃいいと思ってるけど

**ひろゆき＠どうやら管理人 ★** · 2008/04/12(土) 13:54:07

半角カナとか。

**stream** ◆PNstream2s · 2008/04/12(土) 13:55:15

>>4
現状でもある程度read.jsは使えてるし、UTF-8にしてもそんな軽くならないと思う

>>6
UTF-8にBOMは必要ないから反対

>>20
半角カタカナはUnicodeに存在して普通に使えるよ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 13:55:50

上のもんは下のもんの気持ちは汲んでも
顔色を伺ったらあかん

って仮面の兄ちゃんがいってた

**stream** ◆PNstream2s · 2008/04/12(土) 13:56:08

UTF-8の問題点は、サイズだな。
日本語の場合たいてい1文字で3バイト使うから、500KB制限を引き上げる必要があると思う。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 13:57:01

ひろゆきがこんな事を思いつくとは思えない
ひろゆきにUTF-8を勧めた人間出て来い

**ひろゆき＠どうやら管理人 ★** · 2008/04/12(土) 13:57:13

＞半角カタカナはUnicodeに存在して普通に使えるよ
まじすか。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 13:58:51

http://code.cside.com/3rdpage/jp/utf-8/Halfwidth_and_Fullwidth_Forms.html

これのことか
ユニコード上にある半角カタカナってーのは

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 13:59:50

半角カナはバイト数増えるけどつかえるよ。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 14:01:05

UTF8でdatのサイズが大きくなったら、ますます重くなるのでは
サーバリソースも食う事になる

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 14:02:38

なるほどなるほど

**stream** ◆PNstream2s · 2008/04/12(土) 14:04:35

サイズが問題ならUTF-16にする？ｗ

株価【950】 △△ ◆cZfSunOs.U · 2008/04/12(土) 14:05:12

ん...... UTF-8 にしないと read.js が使えない環境ってどんなのだろう？
少なくとも，IE6 での問題は anydat.so で対策されてますが......

**ひろゆき＠どうやら管理人 ★** · 2008/04/12(土) 14:08:38

anydat.soみたいなサーバ処理がいらないものだけで、
回せないかなと。

株価【950】 △△ ◆cZfSunOs.U · 2008/04/12(土) 14:13:29

IE6 を無視すれば Content-Type で charset=Shift_JIS を追加するとかでいいんで
mod_headers で事足りるわけですが......
IE7 への強制アップデートもあったらしいですし，今後 IE6 の比率が下がれば
それでいいのかも，とも......

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 14:17:48

２ちゃんねるの中というか日本ではIE7アレルギーが異常だから
欧米とかに比べると普及は遅れていると思うよ>>33

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 14:18:16

IE厨は腹を切って死ぬべきである

株価【950】 △△ ◆cZfSunOs.U · 2008/04/12(土) 14:22:10

まぁ IE6 での問題は文字コードより，JavaScript が時々挙動不審になったり
ブラウザの動作が重くなったり，ということの方が大きいんですけどね．

# それで read.js をデフォルトにするのを断念した，という経緯も......

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 14:22:37

>>30
UTF-16にすると、1バイトで表現できている英数文字が2バイトに
なるであってる？
UTF-8は漢字が2バイトから3バイト必要になる
どちらにしても、datサイズが増える事に変わりがないような
そうすると、オンメモリで処理可能なdatの総量が何割か減ったり、
通信容量の増大を招いたりでいい事がないような

**stream** ◆PNstream2s · 2008/04/12(土) 14:26:40

>>37
あってる

ただ、Shift_JISは日本語のコードにASCIIを含んでるから(つまり腐ってる)
UTF-8にすればShift_JISだったから必要な余計な処理が無くなって
負荷が減るとかコードの見通しが良くなるとかあるかもね。
Rock54まわりはいろいろ大変だったような。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 14:34:16

ほいほい文字コード変えられたら
内部設定をテキストファイルで読み込ませる組み込みは大変なことになる
多言語対応なんてやってられねーんだよ
どこのlinux脳だ
ということに

株価【950】 △△ ◆cZfSunOs.U · 2008/04/12(土) 14:37:31

まぁ read.js 以外のことを考えた場合，>>38 のような利点はありますけどね．
もっとも，その点に関しては EUC-JP でもいいんですけど．

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 14:39:48

UTF8になったらしばらくは変える必要無さそうだけどね。

EUCはなぁ。ちょっと変える利点が。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 14:46:47

キャップの文字化けとか
目欄で「age」の直前に「鋭郭虐茎行市峻尽壮痴」でsageになってたとか
そんなの無くなる？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 14:49:14

なくなるね。

トリップはどうなるんだろう。
送られるデータが変わるわけだからやっぱり変わるよな。

株価【950】 △△ ◆cZfSunOs.U · 2008/04/12(土) 14:50:32

不正バイトシーケンスの問題は，どの文字コード使うにせよ
解決するならきちんとチェックするという以外ないような．

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 15:00:02

なんぞこれ
http://www.itmedia.co.jp/news/articles/0804/10/news079.html

**stream** ◆PNstream2s · 2008/04/12(土) 15:21:54

持ってる運用情報のdatファイル1102個をiconvを使ってCP932からUTF-8に変換してみた。
正常に変換できたdatが1024個(偶然)。

CP932の場合　98.1MB (平均で98KB)
UTF-8の場合　121MB (平均で122KB) 　1.24倍

意外と大きくなってない。
この程度の増加なら、全然許容範囲だと思った。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 15:37:44

>>46
出た異常についてｋｗｓｋ

**stream** ◆PNstream2s · 2008/04/12(土) 15:38:36

>>47
iconv: 位置 138601 で不正な入力シーケンスがありました
携帯の絵文字が入ってたとかそんなとこかねえ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 15:45:05

1.24倍の容量増をでかいと思うか、ちいさいと思うかは
メディアコストに対する認識の差だろうな

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 16:26:54

サーバリソースを軽くするのが目的で、24%増になるのは本末転倒じゃないだろうか

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 16:33:17

容量が増えると花子が困るな

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 16:48:22

２ちゃん用の文字コード作ればいいよ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 17:26:10

ザウルスとか旧Palmとか古い機種の専ブラは大丈夫なんだろうか？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 17:56:53

>>50
処理量を優先するかストレージを優先するかの優先度の問題でしか無い。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 18:12:22

UTF-8にするんなら、いっそのことdatの仕様を思いっきり弄くり回すとか。
レイアウトとフォントはCSSにすればdat自体の容量は減る
互換性全くなしで、専ブラがひどいことになるがｗ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 18:19:15

「これが、私が考えた掲示板だ。使い勝手についていろいろ言う人もいるかもしれない。
　それは対応する専用ブラウザを作るボランティアや利用者が、この仕様に合わせてもらうしかない」

この道ーはー
いつかーきたみーちー

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 18:35:33

最大の問題は過去のdatの扱い（一括変換するにしてもshift-jisのまま放置にしても）

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 18:42:56

将来を見据えた時代の流れでいいんじゃね？
Shift-JISが許されるのは20世紀までだよね

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 18:56:20

とりあえず新板で試すのがベターだろうな
で、専ブラ作者には馴れてもらうと
その流れで文字コードの判別にセンシティブになってもらうと

変換とか引越しって、絶対にトラブるんだよな

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:04:54

新板からとか、スレッド番号でスッパリ分けるとかするべきだろう。
あと、文字コード情報について正しくヘッダを送る。

既存のスレッド全部変換するのは、失敗のリスクとかが大きいと思う。
それから512KB制限も考え直すべきでしょう。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:13:44

>>60
512MB制限…
　＜⌒／ヽ-、_＿_
／＜_/＿＿＿＿／

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:15:58

新板立てなくとも金があるじゃない。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:20:08

専ブラがdat拾うときもhttpで拾うわけだから、Content-typeのヘッダ見れば
理論上はいいのけ？追加メタ情報いらない？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:24:05

なんか変更を見据えた話になってる？
多言語扱うわけじゃないし
変えるメリットが見当たらない

ここはひろゆきをなだめて止めさせるべきだろ

**ひろゆき＠どうやら管理人 ★** · 2008/04/12(土) 19:35:32

サーバリソースを使わないモデルにできれば、
人大杉が無くなるかなぁと。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:41:41

IEのためにマイクロソフトにでも頼まれたのか

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:42:21

つか人大杉をなくしてread.htmlに転送して欲しい。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:43:11

全部read.jsにしておまえらのブラウザで処理してくれー
つーことに？人大杉よりはいい罠

▲ ◆SANUKI/VII · 2008/04/12(土) 19:44:34

datの仕様も変えてくれりょ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:45:57

>>63
過去ログを.datファイルで入手したときに分かりにくくなる。
BOM有りならutf-8、無しならshift-jisと判断できるのが一番簡単で確実。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:46:45

>>69
具体的に何を変えて欲しいんよ？

株価【866】 △△ ◆cZfSunOs.U · 2008/04/12(土) 19:47:25

人大杉解消が一義的な目的であれば，少なくとも read.js に関しては
ネックになるのはむしろ文字コード以外の部分ですね(>>36)．
anydat.so 自体は，ライブな dat を扱う際はデフォルトハンドラとほぼ同程度の
処理しかしないので，負荷的には anydat.so を使わない場合とほぼ変わらないかと．

株価【866】 △△ ◆cZfSunOs.U · 2008/04/12(土) 19:56:31

ちなみに，人大杉状態の時に板トップの「read.cgi モード切替」が効かない問題に関しては，
技術的問題よりポリシーの問題（いつぞやの FOX さんの「見えないようにしているのは意図的なので
人大杉の時には read.html に振らないようにしてほしい」という趣旨の発言を受けたもの）なので，
これについてはしかるべき人にしかるべき方針を打ち出してもらえれば，効くようにすることは不可能ではないです．

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:58:02

AAにユニコード文字がほのまま使えるなら賛成

ってか互換性がどうなるんだろう

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:58:07

UTF8ってbe系の板で既にやってなかったっけ？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:00:51

>>75
やってない。前Be系の板はBe関連のシステムがPHPで文字コードがEUC-JPだったから
それに合わせてたけど06年ぐらいにログ全部Shift_JISにコンバートして移行した

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:02:23

>>53
あー古い機械からは全部見れなくなるな…
昔の携帯もダメかもしれん

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:03:48

>>55
datは現状でいいんでね？

と、思ったが、日付とIDとbeとかが全部一つになってるのはちょっとな
xmlにしてくれたら助かるが、そうはいかんか

**stream** ◆PNstream2s · 2008/04/12(土) 20:06:05

>>64
多言語扱えたほうが便利でしょ
曲のタイトルにアクセント記号つきのアルファベットとかあるし
ニュースで中国人の名前書くとき便利になるし
àáâäçñ

>>78
XMLは単純にレスを追記することが出来ないからねえ。
<>区切りはどうかと思うが。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:06:40

外字とか画数の多い漢字は実体参照にしてutf-8で実体山椒のままにしておく必要のない
実体三章は素の文字に変えて、とりあえずutf-8にしてしまったらええ。
専ブラなんて気にすんな。utf-8にしてフラッシュでも何でもつこたらええ。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:10:30

>>76
あ．．EUCだったな。
コンバートしたのは不覚にも全然知らなかった。
でも、それに対応するために多くの専ブラはEUC-JPに対応してるはずだから、
実装によっては今回の対応が必要ないものもあるのかも。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:11:32

<2chdat>
　<res>
　　<name>名無しさん</name>
　　<msg>datは現状でいいんでね？と、思ったが、日付とIDとbeとかが全部一つになってるのはちょっとなxmlにしてくれたら助かるが、そうはいかんか</msg>
　<res>
　<res>
　　<name>名無しさん</name>
　　<msg>datは現状でいいんでね？と、思ったが、日付とIDとbeとかが全部一つになってるのはちょっとなxmlにしてくれたら助かるが、そうはいかんか</msg>
　<res>
</2chdat>
じゃなくて
　<res>
　　<name>名無しさん</name>
　　<msg>datは現状でいいんでね？と、思ったが、日付とIDとbeとかが全部一つになってるのはちょっとなxmlにしてくれたら助かるが、そうはいかんか</msg>
　<res>
　<res>
　　<name>名無しさん</name>
　　<msg>datは現状でいいんでね？と、思ったが、日付とIDとbeとかが全部一つになってるのはちょっとなxmlにしてくれたら助かるが、そうはいかんか</msg>
　<res>
と、単純追加出来る独自形式とか…ｗ

今でこそ<>区切りは掲示板のログの標準だけど
何かの標準規格で、それに2chが合わせただけなの？
それとも慣習？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:15:41

昔はカンマ区切りだったな

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:44:32

>>83
ヌル区切りにすりゃ良くね?

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:04:34

区切りなら0x1C-0x1Fを使えばいいじゃない
せっかくASCIIが現役で生き残ってるんだから有効に使わないと

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:16:53

>>82
HTMLをデータとして持つ場合はHTMLで使わない文字列で区切らないと
区切り位置がバグる可能性があるでしょ
そう考えると最も単純に区切れる文字列は<>になる

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:19:38

テキストエディター　ってかキーボードから打ち込めない文字を使うのは嫌だな
まぁDATを直接編集する事なんてそうあるもんじゃないけど

**stream** ◆PNstream2s · 2008/04/12(土) 21:28:50

TSVで良いと思うんだけどねえ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:33:32

２ちゃんのdatに使われてる制御文字はLFだけだから
1byte文字で全く使われてない領域が32文字分あるんだよね
勿体無いというか無駄というか

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:38:49

過去ログだって
専ブラで取得したらログとして残る
いままでの専ブラで累積したログの変換にも
おまえら対応しろよ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:46:58

>>90
はい　頑張ります

**未承諾広告※** ◆TWARamEjuA · 2008/04/12(土) 21:52:28

perl本体としては処理が軽くなるのかしら？
そしてperl5.10移行は未だ先なのかしら？

Rock54系は、別に変わりはないと思う。。。＠現状euc-jp→Shift_JISしている(´･ω･`)

多分一番のネックは携帯系かしら？

**ひろゆき＠どうやら管理人 ★** · 2008/04/12(土) 21:53:27

ほいだら、人大杉のときは、
read.htmlをデフォルトで動くようにしちゃってくださいー。

**stream** ◆PNstream2s · 2008/04/12(土) 21:53:29

>>92
Rock54は全部UTF-8のまま扱えるから負荷がさがるんでねえか？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:54:52

目的を明確にできないかな。
どういう板、どういうスレ、どういう場合に必要とか。

そういう話の進め方を意図してないのか
あるいは既に暗黙の了解があるのかも分からないけど。

スレタイはsjis。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:56:22

つーかなんでひろゆきってなんで運営に関わる事2ch上で言うけど
当然しかるべき人にはメールで伝えて、2chに書き込むのは告知のためだよな？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:57:33

日本語で

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:00:15

×つーかなんでひろゆきってなんで運営に関わる事2ch上で言うけど
○つーかひろゆきってなんで運営に関わる事2ch上で言うけど

最初は
つーかなんでひろゆきってなんで運営に関わる事2ch上で言うの？
って書いてたけど
「2chの事を2ch上で言うのに理由なんて無いだろ」って言われるのが目に見えてたからやめた

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:01:04

つーかひろゆきって運営に関わる事2ch上で言うけど
当然しかるべき人にはメールで伝えて、2chに書き込むのは告知のためだよな？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:01:28

>>1
早く金払えよ犯罪者タラコ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:01:31

>>4
read.jsをSJISに対応させた方が早かったりしないの？