datをUTF8にするのはどうだろうスレッド

[1 ひろゆき＠どうやら管理人 ★ 2008/04/12(土) 13:13:09 ID:???0]

datをUTF8にするのはどうだろうスレッドです。

影響があるのは、AA周りすかねぇ。

[2 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 13:15:03 ID:UJKL7VVbP]

↓ハゲスト

[3 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 13:15:27 ID:2lzvvu5k0]

野
々
村

[4 ひろゆき＠どうやら管理人 ★ 2008/04/12(土) 13:15:37 ID:???0]

utf8にしちゃえば、read.jsが使えるので、
サーバリソースは軽くなるかなぁと。

[5 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 13:20:51 ID:x7ZamL2B0]

ぅぉたらこだ

[6 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 13:22:59 ID:YxILKQC60]

転送量とDAT容量は増加するかね。

やるならBOMつきにしてほしいなぁ。

[7 c(・ω・c)))))) ◆....w.VIPQ 2008/04/12(土) 13:29:09 ID:Q2BscwRD0]

　　 /⌒ヽ)
　　i三　∪
　○三　|
　　(/~∪
　　三三
　三三
三三三

[8 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 13:29:54 ID:6duUvB8e0]

今更変更かい

[9 [―{}@{}@{}-] 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 13:32:00 ID:cHsq6m3t0]

　　　　　　　_r-._,-,_
　　　　　 r‐'　＿_　~t_
　　　　　j'／"il li ~＼〈
　 　 　rf/l |_l_l| |l_l_ iﾞﾄ'､
　　 ／"ﾊl　U　　U　|lﾞi l　　　　
　　/ /　li.ゝ γﾆ ヽﾉ | l |　　 ふ〜ん
.　 l /　 il　f:`l .l i_| |　j　l |
　 |/　 ξ　ゞ_`,-ｨｲ ξ　l|
　 彡　 　 /:::::::::::〇, 　　ミ
　　ｿ 　　 i::::::::::::::l_l:l　　 ﾘ

[10 root▲▲ ★ 2008/04/12(土) 13:34:07 ID:???0]

今日はちとこれからおでかけにつき、記念カキコのみで。

何となく、いろんなところが影響ありな気がしますけど、
やる価値はあるかもですね。

ただ、これまでのSJISのdatを変換するのは実際的ではなさそうなので、
どうしても「混ざった」状態になると。
ということで大抵のスクリプト(削除など)は、
両方対応にしないと、だめなような。

[11 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 13:34:42 ID:brQJu+/UP]

大変だ！キャップが割れたぞ！！

[12 root▲▲ ★ 2008/04/12(土) 13:35:32 ID:???0]

で、ライブなdatだけでも一斉に変換するかどうか、
というのも考えどころなのかな、と。

[13 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 13:37:15 ID:dKHHUdt+0]

UTF8なんてffftpの設定か
テラタームの初期設定くらいでしか見たことない

[14 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 13:37:53 ID:xAdVa0Bc0]

そんなにサーバリソースが重かったのか
知らなかった

[15 ひろゆき＠どうやら管理人 ★ 2008/04/12(土) 13:41:17 ID:???0]

utf8のdatファイルを.dataとかにするか、
qb7みたいに新しいサーバ名の.datを全部utf8にするか、、、

管理周りは粛々と対応すればなんとかなると思うのですが、
アスキーアートみたいに、出来なくなることとか、
デメリットはどういうのがあるのかなぁ。。と。

[16 Cooks 2008/04/12(土) 13:41:34 ID:V2OGDCmc0]

よくわからんけど
read.cgiをapacheモジュールにしたらいい
ついでにbbs.cgiも
mod_2ch

[17 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 13:42:54 ID:xDM6T07D0]

>>15
そんなことよりbeをどうにかしろやコラ

[18 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 13:44:45 ID:rbaOIjlz0]

デメリットや手間のわりにメリットは少ないかと・・・
大抵のソフトウェアはdatはSJISだと決めてハードコーディングしてるだろうかなぁ・・・

[19 stream ◆PNstream2s 2008/04/12(土) 13:52:47 ID:sMNaDZg+0]

UTF-8でAAが影響受ける？なんで？
フォントなら、CSSでsans-serifつけりゃいいと思ってるけど

[20 ひろゆき＠どうやら管理人 ★ 2008/04/12(土) 13:54:07 ID:???0]

半角カナとか。

[21 stream ◆PNstream2s 2008/04/12(土) 13:55:15 ID:sMNaDZg+0]

>>4
現状でもある程度read.jsは使えてるし、UTF-8にしてもそんな軽くならないと思う

>>6
UTF-8にBOMは必要ないから反対

>>20
半角カタカナはUnicodeに存在して普通に使えるよ

[22 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 13:55:50 ID:dKHHUdt+0]

上のもんは下のもんの気持ちは汲んでも
顔色を伺ったらあかん

って仮面の兄ちゃんがいってた

[23 stream ◆PNstream2s 2008/04/12(土) 13:56:08 ID:sMNaDZg+0]

UTF-8の問題点は、サイズだな。
日本語の場合たいてい1文字で3バイト使うから、500KB制限を引き上げる必要があると思う。

[24 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 13:57:01 ID:6duUvB8e0]

ひろゆきがこんな事を思いつくとは思えない
ひろゆきにUTF-8を勧めた人間出て来い

[25 ひろゆき＠どうやら管理人 ★ 2008/04/12(土) 13:57:13 ID:???0]

＞半角カタカナはUnicodeに存在して普通に使えるよ
まじすか。

[26 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 13:58:51 ID:dKHHUdt+0]

http://code.cside.com/3rdpage/jp/utf-8/Halfwidth_and_Fullwidth_Forms.html

これのことか
ユニコード上にある半角カタカナってーのは

[27 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 13:59:50 ID:YxILKQC60]

半角カナはバイト数増えるけどつかえるよ。

[28 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 14:01:05 ID:nO2fnwtX0]

UTF8でdatのサイズが大きくなったら、ますます重くなるのでは
サーバリソースも食う事になる

[29 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 14:02:38 ID:sQLXHZR10]

なるほどなるほど

[30 stream ◆PNstream2s 2008/04/12(土) 14:04:35 ID:sMNaDZg+0]

サイズが問題ならUTF-16にする？ｗ

[31 株価【950】 △△ ◆cZfSunOs.U 2008/04/12(土) 14:05:12 ID:S3vPJJLd0]

ん...... UTF-8 にしないと read.js が使えない環境ってどんなのだろう？
少なくとも，IE6 での問題は anydat.so で対策されてますが......

[32 ひろゆき＠どうやら管理人 ★ 2008/04/12(土) 14:08:38 ID:???0]

anydat.soみたいなサーバ処理がいらないものだけで、
回せないかなと。

[33 株価【950】 △△ ◆cZfSunOs.U 2008/04/12(土) 14:13:29 ID:S3vPJJLd0]

IE6 を無視すれば Content-Type で charset=Shift_JIS を追加するとかでいいんで
mod_headers で事足りるわけですが......
IE7 への強制アップデートもあったらしいですし，今後 IE6 の比率が下がれば
それでいいのかも，とも......

[34 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 14:17:48 ID:S6q0mxTHP]

２ちゃんねるの中というか日本ではIE7アレルギーが異常だから
欧米とかに比べると普及は遅れていると思うよ>>33

[35 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 14:18:16 ID:d8DDhQ/80]

IE厨は腹を切って死ぬべきである

[36 株価【950】 △△ ◆cZfSunOs.U 2008/04/12(土) 14:22:10 ID:S3vPJJLd0]

まぁ IE6 での問題は文字コードより，JavaScript が時々挙動不審になったり
ブラウザの動作が重くなったり，ということの方が大きいんですけどね．

# それで read.js をデフォルトにするのを断念した，という経緯も......

[37 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 14:22:37 ID:nO2fnwtX0]

>>30
UTF-16にすると、1バイトで表現できている英数文字が2バイトに
なるであってる？
UTF-8は漢字が2バイトから3バイト必要になる
どちらにしても、datサイズが増える事に変わりがないような
そうすると、オンメモリで処理可能なdatの総量が何割か減ったり、
通信容量の増大を招いたりでいい事がないような

[38 stream ◆PNstream2s 2008/04/12(土) 14:26:40 ID:sMNaDZg+0]

>>37
あってる

ただ、Shift_JISは日本語のコードにASCIIを含んでるから(つまり腐ってる)
UTF-8にすればShift_JISだったから必要な余計な処理が無くなって
負荷が減るとかコードの見通しが良くなるとかあるかもね。
Rock54まわりはいろいろ大変だったような。

[39 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 14:34:16 ID:dKHHUdt+0]

ほいほい文字コード変えられたら
内部設定をテキストファイルで読み込ませる組み込みは大変なことになる
多言語対応なんてやってられねーんだよ
どこのlinux脳だ
ということに

[40 株価【950】 △△ ◆cZfSunOs.U 2008/04/12(土) 14:37:31 ID:S3vPJJLd0]

まぁ read.js 以外のことを考えた場合，>>38 のような利点はありますけどね．
もっとも，その点に関しては EUC-JP でもいいんですけど．

[41 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 14:39:48 ID:YxILKQC60]

UTF8になったらしばらくは変える必要無さそうだけどね。

EUCはなぁ。ちょっと変える利点が。

[42 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 14:46:47 ID:ddwKMOyI0]

キャップの文字化けとか
目欄で「age」の直前に「鋭郭虐茎行市峻尽壮痴」でsageになってたとか
そんなの無くなる？

[43 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 14:49:14 ID:YxILKQC60]

なくなるね。

トリップはどうなるんだろう。
送られるデータが変わるわけだからやっぱり変わるよな。

[44 株価【950】 △△ ◆cZfSunOs.U 2008/04/12(土) 14:50:32 ID:S3vPJJLd0]

不正バイトシーケンスの問題は，どの文字コード使うにせよ
解決するならきちんとチェックするという以外ないような．

[45 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 15:00:02 ID:d8DDhQ/80]

なんぞこれ
http://www.itmedia.co.jp/news/articles/0804/10/news079.html

[46 stream ◆PNstream2s 2008/04/12(土) 15:21:54 ID:V5lKbYlC0]

持ってる運用情報のdatファイル1102個をiconvを使ってCP932からUTF-8に変換してみた。
正常に変換できたdatが1024個(偶然)。

CP932の場合　98.1MB (平均で98KB)
UTF-8の場合　121MB (平均で122KB) 　1.24倍

意外と大きくなってない。
この程度の増加なら、全然許容範囲だと思った。

[47 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 15:37:44 ID:YxILKQC60]

>>46
出た異常についてｋｗｓｋ

[48 stream ◆PNstream2s 2008/04/12(土) 15:38:36 ID:V5lKbYlC0]

>>47
iconv: 位置 138601 で不正な入力シーケンスがありました
携帯の絵文字が入ってたとかそんなとこかねえ

[49 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 15:45:05 ID:Kt287Ydo0]

1.24倍の容量増をでかいと思うか、ちいさいと思うかは
メディアコストに対する認識の差だろうな

[50 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 16:26:54 ID:nO2fnwtX0]

サーバリソースを軽くするのが目的で、24%増になるのは本末転倒じゃないだろうか

[51 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 16:33:17 ID:i2IKMcHY0]

容量が増えると花子が困るな

[52 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 16:48:22 ID:sjQIQGbL0]

２ちゃん用の文字コード作ればいいよ

[53 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 17:26:10 ID:goAdvWs50]

ザウルスとか旧Palmとか古い機種の専ブラは大丈夫なんだろうか？

[54 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 17:56:53 ID:rDg1K0sD0]

>>50
処理量を優先するかストレージを優先するかの優先度の問題でしか無い。

[55 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 18:12:22 ID:GThHi3CAP]

UTF-8にするんなら、いっそのことdatの仕様を思いっきり弄くり回すとか。
レイアウトとフォントはCSSにすればdat自体の容量は減る
互換性全くなしで、専ブラがひどいことになるがｗ

[56 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 18:19:15 ID:Kt287Ydo0]

「これが、私が考えた掲示板だ。使い勝手についていろいろ言う人もいるかもしれない。
　それは対応する専用ブラウザを作るボランティアや利用者が、この仕様に合わせてもらうしかない」

この道ーはー
いつかーきたみーちー

[57 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 18:35:33 ID:H6XV6cuW0]

最大の問題は過去のdatの扱い（一括変換するにしてもshift-jisのまま放置にしても）

[58 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 18:42:56 ID:mbw97Ct90]

将来を見据えた時代の流れでいいんじゃね？
Shift-JISが許されるのは20世紀までだよね

[59 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 18:56:20 ID:mbw97Ct90]

とりあえず新板で試すのがベターだろうな
で、専ブラ作者には馴れてもらうと
その流れで文字コードの判別にセンシティブになってもらうと

変換とか引越しって、絶対にトラブるんだよな

[60 動け動けウゴウゴ２ちゃんねる 2008/04/12(土) 19:04:54 ID:rbaOIjlz0]

新板からとか、スレッド番号でスッパリ分けるとかするべきだろう。
あと、文字コード情報について正しくヘッダを送る。

既存のスレッド全部変換するのは、失敗のリスクとかが大きいと思う。
それから512KB制限も考え直すべきでしょう。