datをUTF8にするのはどうだろうスレッド

**ひろゆき＠どうやら管理人 ★** · 2008/04/12(土) 13:13:09

datをUTF8にするのはどうだろうスレッドです。

影響があるのは、AA周りすかねぇ。

株価【950】 △△ ◆cZfSunOs.U · 2008/04/12(土) 14:05:12

ん...... UTF-8 にしないと read.js が使えない環境ってどんなのだろう？
少なくとも，IE6 での問題は anydat.so で対策されてますが......

**ひろゆき＠どうやら管理人 ★** · 2008/04/12(土) 14:08:38

anydat.soみたいなサーバ処理がいらないものだけで、
回せないかなと。

株価【950】 △△ ◆cZfSunOs.U · 2008/04/12(土) 14:13:29

IE6 を無視すれば Content-Type で charset=Shift_JIS を追加するとかでいいんで
mod_headers で事足りるわけですが......
IE7 への強制アップデートもあったらしいですし，今後 IE6 の比率が下がれば
それでいいのかも，とも......

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 14:17:48

２ちゃんねるの中というか日本ではIE7アレルギーが異常だから
欧米とかに比べると普及は遅れていると思うよ>>33

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 14:18:16

IE厨は腹を切って死ぬべきである

株価【950】 △△ ◆cZfSunOs.U · 2008/04/12(土) 14:22:10

まぁ IE6 での問題は文字コードより，JavaScript が時々挙動不審になったり
ブラウザの動作が重くなったり，ということの方が大きいんですけどね．

# それで read.js をデフォルトにするのを断念した，という経緯も......

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 14:22:37

>>30
UTF-16にすると、1バイトで表現できている英数文字が2バイトに
なるであってる？
UTF-8は漢字が2バイトから3バイト必要になる
どちらにしても、datサイズが増える事に変わりがないような
そうすると、オンメモリで処理可能なdatの総量が何割か減ったり、
通信容量の増大を招いたりでいい事がないような

**stream** ◆PNstream2s · 2008/04/12(土) 14:26:40

>>37
あってる

ただ、Shift_JISは日本語のコードにASCIIを含んでるから(つまり腐ってる)
UTF-8にすればShift_JISだったから必要な余計な処理が無くなって
負荷が減るとかコードの見通しが良くなるとかあるかもね。
Rock54まわりはいろいろ大変だったような。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 14:34:16

ほいほい文字コード変えられたら
内部設定をテキストファイルで読み込ませる組み込みは大変なことになる
多言語対応なんてやってられねーんだよ
どこのlinux脳だ
ということに

株価【950】 △△ ◆cZfSunOs.U · 2008/04/12(土) 14:37:31

まぁ read.js 以外のことを考えた場合，>>38 のような利点はありますけどね．
もっとも，その点に関しては EUC-JP でもいいんですけど．

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 14:39:48

UTF8になったらしばらくは変える必要無さそうだけどね。

EUCはなぁ。ちょっと変える利点が。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 14:46:47

キャップの文字化けとか
目欄で「age」の直前に「鋭郭虐茎行市峻尽壮痴」でsageになってたとか
そんなの無くなる？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 14:49:14

なくなるね。

トリップはどうなるんだろう。
送られるデータが変わるわけだからやっぱり変わるよな。

株価【950】 △△ ◆cZfSunOs.U · 2008/04/12(土) 14:50:32

不正バイトシーケンスの問題は，どの文字コード使うにせよ
解決するならきちんとチェックするという以外ないような．

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 15:00:02

なんぞこれ
http://www.itmedia.co.jp/news/articles/0804/10/news079.html

**stream** ◆PNstream2s · 2008/04/12(土) 15:21:54

持ってる運用情報のdatファイル1102個をiconvを使ってCP932からUTF-8に変換してみた。
正常に変換できたdatが1024個(偶然)。

CP932の場合　98.1MB (平均で98KB)
UTF-8の場合　121MB (平均で122KB) 　1.24倍

意外と大きくなってない。
この程度の増加なら、全然許容範囲だと思った。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 15:37:44

>>46
出た異常についてｋｗｓｋ

**stream** ◆PNstream2s · 2008/04/12(土) 15:38:36

>>47
iconv: 位置 138601 で不正な入力シーケンスがありました
携帯の絵文字が入ってたとかそんなとこかねえ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 15:45:05

1.24倍の容量増をでかいと思うか、ちいさいと思うかは
メディアコストに対する認識の差だろうな

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 16:26:54

サーバリソースを軽くするのが目的で、24%増になるのは本末転倒じゃないだろうか

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 16:33:17

容量が増えると花子が困るな

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 16:48:22

２ちゃん用の文字コード作ればいいよ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 17:26:10

ザウルスとか旧Palmとか古い機種の専ブラは大丈夫なんだろうか？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 17:56:53

>>50
処理量を優先するかストレージを優先するかの優先度の問題でしか無い。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 18:12:22

UTF-8にするんなら、いっそのことdatの仕様を思いっきり弄くり回すとか。
レイアウトとフォントはCSSにすればdat自体の容量は減る
互換性全くなしで、専ブラがひどいことになるがｗ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 18:19:15

「これが、私が考えた掲示板だ。使い勝手についていろいろ言う人もいるかもしれない。
　それは対応する専用ブラウザを作るボランティアや利用者が、この仕様に合わせてもらうしかない」

この道ーはー
いつかーきたみーちー

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 18:35:33

最大の問題は過去のdatの扱い（一括変換するにしてもshift-jisのまま放置にしても）

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 18:42:56

将来を見据えた時代の流れでいいんじゃね？
Shift-JISが許されるのは20世紀までだよね

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 18:56:20

とりあえず新板で試すのがベターだろうな
で、専ブラ作者には馴れてもらうと
その流れで文字コードの判別にセンシティブになってもらうと

変換とか引越しって、絶対にトラブるんだよな

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:04:54

新板からとか、スレッド番号でスッパリ分けるとかするべきだろう。
あと、文字コード情報について正しくヘッダを送る。

既存のスレッド全部変換するのは、失敗のリスクとかが大きいと思う。
それから512KB制限も考え直すべきでしょう。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:13:44

>>60
512MB制限…
　＜⌒／ヽ-、_＿_
／＜_/＿＿＿＿／

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:15:58

新板立てなくとも金があるじゃない。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:20:08

専ブラがdat拾うときもhttpで拾うわけだから、Content-typeのヘッダ見れば
理論上はいいのけ？追加メタ情報いらない？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:24:05

なんか変更を見据えた話になってる？
多言語扱うわけじゃないし
変えるメリットが見当たらない

ここはひろゆきをなだめて止めさせるべきだろ

**ひろゆき＠どうやら管理人 ★** · 2008/04/12(土) 19:35:32

サーバリソースを使わないモデルにできれば、
人大杉が無くなるかなぁと。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:41:41

IEのためにマイクロソフトにでも頼まれたのか

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:42:21

つか人大杉をなくしてread.htmlに転送して欲しい。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:43:11

全部read.jsにしておまえらのブラウザで処理してくれー
つーことに？人大杉よりはいい罠

▲ ◆SANUKI/VII · 2008/04/12(土) 19:44:34

datの仕様も変えてくれりょ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:45:57

>>63
過去ログを.datファイルで入手したときに分かりにくくなる。
BOM有りならutf-8、無しならshift-jisと判断できるのが一番簡単で確実。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:46:45

>>69
具体的に何を変えて欲しいんよ？

株価【866】 △△ ◆cZfSunOs.U · 2008/04/12(土) 19:47:25

人大杉解消が一義的な目的であれば，少なくとも read.js に関しては
ネックになるのはむしろ文字コード以外の部分ですね(>>36)．
anydat.so 自体は，ライブな dat を扱う際はデフォルトハンドラとほぼ同程度の
処理しかしないので，負荷的には anydat.so を使わない場合とほぼ変わらないかと．

株価【866】 △△ ◆cZfSunOs.U · 2008/04/12(土) 19:56:31

ちなみに，人大杉状態の時に板トップの「read.cgi モード切替」が効かない問題に関しては，
技術的問題よりポリシーの問題（いつぞやの FOX さんの「見えないようにしているのは意図的なので
人大杉の時には read.html に振らないようにしてほしい」という趣旨の発言を受けたもの）なので，
これについてはしかるべき人にしかるべき方針を打ち出してもらえれば，効くようにすることは不可能ではないです．

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:58:02

AAにユニコード文字がほのまま使えるなら賛成

ってか互換性がどうなるんだろう

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:58:07

UTF8ってbe系の板で既にやってなかったっけ？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:00:51

>>75
やってない。前Be系の板はBe関連のシステムがPHPで文字コードがEUC-JPだったから
それに合わせてたけど06年ぐらいにログ全部Shift_JISにコンバートして移行した

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:02:23

>>53
あー古い機械からは全部見れなくなるな…
昔の携帯もダメかもしれん

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:03:48

>>55
datは現状でいいんでね？

と、思ったが、日付とIDとbeとかが全部一つになってるのはちょっとな
xmlにしてくれたら助かるが、そうはいかんか

**stream** ◆PNstream2s · 2008/04/12(土) 20:06:05

>>64
多言語扱えたほうが便利でしょ
曲のタイトルにアクセント記号つきのアルファベットとかあるし
ニュースで中国人の名前書くとき便利になるし
àáâäçñ

>>78
XMLは単純にレスを追記することが出来ないからねえ。
<>区切りはどうかと思うが。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:06:40

外字とか画数の多い漢字は実体参照にしてutf-8で実体山椒のままにしておく必要のない
実体三章は素の文字に変えて、とりあえずutf-8にしてしまったらええ。
専ブラなんて気にすんな。utf-8にしてフラッシュでも何でもつこたらええ。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:10:30

>>76
あ．．EUCだったな。
コンバートしたのは不覚にも全然知らなかった。
でも、それに対応するために多くの専ブラはEUC-JPに対応してるはずだから、
実装によっては今回の対応が必要ないものもあるのかも。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:11:32

<2chdat>
　<res>
　　<name>名無しさん</name>
　　<msg>datは現状でいいんでね？と、思ったが、日付とIDとbeとかが全部一つになってるのはちょっとなxmlにしてくれたら助かるが、そうはいかんか</msg>
　<res>
　<res>
　　<name>名無しさん</name>
　　<msg>datは現状でいいんでね？と、思ったが、日付とIDとbeとかが全部一つになってるのはちょっとなxmlにしてくれたら助かるが、そうはいかんか</msg>
　<res>
</2chdat>
じゃなくて
　<res>
　　<name>名無しさん</name>
　　<msg>datは現状でいいんでね？と、思ったが、日付とIDとbeとかが全部一つになってるのはちょっとなxmlにしてくれたら助かるが、そうはいかんか</msg>
　<res>
　<res>
　　<name>名無しさん</name>
　　<msg>datは現状でいいんでね？と、思ったが、日付とIDとbeとかが全部一つになってるのはちょっとなxmlにしてくれたら助かるが、そうはいかんか</msg>
　<res>
と、単純追加出来る独自形式とか…ｗ

今でこそ<>区切りは掲示板のログの標準だけど
何かの標準規格で、それに2chが合わせただけなの？
それとも慣習？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:15:41

昔はカンマ区切りだったな

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:44:32

>>83
ヌル区切りにすりゃ良くね?

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:04:34

区切りなら0x1C-0x1Fを使えばいいじゃない
せっかくASCIIが現役で生き残ってるんだから有効に使わないと

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:16:53

>>82
HTMLをデータとして持つ場合はHTMLで使わない文字列で区切らないと
区切り位置がバグる可能性があるでしょ
そう考えると最も単純に区切れる文字列は<>になる

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:19:38

テキストエディター　ってかキーボードから打ち込めない文字を使うのは嫌だな
まぁDATを直接編集する事なんてそうあるもんじゃないけど

**stream** ◆PNstream2s · 2008/04/12(土) 21:28:50

TSVで良いと思うんだけどねえ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:33:32

２ちゃんのdatに使われてる制御文字はLFだけだから
1byte文字で全く使われてない領域が32文字分あるんだよね
勿体無いというか無駄というか

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:38:49

過去ログだって
専ブラで取得したらログとして残る
いままでの専ブラで累積したログの変換にも
おまえら対応しろよ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:46:58

>>90
はい　頑張ります

**未承諾広告※** ◆TWARamEjuA · 2008/04/12(土) 21:52:28

perl本体としては処理が軽くなるのかしら？
そしてperl5.10移行は未だ先なのかしら？

Rock54系は、別に変わりはないと思う。。。＠現状euc-jp→Shift_JISしている(´･ω･`)

多分一番のネックは携帯系かしら？

**ひろゆき＠どうやら管理人 ★** · 2008/04/12(土) 21:53:27

ほいだら、人大杉のときは、
read.htmlをデフォルトで動くようにしちゃってくださいー。

**stream** ◆PNstream2s · 2008/04/12(土) 21:53:29

>>92
Rock54は全部UTF-8のまま扱えるから負荷がさがるんでねえか？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:54:52

目的を明確にできないかな。
どういう板、どういうスレ、どういう場合に必要とか。

そういう話の進め方を意図してないのか
あるいは既に暗黙の了解があるのかも分からないけど。

スレタイはsjis。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:56:22

つーかなんでひろゆきってなんで運営に関わる事2ch上で言うけど
当然しかるべき人にはメールで伝えて、2chに書き込むのは告知のためだよな？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:57:33

日本語で

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:00:15

×つーかなんでひろゆきってなんで運営に関わる事2ch上で言うけど
○つーかひろゆきってなんで運営に関わる事2ch上で言うけど

最初は
つーかなんでひろゆきってなんで運営に関わる事2ch上で言うの？
って書いてたけど
「2chの事を2ch上で言うのに理由なんて無いだろ」って言われるのが目に見えてたからやめた

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:01:04

つーかひろゆきって運営に関わる事2ch上で言うけど
当然しかるべき人にはメールで伝えて、2chに書き込むのは告知のためだよな？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:01:28

>>1
早く金払えよ犯罪者タラコ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:01:31

>>4
read.jsをSJISに対応させた方が早かったりしないの？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:05:20

>>92
perlのEncodeモジュールや、utf8フラグのあたりはなかなか難解。

理解できれば便利、でも理解できないと原因不明の文字化けに一生苦しむという諸刃の剣。

そんな俺は、スクリプトは全部utf8で書いてuse utf8;、でもってbinmodeで入出力の文字コードを指定、これラクチン。
とととところがどっこい、

入力sjis→変換→Perl内utf8→変換→出力sjis

という風に、無駄に変換がおこなわれてCPU時間食いまくりでｵﾜﾀ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:05:26

>>101
元々SJISで処理してますが何か？
IE6の時だけ不具合があるからUTF-8で渡してる。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:08:15

あそっか>>4が目的か。
事務屋と技術屋は出発点がまるで違うよな・・

俺はこれ以上異議を唱える根拠も対案も無いから逃げるけど・・・

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:12:10

>>103
IEのバグならMSに頼めば解決じゃないの？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:15:36

告知というより、自分でやりたくないだけじゃｗ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:16:10

>>105
いや、すでに不具合を解消したニューバージョンが出ているので。
いろいろな事情で6から7に移行しない人が多いのだよ。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:22:25

ここで「2chをIEで見る時はIE7を推奨します。IE6は保証外です」って言ってみたらどうなるか興味あるな

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:27:37

なんだかんだで専用ブラウザ・外部ツールが一気に使えなくなって不便になるだけの悪寒
ほとんどのブラウザ・ツールが対応し終えた1年後にはIE7もかなり普及していたりして
何のための改変だったのかと思うことだろう

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:32:13

>>107
なら２ちゃんTOPに>>108で解決な気がする

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:41:06

>>72-73

>>93

ということで

datをUTF8にする？どうだろ？議論は継続？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:49:00

旧型機器の専ブラが使えなくなるのはキビしいので、できればSJISのままで
お願いしたいな。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:52:16

>>111
とりあえず人大杉時にread.html切り替えしてもいいってお触れが出たので
一段落でないかい

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:55:44

元々裏でコソコソやらずになんでもオープンにっていう主義じゃないか
rootさんにしても何かやる時は大抵、スレに書き込みとして残すし

本来なら、管理人って立場なんだから勝手にいろいろ弄くって
事後報告とか、関係者とメルなりなんなりで話しつけて
いろいろやっちゃってもいいんだろうけど、そうじゃないところがｲｲ

まあ、ひろゆきの場合はただ単に自分で全部考えるのがめんどくさいという線も捨てがたいがｗ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 23:01:29

２ちゃんねるの場合、ひろゆきがこーゆうのやりたいって公開の場で言えば、
そのやりたいことを実現できる人間が集まってくるからじゃね？

※ · 2008/04/12(土) 23:08:45

というか、過去に勝手に弄って問題起こしたからでしょ。
事後報告だったよ、あれも。

まーオープンでっていうのもあるけどね。

**ひろゆき＠どうやら管理人 ★** · 2008/04/13(日) 00:27:03

スピナッチ。スピナッチ。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 00:32:57

日本語でおｋ
ttp://newsplus.jp/~mcqueen/cgi-bin/mnewsplus/img/1165135528/396.jpg

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 00:34:46

http://qb5.2ch.net/test/read.cgi/operate/1200061619/909-913
ううむ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 00:34:52

アッー！

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 00:39:55

専ブラすぐ対応できるのかなー
(過去ログ含む)

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 00:40:28

ほうこくれんらくそうだんかー

株価【940】 △△ ◆cZfSunOs.U · 2008/04/13(日) 00:47:16

>>117 >>93 のを受けて人大杉時に read.html に振るようにしましたが，
tmp7 についてはどうしますかね？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 01:01:08

>>25
ここまでバカだとは思わなかったよ。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 01:10:09

どうせ変えるならP2P掲示板でも作ってみろ

**ひろゆき＠どうやら管理人 ★** · 2008/04/13(日) 01:20:21

tmp7って特殊な事情でもあるんですか？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 01:22:07

あそこは吹き溜まりだからなぁ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 01:27:29

>>126
2ch特化型サーバ・ロケーション構築作戦 Part27
http://qb5.2ch.net/test/read.cgi/operate/1200061619/909-

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 01:28:50

それより2ch総BE化して閲覧は出来るけど書き込みはBEにしたほうが良いって俺意見
無駄な書き込みが減る
削除管理がしやすい

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 01:29:45

旧専ブラは切り捨てですかそうですか