datをUTF8にするのはどうだろうスレッド

**ひろゆき＠どうやら管理人 ★** · 2008/04/12(土) 13:13:09

datをUTF8にするのはどうだろうスレッドです。

影響があるのは、AA周りすかねぇ。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 15:37:44

>>46
出た異常についてｋｗｓｋ

**stream** ◆PNstream2s · 2008/04/12(土) 15:38:36

>>47
iconv: 位置 138601 で不正な入力シーケンスがありました
携帯の絵文字が入ってたとかそんなとこかねえ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 15:45:05

1.24倍の容量増をでかいと思うか、ちいさいと思うかは
メディアコストに対する認識の差だろうな

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 16:26:54

サーバリソースを軽くするのが目的で、24%増になるのは本末転倒じゃないだろうか

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 16:33:17

容量が増えると花子が困るな

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 16:48:22

２ちゃん用の文字コード作ればいいよ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 17:26:10

ザウルスとか旧Palmとか古い機種の専ブラは大丈夫なんだろうか？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 17:56:53

>>50
処理量を優先するかストレージを優先するかの優先度の問題でしか無い。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 18:12:22

UTF-8にするんなら、いっそのことdatの仕様を思いっきり弄くり回すとか。
レイアウトとフォントはCSSにすればdat自体の容量は減る
互換性全くなしで、専ブラがひどいことになるがｗ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 18:19:15

「これが、私が考えた掲示板だ。使い勝手についていろいろ言う人もいるかもしれない。
　それは対応する専用ブラウザを作るボランティアや利用者が、この仕様に合わせてもらうしかない」

この道ーはー
いつかーきたみーちー

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 18:35:33

最大の問題は過去のdatの扱い（一括変換するにしてもshift-jisのまま放置にしても）

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 18:42:56

将来を見据えた時代の流れでいいんじゃね？
Shift-JISが許されるのは20世紀までだよね

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 18:56:20

とりあえず新板で試すのがベターだろうな
で、専ブラ作者には馴れてもらうと
その流れで文字コードの判別にセンシティブになってもらうと

変換とか引越しって、絶対にトラブるんだよな

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:04:54

新板からとか、スレッド番号でスッパリ分けるとかするべきだろう。
あと、文字コード情報について正しくヘッダを送る。

既存のスレッド全部変換するのは、失敗のリスクとかが大きいと思う。
それから512KB制限も考え直すべきでしょう。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:13:44

>>60
512MB制限…
　＜⌒／ヽ-、_＿_
／＜_/＿＿＿＿／

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:15:58

新板立てなくとも金があるじゃない。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:20:08

専ブラがdat拾うときもhttpで拾うわけだから、Content-typeのヘッダ見れば
理論上はいいのけ？追加メタ情報いらない？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:24:05

なんか変更を見据えた話になってる？
多言語扱うわけじゃないし
変えるメリットが見当たらない

ここはひろゆきをなだめて止めさせるべきだろ

**ひろゆき＠どうやら管理人 ★** · 2008/04/12(土) 19:35:32

サーバリソースを使わないモデルにできれば、
人大杉が無くなるかなぁと。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:41:41

IEのためにマイクロソフトにでも頼まれたのか

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:42:21

つか人大杉をなくしてread.htmlに転送して欲しい。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:43:11

全部read.jsにしておまえらのブラウザで処理してくれー
つーことに？人大杉よりはいい罠

▲ ◆SANUKI/VII · 2008/04/12(土) 19:44:34

datの仕様も変えてくれりょ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:45:57

>>63
過去ログを.datファイルで入手したときに分かりにくくなる。
BOM有りならutf-8、無しならshift-jisと判断できるのが一番簡単で確実。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:46:45

>>69
具体的に何を変えて欲しいんよ？

株価【866】 △△ ◆cZfSunOs.U · 2008/04/12(土) 19:47:25

人大杉解消が一義的な目的であれば，少なくとも read.js に関しては
ネックになるのはむしろ文字コード以外の部分ですね(>>36)．
anydat.so 自体は，ライブな dat を扱う際はデフォルトハンドラとほぼ同程度の
処理しかしないので，負荷的には anydat.so を使わない場合とほぼ変わらないかと．

株価【866】 △△ ◆cZfSunOs.U · 2008/04/12(土) 19:56:31

ちなみに，人大杉状態の時に板トップの「read.cgi モード切替」が効かない問題に関しては，
技術的問題よりポリシーの問題（いつぞやの FOX さんの「見えないようにしているのは意図的なので
人大杉の時には read.html に振らないようにしてほしい」という趣旨の発言を受けたもの）なので，
これについてはしかるべき人にしかるべき方針を打ち出してもらえれば，効くようにすることは不可能ではないです．

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:58:02

AAにユニコード文字がほのまま使えるなら賛成

ってか互換性がどうなるんだろう

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 19:58:07

UTF8ってbe系の板で既にやってなかったっけ？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:00:51

>>75
やってない。前Be系の板はBe関連のシステムがPHPで文字コードがEUC-JPだったから
それに合わせてたけど06年ぐらいにログ全部Shift_JISにコンバートして移行した

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:02:23

>>53
あー古い機械からは全部見れなくなるな…
昔の携帯もダメかもしれん

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:03:48

>>55
datは現状でいいんでね？

と、思ったが、日付とIDとbeとかが全部一つになってるのはちょっとな
xmlにしてくれたら助かるが、そうはいかんか

**stream** ◆PNstream2s · 2008/04/12(土) 20:06:05

>>64
多言語扱えたほうが便利でしょ
曲のタイトルにアクセント記号つきのアルファベットとかあるし
ニュースで中国人の名前書くとき便利になるし
àáâäçñ

>>78
XMLは単純にレスを追記することが出来ないからねえ。
<>区切りはどうかと思うが。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:06:40

外字とか画数の多い漢字は実体参照にしてutf-8で実体山椒のままにしておく必要のない
実体三章は素の文字に変えて、とりあえずutf-8にしてしまったらええ。
専ブラなんて気にすんな。utf-8にしてフラッシュでも何でもつこたらええ。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:10:30

>>76
あ．．EUCだったな。
コンバートしたのは不覚にも全然知らなかった。
でも、それに対応するために多くの専ブラはEUC-JPに対応してるはずだから、
実装によっては今回の対応が必要ないものもあるのかも。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:11:32

<2chdat>
　<res>
　　<name>名無しさん</name>
　　<msg>datは現状でいいんでね？と、思ったが、日付とIDとbeとかが全部一つになってるのはちょっとなxmlにしてくれたら助かるが、そうはいかんか</msg>
　<res>
　<res>
　　<name>名無しさん</name>
　　<msg>datは現状でいいんでね？と、思ったが、日付とIDとbeとかが全部一つになってるのはちょっとなxmlにしてくれたら助かるが、そうはいかんか</msg>
　<res>
</2chdat>
じゃなくて
　<res>
　　<name>名無しさん</name>
　　<msg>datは現状でいいんでね？と、思ったが、日付とIDとbeとかが全部一つになってるのはちょっとなxmlにしてくれたら助かるが、そうはいかんか</msg>
　<res>
　<res>
　　<name>名無しさん</name>
　　<msg>datは現状でいいんでね？と、思ったが、日付とIDとbeとかが全部一つになってるのはちょっとなxmlにしてくれたら助かるが、そうはいかんか</msg>
　<res>
と、単純追加出来る独自形式とか…ｗ

今でこそ<>区切りは掲示板のログの標準だけど
何かの標準規格で、それに2chが合わせただけなの？
それとも慣習？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:15:41

昔はカンマ区切りだったな

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 20:44:32

>>83
ヌル区切りにすりゃ良くね?

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:04:34

区切りなら0x1C-0x1Fを使えばいいじゃない
せっかくASCIIが現役で生き残ってるんだから有効に使わないと

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:16:53

>>82
HTMLをデータとして持つ場合はHTMLで使わない文字列で区切らないと
区切り位置がバグる可能性があるでしょ
そう考えると最も単純に区切れる文字列は<>になる

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:19:38

テキストエディター　ってかキーボードから打ち込めない文字を使うのは嫌だな
まぁDATを直接編集する事なんてそうあるもんじゃないけど

**stream** ◆PNstream2s · 2008/04/12(土) 21:28:50

TSVで良いと思うんだけどねえ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:33:32

２ちゃんのdatに使われてる制御文字はLFだけだから
1byte文字で全く使われてない領域が32文字分あるんだよね
勿体無いというか無駄というか

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:38:49

過去ログだって
専ブラで取得したらログとして残る
いままでの専ブラで累積したログの変換にも
おまえら対応しろよ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:46:58

>>90
はい　頑張ります

**未承諾広告※** ◆TWARamEjuA · 2008/04/12(土) 21:52:28

perl本体としては処理が軽くなるのかしら？
そしてperl5.10移行は未だ先なのかしら？

Rock54系は、別に変わりはないと思う。。。＠現状euc-jp→Shift_JISしている(´･ω･`)

多分一番のネックは携帯系かしら？

**ひろゆき＠どうやら管理人 ★** · 2008/04/12(土) 21:53:27

ほいだら、人大杉のときは、
read.htmlをデフォルトで動くようにしちゃってくださいー。

**stream** ◆PNstream2s · 2008/04/12(土) 21:53:29

>>92
Rock54は全部UTF-8のまま扱えるから負荷がさがるんでねえか？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:54:52

目的を明確にできないかな。
どういう板、どういうスレ、どういう場合に必要とか。

そういう話の進め方を意図してないのか
あるいは既に暗黙の了解があるのかも分からないけど。

スレタイはsjis。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:56:22

つーかなんでひろゆきってなんで運営に関わる事2ch上で言うけど
当然しかるべき人にはメールで伝えて、2chに書き込むのは告知のためだよな？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 21:57:33

日本語で

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:00:15

×つーかなんでひろゆきってなんで運営に関わる事2ch上で言うけど
○つーかひろゆきってなんで運営に関わる事2ch上で言うけど

最初は
つーかなんでひろゆきってなんで運営に関わる事2ch上で言うの？
って書いてたけど
「2chの事を2ch上で言うのに理由なんて無いだろ」って言われるのが目に見えてたからやめた

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:01:04

つーかひろゆきって運営に関わる事2ch上で言うけど
当然しかるべき人にはメールで伝えて、2chに書き込むのは告知のためだよな？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:01:28

>>1
早く金払えよ犯罪者タラコ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:01:31

>>4
read.jsをSJISに対応させた方が早かったりしないの？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:05:20

>>92
perlのEncodeモジュールや、utf8フラグのあたりはなかなか難解。

理解できれば便利、でも理解できないと原因不明の文字化けに一生苦しむという諸刃の剣。

そんな俺は、スクリプトは全部utf8で書いてuse utf8;、でもってbinmodeで入出力の文字コードを指定、これラクチン。
とととところがどっこい、

入力sjis→変換→Perl内utf8→変換→出力sjis

という風に、無駄に変換がおこなわれてCPU時間食いまくりでｵﾜﾀ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:05:26

>>101
元々SJISで処理してますが何か？
IE6の時だけ不具合があるからUTF-8で渡してる。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:08:15

あそっか>>4が目的か。
事務屋と技術屋は出発点がまるで違うよな・・

俺はこれ以上異議を唱える根拠も対案も無いから逃げるけど・・・

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:12:10

>>103
IEのバグならMSに頼めば解決じゃないの？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:15:36

告知というより、自分でやりたくないだけじゃｗ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:16:10

>>105
いや、すでに不具合を解消したニューバージョンが出ているので。
いろいろな事情で6から7に移行しない人が多いのだよ。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:22:25

ここで「2chをIEで見る時はIE7を推奨します。IE6は保証外です」って言ってみたらどうなるか興味あるな

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:27:37

なんだかんだで専用ブラウザ・外部ツールが一気に使えなくなって不便になるだけの悪寒
ほとんどのブラウザ・ツールが対応し終えた1年後にはIE7もかなり普及していたりして
何のための改変だったのかと思うことだろう

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:32:13

>>107
なら２ちゃんTOPに>>108で解決な気がする

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:41:06

>>72-73

>>93

ということで

datをUTF8にする？どうだろ？議論は継続？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:49:00

旧型機器の専ブラが使えなくなるのはキビしいので、できればSJISのままで
お願いしたいな。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:52:16

>>111
とりあえず人大杉時にread.html切り替えしてもいいってお触れが出たので
一段落でないかい

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 22:55:44

元々裏でコソコソやらずになんでもオープンにっていう主義じゃないか
rootさんにしても何かやる時は大抵、スレに書き込みとして残すし

本来なら、管理人って立場なんだから勝手にいろいろ弄くって
事後報告とか、関係者とメルなりなんなりで話しつけて
いろいろやっちゃってもいいんだろうけど、そうじゃないところがｲｲ

まあ、ひろゆきの場合はただ単に自分で全部考えるのがめんどくさいという線も捨てがたいがｗ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/12(土) 23:01:29

２ちゃんねるの場合、ひろゆきがこーゆうのやりたいって公開の場で言えば、
そのやりたいことを実現できる人間が集まってくるからじゃね？

※ · 2008/04/12(土) 23:08:45

というか、過去に勝手に弄って問題起こしたからでしょ。
事後報告だったよ、あれも。

まーオープンでっていうのもあるけどね。

**ひろゆき＠どうやら管理人 ★** · 2008/04/13(日) 00:27:03

スピナッチ。スピナッチ。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 00:32:57

日本語でおｋ
ttp://newsplus.jp/~mcqueen/cgi-bin/mnewsplus/img/1165135528/396.jpg

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 00:34:46

http://qb5.2ch.net/test/read.cgi/operate/1200061619/909-913
ううむ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 00:34:52

アッー！

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 00:39:55

専ブラすぐ対応できるのかなー
(過去ログ含む)

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 00:40:28

ほうこくれんらくそうだんかー

株価【940】 △△ ◆cZfSunOs.U · 2008/04/13(日) 00:47:16

>>117 >>93 のを受けて人大杉時に read.html に振るようにしましたが，
tmp7 についてはどうしますかね？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 01:01:08

>>25
ここまでバカだとは思わなかったよ。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 01:10:09

どうせ変えるならP2P掲示板でも作ってみろ

**ひろゆき＠どうやら管理人 ★** · 2008/04/13(日) 01:20:21

tmp7って特殊な事情でもあるんですか？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 01:22:07

あそこは吹き溜まりだからなぁ

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 01:27:29

>>126
2ch特化型サーバ・ロケーション構築作戦 Part27
http://qb5.2ch.net/test/read.cgi/operate/1200061619/909-

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 01:28:50

それより2ch総BE化して閲覧は出来るけど書き込みはBEにしたほうが良いって俺意見
無駄な書き込みが減る
削除管理がしやすい

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 01:29:45

旧専ブラは切り捨てですかそうですか

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 01:30:33

>>123
ボボン連発な訳だが‥関係あるのかな。
http://qb5.2ch.net/test/read.cgi/operate/1206573688/367-

株価【940】 △△ ◆cZfSunOs.U · 2008/04/13(日) 01:31:24

>>126 個人的にはよくわからないですが，詳しい説明は FOX さんにおながいしますということで......

株価【940】 △△ ◆cZfSunOs.U · 2008/04/13(日) 01:38:00

>>131 うむ......旧 banana は全廃になったので mod_rewrite の罠は解消したと思ったんですが，
science6 と academy6 にはまだ残ってたんですかね......
いったん .htaccess を元に戻します......

株価【940】 △△ ◆cZfSunOs.U · 2008/04/13(日) 01:43:53

となると，mod_rewrite の設定は全鯖配布用 .htaccess じゃなくて，
現在人大杉の鯖で個別に行った方が良さそうですね．
今人大杉の鯖ってどれですかね？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 01:49:53

janeは改造が大掛かりになっちゃうなぁ
Sjisに変換表示したら意味ないし

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 01:50:15

T-banana3206 (T-Banana64) science6/academy6/society6

２ちゃんねるの転送量
http://server.maido3.com/pie/

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 01:50:28

>>133
乙です、解決した模様。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 01:53:10

さっさとUTF8にしろ。

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 01:53:48

　　　　ﾊ,,ﾊ
　　　（ﾟωﾟ )
　　　i^∩∩^i　　お断りします
　　　ヽ_ﾉヽﾉ
　　　　/ .y　　）　
　　　 /ｰ(ー<　　　
　　 ./:::/ ヽ:::ヽ　
　　 i:::〈　　ヽ::::)　
　　ヽ:::)　　　ﾚ'

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 02:02:47

面倒くさいから見切り発車で導入だな

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 02:03:36

ﾐ(ﾟθﾟ)彡
http://moepic2.dip.jp/gazo/detail/files/detail27880.jpg

株価【1040】 △△ ◆cZfSunOs.U · 2008/04/13(日) 02:06:13

hobby10 と mamono に read.html に振る設定入れますた．
他に人大杉の鯖ありますたかね？

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 02:06:51

ひろゆき天皇の発言は絶対・・・か

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 02:07:35

tmp7は……要らんな

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 02:07:57

ひろゆきかわいいよひろゆき

**動け動けウゴウゴ２ちゃんねる** · 2008/04/13(日) 02:09:16

ありがとうございます＠mamono