直せる文字化けと、直せない文字化け
文字化け・文字コードのコラム
執筆:松村 誠(植木鉢団 代表)
文字化けしたテキストは、変換をやり直せば必ず元に戻る。
そう思われがちですが、実際には戻せるものと、どうやっても戻せないものがあります。
実際に化けさせて確かめた内容なので、少し踏み込んで書いてみます。
文字化けが起きる仕組み
文字は、コンピューターの中ではバイトという数値の並びとして保存されています。
「どの数値をどの文字として扱うか」の取り決めが文字コードで、保存したときと違う取り決めで読み出すと、別の文字として表示されます。これが文字化けです。
裏を返せば、読み間違えただけで数値そのものが残っているなら、正しい取り決めで読み直せば元に戻ります。
文字化けが直せるのは、この場合です。
戻せなくなるのはどんなときか
問題は、読み間違えた結果が「その文字コードでは表現できない並び」だったときです。
多くのソフトは、解釈できないバイトに出会うと、それを「�」(判別不能を示す記号)に置き換えます。
このとき、元のバイトは捨てられます。
表示のうえでは同じような文字化けに見えますが、中身はすでに空っぽになっています。
実際に試してみると、失われ方の大きさが分かります。
「東京都」をShift_JISで保存し、それをEUC-JPとして読み込むと、結果はこうなりました。
�����s
3文字ぶんのバイトが、判別不能の記号5つと、たまたまASCIIとして読めた「s」だけになりました。
この状態から「東京都」を復元する方法はありません。存在しないものは戻せない、という話になります。
戻せるかどうかは「何として読んだか」で決まる
いろいろな組み合わせを試したところ、復元できるかどうかは、元が何だったかよりも何として読まれたかでほぼ決まるようでした。
- 欧文用の文字コード(Latin-1・Windows-1252)として読まれた場合: ほぼ完全に復元できます。この方式はほとんどのバイトに文字が割り当てられているため、捨てられるバイトがほぼ出ません。「ã」「æ」が並ぶタイプの化けがこれにあたります。※Windows-1252 には文字の無いバイトが5つ(0x81 など)あります。ひらがなの大半と、カタカナのチ・ネ・ハ・バ・ポはこのバイトを含むので、化けた文字列をコピーする途中で落ちると、その文字は戻りません。
- Shift_JISやEUC-JPとして読まれた場合: 部分的に復元できることもありますが、欠落が出ます。
- UTF-8として読まれた場合: ほぼ絶望的です。UTF-8はバイトの並び方の規則が厳格なため、他の文字コードのデータを読ませると大半が不正と判定され、捨てられます。「?????」だらけになるのはこのためです。
同じ化け方でも、文字によって戻り方が違う
UTF-8をShift_JISとして読んだ「縺」「繧」のパターンは、部分的に戻せる側に入ります。
どこまで戻るかは、元の文字によって違います。
「アリガトウゴザイマス」を化けさせてから戻すと、全部元に戻りました。
同じことを「ありがとうございます」でやると、「う」「ご」「す」が戻りませんでした。
ひらがなのバイトの並びの一部は、Shift_JISとして読んだときに解釈できない組み合わせになり、その時点で捨てられるためです。
「う」の最後のバイトは、次の「ご」の先頭のバイトと組になって捨てられたので、「ご」も一緒に戻らなくなりました。
カタカナの多い文章は戻りやすく、ひらがなの多い文章は欠けやすい、という傾向になります。
MojiRescueの文字化け診断では、こうして一部が戻らなかった候補に「一部欠落あり」と表示しています。
画面のコピペより、元ファイルのほうが確実
ここまでの話には、ひとつ抜け道があります。
元のファイルさえ手元にあれば、この問題は起きません。
失われるのは、あくまで「化けた状態で画面に表示された文字」をコピーした場合です。
ファイルの中のバイトは書き換えられていないので、正しい文字コードを指定して開き直せば、確実に元通りになります。
そのためMojiRescueでは、ファイルの文字コード変換を主な機能に置いています。
貼り付けたテキストからの復元は、直せる場合は直し、直せない場合はその理由と、元ファイルからの直し方をお伝えするという形にしました。
戻せないものを、それらしく埋めて返すことはしていません。
文章の一部が推測で置き換わったデータは、化けたままより厄介になり得るためです。