「縺」「ã」「?????」——文字化けの見た目で原因を見分ける
文字化け・文字コードのコラム
執筆:松村 誠(植木鉢団 代表)
文字化けというと、ランダムに壊れているような印象があるかもしれません。
実際には、どの文字コードをどの文字コードとして読んでしまったかの組み合わせによって、崩れ方がかなりはっきり分かれます。
パターンを知っていれば、化けた文字を見ただけで、どの組み合わせで読み違えたのか見当が付きます。
代表的なものを、実際の化け文字と一緒に並べます。
※以下の例は、すべて「東京都」という3文字を実際に化けさせたものです。ブラウザと同じ文字コードの読み方で読み違えさせていて、欧文用の文字コードは Windows-1252 として読んでいます(ブラウザは Latin-1 の指定も Windows-1252 として扱います)。読めないバイトを「�」にするか、見えない文字にするかはソフトによって違うので、同じ組み合わせでも見た目が少し変わることがあります。
「縺」「繧」「譚」が並ぶ
譚ア莠ャ驛ス
UTF-8のファイルを、Shift_JISとして開いたときのパターンです。
見慣れない漢字と半角カナが混じるのが特徴です。
Windowsのメモ帳や古いソフトでUTF-8のテキストを開いたとき、ExcelでUTF-8のCSVを開いたときなど、原因の心当たりは幅広くあります。
「ã」「æ」「Ã」などアルファベット記号が並ぶ
æ±äº¬éƒ½
UTF-8のファイルを、欧文用の文字コード(Latin-1やWindows-1252)として開いたときのパターンです。
海外製のソフトやWebサービス、英語圏のメールシステムを経由したときに出ることがあります。
※実際には「æ」と「±」の間に、画面に表示されない文字が1つ入っています。
このパターンは元のデータが失われないという特徴があり、後から復元できる可能性が高い部類に入ります。
「“Œ‹ž“s」のような欧文記号の羅列
“Œ‹ž“s
こちらはShift_JISのファイルを、欧文用の文字コードとして開いたパターンです。
引用符や記号が不規則に混ざるのが目印になります。
「�」「?????」ばかりになる
�����
Shift_JISやEUC-JPのファイルを、UTF-8として開いたときのパターンです。
環境によっては「�」ではなく「?」で表示されることもあります。
文字が別の文字に化けるのではなく、判別不能を示す記号に置き換わってしまうのが、他と決定的に違うところです。
上の例は、EUC-JPのファイルから化けたものです。
Shift_JISのファイルから化けた場合は、末尾に「s」が残って「�����s」になります。「都」を表す2バイトのうち、後ろの1バイトが英字の「s」と同じ番号のためです。
見た目が地味な分、いちばん厄介なパターンでもあります。詳しくは後述します。
半角カナが大量に出る
ナ��ナヤ
EUC-JPのファイルをShift_JISとして開いた場合などに出ます。
EUC-JPの日本語は、1文字を0xA1以上のバイト2つで表します。Shift_JISは、そのうち0xA1〜0xDFのバイトを1つで半角カナとして読むので、半角カナが並びます。それより大きいバイトは次のバイトと組んで読もうとして、多くは当てはまる文字が無く「�」になります。
EUC-JPは今では見かける機会が減りましたが、古いサーバーやシステムから出てきたファイルでは現役です。
「$B」と「(B」に挟まれた英数字
$BEl5~ET(B
メールで使われてきたISO-2022-JP(JISコード)を、文字コードとして解釈せずにそのまま表示したときのパターンです。
日本語の部分が、「$B」で始まり「(B」で終わる英数字と記号の並びになります。
実際には「$B」と「(B」の前に、画面に表示されない制御文字が1文字ずつ入っています。
メールのソースを開いたときや、古いメールのデータを別のソフトに取り込んだときに見かけることがあります。
元のデータをISO-2022-JPとして開き直せば読めます。
「Ã」と「Â」が交互に並ぶ
æÂ±äº¬éƒ½
2番目の「ã」「æ」のパターンが、もう一度化けたものです。
化けた文字列をUTF-8で保存し直し、それをまた欧文の文字コードとして開くと、こうなります。
化けたファイルを開いて保存し、また開く、という往復を繰り返すと起きます。
※「Â」が2つ続くところは、1回目の化けで入った見えない文字が、もう一度化けたものです。
化けが重なるほど、元に戻す手順も増えます。
化けたファイルを上書き保存する前に、元のファイルを残しておくのがいちばんの予防になります。
「縺」「繧」「繝」は、元の文字の種類を表している
UTF-8をShift_JISとして開いたときに出る「縺」「繧」「繝」は、たまたま選ばれた漢字ではありません。
UTF-8では、ひらがなとカタカナは1文字が3バイトで、先頭の2バイトは「E3 81」「E3 82」「E3 83」のどれかです。
この2バイトをShift_JISで読むと、それぞれ「縺」「繧」「繝」になります。
欧文の文字コードとして読んだ場合も同じで、先頭の2バイトが「ã」「ã‚」「ãƒ」のような決まった並びになります。
化けた文字列の中でこれらの字が出てきたら、その位置には元々ひらがなかカタカナがあった、と見当が付きます。
| Shift_JISとして読んだとき | 欧文として読んだとき | 元のUTF-8の先頭 | 元の文字 |
|---|---|---|---|
| 縲 | 〠| E3 80 | 句読点・かっこ・全角スペース(、。「」〜 など) |
| 縺 | ã(直後に見えない文字) | E3 81 | ひらがな「ぁ」〜「み」 |
| 繧 | ã‚ | E3 82 | ひらがな「む」〜「ん」、カタカナ「ァ」〜「タ」 |
| 繝 | ム| E3 83 | カタカナ「ダ」〜「ン」「ヴ」、長音「ー」、中黒「・」 |
| 荳・譚・鬮などの見慣れない漢字 | ä・å・æ・ç・è・é | E4〜E9 | 漢字 |
| 「�」(ソフトによっては「・」) | ï¼・ï½・ï¾ | EF BC〜EF BE | 全角の英数字・記号(:()1A など)、半角カナ |
※「縺」のパターンは、元の文字が「ぁ」〜「み」のどれか、までしか分かりません。どの1文字かは、続く字との組み合わせで決まります。
2文字目からは、区切りがずれていく
「こんにちは」をUTF-8で保存して、Shift_JISとして開くと「縺薙s縺ォ縺。縺ッ」になります。
Shift_JISは1文字を1バイトか2バイトで読むので、UTF-8の3バイトずつの区切りと合いません。
「縺」の次の「薙」は、「こ」の最後のバイトと、次の「ん」の先頭のバイトを組にして読んだ字です。
先頭のバイトを前の字に取られたので、「ん」の位置には「繧」が出ていません。
区切りが戻ることもあります。
元の文字の3バイト目が、Shift_JISでは半角カナ1文字になる値だと、そこで読み終わって次の字から揃い直します。
「縺ォ」(に)、「縺。」(ち)、「縺ッ」(は)のように、「縺」と半角カナ1文字で1文字分、という並びになるのはこのためです。
化け方を見慣れた人が「縺の後ろに半角カナが付いていれば、ひらがな1文字」と読めるのは、この規則があるからだと思います。
実際に化けさせた例です。
- 縺薙s縺ォ縺。縺ッ(こんにちは)
- 繝ヲ繝シ繧カ繝シ(ユーザー)
- 繝輔ぃ繧、繝ォ(ファイル)※「フ」の最後のバイトと「ァ」の先頭が組になって「輔」、残りが「ぃ」と読まれています。
- 譚ア莠ャ驛ス(東京都)
欧文として読んだ場合は、1バイトを1文字として読むのでずれません。
日本語1文字がいつも3文字になり、「ユーザー」なら「ユーザー」です。
そのぶん元の文字は数えやすいのですが、ひらがなの前半など、間に見えない文字が入るものは、コピーや検索の途中でそこだけ落ちることがあります。落ちた文字は戻りません(理由は「直せる文字化けと、直せない文字化け」に書いています)。
末尾に「�」が付くこともあります。
「ありがとう」は「縺ゅj縺後→縺�」になり、最後の「う」の3バイト目が、組む相手のないまま「�」に置き換わっています。
ソフトによっては「�」ではなく「・」(中黒)になり、「縺・」で終わります。
どちらも、置き換わった時点で元のバイトは捨てられているので、この「う」はテキストからは戻せません。
見分けが付くと、直し方も決まる
崩れ方から「何を何として読んだか」が分かれば、元のファイルを正しい文字コードで開き直すだけで済みます。
MojiRescueの 文字化け診断 に化けたテキストを貼り付けると、この判定を自動で行い、復元できる場合はそのまま復元します。
ただし、上の4番目「?????」のパターンだけは事情が違います。
このパターンは、化けた時点で元の情報が消えてしまっているため、テキストからは戻せません。
どこまでなら戻せるのかは「直せる文字化けと、直せない文字化け」にまとめています。