Shift_JIS・UTF-8・EUC-JP——日本語の文字コードの違いと見分け方
文字化け・文字コードのコラム
執筆:松村 誠(植木鉢団 代表)
日本語を扱っていると、Shift_JIS、UTF-8、EUC-JPといった名前を目にします。
文字化けの多くは、この3つ(と欧文用の文字コード)の取り違えから起きます。
それぞれの成り立ちを知っておくと、化けたときの見当が付けやすくなります。
なぜ日本語は文字化けしやすいのか
英語圏で使われる文字は、アルファベットと記号を合わせても256種類に収まり、1文字=1バイトで表現できます。
一方、日本語はひらがな・カタカナ・漢字を合わせて数千から数万種類あり、1バイトではまったく足りません。
そこで1文字を複数バイトで表す方式が必要になり、その表し方が何通りも作られたという経緯があります。
これが、日本語で文字化けが多い根本的な理由です。
3つの文字コード
- Shift_JIS: Windowsを中心に古くから使われてきた方式です。Windows上での実体はCP932という拡張版で、機種依存文字(①や㈱など)が追加されています。Excelや古い業務システムでは現役です。
- EUC-JP: Unix系のサーバーで広く使われた方式です。現在は見かける機会が減っていますが、古いシステムから出力されたファイルで出会うことがあります。
- UTF-8: 世界中の文字を一つの体系で扱うUnicodeを、バイト列として表す方式のひとつです。現在のWebやアプリケーションの標準で、迷ったらこれを選んでおけばよい、という位置づけになっています。
このほか、メールの本文で使われてきた ISO-2022-JP(JISコード)もあります。
入っている文字も違う
文字コードによって、収録されている文字の範囲も違います。
このコラムの題名にある「——」(ダッシュ)は、CP932には入っていない文字です。Python の cp932 で変換しようとすると、変換できないと止まります。※MojiRescue では、見た目の近い「―」に置き換えて書き出します。詳しくは「①や㈱が別の文字になる」のコラムで扱っています。
逆に、①や㈱はCP932なら変換できますが、JIS規格どおりのShift_JISやEUC-JPでは変換できません。
同じ「Shift_JIS」と呼ばれていても、Windowsの拡張を含むかどうかで、通る文字が変わります。
変換するとファイルの大きさが変わる
同じ文章でも、文字コードによって1文字あたりのバイト数が違います。
- 半角英数字:Shift_JIS・UTF-8とも1バイト
- ひらがな・カタカナ・漢字:Shift_JISでは2バイト、UTF-8ではほとんどが3バイト
- 半角カナ:Shift_JISでは1バイト、UTF-8では3バイト
このサイトのコラム1本分の文章(1,805字、うち半角英数字が392字)を、3つの方式で保存して比べました。
| 文字コード | バイト数 |
|---|---|
| Shift_JIS(CP932) | 3,218 |
| UTF-8 | 4,631(Shift_JISの1.44倍) |
| UTF-16 | 3,610 |
日本語が中心のファイルをShift_JISからUTF-8に変換すると、このくらい大きくなります。中身が壊れたわけではありません。
半角英数字が多い文章ほど、差は小さくなります。アップロード先に容量の上限がある場合は、変換後の大きさで確かめておくと安心です。
UTF-16も見かける
3つのほかに、UTF-16で保存されたファイルに出会うこともあります。Excelで「Unicode テキスト」を選んで保存したファイルは、この形式です。上の表のとおり、日本語中心ならUTF-8より小さくなりますが、英数字も2バイトで表すので、Shift_JISやUTF-8のつもりで開くと、文字の間に空白や記号が挟まったような化け方をします。
MojiRescueのファイル変換は、UTF-16(LE・BE)のファイルも読み込んで、UTF-8やShift_JISに変換できます。※UTF-16で書き出すことはできません。
手元のファイルがどれか見分ける
文字コードは、ファイルの中身を見ただけでは確実には判別できません。バイトの並びから推測することになります。
実務的には、次の順で当たりを付けます。
- BOMがあるか: 先頭にBOMがあれば、UTF-8(またはUTF-16)と分かります。
- 開いてみて化けるか: 文字コードを指定して開けるツールで、候補を切り替えながら表示を確認します。読める並びになったら、元の語や出力元の仕様と見比べて確かめます。下の「カナ」の例のように、別の文字コードでも読める字が出てしまうことがあるためです。
- 出どころから推測する: Windowsの古い業務システムならShift_JIS、Webサービスからのダウンロードなら UTF-8、といった見当が付きます。
MojiRescueの ファイルの文字コード変換 では、ファイルを読み込んだ時点で自動判定した結果と、その文字コードで読んだ場合のプレビューを表示します。
自動判定が外れる例
推測である以上、外れることはあります。短い文ほど外れやすいと言われますが、試してみると、2文字の「東京」だけのファイルでも、Shift_JIS・EUC-JP・UTF-8のどれで保存したものも正しく判定されました。
外れたのは、半角カナだけで、バイト数が偶数のShift_JISのファイルです。
- 「カナ」は、EUC-JPと判定されて「凝」と表示
- 「データ」は「筑粟」
- 「データガアリマス」は「筑粟衿駅禄」
半角カナはShift_JISでは1文字1バイトなので、2文字ずつ組むとEUC-JPの漢字1文字としても読めてしまいます。
同じ半角カナでも、空白や英数字が混ざるもの(「ヤマダ タロウ」)や、バイト数が奇数のもの(「アイウエオ」)は正しく判定されました。
判定が外れていた場合は、その場で変換元の文字コードを切り替えて表示を確認できます。上の例も、Shift_JISに選び直すとプレビューが正しく出ました。
読めた状態を確認してから変換できるので、「変換したけれど中身が壊れていた」という事故を避けやすくなるかと思います。