Shift_JIS・UTF-8・EUC-JP——日本語の文字コードの違いと見分け方

文字化け・文字コードのコラム

執筆:松村 誠(植木鉢団 代表)

日本語を扱っていると、Shift_JIS、UTF-8、EUC-JPといった名前を目にします。
文字化けの多くは、この3つ(と欧文用の文字コード)の取り違えから起きます。

それぞれの成り立ちを知っておくと、化けたときの見当が付けやすくなります。

なぜ日本語は文字化けしやすいのか

英語圏で使われる文字は、アルファベットと記号を合わせても256種類に収まり、1文字=1バイトで表現できます。
一方、日本語はひらがな・カタカナ・漢字を合わせて数千から数万種類あり、1バイトではまったく足りません。

そこで1文字を複数バイトで表す方式が必要になり、その表し方が何通りも作られたという経緯があります。
これが、日本語で文字化けが多い根本的な理由です。

3つの文字コード

  • Shift_JIS: Windowsを中心に古くから使われてきた方式です。Windows上での実体はCP932という拡張版で、機種依存文字(①や㈱など)が追加されています。Excelや古い業務システムでは現役です。
  • EUC-JP: Unix系のサーバーで広く使われた方式です。現在は見かける機会が減っていますが、古いシステムから出力されたファイルで出会うことがあります。
  • UTF-8: 世界中の文字を一つの体系で扱うUnicodeを、バイト列として表す方式のひとつです。現在のWebやアプリケーションの標準で、迷ったらこれを選んでおけばよい、という位置づけになっています。

このほか、メールの本文で使われてきた ISO-2022-JP(JISコード)もあります。

入っている文字も違う

文字コードによって、収録されている文字の範囲も違います。

このコラムの題名にある「——」(ダッシュ)は、CP932には入っていない文字です。Python の cp932 で変換しようとすると、変換できないと止まります。※MojiRescue では、見た目の近い「―」に置き換えて書き出します。詳しくは「①や㈱が別の文字になる」のコラムで扱っています。

逆に、①や㈱はCP932なら変換できますが、JIS規格どおりのShift_JISやEUC-JPでは変換できません。
同じ「Shift_JIS」と呼ばれていても、Windowsの拡張を含むかどうかで、通る文字が変わります。

変換するとファイルの大きさが変わる

同じ文章でも、文字コードによって1文字あたりのバイト数が違います。

  • 半角英数字:Shift_JIS・UTF-8とも1バイト
  • ひらがな・カタカナ・漢字:Shift_JISでは2バイト、UTF-8ではほとんどが3バイト
  • 半角カナ:Shift_JISでは1バイト、UTF-8では3バイト

このサイトのコラム1本分の文章(1,805字、うち半角英数字が392字)を、3つの方式で保存して比べました。

文字コードバイト数
Shift_JIS(CP932)3,218
UTF-84,631(Shift_JISの1.44倍)
UTF-163,610

日本語が中心のファイルをShift_JISからUTF-8に変換すると、このくらい大きくなります。中身が壊れたわけではありません。
半角英数字が多い文章ほど、差は小さくなります。アップロード先に容量の上限がある場合は、変換後の大きさで確かめておくと安心です。

UTF-16も見かける

3つのほかに、UTF-16で保存されたファイルに出会うこともあります。Excelで「Unicode テキスト」を選んで保存したファイルは、この形式です。上の表のとおり、日本語中心ならUTF-8より小さくなりますが、英数字も2バイトで表すので、Shift_JISやUTF-8のつもりで開くと、文字の間に空白や記号が挟まったような化け方をします。

MojiRescueのファイル変換は、UTF-16(LE・BE)のファイルも読み込んで、UTF-8やShift_JISに変換できます。※UTF-16で書き出すことはできません。

手元のファイルがどれか見分ける

文字コードは、ファイルの中身を見ただけでは確実には判別できません。バイトの並びから推測することになります。
実務的には、次の順で当たりを付けます。

  1. BOMがあるか: 先頭にBOMがあれば、UTF-8(またはUTF-16)と分かります。
  2. 開いてみて化けるか: 文字コードを指定して開けるツールで、候補を切り替えながら表示を確認します。読める並びになったら、元の語や出力元の仕様と見比べて確かめます。下の「カナ」の例のように、別の文字コードでも読める字が出てしまうことがあるためです。
  3. 出どころから推測する: Windowsの古い業務システムならShift_JIS、Webサービスからのダウンロードなら UTF-8、といった見当が付きます。

MojiRescueの ファイルの文字コード変換 では、ファイルを読み込んだ時点で自動判定した結果と、その文字コードで読んだ場合のプレビューを表示します。

自動判定が外れる例

推測である以上、外れることはあります。短い文ほど外れやすいと言われますが、試してみると、2文字の「東京」だけのファイルでも、Shift_JIS・EUC-JP・UTF-8のどれで保存したものも正しく判定されました。
外れたのは、半角カナだけで、バイト数が偶数のShift_JISのファイルです。

  • 「カナ」は、EUC-JPと判定されて「凝」と表示
  • 「データ」は「筑粟」
  • 「データガアリマス」は「筑粟衿駅禄」

半角カナはShift_JISでは1文字1バイトなので、2文字ずつ組むとEUC-JPの漢字1文字としても読めてしまいます。
同じ半角カナでも、空白や英数字が混ざるもの(「ヤマダ タロウ」)や、バイト数が奇数のもの(「アイウエオ」)は正しく判定されました。

判定が外れていた場合は、その場で変換元の文字コードを切り替えて表示を確認できます。上の例も、Shift_JISに選び直すとプレビューが正しく出ました。
読めた状態を確認してから変換できるので、「変換したけれど中身が壊れていた」という事故を避けやすくなるかと思います。