BOMとは何か——付けるべき場合と、外すべき場合

文字化け・文字コードのコラム

執筆:松村 誠(植木鉢団 代表)

CSVやテキストファイルを扱っていると、「BOM付きUTF-8」「BOM無しUTF-8」という選択肢に出会うことがあります。
同じUTF-8なのに2種類あるうえ、どちらを選ぶべきか場面によって逆になるので、混乱しやすいところかと思います。

BOMの正体は3バイトの目印

BOM は Byte Order Mark の略で、ファイルの先頭に置かれる短い印です。
UTF-8の場合、EF BB BF という3バイトが先頭に付くだけで、それ以降の中身は変わりません。
BOM付きのUTF-8で保存した「id,name」で始まるCSVの、先頭8バイトはこうなっていました。

ef bb bf 69 64 2c 6e 61

最初の3バイトがBOMで、その後ろが「id,na」です。
テキストエディタで開いても、BOMは基本的に表示されません。そのため、見た目には違いがないのに、一方だけで問題が起きる、という状況になります。

もともとは「バイトの順番」を示す印

BOMの名前にある Byte Order(バイトの順番)は、UTF-16 のような、1文字を2バイト以上で表す文字コードのための言葉です。
2バイトをどちらの順で並べるかがコンピューターによって違うため、先頭の印でそれを伝えていました。

UTF-8 には、この並び順の問題がありません。
そのため UTF-8 のBOMは、並び順ではなく「UTF-8で書かれている」ことを示す目印としてだけ使われています。

付けたほうがいい場面

いちばん分かりやすいのが、ExcelでCSVを開くときです。BOMが無いUTF-8のCSVは、日本語版Excelで文字化けしますが、BOMを付けておけばダブルクリックでそのまま開けます。
Excelでの開き方・保存のしかたとの関係は、「CSVをExcelで開くと文字化けする原因」のコラムにまとめています。

プログラムで読むと何が起きるか

BOMが邪魔になるのは、プログラムやコマンドに読ませる場面です。
BOM付きのUTF-8で、CSV・JSON・シェルスクリプトを作って、実際に読ませてみました。

  • Python 3.10 の csv.DictReader(encoding='utf-8' で開く):1列目の列名の先頭にBOMが残り、「id」になりません。row['id'] で取り出そうとすると KeyError になります。encoding='utf-8-sig' で開けば「id」として読めます。
  • Python の json.load:JSONDecodeError: Unexpected UTF-8 BOM (decode using utf-8-sig) と出て読めません。
  • Node.js 24 の JSON.parse:SyntaxError: Unexpected token と出て読めません。エラーの中の引用符の間に、画面には見えないBOMが入っています。
  • Git Bash(bash 5.2)でシェルスクリプトを実行:1行目について「No such file or directory」と出ます。ところが2行目以降はそのまま実行され、終了コードは0(成功扱い)でした。
  • PowerShell 5.1 の Import-Csv:BOMがあっても列名は「id」で、問題なく読めました。

Pythonの csv と bash の例は、エラーで止まらずに先へ進んでしまうのが厄介なところです。列名が1つだけ一致しない、1行目の命令だけ実行されていない、という形で、後のほうで別の問題として出てきます。
逆に PowerShell のように、BOMを読み飛ばしてくれるものもあります。同じファイルでも、読む側によって結果が変わります。

このほか、Web用のHTMLやPHPでも、出力の先頭にBOMが混ざって表示崩れの原因になる場合があります。
そのため「常に付ける」「常に外す」ではなく、渡す相手で決めるのが実際的です。
Excelに渡すなら付ける、プログラムに渡すなら外すか、読む側でBOMを読み飛ばす指定(Pythonなら utf-8-sig)をする、と覚えておくとおおよそ足ります。

BOMの有無を確かめる

BOMは画面に表示されないので、見た目では分かりません。
テキストエディタの多くは、画面下のステータスバーに「UTF-8 with BOM」「UTF-8 (BOM 付き)」のように表示しています。

MojiRescue でも、ファイルを読み込むと、BOMがあれば「判定: UTF-8」と並べて「BOMあり (utf-8)」と表示します。BOMが無ければ「BOMあり」は出ません。
UTF-16のファイルなら「BOMあり (utf-16le)」のように、バイトの並び順まで出ます。
変換するつもりがなくても、確認だけに使えます。

同じ中身のCSVをBOM付きとBOM無しで保存し、MojiRescueに読み込んだ判定を上下に並べたもの。BOM付きは「判定: UTF-8」の横に「BOMあり (utf-8)」が出ていて、BOM無しには出ていない
同じ中身の CSV(作例)を、BOM 付きと BOM 無しで保存して読み込んだところ。BOM 付きのときだけ「BOMあり (utf-8)」が出ます。

付け外しはやり直しが利く

UTF-8のBOMの付け外しは、先頭3バイトを足すか取るかだけの操作なので、文字が失われることはありません。
何度やり直しても中身は変わらないため、迷ったら試してみるのが早いところです。

MojiRescueでは 改行コード・BOMの変換ページ で、文字コードを変えずにBOMだけを付け外しできます。