見た目が同じなのに一致しない文字。濁点の分解と、全角・半角

文字化け・文字コードのコラム

執筆:松村 誠(植木鉢団 代表)

「ガ」で検索したのに、画面に見えている「ガ」がヒットしない。
コピーして貼り付けた文字列が、目視では同じなのにプログラムでは別物と判定される。

文字化けとは違い、見た目は正常です。それでも一致しない。
このとき起きているのは、文字コードの違いではなく、Unicodeの表し方の違いです。

「ガ」には2通りの書き方がある

Unicodeでは、濁点付きのカナを2通りで表せます。

  • 1文字として持つ(「ガ」で1文字)
  • 「カ」と濁点を並べて持つ(2文字)

どちらも画面上は「ガ」に見えます。
前者を合成済み、後者を分解済みと呼びます。macOSはファイル名を分解済みで扱ってきた歴史があるため、Macで作ったファイル名をWindowsやLinuxに持っていくと、この差が表面化することがあります。

Windows 11 で試すと、同じフォルダに、合成済みの「ガイド.txt」(7文字)と分解済みの「ガイド.txt」(8文字)を両方作れました。
フォルダの中に、見た目が同じ名前のファイルが2つ並びます。Windowsは、ファイル名の濁点をどちらかにそろえずに、そのまま保存しています。

検索と比較で結果が割れる

この2つのファイルがあるフォルダで、名前を検索してみました。

  • PowerShell で「ガ*」を検索:合成済みのほうだけが見つかる
  • PowerShell で「カ*」を検索:分解済みのほうだけが見つかる
  • コマンドプロンプトの dir で「ガ*」を検索:合成済みのほうだけが見つかる

分解済みの名前は、先頭が「カ」なので、「ガ」では見つからず「カ」で見つかります。

比べ方によっても、結果が変わります。
2つの名前を PowerShell の -eq で比べると「同じ」、1文字ずつの番号で比べる方法(.NET の序数比較)では「違う」と出ました。
同じ道具の中でも、比べ方によって一致したりしなかったりするので、「さっきは一致したのに」という形で表に出ます。
表計算で名前を突き合わせたら同じはずの行が一致しない、テキスト検索で画面に見えている語がヒットしない、というのも同じ仕組みです。

混ざっているかを確かめる

目で見分けられないので、文字数で確かめるのが手早い方法です。

Excelなら、LEN関数で文字数を出すと、分解済みの「ガ」は2文字と数えられます。
同じ名前のはずの2つのセルで文字数が違えば、どちらかに分解済みの文字が混ざっていると見当がつきます。

上の検索のとおり、「カ」で検索してみるのも手です。
分解済みの「ガ」は、「カ」の検索に引っかかります。

全角と半角も同じ問題

同種の現象は、濁点以外にもあります。

  • 全角の「A」と半角の「A」
  • 全角の「1」と半角の「1」
  • 半角カナの「カ」と全角の「カ」

これらは見た目こそ違いますが、意味としては同じものを指しています。
検索や照合の場面では「同じ扱いにしたい」ことが多く、そのままだと一致しません。

揃える操作を正規化と呼ぶ

これらを統一する処理が正規化です。方式が4つあり、どこまで同一視するかが変わります。

  • NFC:濁点などを、合成済みの1文字にまとめる
  • NFD:合成済みの文字を、もとの文字と濁点に分ける
  • NFKC:NFCに加えて、全角英数・半角カナ・①のような文字を標準的な形に寄せる
  • NFKD:NFDに加えて、NFKCと同じ寄せ方をする

濁点の合成・分解だけを揃えるNFCとNFDは、ほとんどの文字をそのまま残します。
ただ、一部の文字は別の番号の文字に置き換わります。Windowsの文字コード(CP932)に入っている「塚」(U+FA10)は、NFCでもNFDでも、ふつうの「塚」(U+585A)になり、元の番号には戻せません。単位の「Å」(オングストローム、U+212B)も、アルファベットの「Å」(U+00C5)になります。
一方、Kの付くNFKCとNFKDは、落とすものがもっと多くなります。「①」が「1」になり、丸囲みだった事実が消えます。
検索用のキーを作るならKの付く方式が便利ですが、原文をそのまま保存したい場面では使えません。
日本語の入力で普通に打った文字はたいてい合成済みなので、迷ったらNFCに揃えておくと、ほかとの食い違いが起きにくくなります。

揃えないまま変換すると、濁点が「?」になる

文字コードの変換と正規化は別の処理です。
分解済みの濁点(結合文字 U+3099)は、Shift_JISには入っていません。揃えないままShift_JISへ変換すると、濁点だけが変換できない文字になります。
MojiRescue に正規化を入れる前に試したときは、変換の前に「表現できない文字が1種類(計4文字)」と警告が出て、そのまま変換すると「カ?イト?を読む。テ?ータヘ?ースの設定」のように、濁点の所が「?」になりました。

MojiRescueでは、変換の前に揃える

MojiRescue では、Shift_JISなどへ変換するときに、濁点などが分かれている所だけを、先に合成済み(NFC)の1文字にまとめてから変換します。
文字列全体をNFCにしないのは、上の「Å」のような文字が変わってしまうためです。Shift_JIS(CP932)に入っているのはU+212Bのほうなので、全体をNFCにすると、そのまま変換できる「Å」が「?」になります。
前の節で「?」になった分解済みの文も、今は警告が出ず、「ガイドを読む。データベースの設定」として書き出されます。
UTF-8へ変換するときは、分解済みのまま書き出します。UTF-8なら分解済みの文字もそのまま表せるので、中身の文字を変えないようにしています。
文字化け診断に分解済みの文を貼ると、「文字化けではない可能性があります」と出たうえで、「濁点などが分かれた文字が含まれています」と、何か所あるかを知らせます。

全角と半角を寄せるNFKCは、原文の文字を変えてしまうので行っていません。
ファイル名そのものも直しません。MojiRescue が扱うのはファイルの中身だけです。