PDFから貼り付けた文字に混ざる「見えない文字」
PDF・テキスト整形コラム
執筆:松村 誠(植木鉢団 代表)
PDFから貼り付けた単語を検索しても、なぜかヒットしない。
見た目はまったく同じなのに、一致してくれない。
こういうときは、目に見えない文字が混ざっている場合があります。
ソフトハイフン
行末で単語を分割するときに使われる、条件付きのハイフンです。
折り返しの位置に来たときだけハイフンとして表示され、そうでなければ表示されません。
厄介なのは、表示されていなくても文字としては残っていること。
international の途中にこれが挟まっていると、見た目はそのままなのに、検索では一致しません。
ゼロ幅スペース
幅を持たない空白です。
折り返し位置の指定などに使われるもので、当然ながら目には見えません。
貼り付け先で単語の途中に不自然な折り返しが起きる場合、これが原因のことがあります。
折り返さない空白(NBSP)
見た目は普通の半角スペースですが、別の文字です。
「10 kg」のように、途中で改行させたくない箇所に使われます。
普通のスペースのつもりで検索・置換すると引っかからないので、地味に手間取るところです。
合字
fi や fl のような組み合わせを、1文字の字形にまとめたものです。
組版としては見栄えが良くなるのですが、テキストとして取り出すと1文字の別の文字(fi)になっています。
file で検索しても file は引っかからないので、検索が効かない原因としてはわかりにくい部類かと思います。
分かれた濁点
「が」が「か」+濁点の2文字で構成されている場合があります。
表示は「が」に見えるので、文字数を数えたときに合わない、という形で気づくことが多いところです。
文字数で気づく
見えない文字は、文字数を数えると見つかることがあります。
Excelなら、セルに貼った文字列を =LEN(A1) のように数えて、見た目の文字数より多ければ、何かが紛れ込んでいます。
照合がうまくいかない2つのセルを並べて、それぞれの文字数を比べるのも手早い方法です。
見た目が同じで文字数だけが違えば、見えない文字か、分かれた濁点のどちらかを疑えます。
検索で当たらないときの切り分け
単語で検索して当たらないときは、その単語を前半と後半に分けて検索してみます。
前半では当たるのに後半では当たらない、という場合は、その境目に何かが挟まっています。
さらに半分に分けていけば、どの文字の間に入っているかまで絞り込めます。
場所が分かれば、その部分だけを打ち直すことで直せます。
まとめて直す
これらは、貼り付けたテキストをPetaPDFに通せば一度に処理されます。
ソフトハイフンやゼロ幅の類は除去、折り返さない空白は普通のスペースに、合字は fi のような通常の文字に、分かれた濁点は結合します。
分かれた濁点の結合には、文字を標準の形にまとめる方式(NFC)を使っています。
ただ、この方式をそのままかけると、「神」の異体字(U+FA19)のような互換漢字が、普通の漢字に置き換わります。
人名などで字体を使い分けていることがあるので、互換漢字だけは対象から外しています。
ひとつ、あえてやっていない処理があります。
文字コードには「見た目の似た文字をまとめて標準形に直す」正規化の方式(NFKC)があり、これを一発かけると上の問題はまとめて片付きます。
ただ、この方式は範囲が広く、① が 1 に、㈱ が (株) に、全角の英数字が半角に変わります。
資料によっては困る変換なので、PetaPDFでは対象を絞って個別に処理する形にしました。
見えない文字は、原因に見当がつくまでが長い種類の困りごとです。
検索がおかしいときは疑ってみてください。
PDF以外からも混ざる
見えない文字は、PDFに限った話ではありません。
Webページからのコピーや、AIの回答をコピーした文章にも、ゼロ幅スペースなどが混ざっていることがあります。
PDF由来でない文章なら、姉妹ツールの Suppinize でも、同じ種類の見えない文字を取り除けます。