見た目は空白なのに、普通の空白ではない文字
AI文章の整形コラム
執筆:松村 誠(植木鉢団 代表)
貼り付けた文章の行頭が、なぜか少しずれている。
検索しても引っかからない。文字数を数えると想定と合わない。
原因が空白にあることがあります。
空白に見えるものは、1種類ではありません。
空白の種類
よく混ざるのは次のあたりです。
半角スペース。通常の空白です。
全角スペース。日本語の文章では意図的に使われることもありますが、AIの出力では字下げの目的で紛れ込むことがあります。半角の約2倍の幅を取ります。
改行しないスペース。見た目は半角スペースと同じですが、別の文字です。ここで行が折り返されないという意味を持っています。Webページからコピーした文章に混ざりやすいところです。
幅の狭いスペース。数値と単位の間などに使われる、半角より狭い空白です。改行しない性質を持つもの(U+202F)と、持たないもの(U+2009)の2種類があります。
いずれも画面上は「空いている」だけなので、目で見分けることはできません。
幅のない文字もある
空白の仲間には、幅を持たない文字もあります。
代表的なのがゼロ幅スペースで、画面には何も表示されないまま、検索が一致しない、文字数が合わないといった、空白と同じ症状を起こします。
正体と混ざる経路は、別の記事(AIの文章に潜む「見えない文字」の正体と削除方法)にまとめました。
何が起きるか
まず、検索が一致しなくなります。
半角スペースで検索しても、改行しないスペースはヒットしません。同じに見えていても別の文字だからです。
次に、幅が揃いません。
全角スペースで字下げされた行と、半角スペース2つで字下げされた行が混ざると、見た目が微妙にずれます。
さらに、プログラムに渡すと壊れることがあります。
設定ファイルやコードでは、空白の種類が意味を持つ場面があるためです。
なぜ混ざるのか
意図して入れたわけでもないのに混ざる経路が、いくつかあります。
ひとつはWebページからのコピーです。表示を整えるために改行しないスペースが使われていることがあり、コピーすると一緒に付いてきます。
もうひとつは、生成された文章そのものです。学習した文章に含まれていたものが、そのまま出力に現れます。
日本語入力から入る場合もあります。全角モードのままスペースキーを押せば全角スペースになるので、書いた本人も気づかないまま混ざります。
対処
半角スペースに揃えるのが基本です。
改行しないスペースや幅の狭いスペースは、通常の半角スペースへ置き換えて問題ないことがほとんどです。
Suppinizeでは、改行しないスペースと、幅の狭い改行しないスペース(U+202F)を半角スペースに変換しています。
削除ではなく置換にしているのは、消すと単語がつながってしまうためです。
全角スペースは判断が要ります。
日本語の組版として意図的に入っている場合があるので、一律に置換すると意図が消えます。字下げの目的で使われているものだけを対象にするなら、行頭のものに限って処理するほうが安全です。
Suppinizeで処理されるもの、されないもの
Suppinizeの「見えない文字を除去」は、ゼロ幅スペースのような幅のない文字を削除します。
もともと幅を持たない文字なので、消しても前後の文字がくっついて見えることはありません。
処理のあとには「見えない文字を○個除去しました」と表示します。
改行しないスペースを半角スペースに置き換えた分も、この数に含まれます。
貼り付けた文章に何か混ざっていたかどうかは、ここで分かります。
変換しない空白もあります。
全角スペースは、どの処理でも変換・削除していません。「全角・半角の統一」をオンにしても、変わるのは英数字・半角カタカナ・全角のカンマとピリオドで、全角スペースはそのまま残ります。
改行できるほうの幅の狭いスペース(U+2009)や、半角より幅の広い空白も、今は対象にしていません。
行頭の字下げを外したい場合は、貼り付けた先の置換機能で、行頭の全角スペースだけを対象にしてください。
混ざっているかを確かめる
エディタで「制御文字を表示」の設定を入れると、空白の種類が記号で表示されるものがあります。
そこまでせずに済ませたい場合は、文字数を数える方法もあります。
見た目の文字数と実際の文字数が合わなければ、ゼロ幅スペースのような幅の無い文字が混ざっています。
ただ、ノーブレークスペースは普通の空白と同じ1文字として数えられるので、文字数では見分けられません。Suppinizeに貼ると、置き換えた分も「見えない文字を N 個除去しました」の数に入るので、そこで分かります。