見た目は空白なのに、普通の空白ではない文字

AI文章の整形コラム

執筆:松村 誠(植木鉢団 代表)

貼り付けた文章の行頭が、なぜか少しずれている。
検索しても引っかからない。文字数を数えると想定と合わない。

原因が空白にあることがあります。
空白に見えるものは、1種類ではありません。

空白の種類

よく混ざるのは次のあたりです。

半角スペース。通常の空白です。

全角スペース。日本語の文章では意図的に使われることもありますが、AIの出力では字下げの目的で紛れ込むことがあります。半角の約2倍の幅を取ります。

改行しないスペース。見た目は半角スペースと同じですが、別の文字です。ここで行が折り返されないという意味を持っています。Webページからコピーした文章に混ざりやすいところです。

幅の狭いスペース。数値と単位の間などに使われる、半角より狭い空白です。改行しない性質を持つもの(U+202F)と、持たないもの(U+2009)の2種類があります。

いずれも画面上は「空いている」だけなので、目で見分けることはできません。

幅のない文字もある

空白の仲間には、幅を持たない文字もあります。
代表的なのがゼロ幅スペースで、画面には何も表示されないまま、検索が一致しない、文字数が合わないといった、空白と同じ症状を起こします。
正体と混ざる経路は、別の記事(AIの文章に潜む「見えない文字」の正体と削除方法)にまとめました。

何が起きるか

まず、検索が一致しなくなります。
半角スペースで検索しても、改行しないスペースはヒットしません。同じに見えていても別の文字だからです。

次に、幅が揃いません。
全角スペースで字下げされた行と、半角スペース2つで字下げされた行が混ざると、見た目が微妙にずれます。

さらに、プログラムに渡すと壊れることがあります。
設定ファイルやコードでは、空白の種類が意味を持つ場面があるためです。

なぜ混ざるのか

意図して入れたわけでもないのに混ざる経路が、いくつかあります。

ひとつはWebページからのコピーです。表示を整えるために改行しないスペースが使われていることがあり、コピーすると一緒に付いてきます。

もうひとつは、生成された文章そのものです。学習した文章に含まれていたものが、そのまま出力に現れます。

日本語入力から入る場合もあります。全角モードのままスペースキーを押せば全角スペースになるので、書いた本人も気づかないまま混ざります。

対処

半角スペースに揃えるのが基本です。

改行しないスペースや幅の狭いスペースは、通常の半角スペースへ置き換えて問題ないことがほとんどです。
Suppinizeでは、改行しないスペースと、幅の狭い改行しないスペース(U+202F)を半角スペースに変換しています。
削除ではなく置換にしているのは、消すと単語がつながってしまうためです。

全角スペースは判断が要ります。
日本語の組版として意図的に入っている場合があるので、一律に置換すると意図が消えます。字下げの目的で使われているものだけを対象にするなら、行頭のものに限って処理するほうが安全です。

Suppinizeで処理されるもの、されないもの

Suppinizeの「見えない文字を除去」は、ゼロ幅スペースのような幅のない文字を削除します。
もともと幅を持たない文字なので、消しても前後の文字がくっついて見えることはありません。

処理のあとには「見えない文字を○個除去しました」と表示します。
改行しないスペースを半角スペースに置き換えた分も、この数に含まれます。
貼り付けた文章に何か混ざっていたかどうかは、ここで分かります。

変換しない空白もあります。
全角スペースは、どの処理でも変換・削除していません。「全角・半角の統一」をオンにしても、変わるのは英数字・半角カタカナ・全角のカンマとピリオドで、全角スペースはそのまま残ります。
改行できるほうの幅の狭いスペース(U+2009)や、半角より幅の広い空白も、今は対象にしていません。
行頭の字下げを外したい場合は、貼り付けた先の置換機能で、行頭の全角スペースだけを対象にしてください。

混ざっているかを確かめる

エディタで「制御文字を表示」の設定を入れると、空白の種類が記号で表示されるものがあります。

そこまでせずに済ませたい場合は、文字数を数えるのが早いです。
見た目の文字数と実際の文字数が合わなければ、何かが混ざっています。