単語数カウンターは実際どう数えているのか(アプリによって数字が変わる理由)

まったく同じテキストをMicrosoft Word、Googleドキュメント、そして第三の単語数カウントツールに貼り付けると、3つとも少しずつ異なる合計になることが十分にありえます。それはどれかが間違えたからではなく、「単語」という概念が、ぱっと見の印象よりも実は曖昧な概念だからです。単語数カウンターは、段落をさらっと眺めただけでは見過ごしてしまうような細かいエッジケースについて、一つひとつ具体的な判断を下さなければなりません。ハイフンでつながった複合語は1語なのか2語なのか、短縮形は分割して数えるのか、単独の数字は文字でできた単語と同じように数えるのか、そして単語間にそもそもスペースを使わない言語の場合、そもそも何が単語の境界を示すのか、といった判断です。ツールによってこれらの判断は異なり、目に見える合計値は、唯一絶対に正しい数え方の結果ではなく、多くの小さな、それぞれ根拠のある判断の積み重ねにすぎません。

「well-known」のようなハイフンでつながった複合語は、1語と数えることも2語と数えることも、どちらも理にかなっています。一つの意味単位として機能している一方で、見た目には2つの別々の単語がつながったものでもあるからです。WordもGoogleドキュメントも、ハイフンでつながった複合語を1語として数えており、指定された単語数制限のある課題など、編集者や出版側の単語数の想定に合わせる必要がある場面では、この慣例に合わせるのが正しい既定の選択です。短縮形も形は違えど同じ問いを投げかけます。「don't」は見た目には2つの単語が圧縮されてつながったものですが、機能としては1語です。ここでも主要なワープロソフトはこれを2語ではなく1語として数えており、これもまた、教師や編集者、単語数制限ツールが報告するであろう数字と一致させる必要がある場合に合わせる価値のある慣例です。

単独の数字、スペースに囲まれた孤立した句読点、その他の風変わりなトークンも、同じ問いの小さなバリエーションを生み出し、ツールによってその解決の仕方はわずかに異なります。これこそが、ある単語数カウンターと別のカウンターとの間で人々が気づく小さな食い違いの、地味だが本当の説明です。これらのマイクロレベルの判断は一つひとつでは合計をそれほど動かしませんが、数百語程度の普通の文章には通常、十分な数のハイフンや短縮形、風変わりなトークンが含まれているため、その食い違いが積み重なって、最終的な数字にはっきりと、ただし通常はわずかな差として表れます。

テキストをスペースが現れるたびに単純に分割して作られた単語数カウンターは、英語やほとんどのヨーロッパ言語ではそれなりにうまく機能します。これらの言語は慣例的に単語をスペースで区切っているからです。しかし中国語、日本語、タイ語ではまったく通用しません。これらの言語は単語間にスペースをまったく挿入しないためです。中国語のテキストの段落全体が、どこにもスペースのない、途切れない一続きの文字列であることもあり、スペースで分割するカウンターは、実際にはいくつの単語が含まれていようと、その段落全体を1つの「単語」として報告してしまいます。これらの言語で単語を正しく数えるには、本物の言語的なテキスト分割が必要です。文字そのものを解析して、どこで一つの単語が終わり、次の単語が始まるかをもっともらしく推測する処理で、最近のブラウザがテキスト選択や改行処理のために内部で実装しているのと同種の分割ロジックを使います。スペースで区切られた言語には十分に通用するものの、そうでない言語ではまったく成り立たない、単純なスペース分割の手法とは根本的に異なるアプローチです。

ハイフン、短縮形、エッジケースのトークンをめぐって競合するどの慣例も、他より客観的に正しいわけではありません。それらは、本質的に曖昧な問いに対する、異なりながらも等しく根拠のある答えにすぎません。実務上本当に重要なのは、その数え方がどの慣例と一致している必要があるかです。指定された単語数の要件がある課題を提出する学生には、自分のワープロソフトと同じ数え方をするツールが必要です。ほぼ確実にそれが実際にチェックされる基準だからです。独自のスタイルを持つ出版物に寄稿するライターには、その出版物のツールが使っている慣例に合わせる必要があります。WordとGoogleドキュメントが共有する慣例 — ハイフンでつながった複合語と短縮形をそれぞれ1語として数える — に合わせることは、安全な普遍的な既定値に最も近いものです。この2つのツールを合わせれば、単語数が何か外部の具体的な基準と一致する必要がある状況の圧倒的多数をカバーしているからです。