Comment les compteurs de mots comptent vraiment les mots (et pourquoi le nombre change d'une appli à l'autre)

Collez un même extrait de texte dans Microsoft Word, Google Docs et un troisième outil de comptage de mots, et il est tout à fait possible d'obtenir trois totaux légèrement différents — non pas parce que l'un d'eux se serait trompé, mais parce que la notion de « mot » se révèle moins précise qu'elle n'en a l'air au premier regard. Un compteur de mots doit prendre toute une série de petites décisions précises sur des cas limites qu'un simple coup d'œil à un paragraphe ignore complètement : un mot composé avec trait d'union compte-t-il pour un mot ou pour deux, une contraction se sépare-t-elle, un nombre isolé compte-t-il autant qu'un mot fait de lettres, et — pour les langues qui ne séparent pas du tout les mots par des espaces — qu'est-ce qui marque seulement une limite de mot ? Différents outils tranchent ces questions différemment, et le total visible n'est jamais que la somme de nombreuses petites décisions défendables, et non un unique comptage objectivement correct.

Un mot composé avec trait d'union comme « peut-être » peut raisonnablement compter pour un mot ou pour deux, et les deux lectures se défendent : il fonctionne comme une seule unité de sens, mais il est aussi visiblement formé de deux mots reliés entre eux. Word comme Google Docs comptent tous deux un mot composé avec trait d'union comme un seul mot, ce qui explique pourquoi s'aligner sur leur convention est le bon choix par défaut pour tout ce qui doit correspondre aux attentes d'un éditeur ou d'un enseignant en matière de nombre de mots, comme un devoir avec une limite de mots imposée. Les contractions posent exactement la même question sous une autre forme — « aujourd'hui » est visiblement construit à partir de plusieurs éléments soudés ensemble, mais fonctionne comme un seul mot — et là encore, les principaux traitements de texte le comptent comme un seul mot plutôt que plusieurs, ce qui reste la convention à privilégier si le décompte doit correspondre à ce que rapporterait un professeur, un éditeur, ou un outil de limite de mots.

Un nombre isolé, un signe de ponctuation seul entouré d'espaces, et d'autres jetons inhabituels posent des versions plus modestes de la même question, et différents outils les résolvent légèrement différemment — ce qui est la véritable explication, peu spectaculaire, derrière la plupart des petits écarts que les gens remarquent entre un compteur de mots et un autre. Aucune de ces micro-décisions ne fait à elle seule beaucoup varier un total, mais quelques centaines de mots de prose ordinaire contiennent généralement assez de traits d'union, de contractions et de jetons inhabituels pour que ces écarts s'additionnent en une différence visible, quoique généralement faible, sur le nombre final.

Un compteur de mots construit en découpant simplement le texte à chaque espace fonctionne raisonnablement bien pour le français et la plupart des langues européennes, car ces langues séparent conventionnellement les mots par des espaces. Il échoue complètement pour le chinois, le japonais et le thaï, dont aucun n'insère jamais d'espace entre les mots — un paragraphe entier de texte chinois peut être une suite ininterrompue de caractères sans le moindre espace nulle part, et un compteur qui découpe sur les espaces rapporte que ce paragraphe entier ne fait qu'un seul « mot », quel que soit le nombre de mots réels qu'il contient en fait. Compter correctement les mots dans ces langues exige une véritable segmentation linguistique du texte — analyser les caractères eux-mêmes pour déduire où un mot se termine vraisemblablement et où le suivant commence, en utilisant le même type de logique de segmentation que les navigateurs modernes implémentent en interne pour la sélection de texte et les retours à la ligne — plutôt que l'approche triviale de découpage sur les espaces, qui fonctionne suffisamment bien pour les langues séparées par des espaces et s'effondre complètement pour celles qui ne le sont pas.

Aucune des conventions concurrentes pour les traits d'union, les contractions ou les jetons limites n'est objectivement plus correcte que les autres — ce sont des réponses différentes, également défendables, à une question réellement ambiguë. Ce qui compte réellement en pratique, c'est la convention avec laquelle le décompte doit s'accorder : un étudiant qui remet un devoir avec une exigence de nombre de mots précise a besoin d'un outil qui compte comme le fait son traitement de texte, puisque c'est presque certainement ce qui sera vérifié ; un auteur qui soumet un texte à une publication ayant son propre style maison doit s'aligner sur la convention qu'utilisent les outils de cette publication. S'aligner sur la convention partagée par Word et Google Docs — mots composés avec trait d'union et contractions comptés chacun pour un seul mot — est ce qui se rapproche le plus d'une norme universelle sûre par défaut, précisément parce que ces deux outils couvrent à eux deux l'écrasante majorité des situations où un nombre de mots doit correspondre à quelque chose d'externe et de précis.