Supprimer les lignes en double

Quand une liste contient plusieurs copies de la même ligne, il doit y avoir une règle sur quelle copie survit, et conserver la première est le choix qui préserve le plus d'information sur la liste d'origine : l'ordre qui survit reflète encore comment la liste a été assemblée à l'origine, plutôt que d'être brouillé par l'étape de déduplication elle-même. Cela compte concrètement pour une liste qui était à l'origine dans un ordre sensé — entrées ajoutées chronologiquement, ou déjà triées par un processus externe — où dédupliquer sans perturber cet ordre garde le résultat aussi utilisable que l'était l'original, simplement sans les répétitions.

Activer le tri ensuite est une étape séparée et délibérée précisément parce qu'elle abandonne cet ordre d'origine en faveur de l'ordre alphabétique, ce qui est le bon choix quand l'ordre d'origine ne portait aucun sens qui vaille la peine d'être préservé — un export désordonné de plusieurs sources, par exemple — et le mauvais choix quand c'était le cas.

« Ignorer la casse » change seulement comment deux lignes sont comparées pour décider si elles sont des doublons — Apple, APPLE et apple sont traités sous ce réglage comme la même entrée, et celle apparue en premier dans la liste est celle qui survit, avec sa propre capitalisation d'origine intacte. C'est un réglage de comparaison seulement, pas de normalisation : l'outil ne réécrit jamais la capitalisation d'une ligne survivante pour correspondre à une forme standard, il décide simplement quelles lignes comptent comme équivalentes pour trouver les répétitions.

Cela compte pour des listes rassemblées de plusieurs sources avec une capitalisation incohérente — adresses email envoyées via différents formulaires, noms de produits saisis par différentes personnes — où sans ce réglage, « John@Example.com » et « john@example.com » seraient traités comme deux entrées distinctes et survivraient toutes les deux, contrariant l'objectif même de dédupliquer.

Inverser l'opération pour n'afficher que les lignes apparues plus d'une fois transforme cet outil de nettoyage en outil d'audit — utile quand l'objectif n'est pas une liste propre mais une réponse à « cette liste contient-elle vraiment des doublons, et lesquels ? ». C'est le mode le plus utile pour enquêter sur un problème de qualité de données : une liste de clients suspectée de contenir des enregistrements répétés, une liste de mots-clés potentiellement assemblée à partir de sources qui se chevauchent, un fichier journal où des lignes répétées pourraient indiquer une véritable erreur enregistrée plusieurs fois plutôt qu'une seule.

Deux lignes qui paraissent visuellement identiques peuvent quand même ne pas correspondre comme doublons si l'une porte un espace final ou un caractère de tabulation invisible à l'œil nu — un résultat courant de la copie de données depuis un tableur ou un tableau, où le remplissage de cellule se traduit parfois en espace littéral. Couper chaque ligne avant de comparer élimine exactement cette classe de faux non-doublon, capturant des entrées qu'un relecteur humain qualifierait immédiatement d'identiques mais qu'une comparaison stricte caractère par caractère ne qualifierait pas ainsi.