Eliminar líneas duplicadas

Cuando una lista contiene varias copias de la misma línea, tiene que haber alguna regla sobre cuál copia sobrevive, y conservar la primera es la elección que preserva más información sobre la lista original: el orden que sobrevive todavía refleja cómo se ensambló originalmente la lista, en lugar de quedar revuelto por el propio paso de deduplicación. Esto importa concretamente para una lista que originalmente estaba en un orden con sentido — entradas añadidas cronológicamente, o ya ordenadas por algún proceso externo — donde deduplicar sin alterar ese orden mantiene el resultado utilizable de la misma forma que lo era el original, solo sin las repeticiones.

Activar el ordenamiento después es un paso separado y deliberado precisamente porque descarta ese orden original a favor del orden alfabético, que es la elección correcta cuando el orden original no llevaba ningún significado que valiera la pena preservar — una exportación desordenada de varias fuentes, por ejemplo — y la elección incorrecta cuando sí lo hacía.

"Ignorar mayúsculas y minúsculas" cambia solo cómo se comparan dos líneas para decidir si son duplicados — Apple, APPLE y apple se tratan bajo este ajuste como la misma entrada, y la que apareció primero en la lista es la que sobrevive, con su propia capitalización original intacta. Este es un ajuste solo de comparación, no de normalización: la herramienta nunca reescribe la capitalización de una línea superviviente para que coincida con alguna forma estándar, simplemente decide qué líneas cuentan como equivalentes para propósitos de encontrar repeticiones.

Esto importa para listas reunidas de varias fuentes con capitalización inconsistente — direcciones de correo enviadas a través de distintos formularios, nombres de producto escritos por distintas personas — donde sin este ajuste, "John@Example.com" y "john@example.com" se tratarían como dos entradas distintas y ambas sobrevivirían, frustrando el propósito de deduplicar en primer lugar.

Invertir la operación para mostrar solo las líneas que aparecieron más de una vez convierte esto de una herramienta de limpieza en una de auditoría — útil cuando el objetivo no es una lista limpia sino una respuesta a "¿esta lista realmente contiene duplicados, y cuáles?". Este es el modo más útil al investigar un problema de calidad de datos: una lista de clientes con sospecha de contener registros repetidos, una lista de palabras clave que puede haberse ensamblado de fuentes superpuestas, un archivo de registro donde líneas repetidas podrían indicar un error genuino registrado repetidamente en lugar de una sola vez.

Dos líneas que se ven visualmente idénticas pueden seguir sin coincidir como duplicados si una lleva un espacio final o un carácter de tabulación adicional invisible a simple vista — un resultado común de copiar datos de una hoja de cálculo o una tabla, donde el relleno de celda a veces se traslada como espacio en blanco literal. Recortar cada línea antes de comparar elimina exactamente esta clase de falso no-duplicado, capturando entradas que un revisor humano llamaría de inmediato iguales pero que una comparación estricta carácter por carácter no lo haría.