Удаление повторяющихся строк

Когда список содержит несколько копий одной и той же строки, нужно какое-то правило, определяющее, какая копия останется, и сохранение первой — это выбор, сохраняющий больше всего информации об исходном списке: итоговый порядок по-прежнему отражает то, как список был изначально составлен, а не оказывается перемешанным самим шагом дедупликации. Это имеет конкретное значение для списка, изначально упорядоченного осмысленно — записи, добавленные в хронологическом порядке, или уже отсортированные каким-то внешним процессом, — где удаление дубликатов без нарушения этого порядка сохраняет результат пригодным к использованию так же, как и оригинал, только без повторов.

Включение сортировки после этого — отдельный, осознанный шаг именно потому, что он отбрасывает исходный порядок в пользу алфавитного, что правильно, когда исходный порядок не нёс никакого смысла, который стоило бы сохранить — например, беспорядочный экспорт из нескольких источников, — и неправильно, когда нёс.

"Игнорировать регистр" меняет только то, как сравниваются две строки при определении, являются ли они дубликатами: Apple, APPLE и apple при этой настройке считаются одной и той же записью, и остаётся та, что встретилась в списке первой, — с полностью сохранённым исходным регистром. Это настройка сравнения, а не нормализации: инструмент никогда не переписывает регистр оставшейся строки под какой-то стандартный вид, а лишь решает, какие строки считать эквивалентными при поиске повторов.

Это важно для списков, собранных из нескольких источников с непоследовательным использованием регистра, — email-адреса, отправленные через разные формы, названия товаров, набранные разными людьми, — где без этой настройки "John@Example.com" и "john@example.com" считались бы двумя разными записями и обе сохранились бы, что сводило бы на нет саму цель дедупликации.

Переворачивание операции, чтобы показывать только строки, встретившиеся более одного раза, превращает инструмент из очищающего в проверяющий — это полезно, когда цель не чистый список, а ответ на вопрос "действительно ли этот список содержит дубликаты и какие именно". Это более полезный режим при расследовании проблемы качества данных: список клиентов, в котором подозреваются повторные регистрации, список ключевых слов, возможно составленный из пересекающихся источников, файл логов, где повторяющиеся строки могут означать реальную ошибку, которая логируется многократно, а не один раз.

Две строки, выглядящие визуально одинаково, всё же могут не совпасть как дубликаты, если одна из них содержит завершающий пробел или лишний символ табуляции, невидимый глазу, — распространённый результат копирования данных из таблицы, где отступы ячеек иногда переносятся как буквальные пробелы. Удаление пробелов у каждой строки перед сравнением устраняет именно этот класс ложных "не дубликатов", улавливая записи, которые человек-рецензент сразу назвал бы одинаковыми, а строгое посимвольное сравнение — нет.