إزالة الأسطر المكررة

عندما تحتوي قائمة عدة نسخ من نفس السطر، يجب أن توجد قاعدة ما حول أي نسخة تنجو، وحفظ الأولى هو الاختيار الذي يحافظ على أكبر قدر من المعلومات حول القائمة الأصلية: الترتيب الذي ينجو لا يزال يعكس كيف جُمِّعت القائمة أصلًا، بدلًا من أن تُخلَط بواسطة خطوة إزالة التكرار نفسها. هذا مهم تحديدًا لقائمة كانت أصلًا بترتيب ذي معنى — إدخالات أُضيفت زمنيًا، أو مُرتَّبة بالفعل بواسطة عملية خارجية — حيث إزالة التكرار دون تغيير ذلك الترتيب تُبقي النتيجة قابلة للاستخدام بنفس طريقة الأصل، فقط دون التكرارات.

تفعيل الترتيب لاحقًا خطوة منفصلة ومتعمَّدة تحديدًا لأنها تتجاهل ذلك الترتيب الأصلي لصالح الترتيب الأبجدي، وهو الاختيار الصحيح عندما لا يحمل الترتيب الأصلي أي معنى يستحق الحفاظ عليه — تصدير غير منظم من مصادر متعددة، على سبيل المثال — والاختيار الخاطئ عندما يحمل ذلك.

"تجاهل حالة الأحرف" يُغيّر فقط كيفية مقارنة سطرين لتحديد ما إذا كانا مكررين — Apple وAPPLE وapple تُعامَل تحت هذا الإعداد كإدخال واحد، والذي ظهر أولًا في القائمة هو الذي ينجو، بحالة أحرفه الأصلية سليمة. هذا إعداد مقارنة فقط، لا تطبيع: لا تعيد الأداة أبدًا كتابة حالة أحرف سطر ناجٍ ليطابق شكلًا قياسيًا ما، إنها ببساطة تقرر أي الأسطر تُحتَسب متكافئة لأغراض إيجاد التكرار.

هذا مهم لقوائم مُجمَّعة من مصادر متعددة بحالة أحرف غير متسقة — عناوين بريد إلكتروني مُرسَلة عبر نماذج مختلفة، أسماء منتجات مكتوبة من أشخاص مختلفين — حيث دون هذا الإعداد، تُعامَل "John@Example.com" و"john@example.com" كإدخالين متمايزين وكلاهما ينجو، مُحبِطًا الغرض من إزالة التكرار من الأساس.

عكس العملية لإظهار فقط الأسطر التي ظهرت أكثر من مرة يحوّل هذا من أداة تنظيف إلى أداة تدقيق — مفيد عندما لا يكون الهدف قائمة نظيفة بل إجابة عن "هل تحتوي هذه القائمة فعلًا تكرارات، وأيها؟". هذا الوضع الأكثر فائدة عند التحقيق في مشكلة جودة بيانات: قائمة عملاء يُشتبَه في احتوائها سجلات مكررة، قائمة كلمات مفتاحية قد تكون جُمِّعت من مصادر متداخلة، ملف سجل حيث قد تشير أسطر مكررة إلى خطأ حقيقي مُسجَّل مرارًا بدلًا من مرة واحدة.

سطران يبدوان متطابقين بصريًا قد لا يزالان لا يتطابقان كتكرارين إذا كان أحدهما يحمل مسافة زائدة أو حرف تبويب إضافيًا غير مرئي بالنظرة العابرة — نتيجة شائعة لنسخ بيانات من جدول بيانات أو جدول، حيث ينتقل حشو الخلية أحيانًا كمسافة بيضاء حرفية. تقليم كل سطر قبل المقارنة يُزيل بالضبط هذه الفئة من التكرار الزائف السلبي، مُلتقطًا إدخالات سيصفها مراجع بشري فورًا بأنها متساوية لكن مقارنة صارمة حرفًا بحرف لن تفعل ذلك.