डुप्लीकेट लाइनें हटाएँ

जब किसी लिस्ट में एक ही लाइन की कई कॉपी हों, तो यह नियम होना ज़रूरी है कि कौन सी कॉपी बचे, और पहली रखना वह चुनाव है जो मूल लिस्ट के बारे में सबसे ज़्यादा जानकारी बरक़रार रखता है: बचा हुआ क्रम अब भी दर्शाता है कि लिस्ट मूल रूप से कैसे बनाई गई थी, बजाय डीडुप्लिकेशन के क़दम से ही उलट-पुलट होने के। यह उस लिस्ट के लिए ठोस तौर पर मायने रखता है जो शुरुआत में किसी मायने वाले क्रम में थी — कालक्रम से जोड़ी गई एंट्री, या किसी बाहरी प्रोसेस से पहले से सॉर्ट की हुई — जहाँ उस क्रम को छेड़े बिना डीडुप्लिकेट करना नतीजे को उतना ही इस्तेमाल लायक़ बनाए रखता है जितना मूल था, बस दोहराव के बिना।

बाद में सॉर्टिंग चालू करना एक अलग और जान-बूझकर उठाया क़दम है ठीक इसलिए क्योंकि यह उस मूल क्रम को अल्फ़ाबेटिकल क्रम के हक़ में छोड़ देता है, जो सही चुनाव है जब मूल क्रम में बचाने लायक़ कोई मतलब न हो — मसलन कई स्रोतों से आई कोई अस्त-व्यस्त एक्सपोर्ट — और ग़लत चुनाव है जब उसमें था।

"केस नज़रअंदाज़ करें" सिर्फ़ यह बदलता है कि दो लाइनों की तुलना डुप्लीकेट तय करने के लिए कैसे की जाती है — Apple, APPLE और apple इस सेटिंग के तहत एक ही एंट्री माने जाते हैं, और लिस्ट में जो पहले आई वही बचती है, अपनी मूल कैपिटलाइज़ेशन के साथ बरक़रार। यह सिर्फ़-तुलना वाली सेटिंग है, नॉर्मलाइज़ेशन वाली नहीं: यह टूल कभी किसी बचने वाली लाइन की कैपिटलाइज़ेशन को किसी मानक फ़ॉर्म से मिलाने के लिए दोबारा नहीं लिखता, बस यह तय करता है कि दोहराव ढूँढने के मक़सद से कौन सी लाइनें बराबर गिनी जाएँ।

यह उन लिस्ट के लिए मायने रखता है जो असंगत कैपिटलाइज़ेशन वाले कई स्रोतों से इकट्ठी की गई हों — अलग-अलग फ़ॉर्म से भेजे गए ईमेल पते, अलग-अलग लोगों द्वारा टाइप किए प्रोडक्ट नाम — जहाँ इस सेटिंग के बिना, "John@Example.com" और "john@example.com" को दो अलग एंट्री माना जाता और दोनों बच जातीं, जिससे शुरुआत में डीडुप्लिकेट करने का मक़सद ही बेकार हो जाता।

सिर्फ़ वे लाइनें दिखाने के लिए ऑपरेशन को उल्टा करना जो एक से ज़्यादा बार आईं, इसे एक सफ़ाई टूल से बदलकर ऑडिट टूल बना देता है — यह तब उपयोगी है जब लक्ष्य कोई साफ़ लिस्ट नहीं बल्कि "क्या इस लिस्ट में वाक़ई डुप्लीकेट हैं, और कौन से?" का जवाब है। किसी डेटा-क्वालिटी समस्या की जाँच करते समय यह सबसे उपयोगी मोड है: किसी क्लाइंट लिस्ट में दोहराए गए रिकॉर्ड होने का शक़, कोई कीवर्ड लिस्ट जो शायद ओवरलैप होते स्रोतों से इकट्ठी की गई हो, कोई लॉग फ़ाइल जहाँ दोहराई गई लाइनें एक बार की बजाय बार-बार लॉग हुई किसी असली त्रुटि का संकेत दे सकती हों।

दो लाइनें जो देखने में बिल्कुल एक जैसी लगती हैं वे फिर भी डुप्लीकेट के रूप में मेल न खा सकें अगर एक में आँखों को न दिखने वाला अंत का स्पेस या अतिरिक्त टैब कैरेक्टर हो — यह किसी स्प्रेडशीट या टेबल से डेटा कॉपी करने का एक आम नतीजा है, जहाँ सेल पैडिंग कभी-कभी असली व्हाइटस्पेस के रूप में साथ आ जाती है। तुलना करने से पहले हर लाइन को काटना ठीक इसी तरह के झूठे नॉन-डुप्लीकेट को हटा देता है, ऐसी एंट्री पकड़ते हुए जिन्हें कोई इंसानी रिव्यूअर तुरंत एक जैसा कहेगा लेकिन कोई सख़्त कैरेक्टर-दर-कैरेक्टर तुलना नहीं कहेगी।