Perché il mio strumento per duplicati ne perde alcuni?

Di solito spazi finali, maiuscole diverse o forme di normalizzazione Unicode diverse (NFC vs NFD) fanno fallire una corrispondenza esatta byte per byte tra righe visivamente identiche.

Dovrei ordinare la lista prima di eliminare i duplicati?

Solo se l'ordine originale non conta. Ordinare-e-deduplicare è più veloce su file grandi ma distrugge la sequenza — usa la deduplicazione con preservazione dell'ordine per log, chat o qualsiasi cosa dove la posizione ha significato.

Rimuovere righe duplicate cambia l'ordine del resto?

La deduplicazione con preservazione dell'ordine mantiene ogni riga rimanente nella sua posizione originale; solo i metodi basati su ordinamento riordinano l'intera lista.

Due righe possono sembrare identiche ma non essere rilevate come duplicate?

Sì — succede quando una riga usa un carattere accentato composto (NFC) e l'altra una lettera base più un segno diacritico separato (NFD). Normalizzare entrambe alla stessa forma prima del confronto risolve il problema.

È sicuro eseguire la rimozione dei duplicati su un export CSV?

Sì, ma conserva il file originale finché non hai controllato a campione le righe rimosse — una deduplicazione ingenua non distingue un vero duplicato da due righe solo visivamente simili.

Come trovare ed eliminare le righe duplicate nel testo, velocemente

In breve: le righe "duplicate" non sono sempre byte identici — spazi finali, maiuscole diverse o normalizzazione Unicode diversa possono nascondere duplicati esatti o crearne di falsi. Capire come funziona il confronto rende la pulizia accurata invece di cancellare per errore righe che ti servivano. Abbina questa guida a Remove Duplicate Lines, Text Difference, Word Frequency e Remove Extra Spaces.

Duplicate Finder su CharCount rimuove righe ripetute da liste, log, export CSV e liste di parole chiave. La parte complicata non è la rimozione — è decidere cosa conta come "la stessa riga" prima di rimuovere qualcosa.

Approfondimenti: il riferimento MDN su JavaScript Set spiega la struttura dati che la maggior parte degli strumenti di deduplicazione usa internamente, la guida MDN su String.normalize() copre la normalizzazione Unicode, e il report Unicode sulla segmentazione del testo (UAX #29) definisce come il testo viene diviso in unità significative.

Come funziona davvero il rilevamento dei duplicati

Sotto il cofano, uno strumento per righe duplicate scorre ogni riga e controlla se è già stata vista — di solito usando un Set, che memorizza valori unici e rifiuta i duplicati esatti in tempo costante. Questo è veloce, ma "esatto" fa molto lavoro in quella frase: un Set confronta le stringhe byte per byte, quindi "Mela" e "mela" sono voci diverse, così come "testo " e "testo" (spazio finale).

Ecco perché una deduplicazione ingenua su un export CSV o una lista di parole chiave raschiata spesso "fallisce" — non è rotta, sta confrontando esattamente quello che le hai dato, inclusi spazi invisibili e differenze di maiuscole che non avevi notato.

Preservare l'ordine vs ordinare e deduplicare

Ci sono due strategie comuni. La deduplicazione che preserva l'ordine mantiene la prima occorrenza di ogni riga e la sua posizione originale — la scelta giusta per log, chat esportate o qualsiasi cosa dove la sequenza ha significato. Ordinare e deduplicare (come la classica pipeline Unix sort | uniq) riordina tutto alfabeticamente prima, il che è più veloce su file enormi ma distrugge l'ordine originale — va bene per una lista di parole chiave, sbagliato per un changelog.

Scegli la deduplicazione che preserva l'ordine ogni volta che "cosa è venuto prima" conta; scegli ordina-e-deduplica solo quando l'ordine della lista era arbitrario in partenza.

Dove la normalizzazione cambia il conteggio

Unicode permette allo stesso carattere visibile di esistere come sequenze di byte diverse — una "é" accentata può essere un unico punto di codice composto (NFC) oppure una "e" più un segno diacritico separato (NFD). Due righe che sembrano identiche a schermo possono fallire una deduplicazione a corrispondenza esatta se una proviene da un export Mac e l'altra da uno Windows, perché sono in forme di normalizzazione diverse.

String.normalize('NFC') riduce entrambe le forme alla stessa rappresentazione prima del confronto, ed è per questo che un buon strumento per duplicati normalizza il testo prima — altrimenti sottoconta silenziosamente i duplicati che sono identici visivamente, ma non byte per byte.

Un flusso di pulizia più sicuro

Decidi prima: l'ordine delle righe conta per questa lista? Questo determina la strategia.
Rimuovi gli spazi finali e normalizza le maiuscole solo se la lista è pensata per essere case-insensitive (una lista di parole chiave spesso lo è; una lista di password mai).
Esegui la deduplicazione, poi controlla a campione le righe rimosse per confermare che fossero davvero duplicati.
Conserva il file originale finché non hai verificato la versione pulita.

Per qualsiasi caso ambiguo, passa il prima/dopo attraverso Text Difference per vedere esattamente cosa è stato rimosso, e Word Frequency per verificare che nessun termine ripetuto legittimo sia stato trattato come rumore.