CSV-Duplikate entfernen und Daten sicher validieren

Duplikate zu entfernen klingt einfach, bis zwei Zeilen fast, aber nicht vollständig gleich sind. Sicherer ist es, zuerst festzulegen, was Eindeutigkeit im jeweiligen Datensatz bedeutet.

Exakte und fachliche Duplikate

Ein exaktes Duplikat wiederholt alle Werte. Ein fachliches Duplikat beschreibt dieselbe Entität, obwohl einzelne Felder abweichen.

Zwei Zeilen können dieselbe Kunden-ID besitzen, aber unterschiedliche Telefonnummern. Eine davon blind zu löschen könnte eine gültige Aktualisierung entfernen.

Den richtigen Schlüssel wählen

Kunden-ID, SKU oder Vorgangsnummer sind meist zuverlässiger als ein Name. Manchmal wird ein zusammengesetzter Schlüssel wie filiale_id + produkt_id benötigt.

Mit CSV-Duplikate entfernen lässt sich eine spaltenbasierte Regel anwenden.

Vorher bereinigen

Leerzeichen und unterschiedliche Groß-/Kleinschreibung können Duplikate verstecken. Normalisieren Sie nur Felder, die nach Ihrer fachlichen Regel tatsächlich als gleich gelten sollen.

Festlegen, welche Zeile erhalten bleibt

Mögliche Regeln sind erster Datensatz, letzter Datensatz, jüngster Zeitstempel oder vollständigster Datensatz. Die Entscheidung muss vor dem Löschen feststehen.

Vor und nach dem Vorgang validieren

CSV validieren prüft die Dateistruktur. Bei wichtigen Änderungen kann zusätzlich Tabellen vergleichen oder CSV-Dateien vergleichen zeigen, welche Einträge sich geändert haben.

Die wichtigste Regel lautet: Löschen Sie kein Duplikat, wenn Sie nicht erklären können, warum es ein Duplikat ist und welcher Datensatz erhalten bleiben soll.