Duplikate zu entfernen klingt einfach, bis zwei Zeilen fast, aber nicht vollständig gleich sind. Sicherer ist es, zuerst festzulegen, was Eindeutigkeit im jeweiligen Datensatz bedeutet.
LeitfadenBewährte MethodenAnfänger
CSV-Duplikate entfernen und Daten sicher validieren
Definiere einen zuverlässigen Duplikatschlüssel, unterscheide exakte und fachliche Duplikate und validiere CSV-Daten vor und nach der Bereinigung.
Inhalt anzeigen
Exakte und fachliche Duplikate
Ein exaktes Duplikat wiederholt alle Werte. Ein fachliches Duplikat beschreibt dieselbe Entität, obwohl einzelne Felder abweichen.
Zwei Zeilen können dieselbe Kunden-ID besitzen, aber unterschiedliche Telefonnummern. Eine davon blind zu löschen könnte eine gültige Aktualisierung entfernen.
Den richtigen Schlüssel wählen
Kunden-ID, SKU oder Vorgangsnummer sind meist zuverlässiger als ein Name. Manchmal wird ein zusammengesetzter Schlüssel wie filiale_id + produkt_id benötigt.
Mit CSV-Duplikate entfernen lässt sich eine spaltenbasierte Regel anwenden.
Vorher bereinigen
Leerzeichen und unterschiedliche Groß-/Kleinschreibung können Duplikate verstecken. Normalisiere nur Felder, die nach deiner fachlichen Regel tatsächlich als gleich gelten sollen.
Festlegen, welche Zeile erhalten bleibt
Mögliche Regeln sind erster Datensatz, letzter Datensatz, jüngster Zeitstempel oder vollständigster Datensatz. Die Entscheidung muss vor dem Löschen feststehen.
Vor und nach dem Vorgang validieren
CSV validieren prüft die Dateistruktur. Bei wichtigen Änderungen kann zusätzlich Tabellen vergleichen oder CSV-Dateien vergleichen zeigen, welche Einträge sich geändert haben.
Die wichtigste Regel lautet: Lösche kein Duplikat, wenn du nicht erklären kannst, warum es ein Duplikat ist und welcher Datensatz erhalten bleiben soll.