Zum Hauptinhalt springen
Bethemesh
Daten & Tabellen

CSV-Duplikate entfernen

Erkenne doppelte CSV-Zeilen anhand ausgewählter Spalten, behalte die gewünschten Datensätze und lade eine bereinigte Datei herunter.

  • Zwischenablage

Dieses Widget einbetten

Passe die Darstellung an, prüfe die Vorschau und kopiere anschließend den Code.

Vorschau

Art des Einbettungscodes

Zu kopierender Code

Responsive und automatisch von Bethemesh in der Größe angepasst.

Leer lassen, um alle Spalten zu vergleichen

War dieses Werkzeug hilfreich?

Wie funktioniert dieses Tool?

Zwei Datensätze können Duplikate sein, weil sämtliche Zellen übereinstimmen oder weil sie trotz unterschiedlicher Angaben denselben Schlüssel besitzen. Bei der CSV-Deduplizierung legst du diese Definition fest, bevor eine verkleinerte Datei entsteht. Entferne damit wiederholte Datensätze nach dem Zusammenführen von Exporten oder behalte eine Version je Kennung. Anders als eine Analyse von Textzeilen versteht dieses Werkzeug CSV-Felder, vergleicht mehrere Spalten und liefert die beibehaltenen Datensätze. Ob zwei Kunden oder Vorgänge fachlich dieselbe Einheit darstellen sollen, musst weiterhin du entscheiden.

Bleibt das Schlüsselfeld leer, werden sämtliche Spalten verglichen. Andernfalls gibst du exakte Titel oder Positionsnummern ab 1 ein, jeweils durch Kommas getrennt. Mehrere Spalten bilden einen zusammengesetzten Schlüssel; eine Wiederholung muss in allen gewählten Feldern übereinstimmen. Ein wiederholter Titel bezeichnet sein erstes Vorkommen. Verwende Nummern für weitere Vorkommen oder Titel mit Kommas. Ohne Kopfzeile wählst du ausschließlich Positionen. Eine Position außerhalb der Tabelle muss vor der Verarbeitung berichtigt werden.

Das Trennzeichen wird aus Komma, Semikolon, Tabulator und senkrechtem Strich erkannt oder von dir vorgegeben. Die Kopfzeilenoption ist zunächst aktiviert und nimmt den ersten Datensatz von der Deduplizierung aus. Zitierte Felder mit internen Trennzeichen und Zeilenumbrüchen werden gelesen; eine anfängliche BOM wird entfernt. Äußere Leerzeichen werden standardmäßig bei der Schlüsselbildung ignoriert, Großschreibung dagegen berücksichtigt. Mit der entsprechenden Option werden A und a zusammengefasst. Diese Einstellungen beeinflussen den Vergleich, nicht die ursprünglichen Zellwerte des beibehaltenen Datensatzes.

Standardmäßig bleibt das erste Vorkommen erhalten, auf Wunsch das letzte. In beiden Fällen behalten Gruppen die Reihenfolge des ersten Auftretens ihrer Schlüssel. Die letzte Version zu behalten sortiert die Ausgabe deshalb weder nach Datum noch nach der Position dieser letzten Zeile. Felder verworfener Versionen werden nicht zusammengeführt. Zahlen bleiben Text: 1 und 1,0 werden nicht gleichgesetzt. Ein fehlendes und ein leeres Feld tragen denselben leeren Schlüsselwert bei. Die Zusammenfassung zählt entfernte und erhaltene Datenzeilen, ohne die Kopfzeile einzubeziehen.

So verwenden Sie dieses Tool

  1. Die Lesart des Exports bestätigen

    Füge die CSV ein oder importiere sie, wähle bei Bedarf das Trennzeichen und prüfe die Kopfzeilenoption. Bestimme, welche Felder die fachliche Eindeutigkeit der Datensätze tatsächlich festlegen.

  2. Schlüssel und beizubehaltendes Vorkommen festlegen

    Lass Schlüsselspalten für einen vollständigen Zeilenvergleich leer oder gib die gewünschten Felder an. Wähle erstes oder letztes Vorkommen und entscheide über äußere Leerzeichen und Großschreibung.

  3. Die verworfenen Versionen kontrollieren

    Starte die Deduplizierung und vergleiche die Anzahl entfernter Zeilen mit deiner Erwartung. Prüfe beibehaltene Zellen, insbesondere abweichende Angaben außerhalb des Schlüssels, bevor du die CSV kopierst oder exportierst.

Anwendungsfälle

Einen wiederholten Import entfernen

Vergleiche alle Spalten, um nach dem Zusammenführen identische Datensätze zu entfernen. Unterschiedliche Bestellungen desselben Kunden bleiben dadurch getrennt, sofern andere Felder voneinander abweichen.

Eine Version je Referenz behalten

Wähle die Artikelkennung als Schlüssel und entscheide ausdrücklich zwischen erster und letzter Zeile. Das Tool ermittelt nicht selbst, welche Version tatsächlich die neueste ist.

Einen zusammengesetzten Schlüssel verwenden

Kombiniere Referenz und Datum, wenn ein Artikel pro Tag nur einmal vorkommen soll. Eine gleiche Referenz allein reicht dann nicht mehr aus, um eine Zeile zu verwerfen.

Beispiele

Einen vollständig wiederholten Datensatz entfernen

Beim Vergleich aller Spalten und Beibehalten des ersten Vorkommens entfällt eine Zeile. A und Anna müssen gemeinsam übereinstimmen. Ein anderer Name zu A bliebe in diesem Modus bestehen. Die Ausgabe enthält zwei Datenzeilen.

Eingabe

id;name
A;Anna
B;Bruno
A;Anna

Ergebnis

id;name
A;Anna
B;Bruno

Den letzten Namen zu einer Kennung behalten

Mit id als Schlüssel und letztem Vorkommen ersetzt Annika den Namen Anna in Gruppe A. A bleibt vor B, weil sein Schlüssel zuerst erscheint. Die Gruppen werden nicht anhand ihrer jeweils letzten Zeile neu angeordnet.

Eingabe

id;name
A;Anna
B;Bruno
A;Annika

Ergebnis

id;name
A;Annika
B;Bruno

Tipps und bewährte Vorgehensweisen

  • Verwende eine leere Identität nicht ungeprüft als Schlüssel. Mehrere unbekannte Datensätze können dadurch zusammenfallen, sodass nur einer erhalten bleibt. Ergänze oder isoliere solche Zeilen vor der Deduplizierung.
  • Für die jüngste Version sortierst du zunächst ein geeignetes Datum in vergleichbarem Format und behältst danach das letzte Vorkommen. Die Einstellung sucht nicht selbst in anderen Zellen nach Datumswerten.
  • Spalten außerhalb des Schlüssels schützen eine Zeile nicht vor dem Entfernen. Bewahre die Quelle auf, um wichtige Unterschiede wie einen Betrag, eine Adresse oder einen abweichenden Status später untersuchen zu können.

Häufig gestellte Fragen

Bereinigt das Ignorieren von Leerzeichen auch die exportierten Zellen?

Nein. Äußere Leerzeichen werden nur entfernt, um Schlüsselgleichheit zu bestimmen. Die beibehaltene Zeile enthält weiterhin ihre ursprünglichen Werte einschließlich Leerzeichen. Verwende anschließend eine ausdrückliche Bereinigung, wenn du die Zellinhalte ändern möchtest.

Bedeutet erstes Vorkommen die älteste Version?

Nur bei bereits chronologisch sortierten Eingaben. Das Werkzeug folgt der Dateireihenfolge und interpretiert keine Datumsangaben. Erstes und letztes Vorkommen bezeichnen Zeilenpositionen, nicht das fachliche Alter eines Datensatzes.

Kann ich Informationen aller zusammengefassten Zeilen behalten?

Diese Operation übernimmt eine ganze Zeile und verwirft die übrigen. Sie ergänzt weder leere Felder aus einer anderen Version noch addiert sie Beträge. Eine Zusammenführung nach Prioritätsregeln benötigt eine andere Transformation.

Warum bleiben scheinbar gleiche Zahlen getrennt?

Schlüssel sind Text: 1, 1,0 und 01 sind unterschiedliche Zeichenfolgen. Die Option zur Großschreibung ändert daran nichts. Vereinheitliche diese Schreibweisen nur, wenn sie wirklich dieselbe Einheit bezeichnen und keine unterschiedlichen Kennungen darstellen.

Verwandte Werkzeuge

Mit diesen Werkzeugen weitermachen

Werkzeuge, die diesem ähnlich sind oder es ergänzen.

Ähnliche Werkzeuge

Duplikat-Analyse

Doppelte Zeilen finden, Vorkommen zählen und eine übersichtliche Zusammenfassung erstellen.

Daten & TabellenDieses Werkzeug verwenden

CSV sortieren

CSV-Zeilen nach einer oder mehreren Spalten sortieren.

Daten & TabellenDieses Werkzeug verwenden

Tabellen bereinigen

Bereinigt Tabellen von typischen Datenproblemen und vereinheitlicht Inhalte für die Weiterverarbeitung.

Daten & TabellenDieses Werkzeug verwenden

Auch interessant

LeitfadenBewährte MethodenAnfänger

CSV-Duplikate entfernen und Daten sicher validieren

Definiere einen zuverlässigen Duplikatschlüssel, unterscheide exakte und fachliche Duplikate und validiere CSV-Daten vor und nach der Bereinigung.

29. August 20261 min