Aller au contenu principal
Bethemesh
Données & tableaux

Supprimer les doublons CSV

Détectez les doublons dans un CSV à partir d’une ou plusieurs colonnes, conservez les lignes utiles et récupérez un fichier nettoyé.

  • Presse-papiers

Intégrer ce widget

Personnalisez le rendu, vérifiez l’aperçu puis copiez le code.

Aperçu

Type de code d’intégration

Code à copier

Responsive et redimensionné automatiquement par Bethemesh.

Laissez vide pour comparer toutes les colonnes

Cet outil vous a-t-il été utile ?

Comment fonctionne cet outil ?

Deux lignes peuvent être des doublons parce que toutes leurs cellules sont identiques ou parce qu’elles portent la même clé malgré des informations différentes. Le dédoublonneur CSV vous laisse choisir cette définition avant de produire un fichier réduit. Il convient pour retirer des lignes répétées après une fusion d’exports ou conserver une version par identifiant. Contrairement à l’analyseur de doublons textuels, il comprend les champs CSV, peut comparer plusieurs colonnes et restitue les enregistrements retenus. La décision de considérer deux clients ou deux opérations comme équivalents reste la vôtre.

La comparaison porte sur toutes les colonnes si le champ des clés reste vide. Sinon, indiquez des titres exacts ou des positions à partir de 1, séparés par des virgules. Plusieurs clés sont combinées : une répétition doit correspondre sur chacune d’elles. Un titre répété désigne sa première occurrence ; utilisez la position pour choisir une autre colonne homonyme ou un titre contenant une virgule. Sans en-tête, sélectionnez des positions. Une position hors du tableau doit être corrigée avant le traitement.

Le séparateur est détecté automatiquement parmi virgule, point-virgule, tabulation et barre verticale ; vous pouvez aussi l’imposer. L’en-tête est activé au départ et reste hors de la déduplication. Le lecteur reconnaît les cellules citées, leurs séparateurs internes et leurs retours à la ligne. Une marque BOM initiale est retirée. Les espaces extérieurs des valeurs sont ignorés par défaut pour construire la clé, tandis que la casse est conservée. Activer « Ignorer la casse » permet de réunir A et a. Ces options modifient la comparaison, pas les cellules de la ligne retenue.

Le moteur garde la première occurrence par défaut ou la dernière si vous le demandez. Dans les deux modes, les groupes restent dans l’ordre de première apparition de leur clé : conserver la dernière version ne trie donc pas la sortie par date ou par position de cette dernière ligne. Aucun champ des versions écartées n’est fusionné. Les nombres restent comparés comme du texte : 1 et 1,0 ne deviennent pas égaux. Une cellule absente et une cellule vide produisent la même valeur de clé vide. Le résumé compte les lignes supprimées et conservées, sans inclure l’en-tête.

Comment utiliser cet outil ?

  1. Vérifiez la lecture de l’export

    Collez ou importez le CSV, choisissez son séparateur si nécessaire et confirmez l’option d’en-tête. Repérez les champs qui définissent réellement l’unicité de vos enregistrements.

  2. Définissez clé et occurrence conservée

    Laissez les clés vides pour comparer les lignes complètes ou renseignez les colonnes voulues. Réglez première ou dernière occurrence et décidez si les espaces et la casse doivent distinguer les valeurs.

  3. Contrôlez les versions écartées

    Lancez la déduplication et rapprochez le compteur de suppressions de votre attente. Relisez les cellules des lignes retenues, notamment celles qui diffèrent hors de la clé, avant de copier ou d’exporter le CSV.

Cas d'utilisation

Retirer une importation répétée

Comparez toutes les colonnes pour enlever des lignes exactement répétées après l’assemblage de fichiers, sans confondre des commandes différentes partageant simplement le même client.

Conserver une version par référence

Choisissez l’identifiant du produit comme clé et décidez explicitement de garder la première ou la dernière ligne. Le moteur ne détermine pas automatiquement laquelle est la plus récente.

Comparer une clé composée

Associez référence et date lorsque chaque produit doit apparaître une seule fois par journée. Une égalité sur la référence seule ne suffit alors plus à supprimer une ligne.

Exemples

Enlever une ligne entièrement répétée

Avec toutes les colonnes et la première occurrence, une ligne est retirée. Les deux cellules A et Alice doivent correspondre ensemble : un autre nom associé à A ne serait pas supprimé dans ce mode. Le résultat contient deux lignes de données.

Entrée

id;nom
A;Alice
B;Bruno
A;Alice

Résultat

id;nom
A;Alice
B;Bruno

Garder le dernier nom pour une clé

Avec id comme clé et la dernière occurrence, Alicia remplace Alice dans le groupe A. Le groupe A reste avant B, car cette clé apparaît d’abord dans l’entrée. Le moteur ne réordonne pas les groupes selon la position de leur dernière version.

Entrée

id;nom
A;Alice
B;Bruno
A;Alicia

Résultat

id;nom
A;Alicia
B;Bruno

Conseils et bonnes pratiques

  • Ne choisissez pas une clé vide sur des lignes dont l’identité est inconnue : elles pourraient être regroupées et une seule serait conservée. Complétez ou isolez ces enregistrements avant la déduplication.
  • Si vous voulez la ligne la plus récente, triez d’abord sur une date dans un format comparable puis conservez la dernière. L’option « dernière » ne recherche aucune date dans les autres cellules.
  • Les colonnes non choisies comme clés ne protègent pas une ligne contre la suppression. Sauvegardez les données source pour pouvoir examiner une différence importante telle qu’un montant ou un statut.

Questions fréquentes

Ignorer les espaces nettoie-t-il le fichier exporté ?

Non. Les espaces extérieurs sont retirés uniquement pour établir l’égalité des clés. La ligne conservée garde ses valeurs originales, même si elles contiennent des espaces. Utilisez ensuite un nettoyage explicite pour modifier ces cellules.

Première occurrence signifie-t-elle la version la plus ancienne ?

Seulement si les données sont déjà ordonnées chronologiquement. L’outil suit l’ordre d’entrée sans interpréter les dates. La première ou dernière occurrence correspond à la place de la ligne dans le fichier, pas à son ancienneté métier.

Puis-je conserver toutes les informations des lignes regroupées ?

Ce traitement conserve une ligne entière et écarte les autres. Il ne complète pas les champs vides avec ceux d’une autre version et n’additionne pas les montants. Une consolidation par règle de priorité demande une transformation différente.

Pourquoi des valeurs numériques semblables restent-elles distinctes ?

La clé est textuelle : 1, 1,0 et 01 ne sont pas la même chaîne. L’option de casse n’y change rien. Ne normalisez ces écritures que si elles représentent vraiment le même objet et non des identifiants différents.

Outils associés

Continuez avec ces outils

Des outils similaires ou complémentaires à celui-ci.

Outils similaires

Analyseur de doublons

Repérez les lignes en double, comptez leurs occurrences et exportez un résumé.

Données & tableauxUtiliser l’outil

Trier un CSV

Triez les lignes d’un fichier CSV selon une colonne, en ordre croissant ou décroissant.

Données & tableauxUtiliser l’outil

À lire aussi