Construire un workflow de préparation de données reproductible

Nettoyer un fichier une fois est une tâche. Recevoir chaque semaine le même export, lui appliquer les mêmes corrections, l’assembler avec d’autres sources puis produire un résultat normalisé devient un workflow.

Depuis la rédaction initiale de ce guide, le catalogue Workspace Data s’est fortement enrichi : nettoyage, normalisation, filtre/tri, préparation de CSV, assemblage de plusieurs tableaux, jointure sur clé et transformation de colonnes disposent désormais de recettes prêtes à l’emploi.

Partir du résultat attendu

Avant de choisir les opérations, écrivez ce que vous voulez obtenir. Par exemple :

« Je reçois trois exports. Je veux nettoyer les valeurs, harmoniser leurs colonnes, assembler les lignes puis produire un fichier final exploitable. »

ou :

« Je veux relier un fichier clients et un fichier commandes sur client_id, puis ne garder que les colonnes utiles. »

Ces deux besoins semblent proches mais utilisent des chaînes différentes.

Nettoyer avant les rapprochements

Un espace parasite dans une clé peut empêcher une jointure. Une colonne mal nommée peut être créée en double lors d’un assemblage. Un doublon peut fausser des statistiques calculées ensuite.

Le modèle Nettoyer un fichier Excel convient aux opérations de base. Nettoyer et normaliser un tableau ajoute le traitement des valeurs manquantes.

Réduire tôt les lignes et colonnes inutiles

Si seules certaines lignes sont nécessaires, filtrer tôt diminue le volume des étapes suivantes. Si seules quelques colonnes servent au résultat final, les sélectionner avant une fusion ou une jointure clarifie la structure.

Le modèle Filtrer et trier un tableau est prévu pour cette logique. Pour sélectionner, renommer et trier les colonnes avant export, utilisez Préparer un CSV.

Assembler ou joindre : deux logiques différentes

Assembler plusieurs tableaux empile les lignes de fichiers compatibles. C’est adapté à plusieurs exports mensuels partageant le même schéma.

Joindre deux tableaux sur une colonne commune relie au contraire deux sources distinctes à partir d’une clé. C’est le bon choix pour rapprocher, par exemple, clients et commandes.

Une jointure exige une clé propre et stable des deux côtés. Un assemblage exige surtout des colonnes compatibles.

Transformer les colonnes sans bricolage manuel

Lorsque la sortie exige des types ou formats cohérents, Transformer les colonnes d’un tableau combine conversion de type, formatage et arrondi avant export.

Pour une diffusion externe, Préparer un tableau à partager permet de sélectionner, renommer et formater les colonnes dans une même recette.

Exemple de chaîne reproductible

importer
→ nettoyer
→ normaliser
→ filtrer
→ sélectionner les colonnes
→ assembler ou joindre selon le besoin
→ transformer les colonnes finales
→ contrôler
→ exporter

Toutes les étapes ne sont pas nécessaires à chaque fois. Un bon workflow retire les opérations inutiles au lieu d’en ajouter.

Comparer à des moments utiles

Une comparaison peut servir de contrôle avant/après : fichier brut contre fichier nettoyé, ancienne version contre nouvelle version ou résultat attendu contre export produit.

Le Comparateur Excel et CSV reste utile pour ce besoin ponctuel, notamment lorsqu’une colonne clé permet d’aligner les enregistrements.

Outil ponctuel ou Pipeline ?

Pour une opération exceptionnelle, l’outil autonome reste le chemin le plus direct. Un Pipeline devient pertinent lorsque la même suite revient régulièrement, lorsqu’un ordre d’étapes doit être conservé ou lorsqu’une sortie alimente systématiquement la transformation suivante.

Le bon critère n’est donc pas « peut-on automatiser ? », mais : ce traitement est-il assez stable et assez fréquent pour mériter une recette ?

Prévoir des contrôles

Un workflow reproductible doit rester vérifiable. Contrôlez au minimum le nombre de lignes, les colonnes attendues, les clés vides, les doublons et quelques enregistrements échantillonnés.

Pour une jointure, ajoutez le nombre de clés sans correspondance. Pour un assemblage, comparez le nombre de lignes attendu avec le résultat obtenu.

Conserver une source immuable

Gardez le fichier source lorsque les données sont importantes, ainsi que le résultat final validé. Si une règle change, vous pourrez rejouer le traitement depuis la source plutôt que depuis un fichier déjà transformé.

À retenir

Le Workspace Data couvre maintenant une part beaucoup plus large de la préparation tabulaire. Le bon workflow part toujours du besoin métier, nettoie les clés avant les rapprochements, distingue clairement assemblage et jointure, et réutilise un modèle existant lorsqu’il correspond déjà au processus.