80% of Data Work Is Cleaning. Here's How to Speed It Up. \u2014 CSV-X.com

Je me souviens encore du jour où j'ai réalisé que j'avais passé six heures à nettoyer un seul ensemble de données. Six heures. Pas à construire des modèles, pas à générer des insights, pas à créer des visualisations qui impressionneraient les parties prenantes, juste à nettoyer. Retirer les doublons, standardiser les formats de date, corriger les problèmes d'encodage, réconcilier les noms de colonnes non assortis. C'était en 2018, j'étais dans ma troisième année en tant qu'ingénieur de données dans une entreprise de commerce électronique de taille moyenne, et je me noyais dans des fichiers CSV qui semblaient propres au premier abord mais qui étaient un véritable chaos sous le capot.

Ce jour-là a tout changé pour moi. J'ai commencé à suivre mon temps religieusement, et les chiffres étaient brutaux : 78% de mes heures de travail allaient à la préparation et au nettoyage des données. Pas 78% d'un seul projet, mais 78% de mon travail entier. Je n'étais pas seul. Un sondage de 2020 par Anaconda a révélé que les data scientists passent 45% de leur temps à charger et nettoyer des données, et 19% supplémentaires à collecter des données. Cela fait 64% sur le tas, et selon mon expérience en travaillant avec des sources de données réelles plus désordonnées, ce chiffre grimpe encore plus haut.

Avançons rapidement jusqu'à aujourd'hui. Je suis maintenant un ingénieur de données senior avec plus de huit ans d'expérience, et j'ai travaillé avec tout, des entrepôts de données impeccables aux exportations CSV vieillissantes cauchemardesques qui semblent avoir été assemblées par un comité de personnes qui ne se sont jamais rencontrées. J'ai nettoyé des millions de lignes à travers des centaines de projets, et j'ai appris quelque chose de crucial : les 80% du temps que nous passons au nettoyage des données ne sont pas inévitables. C'est un symptôme de mauvais outils, de flux de travail inefficaces, et d'une compréhension fondamentale erronée de ce que nécessite réellement le nettoyage des données.

Cet article est tout ce que j'aurais aimé que quelqu'un me dise en 2018. Ce sont des stratégies éprouvées, des insights durement acquis, et des outils pratiques qui m'ont aidé à ramener mon temps de nettoyage des données de 80% à environ 35%—et parfois même moins. Si vous en avez assez de passer vos journées à lutter avec des fichiers CSV au lieu de faire le travail pour lequel vous vous êtes réellement formé, continuez à lire.

Le Coût Réel du Nettoyage des Données Dont Personne ne Parle

Commençons par quelques mathématiques inconfortables. Si vous êtes un professionnel des données gagnant 85 000 $ par an (environ la médiane pour les analystes de données aux États-Unis), et que vous dépensez 80% de votre temps au nettoyage des données, cela signifie que votre organisation paie 68 000 $ par an juste pour vous permettre de préparer les données. Pas pour les analyser. Pas pour en tirer des insights. Juste pour les rendre prêtes.

Maintenant, multipliez cela à l'échelle d'une équipe. Une équipe de données de cinq personnes à ce niveau de salaire dépense 340 000 $ par an uniquement pour le nettoyage des données. C'est plus que le coût d'embauche d'un scientifique de données senior supplémentaire. C'est suffisant pour financer d'importantes améliorations d'infrastructure, des programmes de formation, ou des investissements dans des outils qui pourraient réellement réduire ce fardeau de nettoyage.

Mais le coût financier n'est qu'une partie de l'histoire. Il y a aussi le coût d'opportunité—les analyses qui n'ont jamais lieu, les insights qui ne remontent jamais, les questions qui ne sont jamais posées parce que l'équipe est trop occupée à corriger les formats de date et à supprimer les lignes en double. Dans mon rôle précédent, nous avions estimé que pour chaque heure passée à nettoyer les données, nous perdions environ 2,5 heures de travail analytique potentiel. Pourquoi 2,5 ? Parce qu'à partir du moment où vous êtes passé du mode nettoyage au mode réflexion analytique, vous avez perdu votre élan, oublié le contexte, et avez besoin de temps pour reconstruire votre modèle mental du problème.

Ensuite, il y a le coût psychologique. Le nettoyage des données est fastidieux, répétitif, et donne souvent l'impression d'un travail sisyphe. Vous corrigez un ensemble de données, et demain il y en a un autre avec les mêmes problèmes. Cela conduit à l'épuisement, à l'insatisfaction au travail, et au turnover. Dans une enquête informelle que j'ai menée en 2019 parmi mon réseau de professionnels des données, 67% ont cité "trop de temps consacré au nettoyage des données" comme un facteur majeur dans leur décision de quitter leur poste actuel.

Le pire ? La plupart de cette douleur est auto-infligée. Nous utilisons des outils conçus pour le mauvais emploi, nous suivons des flux de travail qui avaient du sens en 2005 mais qui sont aujourd'hui incroyablement inefficaces, et nous acceptons des normes de qualité des données qui seraient risibles dans n'importe quelle autre discipline d'ingénierie. Imaginez si les ingénieurs logiciels passaient 80% de leur temps à corriger des erreurs de syntaxe parce que leurs IDE n'avaient pas de linters. C'est essentiellement là où nous en sommes avec le nettoyage des données.

Pourquoi les Fichiers CSV sont à la fois Parfaits et Terribles

Les fichiers CSV sont les cafards du monde des données—ils ont survécu à chaque changement technologique, ils sont partout, et ils sont presque impossibles à éradiquer. Il y a une bonne raison à cela : le CSV est brillamment simple. Il est lisible par l'homme, fonctionne sur toutes les plateformes, ne nécessite aucun logiciel spécial, et existe depuis les années 1970. Quand vous devez transférer des données entre des systèmes, le CSV est souvent le dénominateur commun le plus bas qui fonctionne.

Les 80% du temps que nous passons au nettoyage des données ne sont pas inévitables—c'est un symptôme de mauvais outils, de flux de travail inefficaces, et d'une compréhension fondamentale erronée de ce que nécessite réellement le nettoyage des données.

Mais cette simplicité a un coût caché massif. Le CSV n'a aucune application de schéma, aucune validation de type de données, aucune manière standardisée de gérer les valeurs nulles, et aucun support intégré pour les structures imbriquées. C'est un format qui dit "voici du texte séparé par des virgules, bonne chance pour comprendre ce que cela signifie." Cela conduit à un défilé interminable de problèmes qui consomment notre temps.

Selon mon expérience, voici les problèmes CSV les plus courants que je rencontre, classés par le temps qu'ils gaspillent :

• Problèmes d'encodage (25% du temps de nettoyage) : UTF-8, Latin-1, Windows-1252—les fichiers CSV viennent dans chaque encodage imaginable, et des encodages non assortis transforment le texte en charabia. J'ai une fois passé quatre heures à déboguer ce qui s'est avéré être un seul caractère de citation intelligente qui faisait planter tout notre pipeline.
• Délesteurs inconsistants (20%) : Malgré le nom, les fichiers CSV n'utilisent pas toujours des virgules. Parfois, c'est des points-virgules, des tabulations, ou des barres verticales. Parfois cela change en cours de fichier. Parfois, le délimiteur apparaît dans les données elles-mêmes et n'est pas correctement échappé.
• Chaos des formats de date (18%) : "01/02/2023" est-il le 2 janvier ou le 1 février ? "2023-01-02" est-il une date ou juste une chaîne ? Qu'en est-il de "Jan 2, 2023" ou de "2-Jan-23" ? Chaque système a ses propres conventions, et le CSV n'en conserve aucune.
• Ambiguïté de type (15%) : "123" est-il un nombre ou une chaîne ? Qu'en est-il de "00123" ? Ou "1.23e5" ? Le CSV stocke tout en texte, vous laissant deviner le type prévu.
• Gestion des valeurs nulles (12%) : Chaînes vides, "NULL", "N/A", "null", cellules vides, "-", "0"—j'ai vu au moins 30 manières différentes de représenter des données manquantes dans des fichiers CSV, souvent mélangées au sein du même fichier.
• Incohérences dans les en-têtes (10%) : Noms de colonnes avec des espaces, des caractères spéciaux, une capitalisation incohérente, ou pas d'en-têtes du tout. Parfois, la ligne d'en-tête est en fait la ligne 3 parce que quelqu'un a ajouté des métadonnées en haut.

La tragédie est que tous ces problèmes sont résolvables. Les formats de données modernes comme Parquet, Avro, ou même JSON gèrent la plupart de ces problèmes automatiquement. Mais le CSV persiste parce qu'il est universel, et nous sommes coincés à traiter ses limitations. La clé n'est pas d'abandonner le CSV—c'est irréaliste—mais de développer des flux de travail qui minimisent la douleur de travailler avec lui.

L'Approche en Trois Phases pour un Nettoyage des Données Plus Rapide

Après des années d'essais et d'erreurs, j'ai adopté une approche en trois phases qui réduit systématiquement le temps de nettoyage de 50 à 60 %. Les phases sont : Triage, Transformation, et Validation. Chaque phase a des objectifs spécifiques et utilise des outils spécifiques, et sauter une phase conduit inévitablement à des problèmes en aval.

Phase 1 : Triage (10-15 % du temps total)

Le triage consiste à comprendre avec quoi vous avez affaire avant de commencer à apporter des modifications. C'est là que la plupart des gens se trompent—ils plongent directement dans le nettoyage sans comprendre l'ampleur complète des problèmes. C'est comme un chirurgien opérant sans regarder les radiographies d'abord.

Lors du triage, je pose des questions comme : Combien de lignes ? Combien de colonnes ? Quels sont les types de données ? Y a-t-il des doublons ? Quel est le taux de nulles par colonne ? Y a-t-il des valeurs aberrantes évidentes ? Quel est l'encodage ? Quel est le délimiteur réellement utilisé ? J'utilise des outils de profilage automatisés pour cela : inspecter manuellement de grands fichiers est une perte de temps. Un bon outil de profilage peut analyser un CSV de un million de lignes en quelques secondes et vous fournir un aperçu complet.