Data Cleaning Tips: Fix Messy Spreadsheets Fast — csv-x.com

Le mardi dernier, j'ai vu une analyste junior passer quatre heures à réparer manuellement une base de données clients de 50 000 lignes qui aurait dû prendre vingt minutes. Elle copiait et collait des cellules individuelles, plissant les yeux devant des formats de date inconsistants et marmonnant sur "quiconque a exporté ce désastre". Je suis consultant en opérations de données depuis douze ans et je vois ce scénario se jouer au moins deux fois par semaine dans les entreprises du Fortune 500 avec lesquelles je travaille. La vérité ? La plupart des professionnels ne sont jamais enseignés aux techniques de nettoyage de données appropriées, et cela coûte aux entreprises environ 3,1 trillions de dollars par an en perte de productivité et en mauvaises décisions basées sur des données erronées.

Je suis Sarah Chen, et j'ai passé plus d'une décennie à nettoyer des désastres de données pour des entreprises allant de startups à peine expérimentées à des corporations multinationales. Ma spécialité est de transformer des feuilles de calcul chaotiques en ensembles de données propres et prêtes à analyser—rapidement. Ce que j'ai appris, c'est que le nettoyage des données n'est pas une question de perfection ; il s'agit d'efficacité et de savoir quels combats mener. Aujourd'hui, je partage le cadre exact que j'utilise pour transformer des fichiers CSV désordonnés en données propres en une fraction du temps que la plupart des gens passent à lutter.

Le coût réel des données désordonnées (et pourquoi la vitesse est importante)

Avant de plonger dans les techniques, parlons de pourquoi cela compte. En 2019, j'ai travaillé avec une entreprise de commerce électronique de taille intermédiaire qui prenait des décisions d'inventaire basées sur une feuille de calcul de ventes comportant des entrées en double. Ils ne se rendaient pas compte que leur produit "le plus vendu" apparaissait en fait trois fois dans leurs données sous des formats de SKU légèrement différents. Le résultat ? Ils ont surstocké de 340 % et immobilisé 1,2 million de dollars en capital pour des produits qui ont été stockés dans des entrepôts pendant huit mois.

Ce n'est pas un incident isolé. Selon une recherche d'IBM, la mauvaise qualité des données coûte à l'économie américaine environ 3,1 trillions de dollars par an. Mais voici ce que la plupart des articles ne vous diront pas : le plus grand coût n'est pas celui des mauvaises décisions—c'est le temps perdu. Lorsque j'audite les flux de travail des données des entreprises, je trouve généralement que les analystes passent 60 à 80 % de leur temps à préparer les données plutôt qu'à analyser réellement. Ce n'est pas parce que les données sont impossiblement complexes ; c'est parce qu'ils utilisent des méthodes inefficaces.

La vitesse est importante parce que les données propres ont une durée de vie. Au moment où vous avez corrigé manuellement 50 000 lignes, le contexte commercial peut avoir changé. La campagne marketing que vous analysiez pourrait être terminée. La date limite du rapport trimestriel pourrait être dépassée. Un nettoyage rapide des données ne consiste pas à couper les coins ronds—il s'agit de maintenir la pertinence et d'atteindre effectivement les informations qui alimentent les décisions.

Les entreprises avec lesquelles je travaille, qui ont adopté des approches systématiques de nettoyage de données assistées par outils, signalent des économies de temps de 70 à 85 % sur les tâches de préparation de données courantes. Plus important encore, elles signalent qu'elles prennent des décisions 3 à 4 semaines plus rapidement que les concurrents qui sont encore coincés en mode de nettoyage manuel. Dans les industries à évolution rapide, cet avantage temporel se traduit directement par une part de marché.

Diagnostic avant traitement : Analyser votre paysage de données

La plus grande erreur que je vois les gens commettre est de plonger directement dans le nettoyage sans comprendre ce avec quoi ils traitent. C'est comme un médecin qui prescrit un médicament sans examiner le patient. J'ai appris cette leçon à mes dépens lors de ma troisième année en tant que consultant, lorsque j'ai passé six heures à corriger les formats de date dans un ensemble de données, seulement pour découvrir que le véritable problème était des enregistrements en double qui rendaient mon nettoyage de dates complètement irrélévant.

"Le nettoyage des données n'est pas une question de perfection ; il s'agit d'efficacité et de savoir quels combats mener. L'objectif est des données prêtes à analyser, pas des données impeccables."

Maintenant, je commence toujours par une analyse systématique. J'ouvre le fichier CSV et je passe exactement cinq minutes à faire une évaluation structurée. D'abord, je vérifie le nombre de lignes—s'agit-il de 500 lignes ou de 500 000 ? L'approche diffère considérablement. Ensuite, je scanne les en-têtes de colonnes. Sont-ils descriptifs ? Cohérents ? Vois-je des problèmes évidents comme "Colonne1" ou des lignes d'en-tête fusionnées ?

Ensuite, je regarde les types de données. Je fais défiler et j'identifie quelles colonnes doivent être du texte, lesquelles doivent être des nombres et lesquelles doivent être des dates. Je note mentalement toutes les colonnes qui semblent mélanger les types—comme une colonne "numéro de téléphone" qui a certaines entrées comme des nombres et d'autres comme du texte avec du formatage. Ces colonnes de types mélangés sont des signaux d'alarme qui causeront des problèmes en aval.

Je fais aussi ce que j'appelle le "scan des bords"—je regarde les 10 premières lignes, les 10 dernières lignes et un échantillon aléatoire au milieu. Pourquoi ? Parce que les problèmes de qualité des données se regroupent souvent. Une fois, j'ai trouvé un ensemble de données où les 5 000 premières lignes étaient impeccables, mais les lignes 5 001 et suivantes avaient un format complètement différent car elles provenaient d'un système source différent. Si j'avais seulement vérifié le haut, j'aurais manqué un problème énorme.

Enfin, j'identifie les colonnes du "chemin critique"—les 3 à 5 colonnes qui doivent absolument être propres pour que l'analyse fonctionne. Dans une base de données clients, cela pourrait être l'ID client, l'email et la date d'achat. Dans un catalogue de produits, cela pourrait être le SKU, le prix et la catégorie. Je concentre d'abord mes efforts de nettoyage sur ces colonnes. Rarement, vous avez besoin que chaque colonne soit parfaite ; vous avez besoin que les bonnes colonnes soient parfaites.

Le cadre de détection des doublons qui fonctionne réellement

Les doublons sont les tueurs silencieux de l'analyse des données. Ils gonflent les comptes, faussent les moyennes et créent des tendances fantômes. J'ai vu des équipes marketing célébrer une "augmentation de 40 % des nouveaux clients" qui n'étaient en réalité que des entrées en double d'une migration de système. Le défi est que les doublons se manifestent rarement—ils se cachent dans des variations subtile.

Les vrais doublons sont faciles : deux lignes qui sont 100 % identiques. La plupart des outils de feuille de calcul peuvent les trouver automatiquement. Mais en douze ans, j'ai rarement rencontré des ensembles de données où les doublons sont aussi évidents. Au lieu de cela, je traite ce que j'appelle des "doublons flous"—des enregistrements qui représentent la même entité mais ont de légères différences.

Considérez les enregistrements clients. "John Smith" et "John Smith" peuvent être la même personne, mais il en va de même pour "John Smith" et "J. Smith" et "Smith, John" et "john smith" (en minuscules). Un contrôle de doublons naïf manquerait tous ces cas. Mon cadre implique de créer une "clé de correspondance"—une version standardisée des données utilisée uniquement pour la comparaison.

Pour les noms, je crée une clé de correspondance en convertissant en minuscules, en supprimant toute ponctuation et les espaces supplémentaires, et en triant les mots par ordre alphabétique. Ainsi, "Smith, John" devient "john smith" et "John Smith" devient également "john smith"—maintenant ils correspondent. Pour les adresses, je supprime les numéros d'appartement, convertis les abréviations de rue en mots complets et enlève la ponctuation. Pour les numéros de téléphone, je retire tous les formats et ne garde que les chiffres.

L'aperçu clé est que vous ne modifiez pas vos données originales—vous créez une colonne de correspondance temporaire, trouvez les doublons sur la base de cette colonne, puis supprimez la colonne de correspondance après avoir identifié et géré les doublons. Cela préserve vos données originales tout en vous donnant le pouvoir de trouver des doublons cachés.

J'utilise également ce que j'appelle le "correspondance probabiliste" pour les grands ensembles de données. Au lieu de déclarer deux enregistrements comme doublons seulement s'ils correspondent exactement, j'attribue un score de similarité. Si deux enregistrements clients correspondent sur l'email et le téléphone mais diffèrent légèrement sur le nom, ils obtiennent un score de similarité de 90 %. Je passe ensuite en revue manuellement tout ce qui est au-dessus de 80 % de similarité—cela attrape généralement 95 % des doublons tout en me permettant de n'examiner que 2-3 % des enregistrements manuellement.

Dominer la bête des formats de date

Si j'avais un dollar pour chaque heure que j'ai passée à corriger des formats de date, je pourrais prendre ma retraite. Les dates sont trompeusement complexes parce qu'elles ont l'air simples. Mais "01/02/2023" signifie le 2 janvier aux États-Unis et le 1er février en Europe. "2023-01-02" est sans ambiguïté mais pourrait être stocké comme texte au lieu d'une date. Et ne me lancez pas sur l'habitude d'Excel de convertir des dates en numéros de série.

"La mauvaise qualité des données coûte à l'économie américaine 3,1 trillions de dollars par an, mais le véritable tueur est la taxe cachée : les analystes passant 60-80 % de leur temps à nettoyer plutôt qu'à analyser."

La première règle du nettoyage des dates est d'identifier quel format vous utilisez. Je crée un petit échantillon—peut-être 20 lignes—et je recherche des motifs. Toutes les dates sont-elles au même format ? Y a-t-il des anomalies évidentes comme "N/A" ou "TBD" mélangées ? Vois-je des dates qui sont clairement erronées, comme "01/01/1900" (souvent une valeur par défaut) ou des dates dans le futur alors qu'elles devraient être historiques ?