The Data Cleaning Checklist: 15 Steps Before Any Analysis — csv-x.com

Je me souviens encore du jour où j'ai coûté à mon entreprise 47 000 $ en raison d'une simple erreur de point décimal. C'était en 2016, j'étais dans ma troisième année en tant qu'analyste de données dans une chaîne de magasins de taille intermédiaire, et je venais de terminer ce que je pensais être une analyse brillante de nos taux de rotation des stocks. L'équipe exécutive a adoré ma présentation. Ils ont immédiatement approuvé un réapprovisionnement massif basé sur mes recommandations. Deux semaines plus tard, nous avons découvert la vérité : j'avais omis de nettoyer un ensemble de données où les prix étaient enregistrés de manière incohérente—certains en dollars, d'autres en cents. Ma "thorough analysis" était basée sur des données erronées, et le surstock résultant nous a pris six mois à écouler.

Cette coûteuse erreur m'a appris quelque chose que quinze années d'expérience n'ont fait qu'enraciner : le nettoyage des données n'est pas le prérequis ennuyeux à l'analyse—c'est la fondation qui détermine si vos insights construiront des carrières ou les détruiront. Aujourd'hui, en tant que Consultant Senior en Analyse de Données qui a nettoyé des ensembles de données allant de 500 lignes à 50 millions de enregistrements dans les domaines de la santé, de la finance, du commerce de détail et de la fabrication, j'ai développé une approche systématique qui attrape les erreurs avant qu'elles ne deviennent des désastres.

Les statistiques sont inquiétantes. Selon IBM, la mauvaise qualité des données coûte à l'économie américaine environ 3,1 trillions de dollars par an. Les recherches de Gartner montrent que les organisations estiment que la mauvaise qualité des données est responsable d'une perte moyenne de 15 millions de dollars par an. Pourtant, malgré ces chiffres effroyables, j'ai vu d'innombrables analystes—même des expérimentés—se précipiter dans le nettoyage des données ou sauter complètement des étapes, désireux d'arriver à la partie "intéressante" de l'analyse.

Cette liste de contrôle représente la sagesse condensée de nettoyage de milliers d'ensembles de données, ayant commis beaucoup d'erreurs, et ayant appris ce qui compte vraiment. Ce ne sont pas des meilleures pratiques théoriques—ce sont les étapes spécifiques qui ont sauvé mes clients de millions et ont maintenu mes propres analyses précises.

Étape 1 : Documentez Vos Données Brutes Avant de Toucher à Quoi Que Ce Soit

La première règle du nettoyage des données est contre-intuitive : ne nettoyez rien pour l’instant. Avant de faire le moindre changement, vous devez documenter exactement ce que vous avez reçu. J'ai appris cette leçon à mes dépens quand un client m'a un jour accusé d'avoir introduit des erreurs dans son ensemble de données. Sans documentation de l'état original, je n'avais aucun moyen de prouver que les problèmes existaient avant que je ne touche aux données.

Commencez par créer un reçu de données. Enregistrez la source, la date de réception, le format du fichier, le nombre de lignes et de colonnes, la taille du fichier et qui l'a fourni. Prenez des captures d'écran des 20 premières lignes et des 20 dernières lignes. Calculez des statistiques de base : combien de cellules au total, combien apparaissent vides, quels types de données sont présents. Cela prend peut-être dix minutes mais m'a permis de gagner d'innombrables heures de recherche.

J'utilise un modèle simple que je remplis pour chaque ensemble de données. Il comprend des champs pour le nombre de lignes attendu (si connu), les colonnes prévues et leurs objectifs, tous les problèmes de qualité des données connus mentionnés par le fournisseur, et mes premières observations. Ce document devient inestimable lorsque des questions se posent plus tard—et elles se posent toujours.

Ensuite, faites une sauvegarde complète des données brutes et conservez-la à un endroit où vous ne la modifierez pas accidentellement. Je garde la mienne dans un dossier littéralement nommé "00_RAW_DO_NOT_TOUCH" avec des permissions en lecture seule. Vous seriez surpris de voir combien vous devez revenir à l'état original pour vérifier si une anomalie était présente dès le départ ou est survenue lors du nettoyage.

Enfin, créez un journal de nettoyage des données. C'est un document séparé où vous enregistrerez chaque changement que vous apportez à l'ensemble de données, pourquoi vous l'avez fait et quand. Cela peut sembler fastidieux, mais ce journal a sauvé ma réputation plus de fois que je ne peux le compter. Lorsque les parties prenantes remettent en question votre analyse six mois plus tard, vous aurez une piste d'audit complète montrant exactement comment vous avez transformé les données brutes en votre ensemble de données analytiques final.

Étape 2 : Comprenez le Processus de Génération des Données

Vous ne pouvez pas nettoyer efficacement des données que vous ne comprenez pas. Cela semble évident, pourtant j'ai vu des analystes se plonger dans le nettoyage sans poser de questions de base sur l'origine et la création des données. C'est comme essayer de réparer un moteur de voiture sans savoir s'il fonctionne à l'essence ou au diesel.

Le nettoyage des données ne consiste pas seulement à corriger des erreurs—il s'agit de bien comprendre vos données pour savoir quand quelque chose qui ressemble à une erreur est en réalité un insight critique, et quand quelque chose qui semble normal est en fait un désastre en attente d'arriver.

Programmez une conversation avec quiconque a fourni les données ou, mieux encore, avec les personnes qui les ont saisies ou générées à l'origine. Posez des questions telles que : Comment ces données ont-elles été collectées ? Était-ce une saisie manuelle ou automatisée ? Quel système les a générées ? Y avait-il des problèmes connus pendant la période de collecte ? Que représentent réellement chacune des colonnes ? Y a-t-il des codes ou abréviations que je devrais connaître ?

Une fois, j'ai passé deux jours à essayer de comprendre pourquoi une colonne "satisfaction client" contenait des valeurs comme "NPS_9" et "CSAT_7" mélangées. Une conversation de cinq minutes avec l'équipe de saisie des données a révélé qu'ils avaient changé de système d'enquête en cours d'année et utilisaient un système de notation hybride. Comprendre le processus de génération a immédiatement expliqué ce qui semblait être des données corrompues.

Portez une attention particulière à la compréhension des plages et relations attendues dans vos données. Si vous travaillez avec des données de vente, quelle est une valeur de commande typique ? Quelle est la plage de la plus petite à la plus grande ? Si vous analysez des données de patients, quelles tranches d'âge devriez-vous attendre ? Ces attentes deviennent vos vérifications de bon sens lors du nettoyage.

Demandez également si des transformations ont déjà été apportées aux données. Ces données brutes proviennent-elles directement de la source, ou quelqu'un les a-t-il déjà nettoyées, agrégées ou modifiées ? J'ai rencontré des ensembles de données qui avaient suivi trois processus de nettoyage différents par des personnes différentes, chacune introduisant ses propres hypothèses et changements. Connaitre cette histoire vous aide à comprendre les anomalies et à éviter un nettoyage excessif.

Étape 3 : Profitez de Vos Données de Manière Systématique

Le profilage des données est là où vous apprenez à connaître intimement votre ensemble de données. Cette étape consiste à générer des statistiques complètes et des visualisations qui révèlent la structure et le contenu réels de vos données. Je passe au moins 30 minutes sur cette étape pour de petits ensembles de données et plusieurs heures pour de plus gros—c'est un temps qui rapporte des dividendes tout au long de l'analyse.

Pour chaque colonne, calculez les bases : nombre de valeurs non nulles, nombre de valeurs nulles, nombre de valeurs uniques, type de données, valeur minimale, valeur maximale, moyenne, médiane et mode si applicable. Ces statistiques révèlent immédiatement les problèmes. Si votre colonne "âge" a une valeur maximale de 847, vous avez un problème. Si votre colonne "état" a 73 valeurs uniques alors qu'il n'y a que 50 états américains, quelque chose ne va pas.

Créez des distributions de fréquence pour les variables catégorielles. Combien de fois chaque valeur unique apparaît-elle ? J'ai détecté d'innombrables erreurs de saisie de données de cette manière. Par exemple, dans un ensemble de données sur les états américains, j'ai une fois trouvé que "CA" apparaissait 5 000 fois, "Californie" apparaissait 200 fois, "ca" apparaissait 50 fois et "Calif" apparaissait 30 fois. Tous le même état, quatre représentations différentes—chacune divisant mon analyse.

Pour les colonnes numériques, créez des histogrammes et des diagrammes en boîte. Ces visualisations révèlent des distributions, des valeurs aberrantes et des motifs inattendus que des statistiques brutes pourraient manquer. J'ai une fois découvert qu'une colonne "montant de transaction" avait un pic suspect à exactement 999,99 $—il s'est avéré que le système de paiement avait un bogue qui enregistrait les transactions échouées à ce montant au lieu de null.

Vérifiez les motifs inattendus dans des données supposément aléatoires. Si vous avez des identifiants de transaction ou des identifiants clients qui devraient être uniques, vérifiez qu'ils le sont réellement. J'ai trouvé des ID doublés dans des colonnes "identifiant unique" plus de fois que je ne veux l'admettre. Regardez également les motifs séquentiels là où il ne devrait y en avoir aucun—parfois des donn...