80% of Data Work Is Cleaning. Here's How to Speed It Up. \u2014 CSV-X.com

Ainda me lembro do dia em que percebi que passei seis horas limpando um único conjunto de dados. Seis horas. Não construindo modelos, não gerando insights, não criando visualizações que impressionariam as partes interessadas—apenas limpando. Removendo duplicatas, padronizando formatos de data, corrigindo problemas de codificação, reconciliando nomes de colunas incompatíveis. Era 2018, eu estava há três anos na minha carreira como engenheiro de dados em uma empresa de e-commerce de médio porte, e eu estava afogando em arquivos CSV que pareciam limpos à primeira vista, mas eram um verdadeiro caos por trás das cenas.

Esse dia mudou tudo para mim. Comecei a acompanhar meu tempo religiosamente, e os números foram brutais: 78% das minhas horas de trabalho foram para preparação e limpeza de dados. Não 78% de um único projeto—78% de todo o meu trabalho. Eu não estava sozinho. Uma pesquisa de 2020 feita pela Anaconda descobriu que cientistas de dados gastam 45% do tempo em carregamento e limpeza de dados, e mais 19% na coleta de dados. São 64% ali, e em minha experiência trabalhando com fontes de dados desordenadas do mundo real, esse número chega até a subir.

Avançando para hoje. Agora sou um engenheiro de dados sênior com mais de oito anos de experiência e trabalhei com tudo, desde armazéns de dados impecáveis até temíveis exportações de CSV legados que parecem ter sido montadas por um comitê de pessoas que nunca se encontraram. Eu limpei milhões de linhas em centenas de projetos, e aprendi algo crucial: os 80% do tempo que gastamos na limpeza de dados não são inevitáveis. É um sintoma de ferramentas ruins, fluxos de trabalho ineficientes e um mal-entendido fundamental do que a limpeza de dados realmente requer.

Este artigo é tudo o que eu gostaria que alguém me dissesse em 2018. São estratégias testadas em batalha, insights arduamente conquistados e as ferramentas práticas que me ajudaram a reduzir meu tempo de limpeza de dados de 80% para cerca de 35%—e às vezes até menos. Se você está cansado de passar seus dias lutando com arquivos CSV em vez de fazer o trabalho para o qual realmente se preparou, continue lendo.

O Custo Real da Limpeza de Dados que Ninguém Fala

Vamos começar com algumas contas desconfortáveis. Se você é um profissional de dados ganhando $85,000 por ano (aproximadamente a mediana para analistas de dados nos EUA), e está gastando 80% do seu tempo na limpeza de dados, isso significa que sua organização está pagando $68,000 anualmente apenas para você preparar dados. Não analisá-los. Não derivar insights deles. Apenas prepará-los.

Agora multiplique isso por uma equipe. Uma equipe de cinco pessoas nesse nível salarial está gastando $340,000 por ano apenas na limpeza de dados. Isso é mais do que o custo de contratar um cientista de dados sênior adicional. É o suficiente para financiar melhorias significativas na infraestrutura, programas de treinamento ou investimentos em ferramentas que poderiam realmente reduzir essa carga de limpeza.

Mas o custo financeiro é apenas parte da história. Há também o custo de oportunidade—as análises que nunca acontecem, os insights que nunca surgem, as perguntas que nunca são feitas porque a equipe está ocupada demais corrigindo formatos de data e removendo linhas duplicadas. Na minha função anterior, estimamos que para cada hora gasta limpando dados, perdemos aproximadamente 2,5 horas de trabalho analítico potencial. Por que 2,5? Porque, a partir do momento que você troca o modo de limpeza pelo modo de pensamento analítico, você perde a dinâmica, esquece o contexto e precisa de tempo para reconstruir seu modelo mental do problema.

Então, há o custo psicológico. A limpeza de dados é tediosa, repetitiva e muitas vezes parece um trabalho de Sísifo. Você conserta um conjunto de dados, e amanhã há outro com os mesmos problemas. Isso leva ao esgotamento, insatisfação no trabalho e rotatividade. Em uma pesquisa que conduzi informalmente em 2019 entre minha rede de profissionais de dados, 67% citaram "muito tempo na limpeza de dados" como um fator importante ao considerar deixar seu papel atual.

A pior parte? A maior parte dessa dor é auto-infligida. Estamos usando ferramentas projetadas para o trabalho errado, seguindo fluxos de trabalho que faziam sentido em 2005, mas que são extremamente ineficientes hoje, e aceitando padrões de qualidade de dados que seriam risíveis em qualquer outra disciplina de engenharia. Imagine se os engenheiros de software passassem 80% do seu tempo corrigindo erros de sintaxe porque seus IDEs não tinham linters. É basicamente onde estamos com a limpeza de dados.

Por que Arquivos CSV São Tanto Perfeitos Quanto Terríveis

Arquivos CSV são os baratas do mundo dos dados—sobreviveram a todas as mudanças tecnológicas, estão em todo lugar e são quase impossíveis de matar. Há uma boa razão para isso: CSV é brilhantemente simples. É legível por humanos, funciona em todas as plataformas, não requer software especial e existe desde a década de 1970. Quando você precisa mover dados entre sistemas, CSV é frequentemente o denominador comum mais baixo que simplesmente funciona.

Os 80% do tempo que gastamos na limpeza de dados não são inevitáveis—são um sintoma de ferramentas ruins, fluxos de trabalho ineficientes e um mal-entendido fundamental do que a limpeza de dados realmente requer.

Mas essa simplicidade vem com um enorme custo oculto. CSV não possui aplicação de esquema, validação de tipo de dados, nenhum método padronizado para lidar com nulos e nenhuma suporte embutido para estruturas aninhadas. É um formato que diz "aqui está um texto separado por vírgulas, boa sorte para descobrir o que isso significa." Isso leva a uma infinidade de problemas que consomem nosso tempo.

Na minha experiência, aqui estão os problemas mais comuns de CSV que encontro, classificados pelo quanto tempo eles desperdiçam:

• Problemas de codificação (25% do tempo de limpeza): UTF-8, Latin-1, Windows-1252—os arquivos CSV vêm em todas as codificações imagináveis, e codificações desajustadas transformam texto em gibberish. Uma vez passei quatro horas depurando o que se revelou ser um único caractere de aspas inteligente que estava derrubando todo o nosso pipeline.
• Delimitadores inconsistentes (20%): Apesar do nome, arquivos CSV nem sempre usam vírgulas. Às vezes, são ponto e vírgula, tabulações ou pipes. Às vezes, muda no meio do arquivo. Às vezes, o delimitador aparece nos próprios dados e não está devidamente escapado.
• Caos no formato de data (18%): "01/02/2023" é 2 de janeiro ou 1 de fevereiro? "2023-01-02" é uma data ou apenas uma string? E quanto a "Jan 2, 2023" ou "2-Jan-23"? Cada sistema tem suas próprias convenções, e o CSV não preserva nenhuma delas.
• Ambiguidade de tipo (15%): "123" é um número ou uma string? E "00123"? Ou "1.23e5"? O CSV armazena tudo como texto, deixando você adivinhar o tipo pretendido.
• Tratamento de nulos (12%): Strings vazias, "NULL", "N/A", "null", células em branco, "-", "0"—vi pelo menos 30 maneiras diferentes de representar dados ausentes em arquivos CSV, muitas vezes misturadas dentro do mesmo arquivo.
• Inconsistências nos cabeçalhos (10%): Nomes de colunas com espaços, caracteres especiais, capitalização inconsistente ou nenhum cabeçalho. Às vezes, a linha do cabeçalho é na verdade a linha 3 porque alguém adicionou metadados no topo.

A tragédia é que todos esses problemas são solucionáveis. Formatos modernos de dados como Parquet, Avro ou até JSON lidam automaticamente com a maioria dessas questões. Mas o CSV persiste porque é universal, e estamos presos lidando com suas limitações. A chave não é abandonar o CSV—isso é irrealista—mas desenvolver fluxos de trabalho que minimizem a dor de trabalhar com ele.

A Abordagem em Três Fases para Limpeza de Dados Mais Rápida

Depois de anos de tentativas e erros, estabeleci uma abordagem em três fases que consistentemente corta o tempo de limpeza em 50-60%. As fases são: Triagem, Transformação e Validação. Cada fase tem objetivos específicos e usa ferramentas específicas, e pular qualquer fase leva inevitavelmente a problemas posteriores.

Fase 1: Triagem (10-15% do tempo total)

A triagem é sobre entender com o que você está lidando antes de começar a fazer alterações. É aqui que a maioria das pessoas erra—mergulham direto na limpeza sem entender o escopo completo dos problemas. É como um cirurgião operando sem olhar os raios X primeiro.

Durante a triagem, faço perguntas como: Quantas linhas? Quantas colunas? Quais são os tipos de dados? Há duplicatas? Qual é a taxa de nulos por coluna? Existem valores atípicos óbvios? Qual é a codificação? Qual é o delimitador real? Eu uso ferramentas de perfis automatizadas para isso—inspecionar manualmente arquivos grandes é uma perda de tempo. Uma boa ferramenta de perfil pode analisar um CSV de um milhão de linhas em segundos e fornecer uma compreensão abrangente.