How to Clean Messy CSV Data (A Practical Checklist)

Na última terça-feira, assisti a uma analista júnior passar quatro horas corrigindo manualmente um arquivo CSV que deveria ter levado vinte minutos para ser limpo. Ela estava copiando e colando células uma a uma, tentando corrigir formatos de data que haviam sido exportados de três sistemas diferentes. Quando ela terminou, seus olhos estavam vidrados, e o arquivo ainda tinha inconsistências que ela não havia notado. Sou engenheiro de dados há doze anos e vejo esse cenário se repetir constantemente — pessoas inteligentes desperdiçando tardes inteiras em arquivos CSV bagunçados porque não têm uma abordagem sistemática.

A verdade é que os arquivos CSV são simultaneamente o formato de dados mais universal e mais problemático que existe. Todo sistema pode exportá-los, toda ferramenta pode importá-los, e ainda assim, são um campo minado de problemas de codificação, confusão de delimitadores e inconsistências estruturais. De acordo com uma pesquisa de 2023 do Data Quality Institute, os profissionais de dados passam uma média de 19,2 horas por semana em tarefas de limpeza de dados, com a manipulação de CSV representando cerca de 40% desse tempo. Isso equivale a quase oito horas toda semana — um dia de trabalho inteiro — perdido para corrigir problemas evitáveis.

Eu sou Marcus Chen, e passei a última década construindo pipelines de dados para empresas que vão desde startups até empresas da Fortune 500. Eu processei bilhões de linhas de dados CSV e vi todas as formas imagináveis como esses arquivos podem falhar. O que aprendi é que a limpeza de dados CSV bagunçados não é sobre ser inteligente — é sobre ser sistemático. Você precisa de uma lista de verificação, um processo repetível que detecta problemas antes que eles se tornem um efeito cascata em sua análise ou banco de dados. Este artigo é essa lista de verificação, destilada de milhares de horas de manipulação de dados no mundo real.

Entendendo o que torna os arquivos CSV tão problemáticos

Antes de mergulharmos no processo de limpeza, você precisa entender por que os arquivos CSV causam tantas dores de cabeça. O formato parece enganosamente simples: valores separados por vírgulas, uma linha por vez. Mas essa simplicidade é exatamente o problema. Ao contrário de formatos estruturados como JSON ou XML, o CSV não tem uma especificação formal que todos seguem. O padrão RFC 4180 existe, mas é mais uma sugestão do que uma regra, e a maioria dos sistemas o ignora totalmente.

Uma vez recebi um arquivo CSV de um sistema legado de contabilidade de um cliente que usava ponto e vírgula como delimitadores, tinha vírgulas embutidas em valores numéricos (como "1,234.56"), usava tanto aspas simples quanto aspas duplas para qualificação de texto e misturava quebras de linha do Windows e do Unix no mesmo arquivo. Demorei três horas apenas para analisá-lo corretamente, e isso com ferramentas profissionais. O arquivo estava "funcionando bem" em seu sistema há anos porque o software deles tinha lógica personalizada para lidar com todas essas peculiaridades.

Os principais problemas com arquivos CSV se enquadram em várias categorias. Primeiro, há o problema do delimitador — vírgulas são comuns em dados, então os sistemas usam tabulações, pipes, ponto e vírgulas ou outros caracteres, mas nem sempre informam qual. Em segundo lugar, há a qualificação de texto — quando você precisa de aspas em torno dos valores, e o que acontece quando seus dados contêm caracteres de aspas? Terceiro, há a codificação — é UTF-8, Latin-1, Windows-1252 ou algo totalmente diferente? Se você errar, verá caracteres ilegíveis onde letras acentuadas deveriam estar.

Então existem os problemas estruturais. Os arquivos CSV não têm uma maneira embutida de representar tipos de dados, então tudo é texto até que você o analise. Uma data pode ser "2024-01-15", "01/15/2024", "15-Jan-24" ou "15 de janeiro de 2024" — e às vezes todos os quatro formatos aparecem na mesma coluna porque diferentes usuários inseriram dados de maneira diferente. Os números podem ter símbolos de moeda, sinais de porcentagem ou separadores de milhar. Valores booleanos podem ser "verdadeiro/falso", "sim/não", "1/0", "S/N" ou qualquer combinação disso.

A pior parte é que muitos problemas de CSV são silenciosos. Sua ferramenta de importação pode ter sucesso sem erros, mas seus dados estão sutilmente corrompidos. Eu já vi casos em que zeros à esquerda foram removidos de códigos de produtos, transformando "00123" em "123" e quebrando sistemas de inventário. Já vi datas interpretadas incorretamente porque o sistema assumiu MM/DD/YYYY quando o arquivo usou DD/MM/YYYY, fazendo com que pedidos fossem agendados para datas impossíveis como 31 de fevereiro. Esses erros não se anunciam — ficam ocultos nos seus dados até que alguém perceba que os números não somam.

Passo Um: Inspecione antes de importar

O maior erro que as pessoas cometem com arquivos CSV é abri-los diretamente no Excel ou importá-los diretamente para um banco de dados. Não faça isso. Seu primeiro passo deve ser sempre a inspeção com um editor de texto ou uma ferramenta de linha de comando. Eu uso uma combinação de head, tail e wc -l em sistemas Unix, ou um editor de texto para programadores como VS Code ou Sublime Text que pode lidar com arquivos grandes sem travar.

"Os arquivos CSV são como os baratas dos formatos de dados — sobrevivem a tudo, funcionam em qualquer lugar e causam problemas que você nunca esperou."

Comece olhando as primeiras 20-30 linhas do arquivo. Isso lhe diz o delimitador, se há uma linha de cabeçalho e como é a estrutura geral. Mas não pare aí — também olhe para as últimas 20-30 linhas. Não consigo contar quantas vezes encontrei um arquivo que começa limpo, mas termina com lixo: linhas parciais, mensagens de erro do processo de exportação ou estatísticas resumidas que alguém gentilmente anexou aos dados. O sistema ERP de um cliente adicionou um rodapé com "Total de Registros: 45.892" ao final de cada exportação, o que travaria qualquer processo de importação ingênuo.

Verifique a contagem de linhas com wc -l nome_do_arquivo.csv e compare com o que você espera. Se o arquivo deve ter 10.000 registros mais um cabeçalho, você deve ver 10.001 linhas. Se você vê 10.247 linhas, algo está errado — provavelmente quebras de linha embutidas em campos de texto. Isso é incrivelmente comum em arquivos CSV que contêm conteúdo gerado pelo usuário, como comentários ou descrições. Alguém escreve "Este produto é ótimo\nRecomendo muito" e de repente você tem uma quebra de linha no meio de uma linha.

Procure o delimitador examinando as primeiras linhas. Conte as vírgulas, tabulações, pipes ou ponto e vírgulas em cada linha. Eles devem ser consistentes. Se a linha um tem 12 vírgulas e a linha dois tem 15, você tem um problema — ou o delimitador está errado, ou você tem campos de texto não qualificados que contêm o caractere delimitador. Uma vez passei uma hora depurando um arquivo antes de perceber que ele usava o caractere pipe (|) como delimitador, que era quase invisível na fonte do meu terminal.

Verifique a codificação procurando caracteres não-ASCII. Se você vê símbolos estranhos como ’ em vez de apóstrofos, ou é em vez de é, você tem um erro de codificação. O arquivo provavelmente é UTF-8, mas está sendo lido como Latin-1, ou vice-versa. Use uma ferramenta como file -i nome_do_arquivo.csv em Unix para detectar a codificação, ou use o recurso de detecção de codificação do seu editor de texto. Errar isso no início significa que cada campo de texto em seus dados estará corrompido.

Passo Dois: Valide a Estrutura

Uma vez que você inspecionou o arquivo manualmente, o próximo passo é a validação estrutural. Cada linha deve ter o mesmo número de campos, e esse número deve corresponder à sua linha de cabeçalho. Isso soa óbvio, mas é violado constantemente em dados do mundo real. Eu uso Python com o módulo csv ou pandas para fazer essa validação programaticamente, porque verificar milhares de linhas a olho é impossível.

Aqui está um script Python simples que eu executo em cada arquivo CSV que recebo: ele conta os campos em cada linha e reporta aqueles que não correspondem ao cabeçalho. Em um projeto recente, esse script revelou que 347 de 50.000 linhas tinham campos extras porque o processo de exportação tinha um bug que duplicava a última coluna sob certas condições. Sem essa verificação, essas linhas teriam sido silenciosamente corrompidas durante a importação, com os dados extras truncados ou empurrados para as colunas erradas.

Preste atenção especial aos campos entre aspas. O CSV usa aspas para permitir delimitadores e quebras de linha dentro dos valores dos campos, mas as regras de citação são complexas e muitas vezes implementadas incorretamente. Um campo como "Smith, John" é corretamente citado, mas e "Ele disse "olá" para mim"? O formato correto é "Ele disse ""olá"" para mim", com aspas dobradas, mas muitos sistemas erram isso e produzem "Ele disse "olá" para mim", o que quebra a análise.

Verifique se há linhas vazias, que muitas vezes aparecem no final dos arquivos ou entre seções de dados. Essas devem