CSV vs JSON vs Excel: I've Wasted Hours Using the Wrong Format

El martes pasado a las 3 AM, vi cómo mi script de Python se ahogaba con un archivo CSV de 47 MB por tercera vez esa semana. El mensaje de error se burlaba de mí: "Falló la asignación de memoria." En ese momento, había sido ingeniero de datos durante ocho años y todavía cometía errores de principiante con los formatos de archivos.

Esta noche sin dormir le costó a mi equipo seis horas de tiempo de procesamiento y casi descarrila nuestra tubería analítica trimestral. ¿La peor parte? Yo sabía más. Simplemente me había vuelto perezoso y opté por CSV porque era "simple". Esa decisión cascada provocó un desastre de problemas de codificación, problemas de memoria y confusión de tipos de datos que podrían haberse evitado por completo.

Soy Marcus Chen, y he pasado la última década construyendo tuberías de datos para todo, desde startups fintech hasta minoristas de Fortune 500. He procesado miles de millones de filas en miles de proyectos, y he aprendido esto de la manera difícil: elegir el formato de datos incorrecto no solo es inconveniente, es costoso. Realmente costoso. Una vez calculé que las malas elecciones de formato le costaron a mi empresa anterior aproximadamente $180,000 anuales en tiempo de cómputo desperdiciado, horas de desarrollador y trabajos por lotes fallidos.

Este artículo no es otra comparación técnica seca. Es una guía de campo escrita desde las trincheras, donde las decisiones sobre formatos tienen verdaderas consecuencias. Te mostraré exactamente cuándo usar CSV, JSON o Excel, respaldado por escenarios específicos que he encontrado y las métricas que importan. Al final, sabrás cómo evitar los errores que me han costado colectivamente cientos de horas.

La Trampa del CSV: Cuando lo Simple se Vuelve Complicado

Los archivos CSV te seducen con su simplicidad. Son legibles por humanos, generalmente soportados y se sienten como la opción segura. Durante mis primeros tres años como analista de datos, recurrí a CSV para casi todo. Luego me uní a un equipo de análisis de salud procesando registros de pacientes, y CSV casi nos destruyó.

El problema comenzó de manera inocente. Estábamos exportando 2.3 millones de registros de visitas de pacientes de nuestra base de datos. CSV parecía perfecto—liviano, rápido de generar, fácil de compartir con nuestros socios de investigación. Dentro de dos semanas, teníamos cinco problemas críticos que detuvieron nuestro análisis.

Primero, la pesadilla de la codificación. Los nombres de los pacientes contenían caracteres de 47 idiomas diferentes. Nuestras exportaciones CSV se predeterminaban a ASCII, destrozando nombres como "José García" en "Jos? Garc?a" y destruyendo completamente nombres en scripts de mandarín, árabe y cirílico. Pasamos cuatro días depurando antes de darnos cuenta de que necesitábamos UTF-8 con BOM (Byte Order Mark) para compatibilidad con Excel, pero UTF-8 sin BOM para nuestros scripts de Python. Así es, necesitábamos dos variantes de CSV diferentes para diferentes herramientas.

En segundo lugar, el desastre de tipos de datos. CSV no tiene concepto de tipos de datos. Todo es texto hasta que lo analizas. Nuestra columna "patient_id" contenía valores como "00123" que Excel convirtió amablemente a "123", destruyendo los ceros a la izquierda que necesitábamos para las búsquedas en la base de datos. Las fechas eran aún peores: "03/04/2023" podría significar 4 de marzo o 3 de abril dependiendo de la configuración regional. Perdimos todo un fin de semana rastreando por qué el 18% de nuestros joins de fechas estaban fallando.

En tercer lugar, el caos de delimitadores. Las notas médicas contenían comas, puntos y comas y tabulaciones. Intentamos delimitador por comas, luego por puntos y comas, luego por tabulaciones. Cada cambio rompió el script de importación de alguien. Finalmente nos decidimos por delimitador de tuberías (|) porque aparecía en solo el 0.003% de nuestros campos de texto, pero para ese momento ya habíamos perdido 12 horas y generado seis versiones de archivo incompatibles.

Esto es lo que aprendí: CSV funciona brillantemente para datos simples y planos con tipos consistentes y sin caracteres especiales. Es perfecto para exportar 50,000 filas de transacciones de ventas con IDs numéricos limpios, fechas en formato ISO (AAAA-MM-DD), y sin campos de texto más largos que una oración. En el momento que añades complejidad—datos anidados, tipos mixtos, caracteres internacionales o bloques de texto grandes—CSV se convierte en un pasivo.

Los números de rendimiento cuentan la historia. Para un archivo de 10MB con 100,000 filas de datos numéricos simples, el análisis de CSV toma aproximadamente 0.8 segundos en Python con pandas. Pero añade campos de texto con comillas y comas escapadas, y eso salta a 3.2 segundos. Añade detección de codificación, y estás en 5.1 segundos. Para el procesamiento por lotes de miles de archivos, estos segundos se convierten en horas.

Los Costos Ocultos de JSON: Cuando la Flexibilidad se Vuelve Sobrecarga

Después de mis desastres con CSV, me dirigí enérgicamente hacia JSON. Solucionó todo lo que CSV no podía manejar: datos anidados, tipos explícitos, soporte Unicode, y una especificación clara. Durante dos años, fui un evangelista de JSON. Luego construí un panel de análisis en tiempo real para una plataforma de comercio electrónico, y JSON me enseñó algunas lecciones costosas.

"Elegir el formato de datos incorrecto no es solo una decisión técnica—es una decisión financiera. He visto a empresas gastar seis cifras anuales porque los desarrolladores optaron por CSV por costumbre."

El proyecto parecía sencillo: ingerir datos de flujo de clics de 200,000 usuarios activos diarios, procesarlo en tiempo real y mostrar métricas en un panel. Cada evento de clic era un objeto JSON con aproximadamente 30 campos, incluyendo propiedades de usuario anidadas, detalles de producto y metadatos de sesión. Datos hermosos, estructurados y auto-documentados.

El primer problema nos golpeó en la semana tres: explosión del tamaño del archivo. Nuestros archivos CSV equivalentes promediaban 2.1MB por hora de datos. ¿Las versiones JSON? 8.7MB. Eso es 4.1 veces más grande para la misma información. El culpable fue la verbosidad de JSON—cada nombre de campo se repetía para cada registro. En CSV, "user_id" aparece una vez en el encabezado. En JSON, aparece 50,000 veces si tienes 50,000 registros.

No era solo un problema de almacenamiento. Estábamos transfiriendo estos archivos entre servicios sobre la red. A 8.7MB por hora por 24 horas por 30 días, estábamos moviendo 6.3GB mensuales en lugar de 1.5GB. Nuestros costos de transferencia de datos de AWS saltaron de $47 a $201 por mes. Multiplica eso por 15 microservicios, y habíamos añadido $2,310 en costos de infraestructura mensuales al elegir JSON.

El segundo problema fue el rendimiento de análisis. El análisis de JSON es computacionalmente costoso porque requiere construir un árbol de objetos en memoria. Para nuestros datos de flujo de clics, analizar un archivo JSON de 100MB tomó 12.3 segundos en Python usando la biblioteca estándar de json. ¿El CSV equivalente? 3.1 segundos con pandas. Cuando estás procesando archivos cada cinco minutos, esa diferencia de 9.2 segundos por archivo se suma a 26.5 horas de tiempo de cómputo mensual.

Pero aquí es donde se vuelve interesante: JSON destaca en escenarios específicos que CSV no puede tocar. Cuando me mudé a una startup fintech construyendo una API de pagos, JSON se volvió indispensable. Estábamos manejando cargas útiles de webhook con datos de transacción profundamente anidados—métodos de pago que contenían direcciones de facturación que contenían coordenadas geográficas. Intentar aplanar esto en CSV habría requerido más de 40 columnas, la mayoría de ellas vacías para cualquier transacción dada.

El verdadero poder de JSON está en las APIs y los archivos de configuración. Para nuestros webhooks de pago, la naturaleza auto-descriptiva de JSON significaba que nuestros consumidores de API podían analizar las respuestas sin consultar la documentación. La estructura anidada coincidía perfectamente con nuestro modelo de dominio. Y cuando necesitábamos añadir nuevos campos, podíamos hacerlo sin romper las integraciones existentes—algo imposible con formatos CSV posicionales.

La regla que desarrollé: usa JSON para el intercambio de datos entre sistemas, especialmente APIs, y para archivos de configuración donde la legibilidad humana y la flexibilidad importan más que el tamaño o la velocidad. Evita JSON para almacenamiento de datos a gran escala o procesamiento por lotes donde mueves la misma estructura repetidamente. En esos casos, el impuesto por verbosidad se vuelve prohibitivo.

Excel: El Formato que Todos Aman Odiar (Pero que Secretamente Necesitan)

Pase años desestimando archivos de Excel como "no formatos de datos reales." Eran lo que los usuarios de negocios creaban cuando no sabían mejor. Luego me convertí en líder del equipo de datos en una empresa de análisis minorista, y aprendí que los archivos de Excel (.xlsx) son a menudo el único formato que realmente funciona en el mundo real.

La llamada de atención llegó durante un proyecto con nuestro equipo de merchandising. Necesitaban informes de ventas semanales desglosados por región, categoría y SKU, con formato condicional para resaltar productos de bajo rendimiento. Construí una hermosa tubería automatizada que generaba archivos CSV y