CSV vs JSON vs Excel: I've Wasted Hours Using the Wrong Format

先週の火曜日の午前3時、私はPythonスクリプトが47MBのCSVファイルでつまずくのを、その週だけで三回目に観察しました。エラーメッセージは私を嘲笑しました：「メモリ割り当てに失敗しました。」その時点でデータエンジニアとして8年の経験があったにも関わらず、ファイルフォーマットに関してはルーキーのミスを犯していました。

その眠れぬ夜は、私のチームに6時間の処理時間を浪費させ、四半期ごとの分析パイプラインをほぼ破綻させました。最悪の部分は？私はもっとよく知っていました。ただ怠けてCSVを「シンプル」と思って使っただけです。その決定は、完全に回避可能だったエンコーディングの問題、メモリの問題、データ型の混乱に繋がる結果となりました。

私はマーカス・チェンで、過去10年間、フィンテックのスタートアップからフォーチュン500の小売業者まで、さまざまなデータパイプラインを構築してきました。数千のプロジェクトで数十億行を処理し、これを辛い方法で学びました：間違ったデータ形式を選ぶことはただの不便ではなく、非常に高価です。本当に高価です。以前の会社で悪い形式の選択が年間約18万ドルの無駄なコンピュータ時間、開発者の時間、失敗したバッチジョブを引き起こしたと計算したことがあります。

この記事は、単なる乾燥した技術的比較ではありません。フォーマットの決定に実際の影響があるトレンチから書かれたフィールドガイドです。特定のシナリオと重要なメトリクスに基づいて、CSV、JSON、またはExcelを使うべきタイミングを正確にお教えします。最後まで読めば、私が数百時間を無駄にしてきたミスを回避する方法がわかるでしょう。

CSVの罠：シンプルが複雑になるとき

CSVファイルは、そのシンプルさであなたを魅了します。人間が読むことができ、普遍的にサポートされており、安全な選択のように思えます。データアナリストとしての最初の3年間、私はほぼすべてにCSVを使っていました。その後、患者記録を処理する医療分析チームに参加し、CSVが私たちをほぼ破滅させました。

問題は無邪気に始まりました。私たちは、データベースから230万件の患者来院記録をエクスポートしていました。CSVは完璧に思えました—軽量で、生成が速く、私たちの研究パートナーと簡単に共有できる。2週間以内に、私たちは分析を停止させる5つの重大な問題に直面しました。

まず、エンコーディングの悪夢。患者の名前には、47の異なる言語の文字が含まれていました。私たちのCSVエクスポートはデフォルトでASCIIになっており、「José García」のような名前を「Jos? Garc?a」に変え、マンダリン、アラビア語、キリル文字の名前を完全に破壊してしまいました。私たちは、Excelの互換性のためにBOM（バイトオーダーマーク）付きのUTF-8が必要だと気づくまで4日間のデバッグを行いましたが、PythonスクリプトにはBOMなしのUTF-8が必要でした。そう、異なるツールには異なるCSVのバリエーションが2つ必要だったのです。

次に、データ型の大混乱。CSVにはデータ型の概念がありません。すべてがテキストで、解析されるまでテキストのままです。「patient_id」列には「00123」のような値が含まれており、Excelはありがたくもそれを「123」に変換して、データベース検索に必要な先頭のゼロを失わせました。日付はさらに悪化しました—「03/04/2023」は、ロケール設定によっては3月4日か4月3日を意味する可能性があります。なぜ18%の日時結合が失敗しているのかを追跡するために、週末を丸々無駄にしました。

3つ目は、デリミタの混乱です。医療ノートにはコンマ、セミコロン、タブが含まれていました。最初はコンマ区切りを試し、次にセミコロン区切りにし、最後にタブ区切りにしました。各変更は、誰かのインポートスクリプトを壊しました。最終的には、パイプ区切り（|）に落ち着きましたが、それはテキストフィールドの約0.003%しか含まれていなかったのです。しかし、その時点で12時間を無駄にし、6つの互換性のないファイルバージョンを生成してしまいました。

ここで私が学んだのは、CSVは一貫した型と特別な文字がないシンプルでフラットなデータには素晴らしい効果を発揮するということです。クリーンな数値ID、ISO形式（YYYY-MM-DD）の日付、1文より長くないテキストフィールドで構成された50,000行の売上トランザクションをエクスポートするには完璧です。複雑さを加えた瞬間—ネストされたデータ、混合型、国際的な文字、大きなテキストブロック—CSVは負担になります。

パフォーマンスの数値がその物語を語ります。シンプルな数値データの100,000行を持つ10MBのファイルでは、CSV解析にPythonのpandasで約0.8秒かかります。しかし、エスケープされた引用符やコンマを持つテキストフィールドを追加すると、それは3.2秒に跳ね上がります。エンコーディング検出を追加すると、5.1秒になります。数千のファイルをバッチ処理していると、これらの秒は時間に合算されます。

JSONの隠れたコスト：柔軟性が膨張になるとき

私のCSVの失敗の後、私はJSONに強く傾きました。それは、CSVが扱えなかったすべてを解決しました：ネストされたデータ、明示的な型、Unicodeのサポート、明確な仕様。2年間、私はJSONの伝道者でした。それから、eコマースプラットフォームのリアルタイム分析ダッシュボードを構築し、JSONが私に高価な教訓を教えてくれました。

「間違ったデータ形式を選ぶことは、単なる技術的な決定ではなく、財政的な決定です。習慣として開発者がCSVにデフォルトで戻ることで、企業が年間6桁を焼くのを見てきました。」

プロジェクトは単純に見えました：20万人の日間アクティブユーザーからのクリックストリームデータを取り込んでリアルタイムで処理し、ダッシュボードにメトリクスを表示すること。各クリックイベントは、ネストされたユーザーのプロパティ、製品の詳細、セッションのメタデータを含む約30のフィールドを持つJSONオブジェクトでした。美しく、構造化され、自動文書化されたデータ。

最初の問題は3週目に発生しました：ファイルサイズの爆発。私たちのCSVファイルは、データの1時間あたり平均2.1MBでした。JSONバージョンは？8.7MBです。同じ情報で4.1倍大きくなっています。その原因はJSONの冗長性で、各フィールド名がすべてのレコードに繰り返されました。CSVでは、「user_id」はヘッダーに1回しか表示されません。JSONでは、50,000レコードがあれば50,000回表示されます。

これは単なるストレージ問題ではありませんでした。私たちは、これらのファイルをサービス間でネットワーク経由で転送していました。1時間あたり8.7MBの場合、24時間×30日で月に6.3GBを移動していました。AWSのデータ転送コストは、月額47ドルから201ドルに跳ね上がりました。15のマイクロサービス全体でそれを掛け合わせると、JSONを選択することで月に2,310ドルのインフラコストが追加されました。

2番目の問題は、解析パフォーマンスでした。JSONの解析は、メモリにオブジェクトツリーを構築する必要があるため、計算上高価です。クリックストリームデータの場合、100MBのJSONファイルの解析には、標準のjsonライブラリを使用してPythonで12.3秒かかりました。同等のCSVは？pandasで3.1秒です。5分ごとにファイルを処理していると、そのファイルごとの9.2秒の違いが、月に26.5時間の計算時間を追加します。

しかし、ここで事態は興味深いものになります：JSONはCSVが触れられない特定のシナリオで輝きます。私は、決済APIを構築するフィンテックのスタートアップに移動したとき、JSONは欠かせない存在になりました。私たちは、請求先住所を含む支払い方法を含む深くネストされたトランザクションデータを持つWebhookペイロードを処理していました。これをCSVに平坦化しようとすると、40以上の列が必要になり、ほとんどは特定のトランザクションに対して空になります。

JSONの真の力は、APIや設定ファイルにあります。私たちの支払いWebhookでは、JSONの自己記述的な性質により、APIの消費者はドキュメントを参照せずに応答を解析できました。ネストされた構造は、私たちのドメインモデルに完璧に一致しました。そして、新しいフィールドを追加する必要があるとき、既存の統合を壊さずにそれを行うことができました—位置ベースのCSV形式では不可能なことです。

私がまとめたルール：特にAPI間のデータのやり取りに、JSONを使用し、人間の読みやすさと柔軟性がサイズや速度よりも重要な設定ファイルに使用します。大規模なデータストレージやバッチ処理にはJSONを避け、同じ構造を繰り返し移動する場合は、冗長税が過剰になります。

Excel：誰もが嫌う形式（しかし、密かに必要としている）の

私は何年も、Excelファイルを「実際のデータ形式ではない」と軽視してきました。彼らは、ビジネスユーザーがもっと良く知らないときに作成するものです。その後、私は小売分析会社のデータチームリーダーになり、Excelファイル（.xlsx）が実際の世界でうまく機能する唯一の形式であることを学びました。

目覚めたのは、マーチャンダイジングチームとのプロジェクト中でした。彼らは地域、カテゴリ、SKUで区分された週次売上レポートが必要で、パフォーマンスの悪い製品をハイライトするための条件付き書式が求められました。私は、CSVファイルを生成する素晴らしい自動化パイプラインを構築しました。