Handling Large CSV Files: Performance Tips and Tools - CSV-X.com

3年前、ジュニアデータアナリストがExcelで4GBの顧客取引ファイルを開こうとしたとき、彼のノートパソコンのファンがジェットエンジンのようにうなり声を上げるのを見ました。アプリケーションはフリーズしました。彼の顔は青ざめました。20分後、Excelはクラッシュし、保存されていない2時間分の作業と共に去っていきました。その瞬間は、大きなCSVファイルへのアプローチがほとんどの人にとってどれだけ間違っているかを凝縮しました。それが、私がデータインフラエンジニアとして過去10年間、企業が汗をかくことなく数十億行を処理する手助けをしてきた理由です。

私はマーカス・チェンで、2014年からフォーチュン500企業向けにデータパイプラインを構築しています。適切なアプローチで制御できたであろうCSVファイルを扱うために、チームが数千時間もエンジニアリングを無駄にするのを見てきました。真実は、多くの開発者とアナリストが、はるかに大きなファイルに対して小さなデータセット用に設計されたツールを使用しているということです。まるで、ピックアップトラックで家を移動しようとするようなもので、理論的には可能ですが、とても非効率的です。

このガイドでは、50MBのマーケティングリストから200GBのゲノムデータセットに至るまでの処理から得た貴重な教訓を共有します。現在のツールが正確にいつ失敗するのか、どんな代替手段があるのか、そして特定の状況に適したアプローチを選ぶ方法を学ぶことができるでしょう。理論的な空論ではなく、私が毎日使っている戦闘テスト済みの技術のみを提供します。

壊れ始めるポイントの理解: ツールが失敗し始める時

解決策に飛び込む前に、伝統的なツールがどこで壊れるかを正確に理解する必要があります。私は数百のシナリオで数十のアプリケーションをベンチマークしており、パターンは驚くほど一貫しています。

何百万もの専門家が利用するExcelは、1,048,576行で硬い壁にぶつかります。しかし実際には、その前にパフォーマンスが大幅に低下します。8GB RAMの典型的なビジネスラップトップでは、Excelは約100,000行で鈍くなり、500,000行を超えるとほぼ使用不可能になります。私は200MB範囲のファイルで3-5分のロード時間を測定しており、それは実際の分析を行う前のことです。

Google Sheetsはさらに制約があります。公式な制限は合計で1,000万セルですが、それは50列の200,000行、つまり顧客分析の一般的なシナリオに過ぎません。遅い接続でのアップロード時間は、50MBを超えるファイルに対して15-20分に延びる可能性があり、共同編集が非常に遅れます。

Notepad++やSublime Textのようなテキストエディタは、大きなファイルをより良く処理できますが、データ操作用には設計されていません。私はSublime Textで2GBのファイルを成功裏に開くことができましたが、検索または編集は徐々に遅くなります。Notepad++は500MBのあたりでつまずき始め、CSV構造をビジュアルに分析するために使用するかもしれない構文ハイライトは、それを完全にダウンさせることがあります。

本当の問題は、ファイルサイズだけではありません。サイズ、列数、データを使って何をする必要があるかの組み合わせです。10列の1GBファイルは200列の1GBファイルとは根本的に異なります。前者は50百万行の単純なデータを持っているかもしれませんが、後者は2百万行の複雑でネストされた情報を持っているかもしれません。アプローチは両方の次元を考慮する必要があります。

ここに私が定期的に行う実用的なベンチマークがあります: 私は5列の250万行のeコマース取引データを含む標準化された500MBのCSVファイルに対してツールをテストします。Excelは開くのに4分かかり、3.2GBのRAMを使用します。Pythonとpandasは8秒で読み込み、1.8GBのRAMを使用します。Pythonのcsvモジュールを使ったストリーミングアプローチは、ファイル全体を12秒で処理し、わずか50MBのRAMを使用します。適切なツールは、メモリ使用量に48倍の差を生み出します。

メモリの問題: なぜCSVファイルはサイズが爆発するのか

CSVファイルを扱う上で最も誤解されている側面の一つは、メモリ消費です。500MBのCSVファイルを処理するのに4GBのRAMが必要だということに驚く開発者と無数の会話をしました。なぜこれが起こるのかを理解することは、適切なアプローチを選ぶために重要です。

"ほとんどの開発者は、CSVファイルを同じサイズで扱うかのように扱います。それは、セスナと747を着陸させるのに同じ技術を使用するパイロットのようなものです—それは災害のレシピです。"

CSVファイルをメモリに読み込むとき、生のテキストを保存するだけではありません。ほとんどのツールはそれをデータ構造に解析し、はるかにメモリを消費します。例えば、pandasでは、CSVファイルは通常、DataFrameに読み込まれるとディスク上のサイズの3-5倍に膨らみます。その500MBのファイルはメモリ内で2GBになり、pandasは各値をメタデータ、インデックス、および型情報を含む最適化された形式で保存します。

文字列の列は特に問題を引き起こします。「California」という単語が100万回繰り返される列は、ディスク上で10MB（圧縮あり）しかかからないかもしれませんが、メモリ内では各インスタンスが実装に応じて50〜100バイト消費する可能性があります。それが単一の列で50〜100MBです。それが数十の列にわたってあると、なぜメモリが膨張するのかが分かります。

この教訓を2017年に、小売クライアントの顧客フィードバックデータを処理しているときに痛感しました。フリーテキストコメントがある1.2GBのCSVファイルがありました。最初のpandasスクリプトは、私たちの16GBサーバーで繰り返しクラッシュしました。問題は？コメント列には、各行あたり平均200文字が含まれ、pandasは各コメントをPythonオブジェクトとして保存し、大体500バイト消費していました。800万行あったので、その1つの列は他の30列に手をつける前に4GBのRAMを要求しました。

解決策は3つの戦略に基づいています。まず、pandasのdtypeパラメータを使用して列の型を明示的に設定し、メモリ使用量を40%削減しました。第二に、ファイルを一度にすべて読み込むのではなく、100,000行のチャンクで処理しました。第三に、繰り返し値のある列では、文字列列をカテゴリカル型に変換しました。この技術により、メモリ使用量はさらに60%削減されました。

dtype指定の違いの具体例を示します。0から100の整数の列を考えてみてください。デフォルトでは、pandasはint64を使用し、各値のために8バイトを消費します。しかし、int8を指定すれば、各値はわずか1バイト—8倍の削減—となります。1000万行では、単一の列の80MBと10MBの違いです。20の数値列を通じて、1.4GBのRAMを節約しました。

ストリーミング vs. ローディング: 処理戦略の選択

大規模なCSVファイルを扱う際の根本的な決定は、全データセットをメモリに読み込むか、ストリームとして処理するかです。この選択は、ツールの選択からコードのアーキテクチャまで、すべてに影響を与え、間違えると数分で実行されるスクリプトと決して完了しないスクリプトの違いが生まれる可能性があります。

全ファイルをメモリに読み込むのが「一度にすべて」アプローチです。このアプローチは、データへのランダムアクセスや、データセットの異なる部分間の複雑な結合、データ全体を複数回走査する必要がある場合に適しています。pandas、Rのdata.table、さらにはExcelのようなツールはこのアプローチを使用します。利点は速度と柔軟性です。読み込まれると、すべてがRAMにあるため、操作は迅速です。欠点は明らかです。データセット全体を保持するのに十分なメモリが必要な上、操作のオーバーヘッドも必要です。

これに対してストリーミングでは、ファイルを行ごとまたは小さなチャンクで処理します。部分を読み取り、それを処理し、結果を書き込み、次の部分に進みます。ファイルサイズに関係なく、メモリ使用量は一定に保たれます。ETLパイプライン、データの検証、フィルタリング操作、およびデータを一度に全体を見る必要がない変換シナリオでストリーミングを使用します。

昨年完成したプロジェクトからの実際の比較があります。我々は、温度が100°Fを超えるレコードのみを保持するために、15GBのセンサー読み取りCSVファイルをフィルタリングする必要がありました。pandasを用いた一度にすべてのアプローチでは、60GB以上のRAMを持つサーバーが必要でした。代わりに、Pythonのcsvモジュールを使用したストリーミングスクリプトを書き、100,000行ずつ処理しました。総メモリ使用量は200MB。処理時間はノートパソコンで8分。ストリーミングアプローチの方が、全データセットを読み込み、インデックスを作成するオーバーヘッドを避けたため、実際には速かったのです。

ハイブリッドアプローチであるチャンク処理は、中間の方法です。管理可能なチャンクをメモリに読み込み、各チャンクで複雑な操作を行い、その後結果を結合します。これが私の...