Data Cleaning 101: Fix Messy Data in 10 Steps — csv-x.com

私は、1つの誤ったコンマのせいで3週間分の作業を失った日のことを決して忘れません。それは2011年のことで、私はシカゴの中規模の保険会社でジュニアデータアナリストとして働いていました。顧客セグメンテーションモデルを構築するためにほぼ1ヶ月を費やした後、データセット全体が不一致の日付形式や、クリーンな住所フィールドで隠れている不正な特殊文字によって破損していることに気づきました。そのモデルはゴミ同然でした。上司は怒り狂っていました。そして、私はキャリアの中で最も厳しい教訓を学びました：乱雑なデータは単にあなたの作業を遅らせるだけでなく、完全に derail（やり直しにさせる）することができます。

その辛い経験は、私のプロフェッショナルライフの次の13年間を定義する道に私を導きました。今日はデータ品質とガバナンスに特化したシニアデータエンジニアとして、数えきれないほどのデータセットをクリーンアップしました—50行のスプレッドシートからフォーチュン500企業向けの数テラバイトのデータベースまで。私は想像できるあらゆる種類のデータの乱れを見てきました：ウサギのように増殖する重複レコード、ゼロとして見せかけたnull値、HTMLタグで汚染されたテキストフィールド、名前を分からなくするエンコーディングの問題。

実際、汚れたデータは至る所にあります。2023年のガートナー研究によると、データ品質の低下は組織に年間平均1290万ドルのコストをもたらしています。IBMは、汚れたデータが米国経済に年間約3.1兆ドルのコストをかけていると推定しています。それにもかかわらず、これらの驚くべき数字にもかかわらず、ほとんどの組織はデータクリーニングを後回しにして、分析への道のりで急いで行うことを考えています。

この記事は、その状況を変えようとする私の試みです。次のいくつかのセクションで、私は、乱雑で信頼性のないデータをクリーンで分析可能なデータセットに変えるために使用する正確な10ステッププロセスを紹介します。これらは理論的な概念ではなく、私が数年間の実務を通じて洗練させた戦闘実績のある技術です。単純なCSVファイルを扱っている場合でも、複雑な複数ソースのデータセットを扱っている場合でも、このフレームワークはデータクリーニングに系統的かつ効率的にアプローチするのに役立ちます。

ステップ1: データに触れる前に理解する

私が初心者に見る最大の間違いは、まず自分が何を扱っているのかを理解せずに、すぐにクリーニングに飛び込むことです。それは、自分がどのモデルの車のエンジンを修理しようとしているのかを知らずに修理しようとするようなものです。調査から始める必要があります。

新しいデータセットを受け取ると、私はまず30分以上かけてそれを探索し、変更を加える前にパターン、異常、構造を探します。Excel、Google Sheets、またはCSVビューワなどのツールでデータを開き、スクロールします。行と列の数は？列のヘッダーは何を示していますか？明確なセクションやグルーピングはありますか？結合セル、色分け、埋め込みサブトータルなどの即座に注意すべき問題はありますか？

次に、各列の基本統計を生成します。数値フィールドの場合は、最小、最大、平均、中央値の値を知りたいです。テキストフィールドの場合は、一意の値の数と最も一般的なエントリーを確認します。この統計的な概要は、行をスクロールするだけでは見えない問題を明らかにすることがよくあります。たとえば、「数量」列に最小値が-500ある場合、それは明らかなデータ品質の問題であり、調査が必要です。

この段階では、データ辞書も作成します—各フィールド、予想されるデータ型、その目的、および既知の問題を記述したシンプルなドキュメントです。これは余分な作業のように思えるかもしれませんが、後で膨大な時間を節約してくれます。データクリーニングの最中で混乱する何かに遭遇したとき、3時間前に学んだことを思い出そうとしても、辞書を参照できる方がはるかに便利です。

文書化は、複数のソースからのデータを扱うときや、今後再度クリーニングプロセスを繰り返す必要がある場合に特に重要です。かつて、47の異なる地域オフィスから月次売上データを受け取り、それぞれがわずかに異なるフォーマットの慣習を持つプロジェクトに関わったことがあります。1ヶ月目に包括的なデータ辞書を作成することで、次の年に数百時間の時間を節約できました。

最後に、他の何よりも最初に元のデータのバックアップコピーを作成します。このことは非常に重要です：データの唯一のコピーで直接作業してはいけません。私は、多くの人がソースファイルを誤って上書きして取り返しのつかない情報を失うのを見てきました。コピーを作成し、日付スタンプを付けて明確に名前を付け、安全な場所に保存してください。未来の自分が感謝することでしょう。

ステップ2: 構造と形式を標準化する

データを理解したら、次のステップは一貫した構造を確立することです。不一致なフォーマットは、私が遭遇する最も一般的でフラストレーションの多いデータ品質の問題の一つです。それは無数の方法で現れます：1行では「01/15/2024」と書かれ、別の行では「2024年1月15日」と書かれる日付、ダッシュのある電話番号となしで、首字の大文字化が不一致で、測定単位が混在していることがあります。

「汚れたデータは単なる技術的な問題ではなく、ビジネスリスクです。悪いデータに基づいて行われたすべての決定は、暗闇の中で行われた決定です。」

まず、日付形式を標準化することから始めます。日付は非常に厄介な問題です。なぜなら、異なるシステムや地域で異なったフォーマットにすることがあるからです。「03/04/2024」は3月4日ですか、それとも4月3日ですか？コンテキストがなければわかりません。いつでも日付をISO 8601形式（YYYY-MM-DD）に変換します。これは誤解の余地がなく、正しくソートされます。データに時刻が含まれている場合は、YYYY-MM-DD HH:MM:SS形式を使用します。

次に、テキストのフォーマットに取り組みます。私は大文字化のルールを定め、それを一貫して適用します。名前の場合、私は通常、大文字小文字を使用します（John Smith）。コードや識別子の場合、大文字を使用することもあります（SKU-12345）。具体的な選択肢は、一貫性があればさほど重要ではありません。すべてのテキストフィールドからは、先頭と末尾の空白を削除します—これらの見えない文字は、データのマッチングやフィルタリングの際に無限の問題を引き起こします。

数値フォーマットも注意が必要です。数値フィールドから通貨記号、パーセンテージ記号、千の区切りを削除します。これらは純粋な数値として保存し、データを提示する際にのみフォーマットを適用します。私はかつて、2時間にわたって計算エラーをデバッグした後、一部の数値がカンマを含むためにテキストとして保存されていることに気づきました。式は「1,000」をテキストとして扱い、「1000」を数値として扱い、極端に不一致な結果を生み出していました。

カテゴリーデータについては、許可された価値の標準化リストを作成し、すべてをそのリストにマッピングします。「ステータス」フィールドには「アクティブ」、「非アクティブ」または「保留中」のみを含める必要がありますが、「active」、「ACTIVE」、「進行中」、「Pend」のようなバリエーションが見つかった場合、これらをクリーンアップする必要があります。私は通常、元の値とその標準化された同等物を示すマッピングテーブルを作成し、修正を適用するために検索と置換またはルックアップ関数を使用します。

列ヘッダーには特別な注意が必要です。私はそれらを明確で簡潔、一貫したものに名前を変更します。スペース（代わりにアンダースコアを使用）、特殊文字、あいまいな略語を避けます。「Cust_Name」は、「Customer Name」に比べてほとんどのデータ処理ツールにとっては優れていますし、「order_date」は、6ヶ月後にコードを読むときには「Ord_Dt」よりも明快です。

ステップ3: 欠損値を戦略的に処理する

欠損データは避けられません。私の経験上、実際のデータセットにはほぼすべてにギャップがあります。問題は、欠損値に遭遇するかどうかではなく、それをどのように扱うかです。選択したアプローチは、分析結果に大きな影響を与える可能性があるため、このステップは慎重に考える必要があります。

まず、欠損値がデータセットにどのように現れるかを特定します。null値は明らかなものですが、欠損データはしばしば隠れています。私は、「N/A」、「NULL」、「None」、「—」、「空の文字列」、ゼロ、999、または単一のスペースとして表される欠損値を含むデータセットを見てきました。これらのすべてのバリエーションを見つけ出し、どのように扱うかを決定する必要があります。

適切な戦略は、データが欠落している理由と、それを使用する計画によって異なります。値が完全にランダムに欠如しており、それをどのように扱うかは重要です。