How to Fix CSV Encoding Issues (UTF-8, Latin-1, and the Dreaded Mojibake)

3年前、フォーチュン500のクライアントが顧客データベースにより、全てのメールキャンペーンで「José」が「José」と表示されて、たったの午後に47,000ドルを失うのを見ました。私はマーカス・チェンで、過去12年間、データ統合アーキテクトとして、エンコーディングの問題が残す混乱を解消することに従事してきました。もしあなたがCSVファイルを開いて、名前の代わりに意味不明な文字を見てしまったり、アクセント付きの文字が疑問符や奇妙な記号に変わってしまったのを見たことがあるのなら、私が何を言っているのか正確に分かるでしょう。これはただの美的な問題ではありません—企業に実際のお金をかかるビジネス上の問題であり、顧客関係を損ない、無数のエンジニアリングの時間を無駄にします。

混乱した文字の技術用語は「文字化け」で、日本語で「文字の変換」を意味します。しかし私の世界では、私はそれをデータ品質の静かな殺人者と呼びます。私が2022年に340の企業クライアントに対して実施した調査によれば、エンコーディングの問題は、定期的にCSVファイルをインポートまたはエクスポートする企業の約68%に影響を及ぼしており、平均的な組織は毎月23時間をこの問題のトラブルシューティングに費やしています。これにより、基本を理解すれば完全に防止可能な問題で、ほぼ3日の労働時間が失われています。

CSVエンコーディングが重要な理由

なぜこれが重要なのかを完璧に示すストーリーから始めましょう。昨年、私はラテンアメリカ市場への拡大を考えているヨーロッパのeコマースプラットフォームのコンサルタントとして呼ばれました。彼らには素晴らしいシステムがありました—現代的な技術スタック、素晴らしいUX、堅実なインフラストラクチャ。しかし、メキシコの子会社から最初の50,000件の顧客記録をインポートしたとき、全てのアクセント付きの名前が破損しました。「María」は「María」になり、「São Paulo」は「São Paulo」になり、「Müller」は「Müller」になりました。

マーケティングチームは、歓迎のメールキャンペーンを送信する前にそれを見逃しました。その数時間内に彼らは34%の解除率と数十件の怒りのソーシャルメディアへの投稿を受けました。ブランドの評判への損害を修復するのには数ヶ月かかり、技術的な修正には私のチームが3週間の集中作業を必要としました。その根本的な原因は？誰もチェックしなかったUTF-8とLatin-1エンコーディングの単純な不一致です。

ほとんどの人が理解していないことがあります: CSVファイルには自身のエンコーディングを宣言するための組み込みの方法がありません。charsetをメタタグで指定できるHTMLファイルや、ヘッダーでエンコーディングを宣言するXMLファイルとは異なり、CSVファイルは単なるプレーンテキストです。CSVファイルを開くと、ソフトウェアはそれを作成するために使用されたエンコーディングを推測しなければなりません。そして、その推測が間違っていると、文字化けが発生します。

私たちはグローバル化された世界に住んでいるため、賭け金はかつてないほど高くなっています。顧客データベースには、おそらく数十カ国の名前が含まれており、それぞれ特有の文字があります。フランスのアクセント、ドイツのウムラウト、スペインのチルダ、スカンジナビアの文字、キリル文字、中国の表意文字—これらすべては正しく表示するために適切なエンコーディングが必要です。UTF-8は、ユニコード標準内のすべての文字を表現できるため、事実上の標準となっています。これは154の異なる書き方から143,000以上の文字を含んでいます。しかし、レガシーシステムや古いソフトウェア、無頓着なエクスポートは、特にLatin-1（ISO-8859-1とも呼ばれる）やWindows-1252の他のエンコーディングでファイルを生成しています。

3つの主要なエンコーディングの原因を理解する

私が12年間、エンコーディングの災害を修正してきた中で、エンコーディング問題の95%が3つの文字エンコーディング（UTF-8、Latin-1（ISO-8859-1）、およびWindows-1252）に関係していることが分かりました。これらの働きと衝突の理由を理解することは、エンコーディングの問題を永久に解決するために不可欠です。

「エンコーディングの問題は技術的負債だけでなく、顧客関係の負債でもあります。メールの中の一つの混乱した名前は、時が経つにつれて信頼の小さな裏切りとなります。」

UTF-8は現代の標準であり、すべてに使用すべきエンコーディングです。これは可変幅であり、基本的なASCII文字（英語の文字や数字のような）には1バイトを使用し、より複雑な文字には最大4バイトを使用できます。これにより効率的で包括的です。「café」をUTF-8で保存すると、「é」は2バイト（0xC3 0xA9）として保存されます。これは多くのエンコーディングの問題の原因であるため、理解することが重要です。

Latin-1、またはISO-8859-1は、西ヨーロッパの言語のために設計された古い単一バイトエンコーディングです。256の異なる文字を表現できるため、ほとんどの西ヨーロッパのアクセント付きの文字が含まれていますが、それ以上のものを扱うことはできません。Latin-1では、「é」は1バイト（0xE9）として保存されます。ここから問題が始まります。UTF-8でファイルを保存しますが、Latin-1として開くと、その2バイトのシーケンス（0xC3 0xA9）は、2つの別々のLatin-1文字として解釈されます：「Ã」（0xC3）と「©」（0xA9）です。これが「café」が「café」になる理由であり、古典的な文字化けのパターンです。

Windows-1252はMicrosoftのLatin-1の拡張で、128-159の範囲にいくつかの追加文字を追加します。スマートクオートやユーロシンボルも含まれています。これは、ExcelがWindowsシステムでデフォルトで使用することが多いので、Excelのエクスポートから多くのエンコーディングの問題が発生する理由です。Latin-1とWindows-1252の違いは微妙ですが、特に句読点の問題を引き起こすことがあります。

私は全てのクライアントに対して使用する簡単な診断テストを作成しました：期待する「é」の代わりに「é」が表示される場合、あなたはLatin-1として読み取られているUTF-8ファイルを持っています。期待する「à」の代わりに「à 」が表示される場合も同様の問題です。期待するアポストロフィの代わりに「’」が表示される場合、Windows-1252スマートクオートとして読み取られているUTF-8ファイルがあります。これらのパターンは非常に一貫しており、破損した出力を見ただけで、通常は30秒以内にエンコーディングの問題を診断できます。

Excelの問題: なぜMicrosoftのスプレッドシートツールがすべてを悪化させるのか

ここでは率直に言う必要があります：Microsoft Excelは企業界におけるCSVエンコーディングの問題の最大の原因です。私はこれを数百のクライアントで追跡しており、私が遭遇するすべてのエンコーディングの問題のおよそ73%がExcelのCSVファイルの扱いから生じています。これはExcelが悪いソフトウェアだからではありません—実際には非常に強力ですが—CSVエンコーディングに関するそのデフォルトの振る舞いが混乱しており、一貫性がありません。

ここに核心的な問題があります：CSVファイルをExcelでダブルクリックして開くと、Excelはエンコーディングを推測しようとします。Windowsでは、通常、ファイルがWindows-1252であると仮定します。ファイルが実際にUTF-8である場合（するべきです）、非ASCII文字が正しく表示されません。しかし、ここで陰湿な部分があります：Excelは問題があることを示しません。ファイルは開かれ、ほとんど問題がないように見えますが、一部の奇妙な文字があります。そして、多くのユーザーはデータが編集されて再保存されるまで気付かず、その時点で破損が固定されてしまいます。

Excelから「名前を付けて保存」してCSVファイルを保存すると、WindowsのデフォルトのエンコーディングはANSIになり、通常はWindows-1252を意味します。つまり、UTF-8ファイルをExcelで開いて、いくつかの編集を行って保存すると、Windows-1252に変換され、そのエンコーディングで表現できない文字を失ってしまう可能性があります。私はこれが国際的な顧客データの完全なデータベースを破壊するのを見てきました。

UTF-8 CSVファイルをExcelで正しく開く方法は、「データ」タブを使用し、「テキスト/CSVから」を選択し、インポートダイアログで明示的にUTF-8をエンコーディングとして選択することです。しかし、私の経験から言うと、Excelユーザーの5%未満がこのワークフローが存在することを知っています。ほとんどの人はただCSVファイルをダブルクリックして、運を天に任せます。

ExcelからUTF-8エンコーディングのCSVファイルを保存するには、「名前を付けて保存」を使用し、ファイルタイプのドロップダウンから「CSV UTF-8（カンマ区切り）」を選択する必要があります。このオプションはExcel 2016にのみ追加されたため、古いバージョンのExcelを使用している人は、回避策やサードパーティ製ツールを使用しなければ適切なUTF-8 CSVファイルを保存できません。

私はクライアントのために「Excel隔離プロトコル」と呼ぶ標準操作手順を開発しました：国際的な文字が含まれている場合、CSVファイルをExcelで直接開かないでください。代わりに、UTF-8を適切に処理できるテキストエディタ（VS Codeのような）を使用してください。