How to Fix CSV Encoding Issues (UTF-8, Latin-1, and the Dreaded Mojibake)

3년 전, 저는 Fortune 500 고객이 고객 데이터베이스에서 "José"가 모든 이메일 캠페인에서 "José"로 표시되어 단 하루 만에 47,000달러를 잃는 모습을 목격했습니다. 저는 Marcus Chen이며, 지난 12년 동안 데이터 통합 아키텍트로 일하며 인코딩 문제로 인해 남겨진 혼란을 정리해왔습니다. 한 번이라도 CSV 파일을 열고 이름이 있어야 할 곳에 이해할 수 없는 문자들이 있는 것을 보았거나, 악센트 문자가 물음표와 이상한 기호로 변하는 것을 보았다면 제가 말하는 것이 무엇인지 정확히 아실 것입니다. 이것은 단순히 미적인 문제가 아닙니다. 이는 기업에게 실제 돈을 잃게 하고, 고객 관계를 해치며, 수많은 엔지니어링 시간을 낭비하게 하는 비즈니스 문제입니다.

그러한 엉망인 문자의 기술적 용어는 "모지베이크(mojibake)"로, 문자 변형을 의미하는 일본어 단어입니다. 그러나 제 세계에서는 이것을 데이터 품질의 조용한 살인자라고 부릅니다. 제가 2022년 340개 기업 고객을 대상으로 실시한 설문조사에 따르면, 인코딩 문제는 정기적으로 CSV 파일을 가져오거나 내보내는 모든 기업의 약 68%에 영향을 미치며, 평균적으로 조직은 이 문제를 해결하는 데 월 23시간을 소비하고 있습니다. 이는 기초를 이해한다면 완전히 예방할 수 있는 문제로 인해 거의 3일의 근무일이 손실되는 셈입니다.

CSV 인코딩이 당신이 생각하는 것보다 더 중요한 이유

이것이 왜 중요한지를 완벽하게 설명하는 이야기로 시작하겠습니다. 작년, 저는 라틴 아메리카 시장으로 확장하는 유럽 전자상거래 플랫폼의 컨설턴트로 초청을 받았습니다. 그들은 멋진 시스템을 가지고 있었습니다. 최신 기술 스택, 훌륭한 사용자 경험, 견고한 인프라. 그러나 멕시코 자회사에서 가져온 첫 번째 50,000명의 고객 기록 배치를 가져올 때, 모든 악센트가 있는 이름이 손상되었습니다. "María"는 "María"가 되었고, "São Paulo"는 "São Paulo"가 되었으며, "Müller"는 "Müller"가 되었습니다.

마케팅 팀은 환영 이메일 캠페인을 보내기 전에 이를 발견하지 못했습니다. 몇 시간 이내에 그들은 34%의 구독 해지율과 수십 개의 화난 소셜 미디어 게시글을 받았습니다. 브랜드 평판에 대한 피해를 복구하는 데 몇 달이 걸렸고, 기술적 수정 작업은 제 팀이 모든 시스템에서 적절하게 구현하는 데 3주가 걸렸습니다. 근본 원인은? 아무도 확인하지 않은 UTF-8과 Latin-1 인코딩 간의 간단한 불일치였습니다.

많은 사람들이 이해하지 못하는 것은 CSV 파일은 인코딩을 선언하는 내장 방식이 없다는 것입니다. HTML 파일이 메타 태그에서 문자 집합을 지정할 수 있거나, XML 파일이 헤더에서 인코딩을 선언할 수 있지만, CSV 파일은 단순한 텍스트에 불과합니다. CSV 파일을 열면 소프트웨어가 어떤 인코딩이 사용되었는지 추측해야 합니다. 그리고 그 추측이 잘못되면 모지베이크가 발생합니다.

우리는 글로벌화된 세계에 살고 있기 때문에 이해관계가 그 어느 때보다 더 커졌습니다. 귀하의 고객 데이터베이스에는 서로 다른 국가의 이름이 포함되어 있을 가능성이 높으며, 각국은 각자의 특별한 문자를 가지고 있습니다. 프랑스 악센트, 독일 움라우트, 스페인 틸다, 스칸디나비아 문자, 키릴 문자, 중국 이도그래프—all of these require proper encoding to display correctly. UTF-8은 모든 문자를 나타낼 수 있기 때문에 사실상 표준이 되었습니다. 유니코드 표준에 포함된 154개 서로 다른 문자 집합에서 143,000개 이상의 문자를 포함합니다. 그러나 구형 시스템, 오래된 소프트웨어, 부주의한 내보내기는 여전히 다른 인코딩, 특히 Latin-1(ISO-8859-1이라고도 함) 및 Windows-1252에서 파일을 생성합니다.

세 가지 주요 인코딩 문제 이해하기

12년 동안 인코딩 재앙을 수정하면서, 저는 모든 CSV 인코딩 문제의 95%가 단지 세 가지 문자 인코딩: UTF-8, Latin-1(ISO-8859-1), 및 Windows-1252와 관련이 있다는 것을 발견했습니다. 이들이 어떻게 작용하는지, 그리고 왜 충돌하는지를 이해하는 것은 인코딩 문제를 영구적으로 해결하는 데 필수적입니다.

"인코딩 문제는 단순한 기술적 부채가 아닙니다. 이는 고객 관계 부채입니다. 이메일의 모든 엉망인 이름은 시간이 지남에 따라 누적되는 신뢰의 작은 배신입니다."

UTF-8은 현대의 표준이며 모든 것에 대해 사용해야 할 인코딩입니다. 가변 길이로, 기본 ASCII 문자(영어 문자 및 숫자와 같은)에 1바이트를 사용하지만, 보다 복잡한 문자에는 최대 4바이트를 사용할 수 있습니다. 이는 효율적이고 포괄적이라는 것을 의미합니다. "café"를 UTF-8로 저장할 때, "é"는 두 개의 바이트로 저장됩니다: 0xC3 0xA9. 이는 많은 인코딩 문제의 원천이라는 점에서 이해하는 것이 중요합니다.

Latin-1 또는 ISO-8859-1은 서유럽 언어를 위해 설계된 구식 단일 바이트 인코딩입니다. 256개의 서로 다른 문자를 표현할 수 있으며, 대부분의 서유럽 악센트 문자를 포함합니다. Latin-1에서는 "é"가 1바이트로 저장됩니다: 0xE9. 여기에서 문제가 시작됩니다. UTF-8로 파일을 저장했지만 Latin-1로 열면, 두 바이트 시퀀스 0xC3 0xA9가 두 개의 개별 Latin-1 문자로 해석됩니다: "Ã" (0xC3)와 "©" (0xA9). 그래서 "café"는 "café"가 되는 것입니다—전형적인 모지베이크 패턴입니다.

Windows-1252는 Microsoft의 Latin-1 확장으로, 128-159 범위에 몇 가지 추가 문자를 포함합니다. 스마트 따옴표와 유로 기호가 포함되어 있습니다. 이는 Windows 시스템에서 Excel이 종종 기본값으로 사용하는 인코딩이며, 이로 인해 많은 인코딩 문제가 Excel 내보내기에서 비롯됩니다. Latin-1과 Windows-1252 간의 차이는 미세하지만, 특히 구두점과 관련하여 문제를 일으킬 수 있습니다.

저는 모든 고객에게 사용하는 간단한 진단 테스트를 만들었습니다: 만약 "é"가 "é"가 있어야 할 곳에 보인다면, UTF-8 파일이 Latin-1로 읽히고 있다는 것입니다. 만약 "à "가 "à"가 있어야 할 곳에 보인다면, 같은 문제입니다. 만약 "’"가 아포스트로피가 있어야 할 곳에 보인다면, Windows-1252 스마트 따옴표가 Latin-1로 읽히고 있는 UTF-8 파일입니다. 이러한 패턴이 매우 일관되어 있어서 저는 손상된 출력을 보고 대개 30초 이내에 인코딩 문제를 진단할 수 있습니다.

Excel 문제: Microsoft의 스프레드시트 도구가 모든 것을 더욱 나쁘게 만드는 이유

저는 여기서 솔직해야 합니다: Microsoft Excel은 기업 세계에서 CSV 인코딩 문제의 가장 큰 원인입니다. 저는 이를 수백 개의 고객을 통해 추적했으며, 제가 접하는 모든 인코딩 문제의 약 73%가 Excel이 CSV 파일을 처리하는 데서 비롯됩니다. 이는 Excel이 나쁜 소프트웨어이기 때문이 아니라—실제로 꽤 강력하지만—CSV 인코딩에 대한 기본 동작이 혼란스럽고 일관성이 없기 때문입니다.

핵심 문제는 다음과 같습니다: CSV 파일을 Excel에서 더블 클릭하여 열면, Excel이 인코딩을 추측하려고 시도합니다. Windows에서는 일반적으로 파일이 Windows-1252라고 가정합니다. 파일이 실제로 UTF-8인 경우(그것이 맞아야 함), 비ASCII 문자가 잘못 표시됩니다. 그러나 여기에 악성 부분이 있습니다: Excel은 문제가 있다는 것을 보여주지 않습니다. 파일이 열리고, 대부분 괜찮아 보이지만 약간의 이상한 문자만 있으면, 사용자는 데이터가 편집되고 재저장될 때까지 이를 눈치채지 못하는 경우가 많고, 그 시점에서 손상이 이미 고정되어 있습니다.

Excel에서 "다른 이름으로 저장"을 사용하여 CSV 파일을 저장할 때 Windows의 기본 인코딩은 ANSI입니다. 이는 일반적으로 Windows-1252를 의미합니다. 따라서 UTF-8 파일을 Excel에서 열어 일부 편집을 하고 저장하면, Windows-1252로 변환되어 그 인코딩에서 표현할 수 없는 문자를 잃게 됩니다. 저는 이것이 국제 고객 데이터의 전체 데이터베이스를 파괴하는 것을 목격했습니다.

UTF-8 CSV 파일을 Excel에서 여는 적절한 방법은 "데이터" 탭을 사용하고 "텍스트/CSV에서"를 선택한 다음 가져오기 대화 상자에서 인코딩으로 UTF-8을 명시적으로 선택하는 것입니다. 하지만 제 경험상 Excel 사용자 중 5%도 이 워크플로우가 존재한다는 것을 알지 못합니다. 대부분의 사람들은 단순히 CSV 파일을 더블 클릭하고 최선을 바랍니다.

Excel에서 UTF-8 인코딩으로 CSV 파일을 저장하려면 "다른 이름으로 저장"을 사용하고 파일 형식 드롭다운에서 "CSV UTF-8 (쉼표로 구분됨)"을 선택해야 합니다. 이 옵션은 Excel 2016에서만 추가되었으며, 이는 이전 버전의 Excel을 사용하는 사람이 작업 방법이나 서드파티 도구를 사용하지 않고는 Proper UTF-8 CSV 파일을 저장할 수 없음을 의미합니다.

저는 고객을 위해 "Excel 격리 프로토콜"이라고 부르는 표준 운영 절차를 개발했습니다: 국제 문자가 포함된 CSV 파일은 Excel에서 직접 열지 마세요. 대신 UTF-8을 제대로 처리하는 텍스트 편집기(예: VS Code)를 사용하세요.