How to Clean Messy CSV Data (A Practical Checklist)

Selasa lalu, saya melihat seorang analis junior menghabiskan empat jam memperbaiki file CSV secara manual yang seharusnya hanya memerlukan dua puluh menit untuk dibersihkan. Dia menyalin dan menempel sel satu per satu, mencoba memperbaiki format tanggal yang telah diekspor dari tiga sistem yang berbeda. Saat dia selesai, matanya sudah tampak kosong, dan file tersebut masih memiliki inkonsistensi yang tidak dia tangkap. Saya telah menjadi insinyur data selama dua belas tahun, dan saya sering melihat skenario ini terjadi—orang-orang cerdas menghabiskan seluruh sore mereka pada file CSV yang berantakan karena mereka tidak memiliki pendekatan yang sistematis.

Kenyataannya, file CSV merupakan format data yang paling universal dan paling bermasalah yang ada. Setiap sistem dapat mengekspornya, setiap alat dapat mengimpornya, dan meskipun demikian, mereka adalah ladang ranjau masalah pengkodean, kebingungan pemisah, dan inkonsistensi struktural. Menurut survei 2023 oleh Data Quality Institute, para profesional data menghabiskan rata-rata 19,2 jam per minggu untuk tugas pembersihan data, dengan pengolahan CSV menyumbang sekitar 40% dari waktu tersebut. Itu hampir delapan jam setiap minggu—satu hari kerja—hilang untuk memperbaiki masalah yang seharusnya dapat dicegah.

Saya Marcus Chen, dan saya telah menghabiskan satu dekade terakhir membangun pipeline data untuk perusahaan mulai dari startup yang penuh semangat hingga perusahaan Fortune 500. Saya telah memproses miliaran baris data CSV, dan saya telah melihat setiap cara yang mungkin di mana file ini dapat rusak. Apa yang saya pelajari adalah bahwa membersihkan data CSV yang berantakan bukanlah tentang menjadi pintar—ini tentang menjadi sistematis. Anda membutuhkan daftar periksa, proses yang dapat diulang yang menangkap masalah sebelum mereka merusak analisis atau database Anda. Artikel ini adalah daftar periksa itu, disaring dari ribuan jam pengolahan data di dunia nyata.

Memahami Apa yang Membuat File CSV Sangat Bermasalah

Sebelum kita menyelami proses pembersihan, Anda perlu memahami mengapa file CSV menyebabkan begitu banyak sakit kepala. Formatnya terlihat sangat sederhana: nilai-nilai yang dipisahkan oleh koma, satu baris per baris. Tetapi kesederhanaan itu adalah masalahnya. Tidak seperti format terstruktur seperti JSON atau XML, CSV tidak memiliki spesifikasi formal yang diikuti oleh semua orang. Standar RFC 4180 ada, tetapi lebih merupakan saran daripada aturan, dan sebagian besar sistem sama sekali mengabaikannya.

Saya pernah menerima file CSV dari sistem akuntansi warisan klien yang menggunakan titik koma sebagai pemisah, memiliki koma yang tertanam dalam nilai numerik (seperti "1,234.56"), menggunakan tanda kutip tunggal dan ganda untuk kualifikasi teks, dan mencampur akhir baris Windows dan Unix dalam file yang sama. Saya menghabiskan tiga jam hanya untuk mem-parsing-nya dengan benar, dan itu pun sudah dengan alat profesional. File tersebut telah "bekerja dengan baik" dalam sistem mereka selama bertahun-tahun karena perangkat lunak mereka memiliki logika khusus untuk menangani semua keanehan ini.

Masalah inti dengan file CSV jatuh ke dalam beberapa kategori. Pertama, ada masalah pemisah—koma umum dalam data, jadi sistem menggunakan tab, pipa, titik koma, atau karakter lain, tetapi mereka tidak selalu memberi tahu Anda yang mana. Kedua, ada kualifikasi teks—kapan Anda perlu tanda kutip di sekitar nilai, dan apa yang terjadi ketika data Anda mengandung karakter kutip? Ketiga, ada pengkodean—apakah ini UTF-8, Latin-1, Windows-1252, atau sesuatu yang lain sepenuhnya? Jika salah, Anda akan melihat karakter sampah di mana seharusnya ada huruf dengan aksen.

Kemudian ada masalah struktural. File CSV tidak memiliki cara bawaan untuk merepresentasikan tipe data, jadi semuanya adalah teks sampai Anda mem-parsing-nya. Tanggal mungkin "2024-01-15", "01/15/2024", "15-Jan-24", atau "15 Januari 2024"—dan kadang-kadang keempat format tersebut muncul dalam kolom yang sama karena pengguna yang berbeda memasukkan data dengan cara yang berbeda. Angka mungkin memiliki simbol mata uang, tanda persen, atau pemisah ribuan. Nilai boolean mungkin "benar/salah", "ya/tidak", "1/0", "Y/T", atau kombinasi apapun dari itu.

Bagian terburuk adalah bahwa banyak masalah CSV bersifat diam. Alat impor Anda mungkin berhasil tanpa kesalahan, tetapi data Anda secara halus terkorupsi. Saya telah melihat kasus di mana nol di depan dihapus dari kode produk, mengubah "00123" menjadi "123" dan merusak sistem inventaris. Saya telah melihat tanggal yang diinterpretasikan dengan salah karena sistem menganggap MM/DD/YYYY ketika file menggunakan DD/MM/YYYY, menyebabkan pesanan dijadwalkan untuk tanggal yang mustahil seperti Februari 31. Kesalahan ini tidak mengumumkan dirinya sendiri—mereka bersembunyi dalam data Anda sampai seseorang memperhatikan bahwa angka-angka tidak cocok.

Langkah Satu: Periksa Sebelum Anda Mengimpor

Kesalahan terbesar yang dilakukan orang dengan file CSV adalah membukanya langsung di Excel atau mengimpornya langsung ke dalam database. Jangan lakukan ini. Langkah pertama Anda harus selalu inspeksi dengan editor teks atau alat baris perintah. Saya menggunakan kombinasi head, tail, dan wc -l pada sistem Unix, atau editor teks programmer seperti VS Code atau Sublime Text yang dapat menangani file besar tanpa terhenti.

"File CSV adalah kecoa dari format data—mereka bertahan dalam segala hal, bekerja di mana saja, dan menyebabkan masalah yang tidak Anda duga."

Mulailah dengan melihat 20-30 baris pertama dari file tersebut. Ini memberi tahu Anda pemisah, apakah ada baris header, dan seperti apa struktur umumnya. Tetapi jangan berhenti di situ—juga lihat 20-30 baris terakhir. Saya tidak dapat menghitung berapa kali saya menemukan bahwa sebuah file mulai bersih tetapi berakhir dengan sampah: baris parsial, pesan kesalahan dari proses ekspor, atau statistik ringkasan yang dengan senang hati ditambahkan seseorang ke data. Sistem ERP klien saya menambahkan footer dengan "Total Rekor: 45.892" di akhir setiap ekspor, yang akan menghentikan setiap proses impor naif.

Periksa jumlah baris dengan wc -l filename.csv dan bandingkan dengan apa yang Anda harapkan. Jika file seharusnya memiliki 10.000 rekaman ditambah header, Anda seharusnya melihat 10.001 baris. Jika Anda melihat 10.247 baris, ada yang tidak beres—mungkin ada pemisah baris yang tertanam di bidang teks. Ini sangat umum terjadi pada file CSV yang berisi konten yang dihasilkan pengguna seperti komentar atau deskripsi. Seseorang menulis "Produk ini hebat\nSangat merekomendasikan" dan tiba-tiba Anda memiliki pemisah baris di tengah baris.

Cari pemisah dengan memeriksa beberapa baris pertama. Hitung koma, tab, pipa, atau titik koma di setiap baris. Mereka harus konsisten. Jika baris pertama memiliki 12 koma dan baris kedua memiliki 15, Anda memiliki masalah—baik pemisahnya salah, atau Anda memiliki bidang teks yang tidak berkualitas yang mengandung karakter pemisah. Saya pernah menghabiskan satu jam melakukan debugging pada sebuah file sebelum menyadari bahwa itu menggunakan karakter pipa (|) sebagai pemisah, yang hampir tidak terlihat di font terminal saya.

Periksa pengkodean dengan mencari karakter non-ASCII. Jika Anda melihat simbol aneh seperti ’ alih-alih tanda kutip, atau é alih-alih é, Anda memiliki ketidakcocokan pengkodean. File tersebut kemungkinan besar UTF-8 tetapi dibaca sebagai Latin-1, atau sebaliknya. Gunakan alat seperti file -i filename.csv pada Unix untuk mendeteksi pengkodean, atau gunakan fitur deteksi pengkodean editor teks Anda. Salah mendeteksi ini lebih awal berarti setiap bidang teks dalam data Anda akan terkorupsi.

Langkah Dua: Validasi Struktur

Setelah Anda memeriksa file secara manual, langkah berikutnya adalah validasi struktural. Setiap baris harus memiliki jumlah bidang yang sama, dan jumlah itu harus cocok dengan baris header Anda. Ini terdengar jelas, tetapi sering dilanggar dalam data dunia nyata. Saya menggunakan Python dengan modul csv atau pandas untuk melakukan validasi ini secara programatik, karena memeriksa ribuan baris dengan mata tidak mungkin.

Ini adalah skrip Python sederhana yang saya jalankan pada setiap file CSV yang saya terima: ia menghitung bidang di setiap baris dan melaporkan setiap yang tidak cocok dengan header. Dalam proyek terbaru, skrip ini mengungkapkan bahwa 347 dari 50.000 baris memiliki bidang tambahan karena proses ekspor memiliki bug yang menduplikasi kolom terakhir dalam kondisi tertentu. Tanpa pemeriksaan ini, baris tersebut akan secara diam-diam terkorupsi saat diimpor, dengan data tambahan terpotong atau didorong ke kolom yang salah.

Perhatikan dengan seksama bidang yang dikutip. CSV menggunakan tanda kutip untuk memungkinkan pemisah dan pemisah baris di dalam nilai bidang, tetapi aturan pengutipan itu kompleks dan sering kali diimplementasikan dengan salah. Sebuah bidang seperti "Smith, John" dihitung dengan benar, tetapi bagaimana dengan "Dia berkata "halo" padaku"? Format yang benar adalah "Dia berkata ""halo"" padaku" dengan kutipan ganda, tetapi banyak sistem salah memahami ini dan menghasilkan "Dia berkata "halo" padaku", yang merusak pemrosesan.

Periksa untuk baris kosong, yang sering muncul di akhir file atau di antara bagian data. Ini harus