Data Cleaning 101: Fix Messy Data in 10 Steps — csv-x.com

Saya tidak akan pernah melupakan hari ketika saya kehilangan tiga minggu kerja karena satu koma yang salah tempat. Itu adalah tahun 2011, dan saya adalah analis data junior di sebuah perusahaan asuransi menengah di Chicago. Saya telah menghabiskan hampir sebulan membangun model segmentasi pelanggan, hanya untuk menemukan bahwa seluruh dataset saya telah rusak karena format tanggal yang tidak konsisten dan karakter khusus yang nakal bersembunyi di tempat yang seharusnya bersih. Model tersebut tidak berguna. Bos saya sangat marah. Dan saya belajar pelajaran terberat dalam karier saya: data yang berantakan tidak hanya memperlambat Anda — itu bisa sepenuhnya mengganggu pekerjaan Anda.

Pengalaman menyakitkan itu menempatkan saya di jalur yang akan menentukan tiga belas tahun berikutnya dalam hidup profesional saya. Hari ini, sebagai insinyur data senior yang berspesialisasi dalam kualitas dan tata kelola data, saya telah membersihkan lebih banyak dataset daripada yang bisa saya hitung—dari spreadsheet 50 baris hingga database multi-terabyte yang melayani perusahaan Fortune 500. Saya telah melihat setiap jenis masalah data yang bisa dibayangkan: rekaman duplikat yang berlipat ganda seperti kelinci, nilai null yang berpura-pura sebagai nol, bidang teks yang terkontaminasi dengan tag HTML, dan masalah pengkodean yang menjadikan nama menjadi tidak berarti.

Kenyataannya adalah, data kotor ada di mana-mana. Menurut studi Gartner 2023, kualitas data yang buruk menghabiskan organisasi rata-rata sebesar $12,9 juta per tahun. IBM memperkirakan bahwa data buruk menelan biaya ekonomi AS sekitar $3,1 triliun per tahun. Namun, meskipun angka-angka yang mengejutkan ini, sebagian besar organisasi masih menganggap pembersihan data sebagai pemikiran sekunder—sesuatu yang dilakukan dengan terburu-buru di jalan menuju analisis.

Artikel ini adalah upaya saya untuk mengubah itu. Selama beberapa bagian berikutnya, saya akan membimbing Anda melalui proses 10 langkah yang tepat yang saya gunakan untuk mengubah data yang berantakan dan tidak dapat diandalkan menjadi dataset yang bersih dan siap analisis. Ini bukan konsep teoretis—ini adalah teknik yang telah teruji di lapangan yang telah saya perhalus melalui bertahun-tahun pekerjaan praktis. Baik Anda berurusan dengan file CSV sederhana atau dataset multi-sumber yang kompleks, kerangka kerja ini akan membantu Anda mendekati pembersihan data secara sistematis dan efisien.

Langkah 1: Pahami Data Anda Sebelum Anda Menyentuhnya

Kesalahan terbesar yang saya lihat dilakukan oleh pemula adalah langsung terjun ke pembersihan tanpa terlebih dahulu memahami apa yang mereka kerjakan. Ini seperti mencoba memperbaiki mesin mobil tanpa tahu model apa yang sedang Anda hadapi. Anda perlu memulai dengan rekognisi.

Ketika saya menerima dataset baru, saya menghabiskan setidaknya 30 menit hanya untuk menjelajahinya sebelum melakukan perubahan apapun. Saya membukanya di alat seperti Excel, Google Sheets, atau penampil CSV dan menggulir melalui itu. Saya mencari pola, anomali, dan struktur. Berapa banyak baris dan kolom yang ada? Apa yang diberitahukan oleh header kolom kepada saya? Apakah ada bagian atau pengelompokan yang jelas? Apakah saya melihat bendera merah segera seperti sel yang digabung, penandaan warna, atau subtotal yang tersemat?

Selanjutnya, saya menghasilkan statistik dasar untuk setiap kolom. Untuk bidang numerik, saya ingin tahu nilai minimum, maksimum, rata-rata, dan median. Untuk bidang teks, saya ingin melihat jumlah nilai unik dan entri yang paling umum. Tinjauan statistik ini sering kali mengungkap masalah yang tidak terlihat ketika Anda hanya menggulir melalui baris. Misalnya, jika kolom "kuantitas" memiliki nilai minimum -500, itu adalah masalah kualitas data yang jelas yang perlu diselidiki.

Saya juga membuat kamus data pada tahap ini—dokumen sederhana yang menjelaskan setiap bidang, tipe data yang diharapkan, tujuannya, dan masalah yang diketahui. Ini mungkin tampak seperti pekerjaan tambahan, tetapi sangat menghemat waktu di kemudian hari. Ketika Anda sedang terjebak dalam pembersihan dan Anda menghadapi sesuatu yang membingungkan, Anda dapat merujuk kembali ke kamus Anda daripada mencoba mengingat apa yang Anda pelajari tiga jam yang lalu.

Dokumentasi sangat penting ketika Anda bekerja dengan data dari beberapa sumber atau ketika Anda perlu mengulangi proses pembersihan di masa depan. Saya pernah mengerjakan proyek di mana kami menerima data penjualan bulanan dari 47 kantor regional yang berbeda, masing-masing dengan konvensi pemformatan yang sedikit berbeda. Membuat kamus data yang komprehensif pada bulan pertama menghemat ratusan jam di tahun berikutnya.

Terakhir, saya selalu membuat salinan cadangan dari data asli sebelum melakukan hal lain. Saya tidak bisa menekankan ini cukup: jangan pernah bekerja langsung pada satu-satunya salinan data Anda. Saya sudah melihat terlalu banyak orang secara tidak sengaja menimpa file sumber mereka dan kehilangan informasi yang tidak dapat digantikan. Buat salinan, beri nama dengan jelas dengan cap tanggal, dan simpan di tempat yang aman. Diri Anda di masa depan akan berterima kasih kepada Anda.

Langkah 2: Standarkan Struktur dan Format Anda

Setelah Anda memahami data Anda, langkah selanjutnya adalah menetapkan struktur yang konsisten. Pemformatan yang tidak konsisten adalah salah satu masalah kualitas data yang paling umum dan menjengkelkan yang saya temui. Ini muncul dalam berbagai cara: tanggal yang ditulis sebagai "01/15/2024" di satu baris dan "15 Januari 2024" di baris lainnya, nomor telepon dengan dan tanpa tanda hubung, kapitalisasi yang tidak konsisten, dan satuan pengukuran yang campur aduk.

"Data kotor bukan hanya masalah teknis—itu adalah risiko bisnis. Setiap keputusan yang diambil berdasarkan data yang buruk adalah keputusan yang diambil dalam kegelapan."

Saya mulai dengan menstandarkan format tanggal. Tanggal sangat bermasalah karena sistem dan wilayah yang berbeda memformatnya secara berbeda. Apakah "03/04/2024" adalah 4 Maret atau 3 April? Tanpa konteks, tidak mungkin untuk mengetahuinya. Saya selalu mengonversi tanggal ke format ISO 8601 (YYYY-MM-DD) karena tidak ambigu dan dapat diurutkan dengan benar. Jika data Anda menyertakan waktu, gunakan format YYYY-MM-DD HH:MM:SS.

Selanjutnya, saya menangani pemformatan teks. Saya menetapkan aturan untuk kapitalisasi dan menerapkannya secara konsisten. Untuk nama, saya biasanya menggunakan huruf kapital (John Smith). Untuk kode atau pengidentifikasi, saya mungkin menggunakan huruf besar (SKU-12345). Pilihan spesifik menjadi kurang penting dibandingkan konsistensi. Saya juga menghapus spasi yang tidak perlu di awal dan akhir dari semua bidang teks—karakter yang tidak terlihat ini menyebabkan masalah tanpa akhir ketika Anda mencoba mencocokkan atau menyaring data.

Pemformatan angka juga memerlukan perhatian. Hapus simbol mata uang, tanda persen, dan pemisah ribuan dari bidang numerik. Simpan ini sebagai angka murni dan terapkan pemformatan hanya saat menyajikan data. Saya pernah memperbaiki kesalahan perhitungan selama dua jam sebelum menyadari bahwa beberapa angka disimpan sebagai teks karena menyertakan koma. Rumusnya memperlakukan "1.000" sebagai teks dan "1000" sebagai angka, menghasilkan hasil yang sangat tidak konsisten.

Untuk data kategorikal, saya membuat daftar nilai yang dapat diterima yang distandarisasi dan memetakan semuanya ke daftar itu. Jika Anda memiliki bidang "status" yang seharusnya hanya berisi "Aktif," "Tidak Aktif," atau "Tertunda," tetapi Anda menemukan variasi seperti "aktif," "AKTIF," "Dalam Proses," dan "Tunggu," Anda perlu membersihkannya. Saya biasanya membuat tabel pemetaan yang menunjukkan nilai asli dan padanannya yang distandarisasi, kemudian menggunakan temukan dan ganti atau fungsi pencarian untuk menerapkan koreksi tersebut.

Header kolom juga memerlukan perhatian khusus. Saya mengganti namanya agar jelas, ringkas, dan konsisten. Saya menghindari spasi (gunakan garis bawah sebagai gantinya), karakter khusus, dan singkatan yang ambigu. "Cust_Name" lebih baik daripada "Nama Pelanggan" untuk sebagian besar alat pemrosesan data, dan "order_date" lebih jelas daripada "Ord_Dt" ketika Anda membaca kode enam bulan kemudian.

Langkah 3: Tangani Nilai yang Hilang Secara Strategis

Data yang hilang adalah hal yang tidak terhindarkan. Berdasarkan pengalaman saya, hampir setiap dataset dunia nyata memiliki celah. Pertanyaannya bukan apakah Anda akan menemukan nilai yang hilang, tetapi bagaimana Anda akan menanganinya. Pendekatan yang Anda pilih dapat secara signifikan memengaruhi hasil analisis Anda, jadi langkah ini memerlukan pemikiran yang hati-hati.

Pertama, saya mengidentifikasi semua cara nilai yang hilang muncul dalam dataset. Nilai null adalah yang paling jelas, tetapi data yang hilang sering menyamar. Saya pernah melihat dataset di mana nilai yang hilang diwakili sebagai "N/A," "NULL," "Tidak Ada," "—," string kosong, nol, 999, atau bahkan satu spasi. Anda perlu menemukan semua variasi ini dan memutuskan bagaimana menanganinya.

Strategi yang tepat tergantung pada mengapa data hilang dan apa yang Anda rencanakan untuk melakukannya. Jika nilai hilang sepenuhnya secara acak dan mewakili sm