80% of Data Work Is Cleaning. Here's How to Speed It Up. \u2014 CSV-X.com

Saya masih ingat hari ketika saya menyadari saya telah menghabiskan enam jam membersihkan satu dataset. Enam jam. Bukan membangun model, bukan menghasilkan wawasan, bukan membuat visualisasi yang akan mengesankan para pemangku kepentingan—hanya membersihkan. Menghapus duplikat, menstandarkan format tanggal, memperbaiki masalah encoding, menyelaraskan nama kolom yang tidak cocok. Itu tahun 2018, saya sudah tiga tahun bekerja sebagai insinyur data di sebuah perusahaan e-commerce menengah, dan saya terjebak dalam file CSV yang terlihat bersih secara sekilas tetapi benar-benar kacau di dalamnya.

Hari itu mengubah segalanya bagi saya. Saya mulai melacak waktu saya secara religius, dan angkanya sangat mencolok: 78% dari jam kerja saya dihabiskan untuk persiapan dan pembersihan data. Bukan 78% dari satu proyek—78% dari seluruh pekerjaan saya. Saya tidak sendirian. Survei 2020 oleh Anaconda menemukan bahwa ilmuwan data menghabiskan 45% dari waktu mereka untuk memuat dan membersihkan data, dan 19% lagi untuk pengumpulan data. Itu 64% di sana, dan menurut pengalaman saya bekerja dengan sumber data dunia nyata yang lebih berantakan, angka itu bahkan lebih tinggi.

Melihat ke hari ini. Saya sekarang adalah insinyur data senior dengan lebih dari delapan tahun pengalaman, dan saya telah bekerja dengan segala hal mulai dari gudang data yang bersih hingga ekspor CSV legasi yang tampak seperti disusun oleh sekelompok orang yang belum pernah bertemu. Saya telah membersihkan jutaan baris di ratusan proyek, dan saya telah belajar sesuatu yang penting: 80% waktu yang kita habiskan untuk pembersihan data bukanlah hal yang tidak terhindarkan. Itu adalah gejala dari alat yang buruk, alur kerja yang tidak efisien, dan pemahaman yang salah tentang apa yang sebenarnya diperlukan dalam pembersihan data.

Artikel ini adalah segalanya yang saya harap seseorang katakan kepada saya kembali pada tahun 2018. Ini adalah strategi yang telah teruji dalam pertempuran, wawasan yang diperoleh dengan susah payah, dan alat praktis yang telah membantu saya mengurangi waktu pembersihan data saya dari 80% menjadi sekitar 35%—dan kadang-kadang bahkan lebih rendah. Jika Anda lelah menghabiskan hari Anda berbenturan dengan file CSV alih-alih melakukan pekerjaan yang sebenarnya Anda latih untuk itu, teruslah membaca.

Biaya Sebenarnya dari Pembersihan Data yang Tidak Pernah Dibicarakan

Ayo kita mulai dengan beberapa perhitungan yang tidak nyaman. Jika Anda seorang profesional data yang menghasilkan $85,000 setahun (kira-kira median untuk analis data di AS), dan Anda menghabiskan 80% waktu Anda untuk pembersihan data, itu berarti organisasi Anda membayar $68,000 setiap tahun hanya agar Anda mempersiapkan data. Bukan menganalisisnya. Bukan mendapatkan wawasan darinya. Hanya menyiapkannya.

Sekarang kalikan itu di seluruh tim. Tim data yang terdiri dari lima orang pada level gaji itu menghabiskan $340,000 per tahun hanya untuk pembersihan data. Itu lebih banyak daripada biaya untuk merekrut seorang ilmuwan data senior tambahan. Itu cukup untuk mendanai perbaikan infrastruktur yang signifikan, program latihan, atau investasi alat yang dapat mengurangi beban pembersihan tersebut.

Namun biaya finansial hanya sebagian dari cerita. Ada juga biaya peluang—analisis yang tidak pernah terjadi, wawasan yang tidak pernah muncul, pertanyaan yang tidak pernah ditanyakan karena tim terlalu sibuk memperbaiki format tanggal dan menghapus baris duplikat. Dalam peran saya sebelumnya, kami memperkirakan bahwa untuk setiap jam yang dihabiskan untuk membersihkan data, kami kehilangan sekitar 2,5 jam pekerjaan analitis potensial. Mengapa 2,5? Karena pada saat Anda telah beralih dari mode pembersihan kembali ke pemikiran analitis, Anda telah kehilangan momentum, melupakan konteks, dan perlu waktu untuk membangun kembali model mental Anda tentang masalah tersebut.

Lalu ada biaya psikologis. Pembersihan data membosankan, berulang, dan seringkali terasa seperti pekerjaan Sisyphus. Anda memperbaiki satu dataset, dan besok ada yang lain dengan masalah yang sama. Ini menyebabkan kelelahan, ketidakpuasan kerja, dan perputaran karyawan. Dalam survei informal yang saya lakukan pada tahun 2019 di antara jaringan profesional data saya, 67% menyebutkan "terlalu banyak waktu untuk pembersihan data" sebagai faktor utama dalam mempertimbangkan untuk meninggalkan peran mereka saat ini.

Bagian terburuk? Sebagian besar rasa sakit ini adalah hasil dari diri kita sendiri. Kita menggunakan alat yang dirancang untuk pekerjaan yang salah, mengikuti alur kerja yang masuk akal pada tahun 2005 tetapi sangat tidak efisien saat ini, dan menerima standar kualitas data yang akan tampak konyol dalam disiplin rekayasa lainnya. Bayangkan jika insinyur perangkat lunak menghabiskan 80% dari waktu mereka memperbaiki kesalahan sintaks karena IDE mereka tidak memiliki linter. Ini pada dasarnya adalah posisi kita dengan pembersihan data.

Mengapa File CSV Sempurna dan Mengerikan

File CSV adalah kecoak dunia data—mereka telah bertahan melalui setiap pergeseran teknologi, mereka ada di mana-mana, dan hampir tidak mungkin untuk dibunuh. Ada alasan yang baik untuk ini: CSV sangat sederhana. Ini dapat dibaca oleh manusia, berfungsi di setiap platform, tidak memerlukan perangkat lunak khusus, dan telah ada sejak tahun 1970-an. Ketika Anda perlu memindahkan data antara sistem, CSV seringkali adalah penghubung terendah yang hanya berfungsi.

80% waktu yang kita habiskan untuk pembersihan data bukanlah hal yang tidak terhindarkan—itu adalah gejala dari alat yang buruk, alur kerja yang tidak efisien, dan pemahaman yang salah tentang apa yang sebenarnya diperlukan dalam pembersihan data.

Tetapi kesederhanaan itu datang dengan biaya tersembunyi yang besar. CSV tidak memiliki penegakan skema, tidak ada validasi tipe data, tidak ada cara yang distandarisasi untuk menangani nilai null, dan tidak ada dukungan bawaan untuk struktur bersarang. Ini adalah format yang mengatakan "ini beberapa teks yang dipisahkan oleh koma, semoga sukses memecahkan artinya." Ini mengarah pada parade masalah tanpa akhir yang menghabiskan waktu kita.

Menurut pengalaman saya, berikut adalah masalah CSV yang paling umum saya temui, diurutkan berdasarkan seberapa banyak waktu yang terbuang:

• Masalah Encoding (25% dari waktu pembersihan): UTF-8, Latin-1, Windows-1252—file CSV datang dalam setiap encoding yang dapat dibayangkan, dan encoding yang tidak cocok mengubah teks menjadi omong kosong. Suatu ketika saya menghabiskan empat jam untuk men-debug apa yang ternyata merupakan satu karakter kutip pintar yang menjatuhkan seluruh jalur kami.
• Pemisah yang Tidak Konsisten (20%): Meskipun namanya, file CSV tidak selalu menggunakan koma. Terkadang menggunakan titik koma, tab, atau pipa. Terkadang berubah di tengah file. Terkadang pemisah muncul di dalam data itu sendiri dan tidak di-escape dengan benar.
• Kerusuhan Format Tanggal (18%): Apakah "01/02/2023" adalah 2 Januari atau 1 Februari? Apakah "2023-01-02" adalah tanggal atau hanya string? Bagaimana dengan "Jan 2, 2023" atau "2-Jan-23"? Setiap sistem memiliki konvensinya sendiri, dan CSV tidak mempertahankan satu pun dari mereka.
• Ambiguitas Tipe (15%): Apakah "123" angka atau string? Bagaimana dengan "00123"? Atau "1.23e5"? CSV menyimpan semuanya sebagai teks, meninggalkan Anda untuk menebak tipe yang dimaksud.
• Penanganan Nilai Null (12%): String kosong, "NULL", "N/A", "null", sel kosong, "-", "0"—saya telah melihat setidaknya 30 cara berbeda untuk merepresentasikan data yang hilang dalam file CSV, sering kali dicampur dalam file yang sama.
• Konsistensi Header (10%): Nama kolom dengan spasi, karakter khusus, kapitalisasi yang tidak konsisten, atau tanpa header sama sekali. Kadang-kadang baris header sebenarnya adalah baris 3 karena seseorang menambahkan metadata di bagian atas.

Tragedinya adalah bahwa semua masalah ini dapat diselesaikan. Format data modern seperti Parquet, Avro, atau bahkan JSON menangani sebagian besar masalah ini secara otomatis. Tetapi CSV bertahan karena bersifat universal, dan kita terjebak menghadapi batasannya. Kuncinya bukan untuk meninggalkan CSV—itu tidak realistis—tetapi untuk mengembangkan alur kerja yang meminimalkan rasa sakit saat bekerja dengannya.

Pendekatan Tiga Fase untuk Pembersihan Data yang Lebih Cepat

Setelah bertahun-tahun mencoba dan gagal, saya telah menetapkan pendekatan tiga fase yang secara konsisten mengurangi waktu pembersihan sebesar 50-60%. Fase tersebut adalah: Triage, Transformasi, dan Validasi. Setiap fase memiliki tujuan spesifik dan menggunakan alat tertentu, dan melewatkan fase apa pun pasti akan menyebabkan masalah di hilir.

Fase 1: Triage (10-15% dari total waktu)

Triage adalah tentang memahami apa yang Anda hadapi sebelum mulai melakukan perubahan. Ini adalah tempat kebanyakan orang salah—mereka langsung menyelam ke dalam pembersihan tanpa memahami seluruh lingkup masalah. Ini seperti seorang ahli bedah yang beroperasi tanpa melihat sinar-X terlebih dahulu.

Selama triage, saya mengajukan pertanyaan seperti: Berapa banyak baris? Berapa banyak kolom? Apa tipe data? Apakah ada duplikat? Berapa tingkat nilai null per kolom? Apakah ada pencilan yang jelas? Apa encoding-nya? Apa pemisah yang sebenarnya? Saya menggunakan alat profiling otomatis untuk ini—memeriksa file besar secara manual adalah pemborosan waktu. Alat profiling yang baik dapat menganalisis file CSV berisi satu juta baris dalam hitungan detik dan memberikan gambaran yang komprehensif.