How to Import CSV Data into a SQL Database (Step by Step)

Tôi vẫn nhớ giọng hoảng sợ của đồng nghiệp khi cô ấy gọi cho tôi lúc 11 giờ đêm vào một ngày thứ Ba. "Dữ liệu bán hàng quý không tải vào cơ sở dữ liệu được, và cuộc họp hội đồng diễn ra vào 8 giờ sáng mai." Cô ấy đã cố gắng trong ba giờ để nhập một tệp CSV có 47,000 dòng vào phiên bản SQL Server của chúng tôi, và mọi cố gắng đều thất bại im lặng hoặc làm hỏng dữ liệu với các vấn đề mã hóa khó hiểu. Khi tôi hướng dẫn cô ấy quy trình nhập dữ liệu đúng cách—mất tất cả 12 phút—cô ấy vừa cảm thấy nhẹ nhõm vừa thất vọng vì điều gì đó quan trọng như vậy lại có thể được hiểu kém đến thế.

Đêm đó đã làm rõ một điều mà tôi đã quan sát trong suốt 14 năm làm kiến trúc sư cơ sở dữ liệu: Nhập CSV vừa là một trong những nhiệm vụ cơ sở dữ liệu phổ biến nhất vừa là một trong những công việc thường bị sai lầm nhất. Tôi đã thấy các công ty Fortune 500 mất cả buổi chiều chỉ để xử lý các thất bại trong nhập, các công ty khởi nghiệp làm hỏng cơ sở dữ liệu sản xuất của họ với dữ liệu sai định dạng, và những lập trình viên tài năng phải viết các tập lệnh Python mong manh trong khi các công cụ SQL bản địa hoàn toàn có thể hoạt động tốt. Vấn đề không phải là nhập dữ liệu CSV vốn khó khăn—mà là hầu hết mọi người chưa bao giờ học được phương pháp hệ thống giúp ngăn ngừa 95% các vấn đề thường gặp.

Trong hướng dẫn toàn diện này, tôi sẽ chia sẻ chính xác phương pháp mà tôi đã tinh chỉnh qua hàng ngàn lần nhập thành công trên các cơ sở dữ liệu MySQL, PostgreSQL, SQL Server và Oracle. Dù bạn đang nhập hồ sơ khách hàng, giao dịch tài chính, hay dữ liệu cảm biến IoT, những nguyên tắc này sẽ giúp bạn tiết kiệm hàng giờ mày mò và tránh những sai lầm tốn kém mà việc nhập kém gây ra.

Hiểu Tại Sao Nhập CSV Thất Bại (Và Cách Ngăn Ngừa)

Trước khi chúng ta đi vào các bước kỹ thuật, hãy giải quyết vấn đề lớn: tại sao lại có quá nhiều lần nhập CSV thất bại hoặc tạo ra dữ liệu bị hỏng? Trong kinh nghiệm của tôi về việc kiểm toán các hoạt động cơ sở dữ liệu cho các công ty vừa và nhỏ, tôi đã thấy rằng khoảng 68% các lỗi nhập phát sinh từ chỉ ba nguyên nhân chính mà hoàn toàn có thể ngăn ngừa được bằng sự chuẩn bị đúng đắn.

Thủ phạm đầu tiên là sự không đồng nhất về mã hóa. Tệp CSV của bạn có thể được mã hóa bằng UTF-8, nhưng cơ sở dữ liệu của bạn lại mong đợi Latin1, hoặc ngược lại. Tôi đã từng mất hai ngày để tìm hiểu lý do tại sao tên khách hàng lại xuất hiện như ngẫu nhiên trong một cơ sở dữ liệu sản xuất, và cuối cùng phát hiện rằng xuất Excel của nhóm marketing đã mặc định sang mã hóa Windows-1252 trong khi cơ sở dữ liệu PostgreSQL của chúng tôi thì được cấu hình cho UTF-8. Giải pháp chỉ mất 30 giây khi tôi nhận ra vấn đề, nhưng hai ngày đó khiến công ty mất khoảng 8,000 đô la cho thời gian của các lập trình viên và làm chậm một lần ra mắt sản phẩm lớn.

Vấn đề lớn thứ hai là không đồng nhất về kiểu dữ liệu. Tệp CSV của bạn chứa chuỗi "N/A" trong một cột mà cơ sở dữ liệu của bạn mong đợi là một số nguyên. Hoặc bạn có ngày tháng được định dạng là "12/25/2023" khi cơ sở dữ liệu của bạn mong đợi "2023-12-25". Những sự không đồng nhất này khiến cho việc nhập không thành công hoàn toàn hoặc, tệ hơn, thành công một cách từng phần với dữ liệu bị hỏng. Tôi đã thấy những trường hợp mà 40,000 hàng đã nhập thành công, nhưng 3,000 hàng đã thất bại một cách im lặng, để lại những khoảng trống trong dữ liệu mà không được phát hiện cho đến nhiều tuần sau trong quá trình đối chiếu tài chính.

Điểm thất bại chung thứ ba là vi phạm ràng buộc. Cơ sở dữ liệu của bạn có các ràng buộc khóa ngoại, ràng buộc duy nhất, hoặc các ràng buộc kiểm tra mà dữ liệu CSV vi phạm. Có thể bạn đang cố gắng nhập hồ sơ đơn hàng tham chiếu tới các ID khách hàng không tồn tại trong bảng khách hàng của bạn. Hoặc bạn đang nhập địa chỉ email, nhưng 200 trong số đó là trùng lặp và bảng của bạn có một ràng buộc duy nhất trên cột email. Hiểu rõ các ràng buộc của sơ đồ cơ sở dữ liệu trước khi cố gắng nhập là điều cực kỳ quan trọng.

Tin tốt là? Khi bạn hiểu rõ những chế độ thất bại này, bạn có thể thiết kế quy trình nhập mà phát hiện và xử lý chúng một cách nhẹ nhàng. Phương pháp mà tôi sắp chia sẻ bao gồm các bước xác minh giúp xác định các vấn đề này trước khi chúng làm hỏng cơ sở dữ liệu của bạn, giúp bạn tránh được cơn ác mộng của việc hoàn tác các lần nhập tồi tệ hoặc, tệ hơn, phát hiện dữ liệu bị hỏng sau nhiều tháng.

Chuẩn Bị Tệp CSV Của Bạn Để Nhập Thành Công

Bài học quan trọng nhất mà tôi đã học được về nhập CSV là: thời gian dành để chuẩn bị tệp CSV của bạn là thời gian tiết kiệm được trong việc xử lý các lần nhập thất bại. Đối với mỗi 10 phút bạn đầu tư vào việc chuẩn bị CSV đúng cách, bạn sẽ tiết kiệm ít nhất 30 phút tìm lỗi. Hãy để tôi hướng dẫn bạn qua danh sách kiểm tra trước khi nhập mà đã ngăn ngừa vô số thảm họa.

Đầu tiên, kiểm tra cẩn thận cấu trúc CSV của bạn. Mở tệp trong một trình chỉnh sửa văn bản—không phải Excel, cái có thể làm thay đổi dữ liệu của bạn mà bạn không biết—và xác minh những điều cơ bản. Nó có một hàng tiêu đề không? Các trường có được phân cách nhất quán bằng dấu phẩy, hay bạn đang làm việc với tab, ống dẫn, hoặc dấu chấm phẩy? Tôi đã từng làm việc với một khách hàng ở Châu Âu mà các tệp "CSV" của họ sử dụng dấu chấm phẩy làm ký tự phân cách vì dấu phẩy là ký hiệu thập phân ở nhiều địa phương châu Âu. Giả định ký tự phân cách bằng dấu phẩy khiến ba lần thử nhập đầu tiên của họ thất bại thảm hại.

Kế tiếp, kiểm tra các ký tự phân cách nhúng và ngắt dòng. Nếu tệp CSV của bạn chứa các trường văn bản có dấu phẩy hoặc ngắt dòng bên trong, các trường đó phải được đặt trong dấu ngoặc kép. Ví dụ, nếu bạn có một trường địa chỉ chứa "123 Main St, Apt 4", thì dấu phẩy đó sẽ được hiểu như một ký tự phân cách trường trừ khi toàn bộ giá trị được bao quanh bằng dấu ngoặc kép: "123 Main St, Apt 4". Tôi khuyến nghị sử dụng một công cụ xác thực CSV hoặc viết một tập lệnh nhanh để xác minh rằng tất cả các trường có ký tự phân cách nhúng được đặt đúng cách trong dấu ngoặc kép. Trong một trường hợp đáng nhớ, trường mô tả sản phẩm của một khách hàng chứa các dấu phẩy không được đặt trong dấu ngoặc kép, khiến tất cả các hàng gặp phải sự không đồng nhất và dẫn đến thất bại 100% trong việc nhập.

Thứ ba, chuẩn hóa các định dạng dữ liệu trước khi nhập. Ngày tháng nên tuân thủ một định dạng nhất quán trên toàn bộ tệp—tốt nhất là định dạng ISO 8601 (YYYY-MM-DD) không gây nhầm lẫn trong tất cả các hệ thống cơ sở dữ liệu. Các số nên sử dụng các ký hiệu thập phân nhất quán. Các giá trị Boolean nên được chuẩn hóa thành TRUE/FALSE, 1/0, hoặc bất cứ quy ước nào mà cơ sở dữ liệu của bạn mong đợi. Tôi thường dành 15-20 phút để chạy các thao tác tìm và thay thế để chuẩn hóa định dạng, điều này ngăn ngừa hàng giờ làm sạch dữ liệu sau khi nhập.

Thứ tư, xử lý các giá trị NULL một cách rõ ràng. Các hệ thống khác nhau đại diện cho NULL một cách khác nhau—một số sử dụng chuỗi rỗng, một số sử dụng văn bản "NULL", một số sử dụng "N/A" hoặc "-". Quyết định một quy ước và áp dụng một cách nhất quán. Hầu hết các công cụ nhập cơ sở dữ liệu cho phép bạn chỉ định chuỗi nào nên được hiểu là NULL. Trong các lần nhập của tôi, tôi thường sử dụng chuỗi rỗng cho NULL và cấu hình công cụ nhập cho phù hợp, nhưng sự lựa chọn cụ thể không quan trọng bằng tính nhất quán.

Cuối cùng, xác minh mã hóa của bạn. Sử dụng một công cụ như `file` trên các hệ thống Unix hoặc một trình chỉnh sửa văn bản hiển thị thông tin mã hóa để xác minh mã hóa ký tự của tệp CSV của bạn. Nếu bạn đang làm việc với dữ liệu quốc tế, UTF-8 gần như luôn là lựa chọn đúng. Nếu tệp của bạn có mã hóa khác, hãy chuyển đổi nó trước khi nhập. Tôi sử dụng `iconv` trên Linux hoặc các tính năng chuyển đổi mã hóa của PowerShell trên Windows. Bước đơn giản này đã ngăn chặn được nhiều lỗi nhập trong sự nghiệp của tôi hơn bất kỳ bước nào khác.

Tạo Bảng Đích Với Cấu Trúc Đúng

Nhiều lập trình viên mắc sai lầm khi tạo bảng đích của họ một cách vội vàng, sau đó dành hàng giờ để xử lý các lỗi nhập do thiết kế sơ đồ kém. Tôi đã học được cách đầu tư thời gian đáng kể ngay từ đầu vào việc thiết kế cấu trúc bảng, điều này mang lại lợi ích suốt quá trình nhập và trong chất lượng dữ liệu lâu dài.