Data Migration Checklist

Sai Lầm 3,2 Triệu Đô La Đã Thay Đổi Cách Tôi Tiếp Cận Di Chuyển Dữ Liệu

Tôi vẫn nhớ cuộc gọi lúc 2:47 sáng vào một sáng thứ Ba tháng 3 năm 2019. Toàn bộ cơ sở dữ liệu khách hàng của khách hàng chúng tôi—hơn 18 triệu hồ sơ—đã bị hỏng trong quá trình di chuyển mà đáng lý ra nên là một quy trình thông thường từ hệ thống Oracle cũ của họ sang hạ tầng PostgreSQL hiện đại trên đám mây. Việc quay lại không thành công. Các bản sao lưu không đầy đủ. Và tôi là kiến trúc sư dữ liệu chính phụ trách dự án.

Vụ việc đó đã khiến công ty thiệt hại 3,2 triệu đô la do doanh thu bị mất, nỗ lực phục hồi khẩn cấp, và các khoản phạt theo quy định. Quan trọng hơn, nó đã làm mất đi lòng tin của hàng ngàn khách hàng mà đơn hàng của họ đã bị mất trong không gian số. Tôi là Sarah Chen, và tôi đã dành 14 năm qua với vai trò chuyên gia di chuyển dữ liệu, làm việc với các công ty Fortune 500 và các startup đang phát triển nhanh để chuyển giao tài sản quan trọng nhất của họ—dữ liệu của họ—từ hệ thống này sang hệ thống khác. Thất bại thảm khốc đó đã dạy tôi nhiều hơn về di chuyển dữ liệu so với tám năm thành công trước đó cộng lại.

Kể từ đêm đó, tôi đã dẫn dắt 47 dự án di chuyển dữ liệu lớn mà không gặp phải một thất bại nghiêm trọng nào. Sự khác biệt? Một cách tiếp cận có phương pháp, cẩn trọng trong việc lên kế hoạch và thực hiện mà tôi đã tinh chỉnh thành một danh sách kiểm tra toàn diện. Đây không phải là lời khuyên lý thuyết từ ai đó chỉ đọc về di chuyển dữ liệu—đây là sự khôn ngoan đã được kiểm chứng từ ai đó đã thấy điều gì xảy ra khi mọi thứ đi sai và đã học được cách đảm bảo rằng điều đó không xảy ra.

Di chuyển dữ liệu là một trong những nhiệm vụ mà các tổ chức thường đánh giá thấp. Theo nghiên cứu của Gartner năm 2023, 83% các dự án di chuyển dữ liệu hoặc hoàn toàn thất bại hoặc vượt ngân sách và thời gian. Trung bình, việc di chuyển dữ liệu trong doanh nghiệp mất nhiều thời gian hơn 40% so với kế hoạch và tốn kém hơn 30% so với ngân sách. Nhưng đây là điều mà hầu hết mọi người không nhận ra: độ phức tạp kỹ thuật của việc di chuyển dữ liệu không phải là vấn đề chính. Đó là việc lên kế hoạch, xác thực và quản lý rủi ro mà các tổ chức thường bỏ qua hoặc vội vàng tiến hành.

Hiểu Rõ Những Gì Bạn Thực Sự Đang Di Chuyển

Trước khi bạn chạm vào một dòng mã nào hoặc cấu hình bất kỳ công cụ di chuyển nào, bạn cần hiểu chính xác những gì bạn đang xử lý. Nghe có vẻ hiển nhiên, nhưng tôi đã thấy vô số dự án vấp ngã vì các nhóm đã giả định họ biết cảnh quan dữ liệu của mình trong khi thực tế thì không. Trong một dự án với một khách hàng bán lẻ, chúng tôi đã phát hiện ra 23 cơ sở dữ liệu chưa được tài liệu hoá mà rất quan trọng đối với hoạt động của họ—các cơ sở dữ liệu không có trong sơ đồ kiến trúc và chỉ ba người trong công ty biết được sự tồn tại của chúng.

"Phần tốn kém nhất trong di chuyển dữ liệu không phải là công nghệ—mà là giả định rằng dữ liệu nguồn của bạn sạch hơn thực tế."

Bắt đầu với một danh mục dữ liệu toàn diện. Điều này có nghĩa là liệt kê từng cơ sở dữ liệu, từng bảng, từng trường và hiểu các mối quan hệ giữa chúng. Nhưng điều đó còn sâu sắc hơn thế. Bạn cần hiểu nguồn gốc dữ liệu—dữ liệu này đến từ đâu ban đầu? Những hệ thống nào phụ thuộc vào nó? Những quy trình kinh doanh nào sẽ bị ảnh hưởng nếu dữ liệu này không có sẵn trong ít nhất một giờ?

Tôi sử dụng hệ thống phân loại ba cấp cho các tài sản dữ liệu. Dữ liệu cấp 1 là thuật ngữ quan trọng—nếu dữ liệu này không có sẵn hoặc bị hỏng, doanh nghiệp sẽ ngừng hoạt động. Nghĩ đến đơn hàng của khách hàng, giao dịch tài chính, hoặc hồ sơ tồn kho. Dữ liệu cấp 2 là quan trọng nhưng không ngay lập tức quan trọng—có thể là dữ liệu phân tích lịch sử hoặc các thông tin liên lạc của khách hàng đã lưu trữ. Dữ liệu cấp 3 là thứ nên có nhưng không thiết yếu—dữ liệu chiến dịch marketing cũ hoặc thông tin sản phẩm đã ngừng sử dụng.

Sự phân loại này dẫn dắt mọi thứ khác trong chiến lược di chuyển của bạn. Dữ liệu cấp 1 nhận được kiểm tra nghiêm ngặt nhất, cách tiếp cận di chuyển bảo thủ nhất và chiến lược sao lưu toàn diện nhất. Đối với một khách hàng trong ngành chăm sóc sức khỏe gần đây, chúng tôi đã xác định được 847 GB dữ liệu cấp 1 trong tổng số 34 TB dữ liệu. Dữ liệu cấp 1 này đã nhận được 10 lần kiểm tra xác thực nhiều hơn so với phần còn lại cộng lại.

Ghi chép lại các vấn đề chất lượng dữ liệu ngay từ đầu. Mỗi hệ thống cũ đều có chúng—hồ sơ trùng lặp, định dạng không đồng nhất, các tham chiếu không còn hiệu lực, các giá trị null nơi mà chúng không nên có. Tôi chưa bao giờ gặp một hệ thống nguồn nào hoàn toàn sạch sẽ. Một khách hàng trong ngành dịch vụ tài chính có các hồ sơ khách hàng với 14 định dạng ngày khác nhau trên nhiều trường. Một khách hàng khác có mã sản phẩm đôi khi là số, đôi khi là chữ và số, và đôi khi bao gồm các ký tự đặc biệt có thể làm hỏng hệ thống mục tiêu.

Tạo một từ điển dữ liệu mà vượt xa chỉ tên và loại trường. Ghi chép lại ý nghĩa kinh doanh của mỗi trường, phạm vi giá trị chấp nhận được, các phụ thuộc vào các trường khác, và bất kỳ quy tắc chuyển đổi nào cần được áp dụng. Đây sẽ là nguồn thông tin duy nhất của bạn trong suốt quá trình di chuyển. Khi có câu hỏi phát sinh—và chúng sẽ có—bạn sẽ có một tài liệu tham khảo rõ ràng.

Xây Dựng Đội Ngũ Di Chuyển Và Cấu Trúc Quản Trị Của Bạn

Di chuyển dữ liệu không phải là một môn thể thao đơn lẻ, và nó không chỉ là một dự án CNTT. Những sự di chuyển thành công nhất mà tôi đã dẫn dắt có sự đại diện mạnh mẽ từ các bên liên quan trong kinh doanh, không chỉ từ các nhóm kỹ thuật. Bạn cần những người hiểu dữ liệu có ý nghĩa gì, không chỉ cách nó được cấu trúc về mặt kỹ thuật.

Nhóm di chuyển cốt lõi của bạn nên bao gồm một quản lý dự án hiểu cả khía cạnh kỹ thuật và kinh doanh, các kỹ sư dữ liệu sẽ thực hiện công việc di chuyển thực tế, các quản trị viên cơ sở dữ liệu từ cả hệ thống nguồn và mục tiêu, các nhà phát triển ứng dụng hiểu cách dữ liệu được sử dụng, và các nhà phân tích kinh doanh có thể xác thực rằng dữ liệu đã được di chuyển là hợp lý từ góc độ kinh doanh.

Nhưng điều quan trọng không kém là các bên liên quan và người ra quyết định của bạn. Xác định những nhà tài trợ điều hành có thể đưa ra quyết định nhanh chóng khi có vấn đề phát sinh. Hãy tin tôi, bạn sẽ cần họ. Trong một dự án di chuyển, chúng tôi phát hiện rằng hệ thống mục tiêu không thể xử lý khối lượng dữ liệu lịch sử mà doanh nghiệp muốn di chuyển. Quyết định lưu trữ dữ liệu cũ thay vì di chuyển tất cả cần có sự phê duyệt của cấp điều hành, và có mối quan hệ nhận tài trợ đã có nghĩa là chúng tôi nhận được quyết định trong vài giờ thay vì vài tuần.

Thiết lập các vai trò và trách nhiệm rõ ràng bằng cách sử dụng ma trận RACI—ai là người Chịu Trách Nhiệm, Chịu Trách Nhiệm, Tư Vấn, và Được Thông Báo cho từng khía cạnh của việc di chuyển. Tôi đã thấy các dự án dừng lại vì không ai biết ai có quyền phê duyệt một quyết định quan trọng. Trong một trường hợp, một câu hỏi đơn giản về cách xử lý hồ sơ khách hàng trùng lặp đã mất ba tuần để giải quyết vì bốn người khác nhau đều nghĩ rằng người khác có trách nhiệm thực hiện quyết định đó.

Tạo một cấu trúc quản trị với các điểm kiểm tra định kỳ. Tôi đề nghị các cuộc họp đứng hàng ngày trong các giai đoạn di chuyển tích cực, các cuộc họp ủy ban định hướng hàng tuần với các bên liên quan và các điểm quyết định chính thức có được hay không trước mỗi giai đoạn lớn. Những điểm kiểm tra này không phải là thủ tục hành chính—chúng là hệ thống cảnh báo sớm của bạn cho các vấn đề.

Ghi chép rõ ràng các con đường leo thang. Khi có điều gì đó đi sai lúc 3 giờ sáng trong một khoảng thời gian di chuyển, đội của bạn cần biết chính xác ai để gọi và theo thứ tự nào. Tôi duy trì một bảng liên lạc với các liên hệ chính và dự phòng cho mỗi vai trò quan trọng, bao gồm cả số điện thoại nhà riêng và nhiều kênh giao tiếp khác nhau. Trong cuộc di chuyển thảm khốc năm 2019 mà tôi đã đề cập, chúng tôi đã mất hai giờ vì người có thể ủy quyền cho việc quay lại không thể liên lạc được.

Thiết Kế Chiến Lược Và Cách Tiếp Cận Di Chuyển Của Bạn

Không có cách tiếp cận nào phù hợp với tất cả cho việc di chuyển dữ liệu. Chiến lược đúng phụ thuộc vào khối lượng dữ liệu của bạn, thời gian chết chấp nhận được, độ phức tạp của hệ thống và mức độ chấp nhận rủi ro. Tôi đã sử dụng mọi thứ từ các bản sao lưu cơ sở dữ liệu đơn giản đến các di chuyển phức tạp, đa giai đoạn với các hệ thống chạy song song.

"Mọi di chuyển dữ liệu thành công mà tôi dẫn dắt đều có một điểm chung: chúng tôi đã dành nhiều thời gian hơn để lên kế hoạch cho việc quay lại hơn là lên kế hoạch cho việc di chuyển."

Cách tiếp cận big bang—dừng...