Data Migration Checklist

데이터 마이그레이션 접근 방식을 변화시킨 320만 달러의 실수

2019년 3월 화요일 아침 2시 47분의 전화 통화를 아직도 기억합니다. 우리의 고객 데이터베이스 전체—1800만 개가 넘는 기록—가 그들의 구식 오라클 시스템에서 현대의 클라우드 기반 PostgreSQL 인프라스트럭처로의 루틴 마이그레이션 동안 손상되었습니다. 롤백이 실패했습니다. 백업이 불완전했습니다. 그리고 저는 이 프로젝트의 주요 데이터 아키텍트였습니다.

이 사건은 회사에 320만 달러의 수익 손실, 긴급 복구 노력, 규제 과태료를 초래했습니다. 더 중요한 것은, 디지털 공백에서 잃어버린 주문으로 인해 수천 고객의 신뢰를 잃었다는 것입니다. 저는 사라 천이며, 최근 14년 동안 데이터 마이그레이션 전문가로 일하며 Fortune 500 기업과 빠르게 성장하는 스타트업과 협력하여 그들의 가장 중요한 자산인 데이터를 한 시스템에서 다른 시스템으로 이동해왔습니다. 그 치명적인 실패는 제가 지난 8년간의 성공적인 프로젝트를 통틀어 배운 것보다 데이터 마이그레이션에 대해 더 많은 것을 가르쳐 주었습니다.

그날 밤 이후로 저는 단 한 번의 주요 실패도 없이 47개의 주요 데이터 마이그레이션 프로젝트를 이끌었습니다. 그 차이점은? 제가 체계적이고 지나치게 세심한 계획 및 실행 접근 방식을 정교하게 발전시켜 만든 포괄적인 체크리스트입니다. 이는 데이터 마이그레이션에 대해 읽어본 사람의 이론적 조언이 아닙니다—문제가 생겼을 때 어떤 일이 일어나는지를 확인하고 그런 일이 생기지 않도록 배우고 경험한 사람의 전투 경험입니다.

데이터 마이그레이션은 조직들이 일관되게 과소평가하는 작업 중 하나입니다. Gartner의 2023년 연구에 따르면, 83%의 데이터 마이그레이션 프로젝트가 전면 실패하거나 예산과 일정이 초과됩니다. 평균 기업 데이터 마이그레이션은 계획보다 40% 더 오랜 시간이 걸리고 예산보다 30% 더 비쌉니다. 하지만 대부분의 사람들이 깨닫지 못하는 것은, 데이터를 이동하는 기술적 복잡성이 보통 문제의 원인이 아니라는 것입니다. 문제는 조직이 생략하거나 급하게 처리하는 계획, 검증 및 위험 관리입니다.

실제로 이동해야 할 내용 이해하기

코드의 한 줄도 손대기 전에, 무엇을 다루고 있는지 정확히 이해해야 합니다. 이것은 자명하게 들리지만, 팀들이 실제로 데이터 환경을 알지 못할 때 자신들이 알고 있다고 가정하여 수많은 프로젝트가 장애를 겪는 것을 보았습니다. 한 소매 고객과의 프로젝트에서는 운영에 중요한 23개의 문서화되지 않은 데이터베이스를 발견했습니다—아무 아키텍처 다이어그램에도 없고 회사에서 세 명만 존재를 알고 있었던 데이터베이스들이었습니다.

"데이터 마이그레이션에서 가장 비싼 부분은 기술이 아니라, 소스 데이터가 실제보다 더 깨끗하다고 가정하는 것입니다."

종합적인 데이터 목록 작성으로 시작하세요. 이는 모든 데이터베이스, 모든 테이블, 모든 필드를 카탈로그화하고 그들 사이의 관계를 이해하는 것을 의미합니다. 그러나 그보다 더 깊습니다. 데이터의 유래를 이해해야 합니다—이 데이터는 원래 어디서 왔는가? 어떤 시스템이 이에 의존하는가? 이 데이터가 1시간이라도 사용 가능하지 않을 경우 어떤 비즈니스 프로세스가 중단되는가?

저는 데이터 자산을 위해 3단계 분류 시스템을 사용합니다. Tier 1 데이터는 미션 크리티컬입니다—이 데이터가 사용 불가능하거나 손상되면 비즈니스가 중단됩니다. 고객 주문, 재무 거래 또는 재고 기록을 생각해 보세요. Tier 2 데이터는 중요하지만 즉각적으로 중요한 것은 아닙니다—아마도 역사적 분석 데이터나 보관된 고객 커뮤니케이션일 것입니다. Tier 3 데이터는 있어도 좋은 데이터지만 필수적이지 않습니다—오래된 마케팅 캠페인 데이터나 더 이상 사용되지 않는 제품 정보입니다.

이 분류는 마이그레이션 전략의 모든 것을 이끌어냅니다. Tier 1 데이터는 가장 철저한 테스트를 받고, 가장 보수적인 마이그레이션 접근 방식을 적용하며, 가장 포괄적인 백업 전략을 갖습니다. 최근 의료 고객의 경우, 총 34 TB 데이터셋에서 847 GB의 Tier 1 데이터를 식별했습니다. 이 Tier 1 데이터는 나머지 합계의 10배에 해당하는 검증 테스트를 받았습니다.

데이터 품질 문제를 사전에 문서화하세요. 모든 레거시 시스템은 이러한 문제가 있습니다—중복 레코드, 일관되지 않은 형식, 고아 참조, 있어서는 안 되는 곳에 있는 null 값들. 저는 완벽하게 깨끗한 소스 시스템을 경험한 적이 없습니다. 한 금융 서비스 고객의 경우, 다양한 필드에서 14가지의 서로 다른 날짜 형식으로 된 고객 기록이 있었습니다. 다른 경우는 제품 코드가 때로는 숫자 형식, 때로는 알파벳 숫자 형식이며 때로는 대상 시스템을 일으킬 특수 문자가 포함되기도 했습니다.

필드 이름과 유형을 넘어서 데이터 사전을 생성하세요. 각 필드의 비즈니스 의미, 허용되는 값 범위, 다른 필드에 대한 의존성 및 적용해야 할 변환 규칙을 문서화하세요. 이것은 마이그레이션 과정 전반에 걸쳐 단일 진실의 출처가 됩니다. 질문이 생기면—생길 것입니다—확정적인 참조를 가질 수 있습니다.

마이그레이션 팀 및 거버넌스 구조 구축하기

데이터 마이그레이션은 혼자서 하는 운동이 아니며, 단순히 IT 프로젝트도 아닙니다. 제가 이끈 가장 성공적인 마이그레이션은 기술 팀뿐만 아니라 비즈니스 이해관계자들이 강력하게 참여했습니다. 데이터가 의미하는 것을 이해하는 사람이 필요합니다, 단순히 기술적으로 구조화된 방법만 아는 것이 아닙니다.

핵심 마이그레이션 팀에는 기술적 및 비즈니스 측면을 모두 이해하는 프로젝트 관리자가 포함되어야 하며, 실제 마이그레이션 작업을 수행할 데이터 엔지니어, 소스 및 대상 시스템의 데이터베이스 관리자, 데이터가 어떻게 사용되는지 이해하는 애플리케이션 개발자, 마이그레이션된 데이터가 비즈니스 관점에서 의미가 있는지 검증할 수 있는 비즈니스 분석가가 포함되어야 합니다.

그러나 이해관계자와 의사결정자도 똑같이 중요합니다. 문제가 발생할 때 신속하게 결정을 내릴 수 있는 경영 후원자를 식별하세요. 제가 말하는 것처럼, 그들이 필요할 것입니다. 한 마이그레이션 프로젝트에서는 대상 시스템이 비즈니스에서 마이그레이션 하려고 하는 역사적 데이터의 양을 처리할 수 없다는 것을 발견했습니다. 오래된 데이터를 아카이브하기로 결정한 것인데, 이는 경영 승인이 필요했으며, 이미 그 후원자 관계가 안정되어 있어서 우리는 결정이 몇 시간 내에 이루어졌습니다.

RACI 매트릭스를 사용하여 명확한 역할과 책임을 설정하세요—마이그레이션의 각 측면에 대해 누가 책임이 있고, 책임을 지며, 상담받고, 정보를 갖는지. 저는 프로젝트가 한창일 때 아무도 누가 중요한 결정을 승인할 권한이 있는지를 몰라서 중단되는 걸 많이 보아왔습니다. 한 경우에는 중복 고객 레코드를 처리하는 방법에 대한 간단한 질문이 누가 그 결정을 내릴 지를 서로 다르게 생각한 네 명 때문에 해결되는 데 세 주가 걸렸습니다.

정기적인 체크포인트가 있는 거버넌스 구조를 생성하세요. 저는 활성 마이그레이션 단계 중 매일 스탠드업 회의, 이해관계자와 주간 운영 위원회 회의, 각 주요 단계 이전에 공식적인 진행/중지 결정 시간을 권장합니다. 이러한 체크포인트는 관료주의가 아닙니다—문제에 대한 조기 경고 시스템입니다.

에스컬레이션 경로를 명확히 문서화하세요. 마이그레이션 창에서 3 AM에 무언가 잘못되면, 팀은 누구에게 전화를 걸고 어떤 순서로 연락해야 하는지 정확히 알아야 합니다. 저는 모든 중요한 역할에 대한 주 연락처 및 백업 연락처와 함께 홈 전화번호 및 여러 통신 채널을 포함한 연락처 시트를 유지합니다. 제가 언급한 재앙적인 2019년 마이그레이션 동안, 롤백을 승인할 수 있는 사람이 연락이 닿지 않아 두 시간을 잃었습니다.

마이그레이션 전략 및 접근 방식 설계하기

데이터 마이그레이션에 대한 만능 접근 방식은 없습니다. 적절한 전략은 데이터 볼륨, 허용 가능한 다운타임, 시스템 복잡성 및 위험 감수에 따라 다릅니다. 저는 간단한 데이터베이스 덤프 및 복원에서부터 복잡한 다단계 마이그레이션 및 병렬 실행 시스템에 이르기까지 모든 것을 사용했습니다.

"제가 주도한 모든 성공적인 데이터 마이그레이션은 한 가지 공통점이 있습니다: 롤백 계획에 더 많은 시간을 투자했습니다."

빅뱅 접근 방식—정지시키고...