Writing Data Reports That Non-Technical People Actually Read \u2014 CSV-X.com

마커스 첸, 포춘 500의 소매 회사에서 12년의 경력을 가진 선임 데이터 분석가

지난 화요일, 저는 분기별 판매 분석 발표에서 CFO의 눈이 정확히 47초 만에 멍해지는 것을 목격했습니다. 정확한 시간을 아는 이유는 제가 17번이나 리허설을 했기 때문입니다. 이 보고서는 847개의 매장 위치에서의 고객 세분화 패턴, 94% 정확도의 예측 모델, 그리고 어떤 통계학자라도 기쁜 눈물을 흘리게 할 상관계수에 대한 훌륭한 통찰을 담고 있었습니다. 그녀는 24페이지 중 3페이지에서 끄적였습니다.

그 순간, 우리 회사는 다음 분기에 약 230만 달러의 최적화 기회를 놓쳤습니다. 데이터가 잘못되었기 때문이 아니라—완벽했습니다. 통찰이 가치가 없었던 것도 아닙니다—변화적이었습니다. 보고서가 실패한 이유는 제가 데이터를 그녀가 아닌 나를 위해 썼기 때문입니다.

지난 12년 동안, 저는 경영진, 이사회 회원, 그리고 교차 기능 팀을 위해 340개 이상의 데이터 보고서를 작성했습니다. "기술적으로 정확한" 것과 "실제로 유용한" 것 사이의 간극이 데이터 경력이 대부분 사라지는 곳이라는 것을 배웠습니다. 이 간극을 연결하는 분석가는 필수불가결합니다. 그렇지 않은 사람은 리더십이 복도에서 피하는 사람이 됩니다.

경영진이 보고서를 읽는 잔 brutal한 진실

데이터 과학 부트캠프에서 아무도 말해주지 않는 것이 있습니다: 경영진은 여러분이 생각하는 방식으로 보고서를 읽지 않습니다. 2019년에 C-suite 리더들을 그림자처럼 따르며 연구 프로젝트를 하던 중, 평균 경영진은 데이터 보고서에서 깊이 참여할지 넘어갈지를 결정하기까지 2.7분을 소비한다는 사실을 발견했습니다. 20분이 아닙니다. 10분도 아닙니다. 3분도 안 됩니다.

167초 동안 그들은 스스로 세 가지 질문을 하고 있습니다: "이것이 내 목표에 어떤 의미인가?", "내가 무엇을 해야 하는가?", "이 사람의 판단을 신뢰할 수 있는가?" 귀하의 보고서가 첫 페이지에서 이러한 질문에 답하지 못한다면, 그 보고서는 디지털 쓰레기장입니다.

저는 2016년에 89% 정확도로 이탈을 예측할 수 있는 고객 생애 가치 모델을 구축하는 데 6주를 소요하며 이 사실을 힘들게 배웠습니다. 저는 방법론, 통계적 가정 및 검증 절차가 자세히 설명된 31페이지짜리 보고서에서 이를 발표했습니다. 마케팅 부사장은 저에게 공손히 감사를 표하고 다시는 그것에 대해 언급하지 않았습니다. 3개월 후, 컨설턴트가 거의 동일한 결과를 세 줄의 중요 포인트와 단 하나의 차트로 2페이지 메모에 제시했습니다. 회사는 그 메모를 기반으로 450만 달러를 유지 프로그램에 투자했습니다.

차이는 분석의 질이 아니었습니다—제 것이 객관적으로 더 엄격했습니다. 차이는 컨설턴트가 제가 몰랐던 무언가를 이해했다는 것이었습니다: 경영진은 정보로 넘쳐나고 명확함을 갈망하고 있습니다. 그들은 여러분의 방법론을 이해할 필요가 없습니다. 그들은 다음에 무엇을 해야 할지와 그게 왜 중요한지를 이해할 필요가 있습니다. 이 교훈을 이해한 후, 제 보고서는 다르게 평가받기 시작했습니다. 프로젝트에 자금이 지원되었습니다. 전략이 시행되었습니다. 저의 일정은 공손한 인사 대신 회의 요청으로 가득 차게 되었습니다.

제가 작성한 가장 성공적인 데이터 보고서는 제가 "거꾸로 된 전문성 피라미드"라고 부르는 구조를 따릅니다. 결론과 권장 사항으로 시작합니다—독자에게 가장 중요한 것. 그다음에는 신뢰를 구축할 수 있을 만큼의 맥락을 제공하고, 마지막으로는 실제로 여러분의 작업을 검증하고자 하는 8%의 독자를 위한 부록에 기술적 세부사항을 숨깁니다. 이는 학문이나 기술 교육 과정에서 발달한 모든 본능에 반하는 것처럼 느껴지지만, 보고서가 보관되는 것이 아니라 읽히게 만들기 위한 방법입니다.

여정이 아닌 제목으로 시작하세요

제가 현재 작성하는 모든 보고서는 독립적으로 이메일 제목으로도 사용될 수 있는 단 한 문장으로 시작합니다. 단락이 아닙니다. 요약도 아닙니다. 본질적인 발견과 그 함의를 포착한 한 문장입니다. 예를 들어: "마케팅 예산의 15%를 유료 검색에서 이메일로 이동하면 Q3 고객 행동 패턴에 기반하여 추가로 320만 달러의 수익을 창출할 수 있습니다."

"'기술적으로 정확한' 것과 '실제로 유용한' 것 사이의 간극이 데이터 경력이 대부분 사라지는 곳입니다. 이 간극을 연결하는 분석가는 필수불가결합니다."

이 접근 방식은 제가 통계 학위에서 배운 모든 것을 위반합니다. 데이터 수집에서 분석, 결론까지 체계적으로 주장을 구축하라고 배웠기 때문입니다. 하지만 현실은 이렇습니다: 당신의 청중은 이미 당신이 분석을 올바르게 수행했음을 신뢰합니다. 그렇지 않다면 그들은 보고서를 읽지 않을 것입니다. 그들이 모르는 것은 당신의 발견이 그들에게 중요한지 여부입니다. 그것부터 선행하세요.

저는 이 접근 방식을 18개월에 걸쳐 두 그룹의 보고서로 체계적으로 테스트했습니다. 그룹 A는 전통적인 구조를 따랐습니다: 배경, 방법론, 발견, 결론. 그룹 B는 제목 발견 및 권장 사항으로 시작했습니다. 그룹 B 보고서는 후속 회의로 이어질 가능성이 4.3배 높았고 실제 비즈니스 결정에 영향 미칠 가능성이 6.7배 높았습니다. 그 차이는 너무 뚜렷하여 이제는 다른 방식으로 보고서를 작성할 수 없게 되었습니다.

제목 문장은 세 가지 요소를 포함해야 합니다: 권장하는 구체적인 조치 또는 변경 사항, 정량화된 영향 또는 이점, 그리고 권장 사항을 뒷받침하는 데이터 출처 또는 기간입니다. "우리는 X를 해야 합니다. 왜냐하면 Z를 기반으로 Y를 생성할 것이기 때문입니다." 보고서의 나머지 모든 것은 이 문장을 지원하거나 설명하거나 방어하기 위해 존재합니다. 이 문장을 작성할 수 없다면, 아직 보고서를 작성할 준비가 되지 않은 것입니다.

제가 사용하는 기법 중 하나는 분석을 끝내기 전에 우선 제목을 작성하는 것입니다. 그러면 제가 실제로 어떤 질문에 답하려고 하는지를 명확히 할 수 있습니다. 매력적 제목을 설명할 수 없었기 때문에 분석을 중단한 경우가 수十 건에 달합니다—이는 분석이 결정에 영향을 미치지 않는다는 의미입니다. 이는 막대한 시간을 절약하고 데이터 팀을 괴롭히는 "흥미롭지만 쓸모 없는" 보고서를 방지합니다.

전문 용어를 구체적인 비교로 대체하세요

2018년에 я는 "안전 재고 수준을 1.5 표준 편차로 감소시키는 것"이라는 표현이 포함된 재고 최적화 보고서를 작성했습니다. 기술적으로 정밀하지만, 그것을 읽는 운영 이사에게는 전혀 의미가 없었습니다. 그녀는 회의 중에 고개를 끄덕였지만 제가 무엇을 추천하는지 또는 그것이 왜 중요한지 전혀 이해하지 못했다고 나중에 말했습니다.

이제 저는 이렇게 씁니다: "현재 20년에 한 번 있을 수요 급증에 대응하기 위해 충분한 백업 재고를 보유하고 있습니다. 이를 10년에 한 번 있을 수준으로 안전하게 줄일 수 있으며, 이는 약 830만 달러의 운전 자본을 확보할 수 있습니다—약 우리 남동부 전역의 연간 예산과 동등합니다." 같은 권장 사항이지만, 이제 그녀가 매일 생각하는 개념인 자본 배분, 지역 예산, 위험 수용과 연결되어 있습니다.

기술적 내용을 구체적인 내용으로 번역하는 것은 단순화가 아닙니다—청중의 전문성을 존중하는 것입니다. 운영 이사는 제가 결코 이해할 수 없는 공급망 위험을 잘 이해합니다. 그녀는 통계 분포를 이해하지 않으며, 그럴 필요도 없습니다. 저의 임무는 저의 기술적 발견을 그녀의 운영 언어로 번역하는 것입니다.

저는 일반 데이터 개념에 대해 효과적인 비교 목록을 지속합니다. "95% 신뢰 구간" 대신에 "내일 태양이 떠오를 것에 대해 우리가 확실한 것만큼 이 문제에 대해 우리가 확실하다"고 말합니다. "상관 계수 0.73" 대신에 "이 두 요인은 약 75%의 경우 함께 움직입니다. 아이스크림 판매량과 온도가 여름에 증가하는 것처럼요." "p-값이 0.05보다 작다" 대신에 "이 패턴은 실제이며 무작위 노이즈가 아닙니다—유사한 상황 20개에서 우연히 발생할 확률은 1보다 적습니다."