표를 업로드하고 “인사이트를 찾아줘”라고 하면 AI는 거의 항상 무언가를 찾아냅니다. 문제는 인사이트가 없어서가 아니라, 무엇이 사실이고 무엇이 해석이며 무엇이 과도한 결론인지 구분하기 어렵다는 데 있습니다. 자연스러운 문장은 이 경계를 감춥니다.

분석은 네 단을 밟아야 합니다. 먼저 숫자에서 변화를 관찰하고, 가능한 원인을 복수의 가설로 세우고, 필요한 추가 데이터나 계산으로 검증한 뒤, 되돌릴 수 있는 행동을 결정합니다. AI에게도 이 사다리를 생략하지 못하게 해야 합니다.

분석 대상 · 다음 분기 채널 예산

채널	비용	매출	ROAS	신규 고객	90일 재구매율
검색 광고	1.20억	3.12억	2.6	2,100	32%
SNS 광고	0.95억	1.90억	2.0	3,400	18%
오프라인 시식	0.48억	1.34억	2.8	900	41%

가상 데이터 · ROAS = 매출 ÷ 비용. 규모와 효율은 서로 다른 질문이다.

좋은 분석 프롬프트는 “인사이트를 많이 찾아라”가 아니라 출력 칸을 분리합니다. 관찰에는 계산 근거를, 가설에는 반대 가능성을, 검증에는 필요한 추가 데이터를, 행동에는 되돌림 조건을 요구합니다. 이렇게 하면 AI의 유창함이 분석의 불확실성을 덮기 어렵습니다.

당신은 그로스 분석가입니다. 아래 표만 사용하십시오. 1. [관찰] 계산으로 직접 확인되는 변화 3개 — 사용한 행·열과 산식을 표시. 2. [가설] 각 관찰을 설명할 수 있는 원인 2개 — 확정 표현 금지. 3. [검증] 가설을 구분하기 위해 필요한 추가 데이터와 최소 실험. 4. [결정] 2주 안에 되돌릴 수 있는 예산 테스트 1개와 중단 조건. 사실·추론·권고를 각각 별도 표로 구분하십시오.

01 · 가장 위험한 인사이트숫자에 맞는 이야기는 언제나 만들 수 있습니다

월요일 회의에서 SNS 광고의 재구매율이 낮다는 표가 공유됐습니다. 민준이 AI에게 “왜 SNS 고객은 다시 사지 않는가”라고 물었고, 모델은 가격 민감도가 높고 브랜드 충성도가 낮기 때문이라고 설명했습니다. 문장은 논리적이었고 팀도 고개를 끄덕였습니다. 그러나 표에는 고객의 가격 민감도나 브랜드 충성도를 측정한 데이터가 없었습니다. 질문이 이미 원인을 요구했기 때문에 모델은 가능한 이야기를 채웠을 뿐입니다.

지연은 같은 표에서 먼저 관찰만 적었습니다. SNS는 신규 고객 수가 가장 많지만 90일 재구매율이 가장 낮다. 검색 광고는 규모와 재구매가 중간이다. 오프라인 시식은 신규 고객 수가 작지만 ROAS와 재구매율이 높다. 여기까지는 데이터에서 직접 확인됩니다. 그다음에 고객 구성, 할인율, 상품 믹스, 추적 누락 같은 가설을 복수로 세웠습니다. 어느 가설이 맞는지는 추가 데이터 없이는 알 수 없었습니다.

AI는 패턴을 빨리 찾고 가능한 설명을 많이 만드는 데 강합니다. 그러나 패턴이 우연인지, 정의 차이인지, 선택 편향인지, 실제 원인인지 스스로 보증하지 못합니다. 분석 업무에서 모델의 유창함을 그대로 결론으로 사용하면 숫자가 말한 것보다 더 많은 이야기를 만들어 낼 수 있습니다.

표를 보고 성급히 예산 이동을 결정하려다 제지당하는 4컷 만화 — 도판 6-0 · 숫자가 높다는 관찰과 예산을 옮기자는 결정 사이에는 검증이 있어야 한다.

TUE 10:30 · 예산 회의

“오프라인 시식이 최고니까 예산을 전부 옮기면 되겠네요?”

임원

ROAS도 높고 재구매율도 높습니다. SNS 예산을 줄여 시식 행사로 옮기죠.

지연

현재 데이터는 효율이 높다는 관찰까지는 지지합니다. 다만 규모를 늘렸을 때 같은 성과가 유지되는지는 확인하지 못했습니다. 지역과 행사 횟수가 제한돼 있습니다.

평균 성과가 높은 채널이 무한히 확장 가능한 것은 아닙니다. 작은 규모에서 좋은 결과가 나온 채널은 가장 반응이 좋은 고객만 만났을 수 있습니다. 예산을 늘리면 추가 고객의 품질이 낮아지고 운영비가 커질 수 있습니다. 분석은 순위를 매기는 데서 끝나지 않고 그 결과가 어느 범위까지 유지되는지 질문해야 합니다.

02 · 질문 전에 데이터 건강검진깨끗하지 않은 표에 정교한 프롬프트를 얹어도 결론은 깨끗해지지 않습니다

분석을 시작하기 전에 네 가지를 확인합니다. 첫째, 기간이 같은가. 월간 매출과 주간 비용을 나누면 의미 없는 비율이 됩니다. 둘째, 단위가 같은가. 원, 천원, 달러가 섞이면 모델의 문장보다 계산식이 먼저 필요합니다. 셋째, 정의가 같은가. 신규 고객과 첫 구매 고객, 환불 전 매출과 환불 후 매출은 비슷해 보이지만 다릅니다. 넷째, 결측과 제외가 무엇인가. 데이터에서 빠진 고객이 특정 유형에 몰려 있다면 결과는 편향될 수 있습니다.

AI에게 표를 주기 전에 데이터 사전을 함께 제공합니다. 각 열의 정의, 계산식, 시간 범위, 허용 빈값, 민감정보 여부를 적습니다. 모델이 열 이름만 보고 의미를 추측하지 않게 해야 합니다. “매출”이라는 한 단어도 결제액, 인식매출, 순매출 중 무엇인지에 따라 의사결정이 달라집니다.

또한 분석 질문을 중립적으로 씁니다. “왜 실패했는가” 대신 “목표 대비 성과를 판정하고 차이를 설명할 수 있는 가설을 제시하라”, “어떤 채널이 최고인가” 대신 “효율, 규모, 재구매, 확장 가능성을 분리해 비교하라”라고 합니다. 질문 속 전제가 모델이 찾는 패턴을 바꾸기 때문입니다.

기간 오류

겉으로 보이는 결론

이번 달 전환율이 지난 분기보다 크게 하락했다.

먼저 확인

이번 달은 10일치이고 지난 분기는 90일치인지, 캠페인 학습기간이 같은지 확인합니다.

분모 오류

겉으로 보이는 결론

상담팀 A의 해결률이 팀 B보다 높다.

먼저 확인

난이도 높은 티켓이 어느 팀에 더 많이 배정됐는지, 해결의 정의가 같은지 확인합니다.

생존 편향

겉으로 보이는 결론

장기 고객은 기능 X를 많이 쓰므로 기능 X가 잔존을 만든다.

먼저 확인

오래 남은 고객만 관찰한 결과인지, 기능 사용이 원인인지 결과인지 구분합니다.

추적 누락

겉으로 보이는 결론

오프라인 채널의 전환율이 가장 높다.

먼저 확인

온라인 노출이 오프라인 구매에 기여했는지, 채널별 추적 방식이 같은지 확인합니다.

03 · 관찰은 계산 가능한 문장이어야 합니다“좋다”, “나쁘다”, “높다”를 값과 비교 기준으로 바꿉니다

관찰에는 해석을 넣지 않습니다. “SNS 성과가 나쁘다” 대신 “SNS ROAS는 2.0으로 세 채널 중 가장 낮고, 90일 재구매율은 18%로 검색 광고보다 14%포인트 낮다”라고 씁니다. 어떤 행과 열을 사용했는지, 계산식이 무엇인지 표시하면 사람이 재현할 수 있습니다.

비교 기준도 명시합니다. 전주 대비인지, 목표 대비인지, 채널 간 비교인지에 따라 같은 숫자의 의미가 달라집니다. 신규 고객 수가 3,400명이라는 사실은 규모가 크다는 뜻일 수 있지만 비용과 목표를 모르면 효율을 판단할 수 없습니다. 관찰은 결론을 서두르지 않고 질문을 정교하게 만드는 단계입니다.

언어모델은 표의 내용을 자연어로 바꾸는 데 유용하지만 계산은 재현 가능한 도구로 확인하는 편이 좋습니다. 스프레드시트 수식이나 코드로 ROAS, 증감률, 신뢰구간을 계산하고, 모델에게는 계산 결과를 설명하고 이상값의 가능한 원인을 정리하게 합니다. 숫자 생성과 숫자 해석의 책임을 분리합니다.

04 · 가설은 답이 아니라 경쟁하는 설명 목록한 가지 그럴듯한 원인을 찾는 대신 서로 구분 가능한 가설을 만듭니다

SNS 고객의 재구매율이 낮은 이유를 생각해 봅시다. 할인 중심 광고가 가격 민감 고객을 끌었을 수 있습니다. 첫 구매 상품이 반복 구매에 적합하지 않을 수 있습니다. 측정 기간이 짧아 아직 재구매가 잡히지 않았을 수 있습니다. 특정 연령대의 구매가 많아 채널이 아니라 고객 구성의 차이일 수 있습니다. 광고 플랫폼과 CRM의 식별자 연결이 약해 재구매가 누락됐을 수도 있습니다.

좋은 가설은 서로 다른 데이터를 요구합니다. 할인 가설은 쿠폰 사용과 재구매를, 상품 믹스 가설은 첫 구매 SKU별 재구매를, 측정 가설은 코호트 기간을, 고객 구성 가설은 연령과 유입 캠페인을 봅니다. 가설이 검증 방법과 연결되지 않으면 단지 이야기를 늘린 것입니다.

AI에게 가설을 요청할 때 “가능한 원인을 많이”보다 “서로 겹치지 않고 다른 데이터로 구분할 수 있는 가설 네 개”라고 요구합니다. 각 가설에 지지 신호, 반증 신호, 필요한 추가 데이터를 붙이게 하면 사람이 다음 조사를 설계하기 쉬워집니다.

Evidence Gate에서 볼 것 문장이 자연스럽다고 바로 사실로 분류하지 마세요. 표의 값과 계산만으로 직접 확인되는지, 설명은 가능하지만 추가 데이터가 필요한지, 현재 근거를 넘어 인과나 전면 확대를 주장하는지 구분합니다. 분석 품질은 좋은 이야기를 만드는 능력보다 경계를 지키는 능력에서 시작합니다.

05 · 검증은 가장 싼 질문부터모든 데이터를 모으기보다 가설을 빠르게 구분할 최소 증거를 찾습니다

분석은 더 많은 데이터가 올 때까지 기다리는 일이 아닙니다. 각 가설을 구분할 수 있는 가장 저렴하고 빠른 확인 방법을 찾습니다. SNS 고객의 재구매율 문제라면 먼저 추적 누락을 점검하고, 그다음 첫 구매 상품과 쿠폰 사용 여부를 나누고, 필요하면 소규모 유지 캠페인을 실행합니다. 비용이 낮은 확인부터 순서대로 진행합니다.

AI는 검증 질문 목록을 만드는 데 유용합니다. 다만 “추가로 무엇을 봐야 하나”라고만 물으면 긴 목록이 나옵니다. 각 데이터가 어떤 가설을 지지하거나 반박하는지, 수집 비용과 소요시간이 얼마인지, 결과에 따라 다음 행동이 어떻게 달라지는지 요구합니다. 정보 수집이 의사결정과 연결돼야 합니다.

검증 결과가 애매할 수도 있습니다. 이때 모델에게 결론을 강요하지 말고 현재 가능한 범위를 표시하게 합니다. 예를 들어 “오프라인 시식의 소규모 효율은 높지만 확장성은 미확인”처럼 관찰과 한계를 함께 씁니다. 불확실성을 명시하면 의사결정자가 위험을 고려해 실험 규모를 정할 수 있습니다.

06 · 결정은 확신이 아니라 되돌림 가능성으로 설계합니다불확실한 상황에서는 작은 실험과 중단 조건이 좋은 결론입니다

데이터가 완벽할 때까지 기다리면 기회를 놓치고, 불완전한 데이터로 전면 확대하면 위험이 큽니다. 그래서 결정 단계에서는 되돌릴 수 있는 행동을 우선합니다. 오프라인 시식이 유망하다면 전체 예산을 옮기는 대신 두 지역에서 행사 횟수를 늘리고, 추가 고객당 비용과 60일 재구매를 봅니다. 일정 수준을 넘지 못하면 중단하고 원래 배분으로 돌아갑니다.

좋은 결정 문장에는 대상, 기간, 규모, 성공지표, 중단조건, 다음 검토일이 들어갑니다. “시식 행사를 확대한다”보다 “두 지역에서 4주간 예산 1천만원을 추가하고, 신규 고객당 비용 6만원 이하와 60일 재구매율 35% 이상을 동시에 충족하지 못하면 확대를 중단한다”가 실행 가능합니다.

AI에게 권고를 요청할 때도 이 형식을 요구합니다. 모델이 자신 있는 하나의 답을 선택하게 하기보다 상방과 하방, 필요한 가정, 되돌림 비용을 비교하게 합니다. 최종 선택은 조직의 위험 선호와 전략을 아는 사람이 합니다.

단계	AI가 잘 돕는 일	재현 가능한 도구가 맡을 일	사람이 결정할 일
준비	열 정의 초안, 이상 항목 질문	형식·단위·결측 검사	어떤 데이터를 사용할지
관찰	계산 결과의 자연어 설명	비율·증감·통계 계산	비교 기준과 중요도
가설	서로 다른 원인 후보와 반증 신호	코호트 분리·모델링	검증할 가설의 우선순위
검증	추가 질문과 실험 설계 초안	실험 집계·유의성 확인	비용과 위험을 감수할지
결정	대안·장단점·중단조건 정리	대시보드와 경보	실행 승인과 책임

07 · 민감한 분석에는 더 높은 문턱이 필요합니다채용, 평가, 금융, 의료처럼 사람에게 큰 영향을 주는 결정은 자동 권고를 경계합니다

데이터 분석 결과가 사람의 기회와 권리에 영향을 주면 일반 마케팅 분석보다 엄격한 기준이 필요합니다. 학습 데이터와 입력 데이터의 편향, 대리변수, 설명 가능성, 이의제기 절차를 확인해야 합니다. 모델이 만든 점수나 분류를 객관적 사실처럼 사용해서는 안 됩니다.

예를 들어 채용 지원자의 문장을 분석해 “성실성”을 점수화하면 문화와 언어 차이가 성격으로 오해될 수 있습니다. 고객의 지역이나 기기 정보가 소득과 같은 민감 특성의 대리변수가 될 수도 있습니다. 이런 업무에서는 AI가 자료 정리와 질문 생성은 도울 수 있지만, 최종 평가 기준과 결정은 검증된 절차와 사람이 담당해야 합니다.

또한 결과에 영향을 받는 사람이 어떤 데이터와 기준이 사용됐는지 알 수 있어야 하고, 오류를 수정하거나 재검토를 요청할 길이 있어야 합니다. 분석의 품질은 예측 정확도 하나가 아니라 책임 구조까지 포함합니다.

데이터기간·단위·정의·결측·제외 조건이 확인됐는가?

관찰값과 계산식, 비교 기준을 사람이 재현할 수 있는가?

가설서로 다른 데이터로 구분 가능한 설명을 복수로 세웠는가?

결정작고 되돌릴 수 있으며 성공과 중단 조건이 있는가?

08 · 책을 덮은 뒤의 한 장짜리 플레이북AI를 아는 것에서, AI와 일하는 시스템을 가진 상태로 이동합니다

이 웹북의 여섯 장은 하나의 흐름으로 연결됩니다. 1장에서는 AI에게 일을 맡기기 전에 성공 조건을 언어로 표현했습니다. 2장에서는 프롬프트가 확률과 문맥을 조절한다는 원리를 배웠습니다. 3장에서는 막힌 결과의 결함을 진단하고 역할, 독자, 산출물, 경계를 직접 조립했습니다. 4장에서는 업무 상태에 맞는 패턴을 선택했고, 5장에서는 반복 업무를 추적 가능한 공정으로 바꿨습니다. 마지막 장에서는 숫자에서 이야기로 뛰어가는 지름길을 막았습니다.

이제 실제 업무 하나를 골라 한 장짜리 플레이북을 만드세요. 업무 목적과 독자, 입력 자료, 출력 계약, 사용할 패턴, 검증 질문, 사람 승인 지점, 성공지표를 적습니다. 프롬프트 문장은 그 플레이북의 일부일 뿐입니다. 모델이 바뀌더라도 업무의 목적과 책임 구조는 유지됩니다.

AI를 잘 쓰는 사람은 정답을 빨리 얻는 사람이 아닙니다. 어떤 답을 믿어도 되는지, 무엇을 추가로 확인해야 하는지, 결과를 어떤 작은 행동으로 옮길지 아는 사람입니다. 기술의 속도가 빨라질수록 이 판단 구조의 가치는 더 커집니다.

관찰 절벽과 결정 절벽 사이 끊어진 다리, 빠진 구간은 검증 — 도판 6-3 · 관찰에서 결정으로 건너뛰는 순간, 빠진 발판은 검증이다.

6

한 장 요약

데이터 분석에서는 관찰, 가설, 검증, 결정을 분리합니다. 먼저 기간·단위·정의·결측을 확인하고, 계산 가능한 사실만 관찰로 적습니다. 가설은 경쟁하는 설명으로 만들고 최소 증거로 구분하며, 결정은 작고 되돌릴 수 있는 실험과 중단 조건으로 설계합니다. AI는 패턴과 설명을 돕지만 계산, 인과, 책임은 별도 검증과 사람의 판단이 필요합니다.

웹북 완독 결과물

이제 독자에게 남은 것은 ‘프롬프트 모음’이 아닙니다

업무를 독자·결정·산출물·근거 경계로 브리핑하는 습관
막힌 출력의 결함을 진단해 한 요소씩 수정하는 루프
초안·비평·검증을 역할별로 분리하는 패턴
숫자에서 사실·추론·행동을 분리하는 분석 사다리

다음 개정에서는 독자가 만든 프롬프트와 실습 결과를 ‘나의 업무 플레이북’으로 묶어 내보내는 기능이 추가됩니다.