작은 표본은 크게 흔들린다

평이한 언어로 설명한 통계적 검정력

표본으로부터 얻는 모든 측정은 참값에 노이즈가 더해진 것입니다. 표본이 작을수록 신호에 비해 노이즈가 커집니다. 이는 코드로 우회할 수 있는 결함이 아닙니다. 이는 더 적은 관측치를 평균화하는 산술적 원리입니다.

유용한 경험칙: 추정치의 노이즈는 표본 크기 자체보다는 표본 크기의 제곱근에 따라 줄어듭니다. 불확실성을 절반으로 줄이려면 4배의 데이터가 필요하고, 10분의 1로 줄이려면 100배의 데이터가 필요합니다. 이것이 초기 결과가 매우 변동성이 크고, 테스트의 마지막 구간이 느리게 느껴지는 이유입니다.

통계적 검정력(Statistical power)은 특정 크기의 실제 효과가 존재할 경우, 해당 효과를 검출할 수 있는 확률을 의미합니다. 검정력이 부족한(underpowered) 검정은 찾고자 하는 효과를 신뢰할 수 있게 발견하기에 관측치가 너무 적은 경우를 말합니다. 검정력이 부족한 검정은 두 가지 방향으로 실패합니다. 첫째, 실제 존재하는 효과를 놓치고, 둘째, "유의미한" 결과를 보고할 때 그 결과가 소음에 의한 과대 추정일 가능성이 높아집니다. 이 두 번째 실패, 즉 과장된 승자(exaggerated winner) 현상은 의사결정자에게 가장 큰 손해를 끼칩니다.

실용적인 원칙: 검정을 실행하기 전에, 행동할 가치가 있는 최소 효과 크기를 결정하고, 이를 검출하는 데 필요한 표본 크기를 계산하십시오. 해당 크기까지 실행하십시오. 첫날부터 결과를 해석하려 하지 마십시오.

검정력이 부족한 보고서 진단

자동 생성된 보고서가 책상에 도착했습니다. 이 분기 동안 14개 고객 세그먼트의 이탈률(churn)을 비교합니다. 헤드라인은 "7번 세그먼트 이탈률이 22%로 9% 평균을 크게 상회, 긴급 조사 필요"라고 적혀 있습니다. 세부 내용을 살펴보니, 7번 세그먼트에는 이 분기에 46명의 고객이 포함되어 있습니다. 7번 세그먼트는 지난 분기에 41명의 고객이 있었고, 당시 이탈률은 7%였습니다.

구간이 없는 점 추정치

점 주위의 막대

점 추정치(point estimate) 는 단일한 최선의 추정 수치이다: 리프트(lift)가 12%, 평균이 4.2, 이탈률이 9%인 경우이다. 신뢰 구간(confidence interval) 은 데이터의 노이즈(오차)를 고려할 때 참값(true value)이 합리적으로 존재할 수 있는 범위이다: 리프트가 12%이고, 오차 범위가 ±9%이므로, 합리적으로는 3%에서 21% 사이의 어디에나 있을 수 있다.

점 추정치는 추측이다. 구간은 정직함이다. 구간도, 오차 막대(error bar)도, 범위도 없이 점 추정치만 보여주는 보고서는 가장 필요로 하는 한 가지 수치를 숨기고 있는 것이다. 구간이 없는 점 추정치는 정밀함이 아니라 경고 신호(red flag)로 취급해야 한다.

겹치는 구간(overlapping intervals) 은 특정한 교훈을 담고 있다. 변형 A의 구간이 3%에서 21%이고, 변형 B의 구간이 1%에서 19%라면, 이 두 범위는 크게 겹친다. 데이터가 두 변형이 동일하거나 B가 앞설 수 있음을 일관되게 지지하므로, A가 B보다 우월하다고 주장할 수 없다. 두 점 추정치가 서로 다를 수 있지만, 그 차이는 구간이 말하듯 단순한 노이즈(오차)일 수 있다.

더 미묘한 함정: 0보다 완전히 위에 있는 넓은 구간은 효과가 실재하지만 그 크기가 불확실하다는 것을 알려줍니다. 0을 가로지르는 넓은 구간은 부호(양/음)조차 알 수 없다는 것을 의미합니다. 이는 서로 다른 의사결정을 요구합니다. 구간의 폭은 장식이 아니라 정보입니다.

겹치는 두 개의 구간 읽기

한 벤더가 추천 엔진을 제안합니다. 그들의 슬라이드에는 "우리의 엔진은 평균 주문 금액을 $58.40(95% 신뢰 구간 $54.10~$62.70)으로 올렸습니다. 대조군의 평균은 $55.90(95% 신뢰 구간 $51.30~$60.50)이었습니다."라고 적혀 있습니다. 그들은 굵은 글씨로 "주문당 $2.50의 명확한 승리, 배포하세요."라고 결론짓습니다.

충분히 많은 것을 테스트하면 무언가는 반드시 이긴다

더 많이 살펴볼수록 더 많이 발견한다

p-값이 0.05라는 것은 실제로 효과가 없다면, 순수한 우연에 의해 이 정도 강도의 결과를 약 20번 중 1번 정도 볼 수 있다는 것을 의미합니다. 정직한 테스트를 한 번만 수행할 때 이는 용인할 수 있는 위험입니다. 그러나 20번을 수행하면 거짓 양성의 가능성이 거의 확실해집니다.

다중 비교: 대시보드가 사용자를 20개의 차원(기기, 지역, 시간, 리퍼러, 요금제 등급 등)으로 나누어 "유의미해 보이는" 어떤 조각(slice)이든 플래그를 친다면, 실제로 아무것도 일어나지 않는 경우에도 실행마다 약 1개의 거짓 승자를 기대해야 합니다. 이 도구는 단일 테스트에 대해 거짓말을 하지 않습니다. 대신 많은 수의 테스트를 조용히 실행하고 가장 운이 좋았던 하나를 보고하는 것입니다.

P-해킹은 유의성을 조작하는 일련의 기법들을 가리킵니다: 여러 결과 지표를 시도하여 기준선을 넘은 하나만 보고하는 것, p-값이 낮아질 때까지 대조군을 추가하고 제거하는 것, 유의미해 보이는 순간 데이터 수집을 중단하는 것, 또는 어떤 하위 집단이 "반응한다"라고 나올 때까지 데이터를 하위 그룹으로 나누는 것 등입니다. 이 중 어느 것도 불성실함을 요구하지는 않습니다; 동기가 있는 분석가들은 자각하지 못한 채 P-해킹을 수행합니다.

방어책은 구조적인 것입니다. 사전 등록(Pre-registration): 데이터를 보기 전에 하나의 가설과 하나의 지표를 문서로 기록합니다. 홀드아웃(Holdout): 새로운 데이터 조각을 예약하여, 선택적 추출(cherry-picking)의 기회가 없었던 데이터에서 발견 결과가 유지되는지 확인합니다. 보정(Correction): 많은 수의 테스트를 수행해야 할 경우, 기준을 높여(보네페로니 보정, 거짓 발견율 제어 등) 임계값이 관찰 횟수를 반영하도록 합니다. 홀드아웃을 통과한 발견은 단순히 첫 번째 시도에서 0.05를 넘은 것보다 훨씬 더 가치가 있습니다.

승자를 발견한 애널리스트

한 애널리스트가 "좋은 소식입니다. 안드로이드를 사용하는 25~34세 연령대 사용자 중 오후 8시 이후에 이메일을 열람한 사용자의 경우, 이메일 캠페인이 구매를 유의미하게 증가시켰습니다(p = 0.03)라는 것을 발견했습니다."라고 보고합니다. 이 애널리스트는 캠페인을 모든 대상에게 확장하기 위한 예산을 요청하고 있습니다. 조사 결과, 해당 애널리스트는 이 조합에 도달하기 전에 기기, 연령대, 시간대별 슬라이스(구분)에 걸쳐 구매율을 확인한 것으로 밝혀졌습니다.

유의하되 여전히 미미할 수 있다

두 가지 다른 질문

통계적 유의성은 하나의 질문에 답합니다: 이 효과가 0과 구별되는가? 효과 크기는 다른 질문에 답합니다: 효과가 얼마나 큰가? 한 결과는 압도적으로 유의미하면서도 동시에 완전히 사소한 경우가 있을 수 있습니다.

그 연결 고리는 표본 크기입니다. 표본이 충분히 크면, 간격이 축소되어 미미한 효과조차 더 이상 0에 닿지 않게 되므로 거의 모든 차이가 통계적으로 유의미해집니다. 500만 명의 사용자를 대상으로 한 테스트에서 새로운 버튼 색상이 클릭률을 0.02% "유의하게" 높인다고 보고할 수 있으며, p < 0.0001일 수 있습니다. p-값은 완벽합니다. 그러나 효과는 무가치합니다.

따라서 효과 크기 없는 유의성은 문장의 절반에 불과합니다. 의사결정자의 질문은 다음과 같습니다: 효과는 얼마나 큰가, 이 결정에 중요할 만큼 충분한가, 그리고 그 가치가 비용을 초과하는가? 6개월간의 엔지니어링 프로젝트가 필요한 0.02%의 향상은 아무리 통계적으로 유의미하더라도 실용적인 측면에서 실패합니다.

반대로 생각도 해보십시오. 넓은 구간(부족한 검정력에서 비롯된)을 가진 크고 유망한 효과 크기는 더 크고, 적절하게 검정력이 확보된 후속 연구를 가치가 있는 진정한 기회일 수 있습니다. 유의성과 효과 크기는 두 개의 독립적인 다이얼입니다. 둘 다 읽으십시오.

유의하지만 출시할 가치가 있는가?

당신의 플랫폼 팀은 400만 세션에 대해 엄격하고 충분한 통계적 검정력(well-powered)을 갖춘 실험을 수행했습니다. 결과는 "새로운 체크아웃 레이아웃이 완료된 구매를 유의미하게 증가시킨다, p < 0.001. 상승폭은 +0.05%p입니다(완료율 4.10%에서 4.15%로)." 이 레이아웃을 배포하려면 두 달간의 재구성이 필요하며 코드베이스를 복잡하게 만들 것입니다. 팀은 "통계적으로 유의미하므로, 이를 배포해야 할 의무가 있다"고 주장합니다.

이 데이터는 누가 수집했으며, 일반화할 수 있는가?

숫자의 출처

p-값이나 신뢰구간을 논하기 전에, 데이터가 어디서 왔는지 묻는 것이 먼저입니다. 두 가지 질문이 대부분의 일을 해냅니다: 기저율(base rate) 은 무엇이며, 이 표본은 우리가 관심 갖는 모집단에 일반화될 수 있는가?

기저율은 우리가 읽는 모든 비율의 기준점이 됩니다. 사기를 "95% 정확도로" 탐지하는 테스트는 훌륭해 보이지만, 사기가 거래의 0.1%에 불과하다는 사실을 알게 되면 이야기가 달라집니다. 이 기저율에서, 경고가 표시된 거래의 대부분은 오탐지(false alarm)입니다. 왜냐하면 거대한 정직 거래 다수 중 5%가, 극히 소수의 사기 거래 중 95%보다 압도적으로 많기 때문입니다. 기저율을 무시하는 것은 기술적으로 정확한 모델이 쓸모없는 노이즈가 많은 경고 스트림을 생성하는 방법입니다. 탐지율이나 응답율 수치를 평가하기 전에 항상 근본적인 비율이 무엇인지 물어보십시오.

출처(Provenance)는 숫자의 관리 이력(chain of custody)입니다. 누가 수집했는가? 어떻게? 누구를 대상으로? 가장 적극적인 사용자들만 응답한 설문조사는 이탈한 사용자를 설명하지 못합니다. 휴가 프로모션 기간에 측정된 전환율은 평범한 화요일을 설명하지 못합니다. 제품을 판매하는 벤더가 실행한 벤치마크는 중립적인 측정이 아닙니다. 표본 추출 방법, 시점, 측정 도구, 그리고 결과가 누구에게 이득이 되는지 모두 해당 숫자가 당신의 의사결정에 일반화되는지를 결정합니다.

일반화는 최종 관문입니다. 한 맥락(한 국가, 한 계절, 한 고객 등급, 한 기기)에서 수집된 데이터는 다른 맥락으로 이전되지 못할 수 있습니다. 숫자가 완벽하게 측정되었더라도, 당신의 질문에 대한 잘못된 숫일 수 있습니다. "여기서는 참"과 "내 의사결정에 대해 참"은 다른 주장입니다.

벤더 웹사이트에 있는 사례 연구

한 소프트웨어 벤더의 랜딩 페이지는 "당사의 도구를 사용하는 기업들은 생산성이 35% 증가했습니다"라고 주장합니다. 이 수치는 벤더가 선별하여 작성한 3개 고객사 사례 연구에서 유래했으며, 벤더의 자체 팀이 직접 온보딩을 수행한 후 첫 달 동안 해당 기업들이 스스로 보고한 시간 절감량으로 측정되었습니다.

2분짜리 회의주의자의 체크리스트

모든 연구, 대시보드, 또는 자동화 보고서에 대해 이 과정을 실행하세요

이제 다섯 가지 반사 신경을 갖추셨습니다. 아래는 데스크에 도착하는 자신감 있는 숫자에 대해 2분 이내에 실행할 수 있는 체크리스트입니다.

1. 표본과 검정력. 이 숫자 뒤의 표본 크기는 얼마나 큰가? 행동할 가치가 있는 효과를 감지하기에 충분히 큰가, 아니면 소수의 관측치로 인해 크게 흔들릴 정도로 작은가? 아주 작은 집단의 비율은 대부분 노이즈(오차)입니다.

2. 점 추정치가 아닌 구간. 신뢰 구간이나 오차 막대가 있는가, 아니면 맨점 추정치(naked point estimate)만 있는가? 구간이 없는 점 추정치는 경고 신호입니다. 두 가지가 비교될 때, 그들의 구간이 겹치는가? 겹친다는 것은 차이가 확립되지 않았다는 뜻입니다.

3. 비교 횟수. 이것은 사전에 선언된 한 번의 테스트였는가, 아니면 많은 것들 중 가장 운이 좋게 뽑힌 조각인가? 몇 개의 지표, 세그먼트, 또는 변형(variants)이 조사되었는지 물어보세요. 탐색 과정에서 뽑아낸 "유의미한" 승자는 믿기 전에 새로운 홀드아웃(holdout) 또는 사전 등록(pre-registered) 확인이 필요합니다.

4. 효과 크기 대 유의성. p-값을 잠시 제쳐두세요: 효과는 얼마나 큰가, 그리고 그 비용에 비해 이 결정에 중요한 수준으로 충분히 큰가? 거대한 표본에서 "유의미한" 결과라 해도 여전히 미미하게 작을 수 있습니다.

5. 기저율과 출처. 이 숫자가 대조되는 근본적인 기저율(base rate)은 무엇인가? 누가, 어떻게, 누구에게서 데이터를 수집했으며, 누가 결과에서 이익을 얻는가? 측정된 맥락이 당신이 내리는 결정과 일치하는가?

문을 나설 때 기억할 한 문장: 숫자는 표본, 구간, 비교, 그리고 출처를 확인하기 전까지는 사실이라기보다 주장에 불과하다. 도구는 계속 자신감 넘치는 수치를 내뿜을 것이다. 당신의 역할은 그들이 생략하는 네 가지를 읽는 것이다.

더 깊이 파고들기를 위한 추천 독서는 데럴 허프의 "통계로 속이는 법(How to Lie with Statistics)", 찰스 휠런의 "나aked Statistics(Naked Statistics)", 레지나 누조가 p-hacking에 대해 쓴 글, 그리고 연구 방법론을 읽는 데 관한 CONSORT 지침이다.