출처 추적, 교차 검증, 재현, 상식 검증, 레드팀 분석

재사용 가능한 검증 툴킷

다섯 가지 검증 유형은 거의 모든 중요한 주장을 포괄합니다. 다섯 가지를 모두 실행할 필요는 없으며, 중요도에 따라 적절한 검증을 선택하면 됩니다.

1. 출처 추적(Provenance): 이 수치는 어디에서 왔는가? 주장을 그 기원으로 추적합니다. 출처, 쿼리, 정의, 기간, 표본, 가정이 무엇인지 확인하세요. 추적 가능한 기원이 없는 숫자는 소수점만 달린 소문에 불과합니다. 대부분의 잘못된 수치는 계산 오류가 아니라, 질문한 것과 약간 다른 질문에 대한 답변이기 때문입니다.

2. 신뢰할 수 있는 참고 자료와 교차 검증. 해당 주장을 이미 신뢰하는 독립적인 출처와 비교하십시오: 이전 보고서, 다른 팀의 수치, 공개된 벤치마크, 물리적 측정값. 두 개의 독립적인 경로 간의 일치(일치)는 강력한 증거입니다. 주장과 그 주장 자체 간의 일치는 증거가 아닙니다.

3. 독립적 재현. 원리부터 스스로 결과를 재구성하십시오. 가능하면 다른 방법이나 도구를 사용하십시오. 원래 경로와 어떤 기계적 요소(메커니즘)도 공유하지 않는 경로로 동일한 답에 도달한다면, 확신은 크게 높아집니다. 재현할 수 없다면, 아직 그것을 알지 못하는 것입니다.

4. 단위 및 상식 검증. 심층 분석 전에 저렴한 질문을 하십시오. 단위가 일관되나요? 크기(규모)가 합리적인가요? 부호가 맞나요? 대략적인 추정(손가락 계산)을 통과하나요? 놀랍도록 많은 수의 치명적인 오류는 1000배의 차이, 분자와 분모의 위치 교환, 또는 음수여야 할 곳에 양수가 있는 형태로 스스로를 드러냅니다.

5. 자신의 결론에 대한 레드팀(적대적 검증) 수행. 적극적으로 자신을 틀렸다고 증명해 보십시오. 질문하십시오: 만약 이것이 거짓이라면, 지금 내게 어떻게 여전히 참으로 보일 수 있을까요? 내 생각을 바꿀 증거는 무엇이며, 나는 그것을 찾아보았나요? 반대 결론을 가장 강하게 논증(스틸맨)하십시오. 목표는 현실, 고객, 또는 규제 당국이 대신 찾아내기 전에 자신의 오류를 찾는 것입니다.

확인은 검증처럼 보이지만 사실 그 반대입니다. 주장이 옳은 이유를 찾는 것은 항상 성공합니다. 오히려 그 주장이 틀린 이유를 찾는 것이야말로 치명적인 검증입니다.

순간적으로 돌아온 견적서

제조업체의 마진을 관리하고 있습니다. 자동 견적 시스템이 대규모 맞춤 주문의 가격을 $18,400으로 책정했고, 고객은 오늘 바로 서명하기를 원합니다. 이 시스템은 빠르고, 항상 가동 중이며, 수천 건의 주문 가격을 산정해 왔습니다. 하지만 이 주문은 특이합니다: 일반적인 규모보다 크고, 비표준 재료가 사용되며, 납기 일정이 매우 짧습니다. 서명하면 해당 가격으로 납품할 의무가 발생합니다.

확신도와 정확도 일치시키기

얼마나 확신하는지 말하고, 그것이 사실임을 확인하세요

교정(Calibration)은 자신이 느끼는 확신 수준과 실제로 맞출 확률 사이의 일치 정도를 의미합니다. 완벽하게 교정된 전문가가 "90% 확신한다"고 말하면, 10번 중 9번은 정확합니다. 대부분의 사람과 대부분의 자동화 시스템은 교정이 잘 되어 있지 않아, 실제 정확도를 훨씬 초과하는 확신을 보입니다.

교정을 구축하는 세 가지 습관:

모르는 것을 알라. 검증한 것, 가정하는 것, 추측하는 것 세 가지를 명확히 구분하라. 이 세 가지를 하나의 확신 있는 목소리로 합치는 것이 대부분의 회피 가능한 오류의 근원이다. "그 숫자는 2.1%이다"와 "대시보드가 2.1%라고 보고하지만, 나는 아직 그 출처를 추적하지 못했다"는 같은 단어를 입에 올리는 서로 다른 주장이다.

불확실성을 소리 내어 말하라. 범위가 단일 점보다 낫다. "40에서 60개 사이, 가장 가능성 높은 값은 50 근처"라는 표현은 "50"이라는 표현보다 의사결정자에게 더 많은 정보를 제공하며, 이는 위험을 드러내기 때문이다. 불확실성을 숨기는 것은 그것을 소멸시키지 않는다; 그것은 단지 놀라움을 당신의 숫자를 바탕으로 행동하는 하류의 누군가로 이동시킬 뿐이다.

확신 있는 출력은 보정된 출력이 아님을 알아차리라. 유창함, 정제됨, 속도는 전달의 속성이지, 진리의 속성이 아니다. 자동화 시스템은 확신 있게 들리도록 설계되어 있다; 확신 있게 표현된 문단과 조심스럽게 표현된 문단은 틀릴 확률이 동일할 수 있다. 톤은 장식으로 취급하고, 주장은 그 증거로 판단하라.

과신과 과소신 모두 비용을 발생시킨다. 과신은 오류를 배포하게 하고, 과소신은 이미 정해진 것을 재확인하는 데 노력을 낭비하며, 실제 경고음을 소음 속에 잠기게 한다. 보정(칼리브레이션)은 확신을 최대화하는 것이 아니라, 확신을 조준하는 것이다.

과신된 주장 다시 쓰기

동료가 고객 보고서를 위해 한 줄을 보냅니다: "우리의 모델은 새로운 캠페인이 가입자를 23% 증가시킬 것이라고 보여줍니다." 이 추정치가 하나의 자동화 모델에서, 소음이 많은 3개월간의 데이터로, 한 번만 실행되었으며, 신뢰 구간도 홀드아웃 테스트도 없다는 것을 알고 있습니다.

오답의 비용에 비례하여 검증하라

모든 주장이 동일한 수준의 검증을 받을 자격은 없다

검증에는 시간과 주의력이 필요하며, 이 둘은 모두 유한하다. 모든 주장에 동일한 수준의 엄밀함을 들이는 것 자체가 오류이다: 그것은 중요한 의사결정에 필요한 자원을 빼앗아 중요하지 않은 것들에 공급하는 결과를 낳는다. 지배적인 질문은 "어떻게 확신을 가질 수 있는가?"가 아니라 "잘못된 답이 초래할 비용을 고려할 때, 나는 얼마나 확신을 가져야 하는가?"이다.

필요한 엄밀함의 수준을 결정하는 두 가지 차원이 있다:

가역성(Reversibility). 쉽게 되돌릴 수 있는 결정은 실수가 회복 가능하므로(시도하고, 관찰하고, 수정할 수 있으므로) 상대적으로 적은 검증을 허용한다. 반면 되돌릴 수 없는 결정은 두 번째 기회가 없으므로 훨씬 더 많은 검증을 요구한다. 제프 베조스는 이러한 것들을 양방향 문(틀리면 다시 걸어 나올 수 있는 문)과 단방향 문(뒤로 잠기는 문)으로 표현했다. 단방향 문을 양방향 문처럼 취급하는 것이 조직을 되돌릴 수 없는 해로 잠든 채로 밀어 넣는 방식이다.

해의 규모. 반올림 오차 수준의 비용만 발생시키는 잘못된 주장은 잠시 살펴보는 정도로 충분합니다. 반면, 생명, 소송, 리콜, 혹은 회사 전체를 위협하는 잘못된 주장은 독립적인 재현과 레드팀(적대적 검증)이 필요합니다. 검증의 강도를 걸린 이해관계의 규모에 맞춰 조정하세요.

요약하자면: 엄밀함은 되돌릴 수 없는 정도와 해의 규모를 곱한 값에 비례하여 높아져야 합니다. 저렴하고 되돌릴 수 있으며 해가 작은 주장(내부 위키에서 어떤 글꼴이 렌더링되는가)은 거의 검증이 필요하지 않으며, 잘못되었다면 나중에 수정하면 됩니다. 반면, 비용이 크고 되돌릴 수 없으며 해가 큰 주장(용량, 구조 하중, 대외 재무제표 정정, 모든 고객에게 발송되는 대량 이메일)은 진행하기 전에 가장 심층적인 검증과, 경우에 따라 두 번째 독립적인 전문가의 검토가 필요합니다.

이 원칙은 양방향으로 작용합니다. 일방문(되돌릴 수 없는 결정)에 대한 검증 부족은 무모한 것입니다. 반면, 양방문(되돌릴 수 있는 결정)에 대한 과도한 검증은 그 자체로 낭비입니다: 그것은 진정한 일방문이 나타났을 때 필요할 검증 예산을 소진해 버리기 때문입니다.

네 가지 결정 분류하기

같은 아침, 빠르고 자신감 있는 자동화 시스템에서 온 네 가지 주장이 당신의 책상에 도착합니다:

- A. 내부 문서 한 줄에 대한 제안된 문구 수정.

- B. 1시간 이내에 자동화된 이메일을 통해 모든 고객에게 실시간으로 적용될 것을 권장하는 가격 변경 사항.

- C. 이번 주에 제출되어야 하며, 수정 시 패널티가 부과되어 수정이 불가능한 규제 신고용 생성 수치.

- D. 2일 동안 사용자의 1%에게 새로운 버튼 색상을 표시할 예정인 A/B 테스트 제안.

유창하고 자신감 넘치지만, 자주 틀리는

자신감 있는 주장의 지배적인 출처

자동화 시스템은 이제 당신과 거의 모든 경제적 행위 사이에 위치해 있습니다: 가격을 설정하고, 신용을 승인하며, 물류를 배정하고, 사기를 탐지하고, 문서를 작성하고, 검색 결과를 랭킹하며, 진단을 제안합니다. 이는 틈새 시장이 아니라 현대 상거래의 기반입니다. 따라서 이제 당신의 업무에 도달하는 자신감 있는 주장의 가장 흔한 출처는 기계이며, 전문적 기술은 이러한 시스템이 어떻게 실패하는지를 아는 것입니다.

이들은 위험한 특성을 공유합니다: 자주 틀리거나, 구식이거나, 편향된 유창하고 자신감 있는 출력. 이 실패는 평균화하여 제거할 수 있는 무작위 노이즈가 아닙니다. 구조화된 것입니다:

- 자신감 있는 오류. 출력은 정확하든 아니든 권위 있는 톤으로 읽힙니다. 조작된 인용, 환각된 수치, 그리고 실제 수치가 모두 동일한 담담한 톤으로 전달됩니다. 자신감은 획득되는 것이 아니라 생성되는 것입니다.

- 陳腐함(Stale). 시스템은 오늘이 아니라 구축되거나 학습된 시점의 세계를 반영합니다. 가격, 규제, 재고, 그리고 사실은 변하지만, 모델은 그렇지 않을 수 있습니다.

- 편향 및 분포적 특성. 학습한 일반적인 사례 근처에서는 신뢰할 수 있지만, 경계에서는 성능이 저하됩니다: 이례적인 주문, 희귀한 환자, 과소 대표된 지원자. 사례가 드문 곳에서 정확히 실패하며, 이는 종종 가장 중요한 곳이기도 합니다.

- 조용한 범위 이탈. 자신의 역량 범위를 벗어난 질문에 대해 범위 내 질문과 동일한 유창함으로 답변하여, 단단한 지반을 벗어났다는 신호를 전혀 주지 않습니다.

전문적인 대응은 이러한 시스템을 거부하는 것이 아닙니다.它们是 놀라운 초안 작성 및 검색 엔진입니다. 자신의 가치를 재배치하는 것입니다. 첫 번째 초안은 이제 저렴하고 자동화되었습니다. 그것을 검증하고, 오류를 찾아내고, 결정에 대한 책임을 지는 판단력이 희소하고 지속 가능한 업무입니다. 당신은 출시되는 결과물에 대해 책임이 있으며, "시스템이 그렇게 말했다"는 과거에도, 그리고 앞으로도 변명거리가 될 수 없습니다. 목표는 초안을 생산하는 것이 아닙니다. 목표는 그것이 올바른지 판별할 수 있는 사람이 되는 것입니다.

완벽해 보이는 보고서

자동화 시스템이 고객용 시장 분석을 초안으로 작성합니다. 그것은 유창하고, 잘 구조화되어 있으며, 설득력이 있습니다. 세 가지 연구를 인용하고, 시장 규모가 연 19% 성장하는 42억 달러라고 명시하며, 지금 시장에 진입할 것을 권장합니다. 당신의 이름이 그 위에 올라갑니다. 고객은 이를 근거로 실제 돈을 투자할 것입니다.

중대한 주장에 행동하기 전에

어떤 분야에서도 활용할 수 있는 체크리스트

이것은 동료, 스프레드시트, 벤더, 또는 자동화 시스템 등 출처가 무엇이든, 모든 중요한 주장에 대해 실행할 수 있는 루틴으로 이 레슨 전체를 압축한 것입니다.

1. 출처(Provenance): 이것은 어디에서 왔는가? 주장을 그 기원으로 추적하십시오. 출처, 정의, 날짜 범위, 가정을 식별하십시오. 추적 가능한 기원이 없는 주장은 거부하십시오.

2. 독립성(Independence): 두 번째, 무관한 경로가 동의하는가? 신뢰할 수 있는 참고 자료와 교차 확인하거나, 다른 방법으로 결과를 독립적으로 재현하십시오. 주장이 자기 자신과 일치하는 것은 무가치합니다.

3. 합리성(Sanity): 단위, 크기, 부호가 합리적인가? 먼저 저렴한 대략적 계산(back-of-envelope) 검증을 수행하십시오. 심층 분석 전에 1000배 차이(factor-of-1000) 및 뒤바뀐 비율(flipped ratio)을 포착하십시오.

4. 레드팀: 이것이 확신할 수 있을 정도로 틀릴 수 있는 방법은 무엇인가? 적극적으로 반대편을 주장하라. 당신의 생각을 바꾸게 할 증거가 무엇인지, 그리고 그것을 찾아보았는지 질문하라. 분포의 가장자리, 정보의 시의성(staleness), 그리고 편향에 의심을 품으라.

5. 보정(Calibration): 내가 표명한 확신 수준이 증거와 일치하는가? 검증된 사실, 가정, 추측을 분리하라. 불확실성을 범위로 명시하라. 유창한 어조가 증거를 대체하도록 허용하지 마라.

6. 비례성: 나의 노력이 이해관계의 규모와 일치하는가? 되돌릴 수 있는 정도와 해악의 크기를 곱해서 가중치를 두라. 한 방향으로만 가고 해악이 큰 결정은 끝까지 검증하라; 저렴하고 되돌릴 수 있는 결정에 검증을 낭비하지 마라.

7. 소유권: 이것에 대해 책임질 의향이 있는가? 당신의 이름이 붙는다면, 당신이 검증한 것이다. "시스템이 그렇게 말했기 때문"은 변명이 될 수 없으며, 결코 그럴 수 없다. 소유할 수 없다면, 배포하지 마라.

나만의 결과적 주장

본인의 분야에서 가져온 주장을 하나 제시하세요. 스프레드시트, 보고서, 벤더, 동료, 또는 자동화 시스템에서 나온 것으로, 이미 행동했거나 앞으로 행동할 것입니다.

지금 여러분이 갖추게 된 것

지속 가능한 역량

신뢰감 있는 주장(claim)을 생산하는 것은 이제 저렴하고 풍부해졌습니다. 그것이 사실인지 아는 것이 희귀하고 가치 있는 일이 되었습니다. 이제 여러분은 그 일을 위한 이동 가능한(이식 가능한) 규율을 갖추게 되었습니다:

- 5가지 검증: 출처(provenance), 교차 검증, 독립적 재현, 단위 및 합리성 검사, 그리고 자신의 결론에 대한 레드팀(적대적 검증) 수행.

- 교정(Calibration): 표명한 확신 수준을 실제 정확도와 일치시키고, 검증된 것과 가정된 것, 추측한 것을 분리하며, 불확실성을 범위로 명시하는 것.

- 오류 비용의 비대칭성: 되돌릴 수 없는 정도(reversibility)와 해악(harm)의 곱에 비례하여 검증하고, 잘못된 답이 영구적이고 비용이 큰 곳에 집중력을 사용하는 것.

- 자동화 시스템에 대한 태도: 유창하고 자신감 있는 출력을 검증해야 할 초안으로 취급하고, 결코 신뢰할 수 있는 판정(verdict)으로 보지 않는 것. 왜냐하면 실패 모드는 설득력을 부여하는 바로 그 정제된 표현 뒤에 숨겨져 있기 때문입니다.

- 7개 항목 체크리스트: 행동에 옮기기 전에 어떤 중요한 주장에 대해서도 실행할 수 있는 체크리스트.

가장 중요한 두 가지 아이디어가 있습니다. 신뢰할 수 있는 출처는 입력일 뿐, 결코 결론이 아닙니다. 그리고 당신이 출시하는 것에 대한 책임은 오롯이 당신에게 있습니다. 아무리 유창한 시스템이라도 그 책임을 대신해 주지 않습니다. 전문가의 지속 가능한 가치는 첫 번째 초안에 있는 것이 아닙니다. 그것은 그것을 검증하는 판단력, 오류를 포착하는 절제력, 그리고 결정에 대한 책임을 지겠다는 의지에 있습니다.