트리, 평균, 그리고 파산

기대값: 기본값이지, 정답이 아니다

기대값(EV)은 각 결과에 그 확률을 가중하여 합산합니다: EV = (확률 × 보상)의 합. 의사결정 트리는 분기를 그려 각 노드에서 EV를 계산할 수 있게 하고, 이를 루트의 선택지로 되돌려 계산(fold back)할 수 있게 합니다.

실제 예시. 다음 딜을 받아들일 수 있습니다: 70% 확률로 100을 얻고, 30% 확률로 50을 잃습니다.

- EV = 0.70 × 100 + 0.30 × (-50) = 70 - 15 = +55. 양수이므로, 이 딜을 반복할 경우 장기적으로 수익이 납니다.

기대값이 잘못된 기준인 경우

기대값은 여러 번의 시행에 걸친 평균입니다. 이는 베팅을 반복할 수 있고, 단일 손실이 게임을 중단시키지 않는다는 것을 암묵적으로 가정합니다. 두 가지 상황에서는 이 가정이 깨집니다.

- 파산 위험: 패배 분기가 당신을 끝장나게 만든다면(파산, 사망, 면허 박탈, 평판 파괴 등), 평균은 무의미합니다. 단일한 나쁜 결과로 게임판에서 제외되므로 장기적 보수를 수취할 수 없기 때문입니다. 기대값이 아무리 좋아도 잃을 수 없는 것을 위험에 빠뜨리지 마십시오.

- 비반복 베팅: 일회성 결정의 경우, 평균 결과는 실제로 경험하지 못할 수 있는 결과일 수 있습니다. +EV이지만 90% 확률로 잃는 베팅은 정확히 한 번만 하는 선택에 대해서는 여전히 잘못된 선택일 수 있습니다.

이것이 바로 소규모의, 반복적인, 생존 가능한 베팅은 EV(기대값) 기준으로 플레이하는 반면, 파산 위험을 내포한 단일 베팅은 생존을 최우선으로, EV를 그 다음으로 고려하는 이유입니다. 자동화된 시스템은 기꺼이 양의 EV를 보고할 것입니다. 그러나 패배 분기가 생존 가능한지 묻는 것은 당신의 몫입니다.

트리를 접어 보기(Fold Back the Tree)

구독 기반 회사가 위험한 기능을 지금 출시하는 것을 검토하고 있습니다. 성공할 경우(60% 확률) 고객 유지율이 상승하여 200만 달러의 가치가 생깁니다. 실패할 경우(40% 확률) 결함이 발생하여 환불과 고객 이탈로 50만 달러의 비용이 듭니다. 여기에 함정이 하나 있습니다: 창업자가 런웨이(runway)를 개인적으로 보증했기 때문에, 이번 분기에 50만 달러의 손실이 발생하면 파산에 이르게 됩니다. 세 번째 옵션도 있습니다: 4주간의 베타 테스트를 먼저 수행하는 것으로, 비용은 15만 달러이며, 이는 정식 출시 전에 기능이 작동하는지 여부를 알려줍니다.

당신의 90% 확률은 정말 90%인가?

평가할 수 있는 확률

교정(calibration)된 예측가는 명시한 확률이 현실과 일치하는 사람을 말합니다. "90% 확신한다"고 여러 번 예측할 때, 실제로 그 중 90%에 가까운 예측이 적중해야 합니다. 교정은 더 자주 맞히는 것이 아니라, 당신의 확신이 말한 그대로의 의미를 갖는 것에 관한 것입니다.

추적한 후 개선하기

자신의 교정 수준을 아는 유일한 방법은 명시적인 확률과 함께 예측을 기록한 후, 결과와 비교하여 점수를 매기는 것입니다. 브라이어 점수(Brier score)는 이를 구체화합니다: 각 예측에 대해, 실제로 일어난 사건에 배정한 확률을 취하고, 결과(1: 발생, 0: 미발생)에 대한 제곱 오차를 측정합니다.

- 0.90으로 예측하고, 사건이 발생함(결과 1): 오차는 (0.90 - 1)의 제곱 = 0.01입니다. 작습니다: 좋습니다.

- 0.90로 예측했으나 사건이 발생하지 않음(결과 0): 오차는 (0.90에서 0을 뺀 값)의 제곱 = 0.81입니다. 큼: 자신감 있게 틀렸습니다.

여러 예측에 대해 이 값을 평균냅니다. 브라이어 점수가 낮을수록 좋습니다. 이 점수는 자신감 있는 실수를 가장 가혹하게 penalize(벌점)하며, 이는 전문가에게 가장 해가 되는 습관과 정확히 일치합니다.

이 규율(디시플린): 숫자를 명시하고, 기록하고, 확인하고, 조정합니다. 일관되게 기준선(예측 확률)을 초과하는 경우 과신(overconfident) 상태이므로 추정 범위를 넓혀야 하며, 일관되게 기준선 아래에 있는 경우 과소신(underconfident) 상태이므로 확신을 더 크게 가져갈 수 있습니다. 자동화된 예측도 동일한 방식으로 점수를 매길 수 있으며, 이를 통해 언제 신뢰하고 언제 수동으로 개입(override)해야 하는지 배울 수 있습니다.

예측자를 평가하다

한 분석가가 팀에 반복적으로 "이 일이 제시간에 완료될 것이라고 90% 확신한다"고 말합니다. 한 분기 동안 그녀는 이 90% 확신 수준으로 40건의 예측을 했습니다. 그중 26건이 사실로 드러났습니다.

일방문과 양방문

모든 실수의 비용은 같지 않습니다

하방 리스크와 상방 리스크가 거울처럼 대칭적이지 않을 때, 그 결정에는 비대칭적 리스크가 있습니다. 하방을 제한하되 상방을 열어두는 것이 핵심입니다. 손실이 제한되고 수익이 무제한인 포지션은 대부분의 경우 틀리더라도 전체적으로 이길 수 있습니다.

선택권(Optionality)은 나중에 더 많은 정보를 알게 되었을 때 행동할 수 있는 권리이지만, 반드시 행동해야 할 의무는 없는 상태입니다. 두 섹션 전의 4주 베타 테스트가 바로 선택권의 예시입니다. 이는 불확실성이 해소될 때까지 큰 규모의 되돌릴 수 없는 결정을 열어두기 위한 작고 명확한 비용입니다.

되돌릴 수 있는 것은 빠르게, 되돌릴 수 없는 것은 천천히

결정들을 되돌리기 어려운 정도에 따라 구분하는 유용한 프레임워크가 있습니다:

- 양방향 문(Two-way doors)은 되돌릴 수 있는 결정입니다. 문을 지나가서 발견한 것이 마음에 들지 않으면 낮은 비용으로 다시 돌아올 수 있습니다. 이러한 결정은 빠르게 내리고 위임해야 합니다. 오후 한두 시간 만에 되돌릴 수 있는 선택지에 대해 몇 주 동안 고민하는 것 자체가 일종의 낭비입니다.

- 일방향 문(One-way doors)은 되돌릴 수 없거나 되돌리는 데 큰 비용이 드는 결정입니다. 이러한 결정에는 깊은 숙의, 시니어 리더의 소유권(ownership), 그리고 안전장치가 필요합니다.

위 사분면은 되돌릴 수 있는 정도와 이해관계의 크기를 교차시켜 보여줍니다. 현재 있는 사분면에 따라 숙의의 깊이를 맞추세요. 가장 비용이 큰 전문적 실수는 일방향 문을 양방향 문처럼 취급하여, 되돌릴 수 없는 결정을 서두르는 것에서 비롯됩니다.

가장 강력한 전략은 종종 일방향 문을 양방향 문으로 변환하는 것입니다: 하나의 서비스로 파일럿을 진행하거나, 구 시스템과 신 시스템에 이중 기록(dual-write)을 하거나, 구 경로를 폴백(fallback)으로 유지하거나, 롤아웃을 단계적으로 진행하는 것입니다. 이를 통해 되돌릴 수 있는 능력을 확보하여, 잘못된 결정이 치명적인 것이 아니라 생존 가능한 수준으로 유지되도록 합니다.

분류하고 변환하기

엔지니어링 디렉터는 이번 분기에 두 가지 선택지를 마주하고 있습니다. 선택지 1: 주요 데이터베이스를 새로운 엔진으로 마이그레이션하는 것인데, 이는 모든 서비스를 관통하는 수개월에 걸치는 프로젝트이며, 라이브 환경으로 전환된 후에는 되돌리기 어렵습니다. 선택지 2: 팀이 실망스러우면 일주일 안에 바로 폐기할 수 있는 새로운 내부 코드 리뷰 도구를 도입하는 것입니다.

당신의 마음을 대항하는 도구들

방은 종종 함께 틀리다

개인과 그룹 모두, 전문가들은 예측 가능한 편향을 공유합니다: 시간표에 대한 낙관론, 눈앞의 생생한 이야기에 과도한 가중치를 두는 것, 그리고 그룹이 이미 선호하는 방향으로의 기울어짐. 편향 제거(debiasing) 기법은 이러한 문제들이 당신에게 비용을 치르기 전에 이를 상쇄하는 저렴한 절차입니다.

- 프리모템(Pre-mortem): 시간이 흘러 결정이 실패한 상황을 상상해 보세요. 거꾸로 작업하여, 실패한 모든 이유를 나열합니다. 이는 열정이 가리는 위험을 드러내고 계획 오류(planning fallacy)와 집단 사고(groupthink)를 상쇄합니다.

- 기저율(Base rates)과 외부 관점(outside view): 이 사건의 내부에서만 추론하는 대신, 유사한 시도가 실제로 어떻게 끝났는지 물어보세요. 대부분의 유사한 프로젝트가 일정보다 50% 초과로 진행되었다면, 내부의 이야기가 어떻게 말하든 당신의 프로젝트도 그럴 가능성이 높습니다. 내부 관점의 낙관론을 상쇄합니다.

- 레드팀(Red-teaming): 누군가 진지하게 반대 입장을 주장하고 계획을 공격하도록 지정합니다. 확인 편향(confirmation bias)와 합의의 편안함을 상쇄합니다.

- 사전 결정(Deciding in advance): 감정에 몰입하기 전에, 그리고 가라앉은 비용(sunk costs)이 쌓이기 전에 규칙과 중단 기준을 설정합니다. '3개월까지 X를 달성하지 못하면 중단한다.' 확증 편향(escalation of commitment)을 상쇄합니다.

각 기법은 내부에서 느낄 수 없는 편향과 싸우기 때문에, 작은 의례임에도 불구하고 큰 보상을 가져옵니다.

실시간 의사결정에서 편향 제거하기

팀은 9개월간의 플랫폼 재구축을 승인하기 직전입니다. 회의실은 만장일치로 들떠 있으며, 경영진은 오늘 바로 결정을 내리기를 원합니다.

전체 툴킷 실행하기

하나의 프로토콜, 모든 중대한 결정에 적용

이제 여러분은 전체 툴킷을 갖추었습니다. 프로토콜은 이 조각들을 반복 가능한 순서로 엮어, 모든 중대하고 대부분 되돌릴 수 없는 전문적 선택 전에 실행할 수 있게 해줍니다:

1. 본인이 소유한 명시적인 확률을 진술하세요. 기계의 숫자가 아닌, 여러분의 숫자입니다: 확률은 얼마라고 생각하며, 그 이유는 무엇입니까?

2. 기대값을 스케치한 후, 파산 가능성을 확인하세요. 결과에 가중치를 두되, 행동하기 전에 실패한 분기가 생존 가능한지, 그리고 이것이 일회성 베팅인지 물어보세요.

3. 가역성을 분류하세요. 일방문(One-way door)이냐 양방문(Two-way door)이냐? 답에 맞춰 숙고의 깊이를 맞추고, 일방문을 양방문으로 전환해 보십시오.

4. 편향을 제거하세요. 최소한 하나의 프리모템(pre-mortem), 베이스 레이트(base-rate), 또는 레드팀(red-team) 패스를 여러분의 열정 자체에 대해 실행해 보세요.

5. 결정 규칙과 중단 기준을 사전에 확정하세요. 가라앉은 비용(sunk cost)에 휘둘리기 전에, 지금 당장 어떤 증거가 나오면 중단하거나 방향을 전환할지 결정하세요.

자동화 시스템이 추천이나 예측을 제공할 경우, 이는 1단계와 2단계에 입력됩니다. 3단계부터 5단계는 여전히 귀하가 담당하며, 최종 오버라이드(수정/거부) 권한도 귀하에게 있습니다.

귀하의 프로토콜 작성하기

귀하의 분야에서 전문가가 직면하는 구체적이고, 중요한 결과로 이어지며, 대부분 되돌리기 어려운 선택을 하나 고르세요: 역할 수락, 다년 계약 벤더 서명, 제품 출시, 대규모 금융 포지션 취하기 등. 자동화 시스템이 해당 선택에 대한 추천과 예측을 제공했다고 가정하세요.

당신이 앞으로 가져갈 것들

당신 것이 되는 기술들

당신은 불확실성 하에서 결정하기 위한 도구 모음을 구축했습니다:

- 기대값과 의사결정 트리, 그리고 패배 분기가 파산 위험을 수반하거나 베팅이 단 한 번만 이루어지는 경우 기대값을 무시하는 규율.

- 교정(Calibration): 명시적인 확률을 제시하고, 이를 점수화하며(Brier 점수, 낮을수록 좋음), 당신의 확신(confidence)이 말한 그대로의 의미를 갖도록 훈련하는 것.

- 비대칭적 리스크와 선택권(Optionality): 하방 리스크를 제한하고, 일방문(되돌릴 수 없는 문)과 양방문(되돌릴 수 있는 문)을 구별하며, 비가역적 상황을 단계적 실행으로 전환하는 것.

- 편향 제거(Debiasing): 사전 부검(pre-mortem), 베이스 레이트(base rates), 레드팀(red-teaming), 그리고 사전 결정.

- 중요한 결정 전에 이 모든 과정을 실행하는 프로토콜.

자동화 시스템은 추천과 예측에서 계속 나아갈 것입니다. 그러나 그 어느 것도 보정된 판단을 제공하고, 비대칭적 위험을 가중하며, 되돌릴 수 없는 결정을 책임져야 하는 사람의 필요성을 제거하지는 못합니다. 그 사람은 바로 전문가입니다. 이제 여러분은 그 책임을 실질적으로 수행하게 해주는 도구 모음을 갖추게 되었습니다.