Träden, medelvärden och ruin

Förväntat värde: Standarden, inte svaret

Förväntat värde (EV) väger varje utfall med dess sannolikhet och summerar: EV = summan av (sannolikhet gången vinst). Ett beslutsfält ritar grenarna så att du kan beräkna EV i varje knutpunkt och fälla tillbaka fältet till valet i roten.

Genomräknat exempel. Du kan ta ett erbjudande: 70 % chans att du vinner 100, 30 % chans att du förlorar 50.

- EV = 0,70 gånger 100 plus 0,30 gånger (minus 50) = 70 minus 15 = +55. Positivt, så över många upprepningar betalar detta erbjudande.

När EV är fel kriterium

EV är ett medelvärde över många försök. Det tyst förutsätter att du får upprepa satsen och att inget enskilt förlag tar dig ur spelet. Två situationer bryter mot den antagandet.

- Risk för ruin: om en förlustsgren innebär att du är ute (konkurs, ett död, en förlorad licens, en förstörd rykte), är medelvärdet meningslöst. Du hinner aldrig ta emot den långsiktiga vinsten eftersom ett enskilt dåligt drag tar dig ur spelet. Satsa aldrig på det du inte kan förlora, oavsett hur bra EV är.

- Enskilda satsar: för ett engångsbeslut kan medelutfallet vara ett utfall du aldrig faktiskt upplever. En sats som är +EV men 90 % sannolik att förlora kan fortfarande vara fel för ett val du gör exakt en gång.

Det är därför en lotteri med små, upprepade och överlevningsbara satsningar spelas baserat på förväntat värde, medan en enskild satsning som riskerar ruin spelas med överlevnad först och förväntat värde sedan. Ett automatiserat system kommer gärna att rapportera ett positivt förväntat värde; det är ditt jobb att fråga om förlustgrenen är överlevningsbar.

Fäll tillbaka trädet

Ett abonnemangsföretag väger in att skicka ut en riskfylld funktion nu. Om den fungerar (60 % sannolikhet) ökar behållningen, vilket är värt 2 miljoner dollar. Om den misslyckas (40 % sannolikhet) orsakar ett fel åtgärder och kundförlust som kostar 500 000 dollar. Det finns en twist: grundaren har personligt garanterat likviditeten, så en förlust på 500 000 dollar under detta kvartal leder till insolvens. Ett tredje alternativ finns: genomför en 4 veckor lång beta först, vilket kostar 150 000 dollar, och som avslöjar om funktionen fungerar innan någon fullskalig lansering.

Är dina 90-tal verkligen 90-tal?

En sannolikhet du kan bedömas på

En kalibrerad prognostiker är någon vars angivna sannolikheter stämmer med verkligheten. När du säger att du är "90 % säker" vid många förutsägelser, bör nästan 90 % av dem gå i uppfyllelse. Kalibrering handlar inte om att ha rätt oftare, utan om att din säkerhet betyder vad den säger.

Spåra, förbättra sedan

Det enda sättet att känna till din kalibrering är att skriva ner förutsägelser med en explicit sannolikhet och sedan poängsätta dem mot utfallen. Brier-poäng gör detta konkret: för varje prognos tar du den sannolikhet du tilldelade det som faktiskt hände, och mäter kvadratfelet mot utfallet kodat som 1 (hände) eller 0 (hände inte).

- Förutsäg 0,90, händelsen inträffar (utfall 1): felet är (0,90 minus 1) i kvadrat = 0,01. Litet: bra.

- Förutsägelse 0,90, händelsen inträffar inte (resultat 0): felet är (0,90 minus 0) i kvadrat = 0,81. Stort: du var självförtroende och fel.

Genomsnittlig dessa över många förutsägelser. Lägre Brier är bättre. Poängsystemet straffar mest för självförtroende och fel, vilket är exakt den vana som skadar professionella mest.

Disciplinen: ange ett tal, logga det, kontrollera det, justera det. Om du systematiskt ligger över linjen är du överförtroende och bör bredda dina uppskattningar; om du systematiskt ligger under linjen är du underförtroende och kan satsa hårdare. Automatiska förutsägelser kan poängsättas på samma sätt, vilket är så du lär dig när du ska lita på dem och när du ska åsidosätta dem.

Betygsätt förutsägaren

En analytiker upprepat säger till teamet "Jag är 90 % säker på att detta kommer att landa i tid". Under ett kvartal gjorde hon 40 sådana förutsägelser med angivet 90 % självförtroende. 26 av dem blev sanna.

Envägsluckor och tvåvägsluckor

Alla misstag kostar inte lika mycket

Ett beslut har asymmetrisk risk när nackdelen och fördelen inte är spegelbilder av varandra. Att begränsa nackdelen samtidigt som man håller fördelen öppen är hela spelet. En position med begränsad förlust och obegränsad vinst kan vara fel i de flesta fall och ändå vinna överlag.

Valfrihet är rätten, utan skyldigheten, att agera senare när du vet mer. Den fyra veckor långa betan två sektioner tillbaka var valfrihet: en liten, känd kostnad som håller det stora, irreversibla beslutet öppet tills osäkerheten är upplöst.

Reversibelt-snabbt, Irreversibelt-långsamt

En användbar ram skiljer beslut baserat på hur svårt det är att ångra dem:

- Tvåvägsluckor är reversibla. Gå igenom, och om du inte gillar vad du hittar, kan du gå tillbaka till låg kostnad. Fatta beslut om dessa snabbt och delegera dem. Att fundera i veckor på ett val som kan ångras på en eftermiddag är i sig en form av slöseri.

- Envägsluckor är irreversibla eller dyra att ångra. Dessa förtjänar grundlig övervägande, senior ansvar och säkerhetsåtgärder.

Kvadranten ovan korsar reversibilitet med insatser. Anpassa djupet på övervägandet till det fält du befinner dig i. De dyraste professionella felet uppstår när man behandlar en envägslucka som en tvåvägslucka, och rusar in i ett irreversibelt beslut.

Det starkaste draget är ofta att omvandla en envägslucka till en tvåvägslucka: testa på en tjänst, skriv till både gamla och nya system, behåll den gamla vägen som en reserv, och rulla ut stegvis. Du köper tillbaka reversibilitet så att ett felaktigt beslut förblir överlevbart.

Klassificera och Omvandla

En teknisk chef står inför två alternativ under kvartalet. Alternativ 1: migrera den primära databasen till en ny motor, ett projekt som tar flera månader och berör varje tjänst och är smärtsamt att vända tillbaka när det är live. Alternativ 2: införa ett nytt internt kodgranskningstool som teamet kan sluta använda inom en vecka om det inte levererar.

Verktyg mot ditt eget sinne

Rummet är ofta felaktigt tillsammans

Både enskilt och i grupper delar professionella förutsägbara kognitiva bias: optimism kring tidsplaner, att ge för stort vikt åt den levliga berättelse som ligger framför dem, och en drift mot det som gruppen redan föredrar. Debiasingstekniker är billiga procedurer som motverkar detta innan det kostar dig dyrt.

- Pre-mortem: föreställ dig att det är senare och att beslutet misslyckades. Arbeta baklänges och lista alla anledningar till att det gick fel. Detta framhäver risker som entusiasm döljer och motverkar planeringsfallet och grupptänk.

- Basfrekvenser och det externa perspektivet: istället för att resonera enbart utifrån detta specifika fall, fråga hur liknande insatser faktiskt utvecklades. Om de flesta jämförbara projekt blev 50 % senare än planerat, kommer ditt projekt sannolikt att göra detsamma, oavsett vad den interna berättelsen säger. Motverkar optimism från det interna perspektivet.

- Rödteam: tilldela någon att på allvar argumentera för motsatsen och att attackera planen. Motverkar bekräftelsebias och tryggheten i enighet.

- Att bestämma i förväg: sätt regeln och avbrytande kriterier innan du är emotionellt engagerad och innan sunk costs (sänkt kostnad) har hunnit ackumuleras. 'Om vi inte har uppnått X vid månad 3, stannar vi.' Motverkar eskalering av åtagande.

Varje teknik är en liten ritual med en oproportionerligt stor avkastning, just för att den bekämpar en bias du inte kan känna från insidan.

Avbiasa ett livebeslut

Ditt team är på väg att ge grön ljus för en 9-månadersplattformsombyggnad. Rummet är enhälligt och entusiastiskt, och ledningen vill commita idag.

Kör hela verktygsfacket

Ett protokoll för varje betydelsefullt beslut

Du har nu hela verktygsfacket. Ett protokoll stränger ihop delarna i en upprepningsbar ordning som du kan köra innan varje betydelsefullt, mestadels irreversibelt professionellt val:

1. Formulera en explicit sannolikhet som du själv äger. Inte maskinens siffra, din: vad tror du att sannolikheten är, och varför?

2. Rita ett förväntat värde, kontrollera sedan för ruin. Vika utcomes, men innan du agerar, fråga dig om förlustgrenen är överlevbar och om detta är ett engångsspel.

3. Klassificera reversibilitet. Envägslucka eller tvåvägslucka? Anpassa djupet av din övervägande till svaret, och försök att omvandla envägsluckor till tvåvägsluckor.

4. Avbilda bias. Kör minst en pre-mortem, basrate- eller röda laget-pass mot din egen entusiasm.

5. Förkasta ett beslutsregel och stoppkriterier. Bestäm nu vilken bevisning som skulle få dig att stanna eller vända, innan sunk costs fångar dig.

När ett automatiserat system tillhandahåller en rekommendation eller prognos, matar det steg 1 och steg 2. Du äger fortfarande steg 3 till 5, och du äger rätt att överskrida systemet.

Skriv ditt protokoll

Välj ett konkret, betydelsefullt och mestadels irreversibelt val som en professionell inom ditt område står inför: att acceptera en roll, att skriva under ett flerårigt avtal med en leverantör, att lansera en produkt, att ta en stor finansiell position. Anta att ett automatiserat system har gett dig en rekommendation och en prognos för detta.

Vad du tar med dig

Färdigheterna som förblir dina

Du har skapat ett verktygslåda för att fatta beslut under osäkerhet:

- Förväntat värde och beslutsträden, och disciplinen att åsidosätta EV när en förlustsgren riskerar ruin eller satsningen bara sker en gång.

- Kalibrering: att ange explicita sannolikheter, poängsätta dem (Brier, lägre är bättre) och träna din självförtroende så att det betyder vad det säger.

- Asymmetrisk risk och optionality: att begränsa nedåtrisk, skilja på envägsmålar och tvåvägsmålar, och omvandla det irreversibla till det stegvis genomförda.

- Avbiasning: förhandsanalys (pre-mortems), baschanser, rödteamning och att fatta beslut på förhand.

- Ett protokoll som exekverar allt detta innan ett avgörande beslut fattas.

Automatiserade system kommer att bli allt bättre på att ge rekommendationer och prognoser. Inget av detta eliminerar behovet av någon som tillhandahåller kalibrerat omdöme, väger asymmetrisk risk och tar ägandet av det irreversibla beslutet. Den personen är fackmannen. Nu har du det verktygspaket som gör ägandet till verklighet.