Bomen, Gemiddelden en Verlies

Verwachtingswaarde: Het Standaard, Niet Het Antwoord

Verwachtingswaarde (EV) weegt elk resultaat af met zijn waarschijnlijkheid en somt deze op: EV = som van (waarschijnlijkheid vermenigvuldigd met opbrengst). Een beslissingsboom tekent de takken zodat je de EV op elk knooppunt kunt berekenen en de boom terug kunt vouwen naar de keuze aan de wortel.

Voorbeeld met uitwerking. Je kunt een deal aannemen: 70% kans dat je 100 wint, 30% kans dat je 50 verliest.

- EV = 0,70 vermenigvuldigd met 100 plus 0,30 vermenigvuldigd met (min 50) = 70 min 15 = +55. Positief, dus bij veel herhalingen is deze deal winstgevend.

Wanneer EV Het Foute Criterium Is

EV is een gemiddelde over veel proeven. Het veronderstelt stilletjes dat je de wed kunt herhalen en dat geen enkel verlies je uit het spel haalt. Twee situaties breken die aanname.

- Ruinrisico: als een verlies tak je eindigt (faillissement, een dood, een verloren licentie, een verwoeste reputatie), is het gemiddelde zinloos. Je haalt de langetermijnopbrengst nooit, omdat één slechte trek je van het bord haalt. Riskeer nooit wat je je niet kunt veroorloven te verliezen, hoe goed de EV ook is.

- Niet-herhaalde wedden: voor een eenmalige beslissing kan het gemiddelde resultaat een uitkomst zijn die je in de praktijk nooit meemaakt. Een wed die +EV is maar 90% kans op verlies heeft, kan nog steeds fout zijn voor een keuze die je precies één keer maakt.

Dit is de reden waarom een loterij van kleine, herhaalde, overleefbare weddenschappen wordt gespeeld op EV, terwijl een enkele weddenschap die faillissement riskeert eerst op overleving en daarna op EV wordt gespeeld. Een geautomatiseerd systeem rapporteert graag een positieve EV; het is jouw taak om te vragen of de verlies-tak overleefbaar is.

De boom terugvouwen

Een abonnementsbedweg overweegt om een risicovolle functie nu uit te rollen. Als het werkt (60% kans) stijgt de retentie, wat 2 miljoen dollar waard is. Als het mislukt (40% kans) veroorzaakt een defect terugbetalingen en churn met een kost van 500 duizend dollar. Er is een wrangel: de oprichter heeft persoonlijk de runway (financiële draagkracht) gegarandeerd, dus een verlies van 500 duizend dollar dit kwartaal dwingt tot insolventie. Er bestaat een derde optie: eerst een 4-weekse beta uitvoeren, met een kost van 150 duizend dollar, die onthult of de functie werkt vóórdat er een volledige lancering plaatsvindt.

Zijn je 90% echt 90%?

Een waarschijnlijkheid waar je op beoordeeld kunt worden

Een gekalibreerde voorspeller is iemand wiens opgegeven waarschijnlijkheden overeenkomen met de werkelijkheid. Als je bij veel voorspellingen zegt '90% zeker', dan zou ongeveer 90% van die voorspellingen uit moeten komen. Kalibratie gaat niet om vaker gelijk te hebben; het gaat erom dat je zekerheid wat het zegt betekent.

Houd bij, verbeter dan

De enige manier om je kalibratie te kennen, is om voorspellingen op te schrijven met een expliciete waarschijnlijkheid en ze daarna te scoren tegen de uitkomsten. De Brier-score maakt dit concreet: voor elke voorspelling neem je de waarschijnlijkheid die je aan het daadwerkelijk ingetreden voorval hebt toegekend, en meet je de gekwadrateerde fout ten opzichte van de uitkomst, gecodeerd als 1 (ingetrokken) of 0 (niet ingetrokken).

- Voorspel 0,90, gebeurtenis treedt in (uitkomst 1): de fout is (0,90 minus 1) in het kwadraat = 0,01. Klein: goed.

- Voorspelling 0,90, gebeurtenis doet zich niet voor (uitkomst 0): de fout is (0,90 min 0) in het kwadraat = 0,81. Groot: je was zelfverzekerd in de fout.

Gemiddeld over vele voorspellingen. Een lagere Brier-score is beter. De score straft zelfverzekerde fouten het zwaarst, wat precies de gewoonte is die professionals het meest schaadt.

De discipline: noem een getal, log het, controleer het, pas het aan. Systeematisch boven de lijn betekent dat je te zelfverzekerd bent en je schattingen moet verbreden; systeematisch onder betekent dat je te onzeker bent en feller kunt inzetten. Automatische voorspellingen kunnen op dezelfde manier worden gescoord, wat je leert wanneer je ze kunt vertrouwen en wanneer je ze moet overrulen.

Beoordeel de Voorspeller

Een analist vertelt het team herhaaldelijk: 'Ik ben 90% zeker dat dit op tijd zal worden afgerond.' In een kwartaal deed ze 40 dergelijke voorspellingen met die opgegeven 90% zekerheid. 26 daarvan kwamen uit.

Eenrichtingsdeuren en tweerichtingsdeuren

Niet alle fouten kosten hetzelfde

Een beslissing heeft asymmetrisch risico wanneer het nadeel en het voordeel geen spiegelbeelden van elkaar zijn. Het beperken van het nadeel terwijl het voordeel open blijft, is de hele kunst. Een positie met beperkt verlies en onbeperkt winstpotentieel kan de meeste keren onjuist zijn en toch algeheel winnen.

Optie is het recht, zonder de verplichting, om later te handelen zodra je meer weet. De 4-weekse bèta twee secties terug was een optie: een kleine, bekende kostenpost die de grote, onomkeerbare commitment openhoudt tot de onzekerheid is opgelost.

Omkeerbaar-Snel, Onomkeerbaar-Langzaam

Een nuttig kader scheidt beslissingen op basis van hoe moeilijk ze te ongedoen zijn:

- Tweewegdeuren zijn omkeerbaar. Loop er doorheen, en als je niet tevreden bent over wat je aantreft, loop je dan met lage kosten weer terug. Neem deze beslissingen snel en deleger ze. Wekenlang nadenken over een keuze die je in een middag kunt ongedaan maken, is op zich een vorm van verspilling.

- Eenwegdeuren zijn onomkeerbaar of duur om ongedaan te maken. Deze verdienen diepgaand nadenken, senior eigenaarschap en veiligheidsmaatregelen.

Het kwadrant hierboven kruist omkeerbaarheid met belangen. Pas de diepgang van je overwegingen aan op het vak waarin je je bevindt. De kostbaarste professionele fouten komen voort uit het behandelen van een eenwegdeur alsof het een tweewegdeur is, en haastig een onomkeerbare beslissing nemen.

De sterkste zet is vaak om een eenwegdeur om te zetten in een tweewegdeur: piloot op één dienst, dubbel schrijven naar oude en nieuwe systemen, het oude pad als terugval houden, de uitroling in fasen doen. Je koopt omkeerbaarheid terug, zodat een verkeerde beslissing overleefbaar blijft.

Classificeer en Converteer

Een engineeringdirecteur staat dit kwartaal voor twee keuzes. Keuze 1: de primaire database migreren naar een nieuwe engine, een project van enkele maanden dat elke service raakt en eenmaal live pijnlijk om terug te draaien. Keuze 2: een nieuw intern code-review-gereedschap aannemen dat het team binnen een week kan laten vallen als het teleurstellt.

Gereedschap tegen je eigen geest

De groep is vaak samen fout

Zowel individueel als in groepen delen professionals voorspelbare vooroordelen: optimisme over tijdslijnen, het te veel wegen van het levendige verhaal dat voor je ligt, en een afwijzing richting wat de groep al voorkeur geeft. Debiasing-technieken zijn goedkope procedures die deze vooroordelen tegengaan voordat ze je duur te staan komen.

- Pre-mortem: stel je voor dat het later is en de beslissing is mislukt. Werk terug en noem elke reden waarom het misging. Dit brengt risico's aan het licht die enthousiasme verbergt en tegengaat de planning-fallacy en groepsdenken.

- Basispercentages en het buitenperspectief: in plaats van alleen te redeneren vanuit de binnenzijde van dit geval, vraag je af hoe vergelijkbare inspanningen daadwerkelijk zijn verlopen. Als de meeste vergelijkbare projecten 50% over de planning gingen, zal jouw project dat waarschijnlijk ook doen, ongeacht wat het binnenzicht zegt. Tegengaat optimisme vanuit het binnenzicht.

- Red-teaming: wijs iemand aan om serieus het tegenovergestelde standpunt te verdedigen en het plan aan te vallen. Tegengaat bevestigingsvooroordeel en het comfort van overeenstemming.

- Vooraf beslissen: stel de regel en de stopcriteria in voordat je emotioneel betrokken bent en voordat de gezonken kosten zich opstapelen. 'Als we tegen maand 3 X niet hebben bereikt, stoppen we.' Tegengaat escalatie van commitment.

Elke techniek is een klein ritueel met een disproportioneel rendement, precies omdat het een vooroordeel bestrijdt dat je van binnenuit niet kunt voelen.

Een live-besluit debiasen

Je team staat op het punt om een 9-maand durende herbuild van het platform goed te keuren. De zaal is unaniem en enthousiast, en het management wil vandaag nog toezeggingen doen.

Voer de Volledige Toolkit Uit

Eén Protocol, Elke Belangrijke Keuze

Je hebt nu de volledige toolkit in handen. Een protocol voegt de onderdelen samen tot een herhaalbare volgorde die je kunt uitvoeren vóór elke consequente, grotendeels onomkeerbare professionele keuze:

1. Stel een expliciete kans vast die je zelf aaneigent. Niet het getal van de machine, maar het jouwe: wat geloof je dat de kansen zijn, en waarom?

2. Schets de verwachtingswaarde en controleer op verlies van alles. Weeg de uitkomsten af, maar vraag je vóór je handelt of de verliesvariant overleefbaar is en of dit een eenmalige inzet is.

3. Classificeer de omkeerbaarheid. Een eenrichtingsdeur of een tweerichtingsdeur? Pas de diepte van je overwegingen aan op het antwoord, en probeer eenrichtingsdeuren om te zetten in tweerichtingsdeuren.

4. Verwijzer vooroordelen. Voer minstens één pre-mortem, basisrate- of red-team-analyse uit tegenover je eigen enthousiasme.

5. Committeer vooraf aan een beslissingsregel en stopcriteria. Beslis nu welk bewijs zou leiden tot stoppen of omkeren, voordat verzikkte kosten (sunk costs) je in de greep hebben.

Wanneer een geautomatiseerd systeem een aanbeveling of voorspelling levert, voedt dit stap 1 en stap 2. Je bent zelf verantwoordelijk voor stappen 3 tot en met 5, en je hebt de macht om de aanbeveling te negeren (override).

Schrijf je protocol

Kies een concrete, consequente en grotendeels onomkeerbare keuze waarvoor een professional in jouw vakgebied staat: een functie aannemen, een meerjarencontract met een leverancier tekenen, een product lanceren of een grote financiële positie innemen. Stel voor dat een geautomatiseerd systeem je een aanbeveling en een voorspelling voor deze keuze heeft verstrekt.

Wat je meeneemt

De vaardigheden die van jou blijven

Je hebt een gereedschapskist opgebouwd voor beslissen onder onzekerheid:

- Verwachte waarde en beslissingsbomen, en de discipline om EV te negeren wanneer een verlies tak risico op faillissement loopt of de wed slechts één keer wordt gespeeld.

- Kalibratie: expliciete waarschijnlijkheden aangeven, ze scoren (Brier, lager is beter) en je vertrouwen trainen zodat het betekent wat het zegt.

- Asymmetrisch risico en optionality: neerwaarts risico beperken, onderscheid maken tussen eenwegdeuren en tweewegdeuren, en het onomkeerbare omzetten in gestage stappen.

- Debiasing: pre-mortems, basispercentages, red-teaming en vooraf beslissen.

- Een protocol dat al het bovenstaande uitvoert vóór een beslissende keuze.

Geadviseerde systemen worden steeds beter in het geven van aanbevelingen en voorspellingen. Geen van dat alles doet af van de noodzaak dat er iemand is die gekalibreerd oordeel levert, asymmetrisch risico weegt en de onomkeerbare beslissing op zich neemt. Die iemand is de professional. Nu heb je het gereedschap dat dit eigenaarschap werkelijk maakt.