पेड़, औसत, और विनाश

अपेक्षित मान: डिफ़ॉल्ट, उत्तर नहीं

अपेक्षित मान (EV) प्रत्येक परिणाम को उसके संभाव्यता से भारित करता है और उनका योग करता है: EV = (संभाव्यता गुणा लाभ) का योग। एक निर्णय वृक्ष (decision tree) शाखाएँ खींचता है ताकि आप प्रत्येक नोड पर EV की गणना कर सकें और वृक्ष को मूल (root) पर स्थित विकल्प तक वापस मोड़ सकें।

उदाहरण के साथ हल। आप एक सौदे को स्वीकार कर सकते हैं: 70% संभावना है कि आपको 100 का लाभ होगा, और 30% संभावना है कि आपको 50 का नुकसान होगा।

- EV = 0.70 गुणा 100 जोड़ 0.30 गुणा (माइनस 50) = 70 माइनस 15 = +55। यह धनात्मक है, इसलिए कई बार दोहराव पर यह सौदा लाभदायक होता है।

जब EV गलत मापदंड हो

EV कई परीक्षणों पर एक औसत है। यह चुपचाप यह मान लेता है कि आपको दांव को दोहराने का मौका मिलेगा और कोई एकल हानि आपको गेम से बाहर नहीं निकालेगी। दो स्थितियाँ हैं जो उस मान को तोड़ती हैं।

- विनाश का जोखिम: यदि कोई हारने वाली शाखा आपको समाप्त कर देती है (बैंकरोप्टी, मृत्यु, लाइसेंस का खोना, या प्रभाव की विनाश), तो औसत का कोई अर्थ नहीं रहता। आप लंबे समय तक का लाभ कभी प्राप्त नहीं कर पाते क्योंकि एक बुरी खींच आपको बोर्ड से बाहर ले जाती है। चाहे EV कितना भी अच्छा हो, कभी भी वह जोखिम न लें जिसे आप खोने का बहाल नहीं कर सकते।

- न-दोहराए गए दांव: एक एकल-बार के निर्णय के लिए, औसत परिणाम वह परिणाम हो सकता है जो आप कभी वास्तव में अनुभव नहीं करते। एक ऐसा दांव जो +EV है लेकिन जिसमें हारने की 90% संभावना है, फिर भी वह गलत हो सकता है यदि आप वही निर्णय बस एक बार लेते हैं।

यही कारण है कि छोटे, बार-बार होने वाले और बचत योगक (survivable) दांवों की लॉटरी EV (अपेक्षित मूल्य) पर खेली जाती है, जबकि एक ऐसा एकल दांव जो विनाश का जोखिम उठाता है, उसे पहले बचत (survival) और फिर EV पर आधारित किया जाता है। एक स्वचालित प्रणाली खुशी-खुशी सकारात्मक EV की रिपोर्ट करेगी; यह आपकी ज़िम्मेदारी है कि आप पूछें कि हारने की शाखा (losing branch) बचत योगक (survivable) है या नहीं।

पेड़ को वापस मोड़ें (Fold Back the Tree)

एक सब्सक्रिप्शन कंपनी यह तौल रही है कि क्या एक जोखिम भरा फीचर अभी शिप करना चाहिए। यदि यह काम करता है (60% की संभावना), तो रीटेंशन बढ़ेगा, जिसकी कीमत 2 मिलियन डॉलर है। यदि यह विफल होता है (40% की संभावना), तो एक दोष (defect) रिफंड और चर्न (churn) को ट्रिगर करेगा, जिससे 500 हज़ार डॉलर का नुकसान होगा। एक मुद्दा यह है: संस्थापक ने व्यक्तिगत रूप से रनवे (runway) की गारंटी दी है, इसलिए इस तिमाही में 500 हज़ार डॉलर का नुकसान अदमन (insolvency) को ज़रूरी बना देगा। एक तीसरा विकल्प मौजूद है: पहले 4-सप्ताह का बीटा (beta) चलाएं, जिसकी लागत 150 हज़ार डॉलर है, जो किसी भी पूर्ण लॉन्च से पहले यह प्रकट करता है कि फीचर काम करता है या नहीं।

क्या आपके 90% वास्तव में 90% हैं?

एक ऐसी संभावना जिस पर आपका मूल्यांकन किया जा सकता है

एक कैलिब्रेटेड पूर्वानुमानकर्षक वह है जिसकी बताई गई संभावनाएँ वास्तविकता से मेल खाती हैं। जब आप कई पूर्वानुमानों में '90% विश्वास' कहते हैं, तो उनमें से लगभग 90% सच होने चाहिए। कैलिब्रेशन इस बारे में नहीं है कि आप अधिक बार सही हों; यह इस बारे में है कि आपका विश्वास उसका अर्थ रखे जो वह कहता है।

ट्रैक करें, फिर सुधारें

आपके कैलिब्रेशन को जानने का एकमात्र तरीका यह है कि आप स्पष्ट संभावना के साथ पूर्वानुमान लिखें, और फिर उन्हें परिणामों के विरुद्ध स्कोर करें। ब्रायर स्कोर (Brier score) इसे स्पष्ट बनाता है: प्रत्येक पूर्वानुमान के लिए, उस संभावना को लें जिसे आपने वास्तव में घटित होने वाली घटना को आवंटित किया था, और परिणाम के विरुद्ध वर्ग त्रुटि (squared error) मापें, जिसे 1 (घटी) या 0 (नहीं घटी) के रूप में कोड किया गया है।

- 0.90 का अनुमान लगाएं, घटना घटित होती है (परिणाम 1): त्रुटि (0.90 माइनस 1) का वर्ग = 0.01 है। छोटी: अच्छा।

- भविष्यवाणी 0.90, घटना नहीं होती (परिणाम 0): त्रुटि (0.90 माइनस 0) का वर्ग = 0.81 है। यह बड़ी है: आप आत्मविश्वास के साथ गलत थे।

इनका औसत कई भविष्यवाणियों के पार लें। कम ब्रायर बेहतर है। स्कोर आत्मविश्वास भरे गलतफहमी को सबसे कठोर दंडित करता है, जो ठीक वही आदत है जो पेशेवरों को सबसे अधिक नुकसान पहुंचाती है।

अनुशासन: एक संख्या बताएं, इसे दर्ज करें, जांचें, समायोजित करें। यदि आप लगातार रेखा से ऊपर हैं, तो इसका मतलब है कि आप अति-आत्मविश्वासी हैं और अपने अनुमानों को चौड़ा करना चाहिए; यदि लगातार नीचे हैं, तो इसका मतलब है कि आप अति-अपविश्वासी हैं और अधिक दृढ़ता से प्रतिबद्ध हो सकते हैं। स्वचालित भविष्यवाणियों को इसी तरह स्कोर किया जा सकता है, जिससे आप सीखते हैं कि उन्हें कब भरोसा करना है और कब उन पर हावी होना है।

भविष्यवाणीकर्ता का ग्रेड करें

एक विश्लेषक बार-बार टीम को कहती है, 'मुझे 90% यकीन है कि यह समय पर पूरा होगा।' एक तिमाही में उसने उस बताए गए 90% आत्मविश्वास के साथ 40 ऐसी भविष्यवाणियां कीं। उनमें से 26 सच निकलीं।

एक-दिशा के दरवाज़े और दो-दिशा के दरवाज़े

सभी गलतियों की लागत समान नहीं होती

जब नुकसान (downside) और लाभ (upside) एक-दूसरे के दर्पण प्रतिबिंब नहीं होते, तब निर्णय में असममित जोखिम होता है। नुकसान को सीमित (capped) रखते हुए लाभ को खुला रखना ही पूरा खेल है। एक सीमित-नुकसान, असीमित-लाभ की स्थिति अक्सर गलत हो सकती है और फिर भी समग्र रूप से जीत सकती है।

वैकल्पिकता (Optionality) वह अधिकार है, जिसमें बाद में, जब आपको और जानकारी मिल जाए, तब कार्य करने का विकल्प होता है, लेकिन कोई बाध्यता नहीं। दो अनुभागों पहले बताई गई 4-सप्ताह की बीटा परीक्षण वैकल्पिकता थी: एक छोटा, ज्ञात खर्च जो बड़े, अपरिवर्तनीय प्रतिबद्धता को तब तक खुला रखता है जब तक कि अनिश्चितता का निराकरण न हो जाए।

उल्टे-पलटने योग्य-तेज़, अपरिवर्तनीय-धीमा

एक उपयोगी ढांचा (frame) निर्णयों को उल्टा करने की कठिनाई के आधार पर अलग करता है:

- दो-तरफा दरवाज़े (Two-way doors) उल्टे-पलटने योग्य हैं। अंदर जाएँ, और यदि आपको जो मिले वह पसंद न आए, तो कम खर्च पर वापस बाहर आ जाएँ। ऐसे निर्णय तेज़ी से लें और उन्हें सौंप दें। एक ऐसी पसंद के लिए हफ्तों तक विचार-विमर्श करना, जिसे आप एक दोपहर में बदल सकते हैं, यह भी एक प्रकार की बर्बादी है।

- एक-तरफा दरवाज़े (One-way doors) अपरिवर्तनीय हैं या इन्हें उल्टा करना महंगा पड़ता है। इनके लिए गहन विचार-विमर्श, वरिष्ठ स्वामित्व (senior ownership) और सुरक्षा उपाय आवश्यक हैं।

ऊपर दिया गया चतुर्थांश (quadrant) उल्टे-पलटने योग्यता (reversibility) और जोखिम (stakes) को एक-दूसरे से जोड़ता है। विचार-विमर्श की गहराई को उस वर्ग के अनुरूप रखें जिसमें आप हैं। सबसे महंगे पेशेवर त्रुटियाँ तब होती हैं जब एक-तरफा दरवाज़े को दो-तरफा दरवाज़े की तरह माना जाता है, और अपरिवर्तनीय निर्णय को जल्दबाज़ी में लिया जाता है।

सबसे मजबूत कदम अक्सर यह होता है कि एक-तरफा दरवाज़े को दो-तरफा दरवाज़े में बदल दिया जाए: एक सेवा पर पायलट चलाएँ, पुराने और नए सिस्टम दोनों में डेटा लिखें (dual-write), पुराना रास्ता बैकफॉल के रूप में रखें, और रोलआउट को चरणबद्ध (stage) करें। आप उल्टे-पलटने योग्यता खरीद लेते हैं, ताकि गलत निर्णय भी बर्दाश्त योग्य रहे।

वर्गीकरण और रूपांतरण

इस तिमाही में एक इंजीनियरिंग डायरेक्टर के सामने दो विकल्प हैं। विकल्प 1: प्राथमिक डेटाबेस को एक नए इंजन पर स्थानांतरित करना, जो एक महीनों तक चलने वाला परियोजना है जो हर सेवा को प्रभावित करती है और लाइव होने के बाद इसे वापस लाना कठिन होता है। विकल्प 2: एक नया आंतरिक कोड-रीव्यू टूल अपनाना, जिसे टीम एक सप्ताह के भीतर त्याग सकती है यदि यह निराशाजनक साबित हो।

अपने ही दिमाग के खिलाफ उपकरण

कमरा अक्सर एक साथ गलत होता है

व्यक्तिगत रूप से और समूहों में, पेशेवर व्यक्ति पूर्वनिर्धारित पूर्वाग्रहों (biases) को साझा करते हैं: समय-सीमाओं के बारे में आशावाद, उनके सामने की जीवंत कहानी को अधिक महत्व देना, और समूह द्वारा पहले से पसंद किए गए विचार की ओर एक झुकाव। डी-बायसिंग (debiasing) तकनीकें सस्ती प्रक्रियाएं हैं जो इन पूर्वाग्रहों को तब तक काउंटर करती हैं, जब तक कि वे आपको महंगा न पड़ जाएं।

- प्री-मॉर्टम (Pre-mortem): कल्पना करें कि यह बाद की बात है और निर्णय विफल रहा। पीछे की ओर से काम करते हुए, हर वजह की सूची बनाएं जिसके कारण यह गलत हुआ। यह उन जोखिमों को सतह पर लाता है जो उत्साह छुपा देता है, और प्लानिंग फॉलसी (planning fallacy) और ग्रुपथिंक (groupthink) का विरोध करता है।

- बेस रेट्स (Base rates) और बाहरी दृष्टिकोण (outside view): केवल इस मामले के अंदर से तर्क करने के बजाय, पूछें कि समान प्रयास वास्तव में कैसे निकले। यदि अधिकांश तुलनीय परियोजनाओं ने शेड्यूल से 50% अधिक समय लिया, तो आपकी परियोजना भी संभवतः ऐसा ही करेगी, चाहे अंदरूनी कहानी कुछ भी कहे। यह अंदरूनी दृष्टिकोण के आशावाद का विरोध करता है।

- रेड-टीमिंग (Red-teaming): किसी व्यक्ति को गंभीरता से विपरीत तर्क पेश करने और योजना पर हमला करने का काम सौंपें। यह पुष्टि पूर्वाग्रह (confirmation bias) और सहमति के आराम का विरोध करता है।

- पहले से निर्णय लेना (Deciding in advance): नियम और 'किल' (kill) मानदंड तब सेट करें, जब आप भावनात्मक रूप से प्रतिबद्ध न हों और जब सिक कॉस्ट (sunk costs) जमा न हो चुके हों। 'अगर महीने 3 तक हमने X को हासिल नहीं किया है, तो हम रुक जाते हैं।' यह प्रतिबद्धता की एस्केलेशन (escalation of commitment) का विरोध करता है।

हर तकनीक एक छोटा सा अनुष्ठान है जिसका असमान्य फायदा है, बस इसलिए क्योंकि यह एक ऐसे पूर्वाग्रह से लड़ती है जिसे आप अंदर से महसूस नहीं कर सकते।

लाइव निर्णय को डीबिअस करें

आपकी टीम 9 महीने के प्लेटफ़ॉर्म रीबिल्ड को हरी झंडी (ग्रीनलाइट) देने वाली है। कमरा एकमत और उत्साहित है, और नेतृत्व आज ही प्रतिबद्धता चाहता है।

पूरा टूलकिट चलाएँ

एक प्रोटोकॉल, हर महत्वपूर्ण निर्णय के लिए

अब आपके पास पूरा किट है। एक प्रोटोकॉल टुकड़ों को एक दोहराए जा सकने वाले क्रम में जोड़ता है, जिसे आप किसी भी परिणामस्वरूप, मुख्य रूप से अपरिवर्तनीय पेशेवर निर्णय से पहले चला सकते हैं:

1. एक स्पष्ट प्रायिकता का उल्लेख करें जिसे आप स्वीकार करते हैं। मशीन की संख्या नहीं, आपकी: आपका मानना है कि संभावनाएं क्या हैं, और क्यों?

2. अपेक्षित मूल्य (expected value) की रूपरेखा बनाएं, फिर विनाश (ruin) की जांच करें। परिणामों को भार दें, लेकिन कार्य करने से पहले, यह पूछें कि हारने की शाखा (losing branch) जीवित रहने योग्य है या नहीं, और क्या यह एक एक-बार का दांव (one-shot bet) है।

3. पुनर्लवनीयता (reversibility) का वर्गीकरण करें। एक-तरफा दरवाजा या दो-तरफा दरवाजा? अपने विचार-विमर्श की गहराई को उत्तर के अनुरूप रखें, और एक-तरफा दरवाजों को दो-तरफा दरवाजों में बदलने का प्रयास करें।

4. पक्षपात दूर करें (Debias)। अपने उत्साह के विरुद्ध कम से कम एक प्री-मॉर्टम (pre-mortem), बेस-रेट (base-rate), या रेड-टीम (red-team) पास चलाएं।

5. एक निर्णय नियम और 'किल' (निर्णायक) मानदंडों का पूर्व-समर्पण करें। यह तय करें कि क्या प्रमाण आपको रोकने या पलटने के लिए मजबूर करेगा, इससे पहले कि 'संकुचित लागत' (sunk costs) आपको पकड़ लें।

जब एक स्वचालित प्रणाली एक सिफारिश या पूर्वानुमान प्रदान करती है, तो यह चरण 1 और चरण 2 में प्रवेश करती है। आप चरण 3 से 5 तक के मालिक हैं, और आप ओवरराइड (override) के मालिक हैं।

अपना प्रोटोकॉल लिखें

अपने क्षेत्र के एक पेशेवर के सामने आने वाला एक विशिष्ट, महत्वपूर्ण और मुख्य रूप से अपरिवर्तनीय (mostly irreversible) निर्णय चुनें: एक पद स्वीकार करना, एक बहु-वर्षीय वेंडर के साथ अनुबंध करना, एक उत्पाद लॉन्च करना, या एक बड़ी वित्तीय स्थिति लेना। मान लें कि एक स्वचालित प्रणाली ने आपको इसके लिए एक सिफारिश और एक पूर्वानुमान सौंपा है।

आप आगे क्या ले जा रहे हैं

वे कौशल जो आपकी अपनी हैं

आपने अनिश्चितता (uncertainty) के तहत निर्णय लेने के लिए एक टूलकिट (toolkit) बनाया है:

- अपेक्षित मूल्य (Expected value) और निर्णय वृक्ष (decision trees), और वह अनुशासन जिससे आप तब EV को ओवरराइड (override) कर सकें जब हारने की शाखा (losing branch) विनाश (ruin) का जोखिम उठाती हो या दांव (bet) केवल एक बार ही हो।

- कैलिब्रेशन (Calibration): स्पष्ट संभावनाएँ (probabilities) बयान करना, उन्हें स्कोरिंग (scoring) करना (Brier, जितना कम उतना बेहतर), और अपनी आत्मविश्वास (confidence) को उस अर्थ में प्रशिक्षित करना जो वह वास्तव में रखता है।

- असममित जोखिम (Asymmetric risk) और विकल्पता (optionality): नुकसान (downside) को सीमित करना, एक-दिशा के दरवाज़ों (one-way doors) और दो-दिशा के दरवाज़ों (two-way doors) में अंतर करना, और अपरिवर्तनीय (irreversible) को चरणबद्ध (staged) में बदलना।

- डीबिअसिंग (Debiasing): प्री-मॉर्टम्स (pre-mortems), बेस रेट्स (base rates), रेड-टीमिंग (red-teaming), और पहले से निर्णय लेना।

- एक प्रोटोकॉल जो किसी महत्वपूर्ण निर्णय से पहले इन सभी चीज़ों को चलाता है।

स्वचालित प्रणालियाँ सिफारिशों और पूर्वानुमानों में लगातार बेहतर होती रहेंगी। इनमें से कोई भी चीज़ उस व्यक्ति की आवश्यकता को समाप्त नहीं करती है जो संतुलित विवेक प्रदान करे, असममित जोखिम का मूल्यांकन करे, और अपरिवर्तनीय निर्णय की ज़िम्मेदारी ले। वह व्यक्ति पेशेवर है। अब आपके पास वह टूलकिट है जो इस ज़िम्मेदारी को वास्तविक बनाता है।