Де закінчується надійність
Автоматизація має форму
Кожна автоматизована система має область, де вона працює, та область, де вона дає збій. Якщо намалювати ці дві області на площині, ми отримаємо межу компетенції: криву, яка розділяє надійну поведінку від збою.
Під нею розмістіть дві осі. Горизонтальна вісь вимірює складність та новизну задачі: наскільки далеко задача відхиляється від типових випадків, для яких створювалася система. Вертикальна вісь вимірює ставку: наскільки дорогою є хибна відповідь.
Близко до початку координат задачі є рутинними та низькоризиковими. Система легко впорається з ними. Це область надійності: тут можна вільно виконувати роботу.
Подалі від початку задачі є новими та високоризикованими. Система вгадує, і ці вгадування коштують дорого. Це зона невдач: виконуйте цю роботу самостійно.
Між ними простягається смуга вздовж самої межі компетенції. Тут система часто має рацію, але не завжди надійно. Це зона перевірки: нехай машина створює чернетку, але перевіряйте кожен результат, перш ніж довіряти йому.
Уся дисципліна роботи з автоматизацією зводиться до одного геометричного звички: знати, в якій зоні перебуває ваша задача, і діяти відповідно.
Читання трьох зон
Колега вставляє новий інструмент у ваш робочий процес і каже: «Просто дайте йому працювати над усьом».
Дві криві та точка перетину
Що делегувати — це точка перетину
Знання того, що завдання перебуває всередині межі, говорить вам, що машина може його виконати. Це не говорить вам, що машина має його виконувати. Для цього побудуйте дві криві.
Розташуйте ваші завдання вздовж горизонтальної осі, впорядкувавши їх від тих, які машина виконує найгірше (ліворуч), до тих, які вона виконує найкраще (праворуч). На вертикальній осі відкладіть рівень майстерності для кожного завдання.
Побудуйте криву людської майстерності та криву машиної майстерності для цих завдань. Десь ці криві перетнуться. Ця точка перетину є геометричною відповіддю на питання «що мені слід делегувати?».
Праворуч від точки перетину крива машини розташована вище за криву людини: делегуйте ці завдання. Ліворуч крива людини розташована вище: залиште ці завдання за собою.
Делікатний момент полягає в відносній перевазі, а не в абсолютній. Ви можете бути швидшими за машину майже у всьому. Проте все одно вигідно делегувати ті завдання, де машина є відносно сильнішою, оскільки це звільняє ваші години для завдань, де ваша перевага є найбільшою. Точка перетину стосується відносних нахилів, а не того, хто кращий ізольовано.
Це та сама геометрія, яку економісти використовують для опису торгівлі між двома виробниками: загальний обсяг виробництва зростає, коли кожен спеціалізується там, де знаходиться його відносна перевага, навіть якщо один виробник кращий у всьому.
Пошук лінії
Ви керуєте невеликою студією. Особисто ви краще за ваші автоматизовані інструменти виконуєте кожне завдання, яке робите. Ваш тиждень наповнений, тому години, витрачені на одне, не можуть бути витрачені на інше.
Помилки масштабуються разом із вихідними даними
Ривер множиться в обох напрямках
Автоматизація — це важіль. Натисніть на нього один раз, і ви отримаєте багато результатів за одиницю зусиль. Вихід зростає лінійно з кількістю оброблених елементів: відправте N елементів, отримайте N результатів.
Підступність полягає в тому, що помилки також проходять через цей важіль. Якщо система генерує хибний результат з ймовірністю p для кожного елемента, то для N елементів очікувана кількість помилок дорівнює:
очікувана кількість помилок = p x N
Це просто середнє значення суми N незалежних випробувань, кожен з яких є хибним з ймовірністю p. Подвійте обсяг, і ви подвоїте очікувану кількість дефектів. Кількість помилок — це не фіксована вартість, яку ви сплачуєте один раз; вона зростає разом із вашим важелем.
Цей один рядок змінює те, як ви верифікуєте. При N = 10 показник помилок 2% означає приблизно одну очікувану помилку: її легко помітити візуально. При N = 100,000 ті самі 2% означають 2,000 очікуваних помилок, які потрапляють у світ. Та сама система, та сама надійність на одиницю, але значно різний рівень ризику.
Отже, правило: верифікація має масштабуватися разом із важелем. Чим більше важіль множить ваш вихід, тим більше він множить помилки, які ви повинні виявити, і ваш бюджет на перевірку має зростати з N, а не залишатися фіксованим.
Лічба дефектів
Автоматизований конвеєр форматує товарні пропозиції. Для кожної пропозиції він вносить помилку з ймовірністю p = 0.02 (рівень помилок 2%). Ви запускаєте його для N = 4,000 пропозицій у одній партії.
Верифікуйте там, де добуток великий
Два виміри, один добуток
Очікувана кількість помилок говорить вам скільки помилок варто очікувати. Вона не говорить вам наскільки сильно кожна з них шкодить. Неправильно оформлене внутрішнє приміtkення та хибна цифра в податковій декларації — це не один і той самий дефект.
Тож додайте другий вимір. На одній осі розмістіть ймовірність помилки. На іншій — вартість однієї помилки. Кожне завдання є точкою на цій площині, & величина, яка має визначати ваші зусилля з перевірки, — це добуток:
зусилля з перевірки мають зростати пропорційно до (ймовірності помилки) x (вартості помилки)
Якщо розглядати це як поверхню, то добуток зростає до кута, де обидва показники високі, & спадає до кута, де обидва низькі. Ваша увага під час перевірки має слідувати за висотою цієї поверхні.
Кутові випадки очевидні. Часті та катастрофічні: перевіряйте ретельно. Рідкісні та незначні: майже не перевіряйте. Навчальними є випадки на протидіагоналі. Рідка, але катастрофічна помилка все одно вимагає ретельної перевірки, оскільки велика вартість тягне добуток вгору, навіть коли ймовірність мала. Часта, але незначна помилка може не потребувати майже жодної перевірки, оскільки мізерна вартість тримає добуток низьким, незалежно від того, як часто вона трапляється.
Ось чому «наскільки це надійно?» — це неправильне питання, якщо ставити його окремо. Надійність — це одна вісь. Вартість — інша. Ви перевіряєте з огляду на добуток цих двох.
Хто отримує ретельний огляд
У вашій майстерні виконуються два автоматизовані завдання.
Завдання A створює рутинні внутрішні нагадування. Воно досить часто помиляється, але помилкове нагадування коштує майже нічого: хтось просто посміхнеться та виправить його.
Завдання B подає регуляторну документацію. Воно рідко помиляється, але одна помилка при поданні може мати катастрофічні наслідки: штрафи, юридичні ризики, втрата довіри.
Геометрія професіонала
Куди це веде
Автоматизовані системи тепер перебувають між людьми та зростаючою частиною комерційної та інтелектуальної діяльності. Вони створюють чернетки, сортують, встановлюють ціни, маршрутизують та узагальнюють. Професіонал, який добре працює разом із ними, — це не той, хто довіряє їм найбільше чи найменше. Це той, хто розуміє геометрію ситуації.
Три форми несуть цю оцінку:
- Фронтир: знайте, де закінчується надійність. Делегуйте всередині нього, перевіряйте на межі, а все, що поза ним, залишайте під контролем людини.
- Точка перетину: знайте, що саме передавати. Делегуйте ту сторону перетину, де перевага на боці машини, і пам’ятайте, що обмеженість часу робить відносну перевагу вирішальним фактором.
- Leverage & the error surface: expected errors = p x N grow with scale, so verification must scale with leverage, weighted by probability x cost so your attention lands where mistakes are both likely & expensive.
None of this is about the machine's internals. It is about geometry: regions, boundaries, crossing points, & products. Get the geometry right & the tool amplifies you. Get it wrong & it amplifies your mistakes at the same rate.
Геометрія автоматизації: Підсумки
Що ви дізналися
Рішення про те, що автоматизувати, — це прикладна геометрія:
- Фронт компетенцій: крива, що розділяє область надійності та область збоїв. Делегуйте всередині, перевіряйте вздовж смуги, а зовнішню частину залишайте на людському контролі.
- Точка перетину порівняної переваги: впорядкуйте свої завдання, зобразіть навички людини та навички машини на графіку та передайте машині ту частину, де вона має перевагу. Обмеженість часу робить порівняльну перевагу вирішальною, навіть якщо ви абсолютною кращі.
- Джваер та масштабування: вихід зростає лінійно з обсягом, і помилки теж. Очікувана кількість помилок = p x N. Показник 2% на 4 000 елементів дає 80 очікуваних дефектів, тому перевірка має масштабуватися разом із джваером.
- Поверхня вартості помилки: перевіряйте пропорційно до (ймовірності помилки) x (вартості помилки). Рідкісна, але катастрофічна помилка може мати вищий пріоритет, ніж часта, але незначна.
Машина помножує те, на що ви її спрямовуєте. Якщо ви правильно читаєте геометрію, вона помножує ваші можливості. Якщо ж ні — вона так само швидко помножує ваші помилки.