Где заканчивается надёжность
Автоматизация имеет форму
У каждой автоматизированной системы есть область, где она работает, и область, где она выходит из строя. Если нарисовать эти две области на плоскости, получится граница компетентности: кривая, разделяющая надёжное поведение и сбои.
Поместим под неё две оси. Горизонтальная ось измеряет сложность и новизну задачи: насколько задача отклоняется от типовых случаев, для которых была создана система. Вертикальная ось измеряет стакс (важность/риски): сколько стоит ошибочный результат.
Вблизи начала координат задачи рутинные и с низким уровнем рисков. Система легко справляется с ними. Это область надёжности: здесь можно работать свободно.
Вдали от начала координат задачи являются новыми и высокорисковыми. Система делает догадки, и эти догадки обходятся дорого. Это зона провала: эту работу нужно выполнять самостоятельно.
Между ними проходит полоса вдоль самой границы компетенции. Здесь система часто права, но не гарантированно. Это зона проверки: пусть машина делает черновик, но проверяйте каждый результат, прежде чем доверять ему.
Вся дисциплина работы с автоматизацией сводится к одному геометрическому навыку: понимать, в какой зоне находится ваша задача, и действовать соответственно.
Чтение трех зон
Коллега внедряет новый инструмент в ваш рабочий процесс и говорит: «Просто позвольте ему работать со всем».
Две кривые и точка пересечения
Что делегировать — это точка пересечения
Знание о том, что задача находится внутри границы, говорит вам, что машина может её выполнить. Это не говорит вам, что машина должна её выполнять. Для этого нужно построить две кривые.
Расположите свои задачи вдоль горизонтальной оси, выстроив их от тех, с которыми машина справляется хуже всего (слева), к тем, с которыми она справляется лучше всего (справа). По вертикальной оси отложите уровень навыков для каждой задачи.
Постройте кривую навыков человека и кривую навыков машины для этих задач. Где-то они пересекаются. Эта точка пересечения — геометрический ответ на вопрос «что мне стоит делегировать?».
Справа от точки пересечения кривая машины находится выше кривой человека: эти задачи стоит передать. Слева кривая человека выше: эти задачи стоит оставить за собой.
Суть заключается в сравнительном преимуществе, а не в абсолютном. Возможно, вы быстрее машины почти во всём. Тем не менее, выгодно делегировать те задачи, в которых машина относительно сильна, так как это освобождает ваше время для задач, где ваше преимущество максимально. Речь в точке пересечения идёт об относительных наклонах, а не о том, кто лучше в изоляции.
Это та же самая геометрия, которую экономисты используют для описания торговли между двумя производителями: общий объём производства возрастает, когда каждый специализируется там, где находится его относительное преимущество, даже если один производитель лучше во всём.
Поиск линии
Вы управляете небольшой студией. Лично вы лучше своих автоматизированных инструментов справляетесь с каждой задачей, которую выполняете. Ваша неделя забита, поэтому часы, потраченные на одно дело, нельзя потратить на другое.
Ошибки масштабируются вместе с результатом
Рычаг умножает в обе стороны
Автоматизация — это рычаг. Потяните его один раз, и вы получите множество результатов за единицу усилий. Выход растет линейно с количеством обрабатываемых элементов: отправьте N элементов, получите N результатов.
Подвох в том, что ошибки едут на том же рычаге. Если система с вероятностью p выдает неверный результат для каждого элемента, то для N элементов ожидаемое количество ошибок составляет:
ожидаемые ошибки = p x N
Это просто среднее значение суммы из N независимых испытаний, каждое из которых с вероятностью p дает ошибку. Удвойте объем, и вы удвоите ожидаемое количество дефектов. Количество ошибок — это не фиксированные затраты, которые вы оплачиваете один раз; оно растет вместе с вашим рычагом.
Эта единственная строка меняет подход к верификации. При N = 10 уровень ошибок 2% означает примерно одну ожидаемую ошибку: ее легко заметить невооруженным глазом. При N = 100 000 те же 2% означают 2 000 ожидаемых ошибок, которые уходят в мир. Та же система, та же надежность на элемент, но совершенно разные масштабы воздействия.
Таким образом, правило такое: верификация должна масштабироваться вместе с рычагом. Чем сильнее рычаг умножает ваш выход, тем сильнее он умножает количество ошибок, которые вы должны отловить, и ваш бюджет на проверку должен расти вместе с N, а не оставаться фиксированным.
Подсчет дефектов
Автоматизированный конвейер форматирует карточки товаров. Для каждой карточки он вносит ошибку с вероятностью p = 0.02 (уровень ошибок 2%). Вы запускаете его на N = 4 000 карточках в одной партии.
Верифицируйте там, где произведение велико
Два измерения, одно произведение
Ожидаемое количество ошибок говорит вам о том, сколько ошибок ожидать. Оно не говорит вам о том, насколько сильно каждая из них бьёт. Неверно отформатированная внутренняя заметка & неверная цифра в налоговой декларации — это не один и тот же дефект.
Поэтому добавьте второе измерение. На одной оси поставьте вероятность ошибки. На другой — стоимость одной ошибки. Каждая задача — это точка на этой плоскости, & величина, которая должна определять ваши усилия по верификации, — это произведение:
усилия по верификации должны масштабироваться как (вероятность ошибки) x (стоимость ошибки)
Если читать это как поверхность, произведение возрастает к углу, где оба показателя высоки, & снижается к углу, где оба низки. Ваше внимание к верификации должно следовать высоте этой поверхности.
Углы очевидны. Частые & катастрофические: верифицируйте тщательно. Редкие & незначительные: почти не проверяйте. Поучительными являются случаи вне диагонали. Редкая, но катастрофическая ошибка всё равно требует тщательной верификации, потому что высокая стоимость поддерживает произведение, даже когда вероятность мала. Частая, но незначительная ошибка может почти не заслуживать внимания, потому что малая стоимость держит произведение низким, независимо от частоты.
Именно поэтому «насколько это надёжно?» — неправильный вопрос, если задавать его в одиночку. Надёжность — одна ось. Стоимость — другая. Вы верифицируете по произведению этих двух.
Кому достанется пристальное внимание
В вашем цеху выполняются две автоматизированные задачи.
Задача A составляет рутинные внутренние напоминания. Она часто ошибается, но стоимость ошибки почти нулевая: кто-то просто улыбнётся и исправит её.
Задача B подаёт документы в регулирующие органы. Она ошибается редко, но одна единственная ошибка при подаче документов может быть катастрофической: штрафы, юридические риски, потеря доверия.
Геометрия профессионала
К чему это приводит
Автоматизированные системы теперь находятся между людьми и растущей долей коммерческой и интеллектуальной деятельности. Они составляют черновики, сортируют, устанавливают цены, маршрутизируют и суммируют. Профессионал, который хорошо работает в паре с ними, — это не тот, кто доверяет им больше всех или меньше всех. Это тот, кто читает геометрию.
Три формы несут в себе это суждение:
- Фронтир: знайте, где заканчивается надежность. Делегируйте задачи внутри него, проверяйте на его границе, а все, что за его пределами, оставляйте в руках человека.
- Точка пересечения: знайте, что именно передавать. Делегируйте ту сторону пересечения, где преимущество на стороне машины, и помните, что конечное время делает относительное преимущество решающим фактором.
- Рычаг и поверхность ошибок: ожидаемое количество ошибок = p x N растет с масштабом, поэтому верификация должна масштабироваться вместе с рычагом, взвешенная по вероятности x стоимости, чтобы ваше внимание направлялось туда, где ошибки и вероятны, и дороги.
Ни одно из этих понятий не касается внутренних механизмов машины. Речь идет о геометрии: областях, границах, точках пересечения и произведениях. Если вы правильно понимаете геометрию, инструмент усиливает вас. Если нет, он усиливает ваши ошибки с той же скоростью.
Геометрия автоматизации: резюме
Что вы узнали
Решение о том, что автоматизировать, — это прикладная геометрия:
- Граница компетенции: кривая, разделяющая область надёжности и область сбоев. Делегируйте задачи внутри этой области, проверяйте на границе (в полосе) и оставляйте за человеком всё, что находится за её пределами.
- Точка пересечения сравнительного преимущества: упорядочьте свои задачи, постройте график навыков человека и навыков машины и передайте машине ту часть задач, где у неё есть преимущество. Ограниченность времени заставляет опираться на относительное преимущество, даже если вы абсолютно лучше в абсолютном выражении.
- Рычаг и масштабирование: выход растёт линейно с объёмом, и ошибки растут так же. Ожидаемое количество ошибок = p x N. Ставка 2% на 4000 элементов означает 80 ожидаемых дефектов, поэтому проверка должна масштабироваться вместе с рычагом.
- Поверхность стоимости ошибки: проверяйте пропорционально (вероятности ошибки) x (стоимости ошибки). Редкая, но катастрофическая ошибка может быть важнее частой, но незначительной.
Машина умножает то, на что вы её направляете. Если вы правильно прочитаете геометрию, она умножит ваш охват. Если ошибётесь в чтении, она с той же скоростью умножит ваши ошибки.