От размытого запроса к тестируемым критериям

Спецификация превращает мнение в тест

Размытый запрос («сделайте онбординг лучше», «очистите данные», «добавьте поиск») невозможно ни реализовать, ни проверить, потому что никто не может сказать, когда работа будет завершена. Спецификация заменяет прилагательные на тесты. Она формулирует критерии успеха в терминах, которые можно измерить, и ограничения, которым должно соответствовать решение.

Два компонента делают спецификацию реальной:

- Тестируемые критерии успеха: условие, которое можно проверить на соответствие или несоответствие без споров. «Быстро» — это мнение; «p95 времени отклика менее 400 мс при 200 запросах в секунду» — это тест. «Лучший онбординг» — это мнение; «80% новых пользователей завершают шаг 3 в рамках своей первой сессии» — это тест.

- Явные ограничения: границы, в рамках которых должно существовать решение: бюджет, дедлайн, данные, к которым нельзя прикасаться, системы, которые нельзя изменять, нормативные требования, которым необходимо соответствовать. Ограничения — это не препятствия; они составляют половину определения правильного ответа.

Полезная дисциплина. Для каждого прилагательного в запросе запишите метрику, которая позволит его оценить, и ограничение, которое его определяет. Если вы не можете описать тест, значит, вы ещё недостаточно хорошо понимаете запрос, чтобы начинать.

Когда создание первого черновика стоит дёшево, именно спецификация говорит вам, хорош ли этот черновик. Точная спецификация — это переиспользуемый критерий оценки. Она оценивает каждый вариант ответа одинаково.

Независимые и проверяемые подзадачи

Разбейте валун на проверяемые камни

Большая задача сопротивляется оценке, потому что невозможно определить, какая именно часть ошибочна. Декомпозиция структурирует её в подзадачи, каждая из которых достаточно мала, чтобы её можно было проверить самостоятельно. Хорошая декомпозиция обладает двумя свойствами.

- Независимость: подзадачи пересекаются как можно меньше, чтобы изменение одной не приводило к скрытому сбою другой. Когда части независимы, с ними можно работать, тестировать и даже автоматизировать их параллельно, а сбой локализуется, а не распространяется.

- Проверяемость: каждая подзадача имеет собственный тест на успешность, что позволяет убедиться в её решении до сборки целого. Часть, которую нельзя проверить, — это часть, которой нельзя доверять.

Хорошо декомпозированная задача также показывает, куда следует направить дефицитное человеческое суждение. Большинство подзадач рутинны и могут быть переданы автоматизированной системе или стажёру и проверены по их тесту. Одна или две являются ключевыми: с высокой неопределённостью, высокими последствиями и высокой вероятностью уверенной ошибки. Именно они требуют внимания эксперта.

Обращайте внимание на ложную декомпозицию: части, которые лишь кажутся разделимыми, но имеют скрытую взаимозависимость, из-за чего «готовые» фрагменты не складываются в работающее целое. Критерий декомпозиции — действительно ли решение каждой части, каждая из которых проверена, решает исходную задачу.

Вопос задает верхний предел для ответа

Мусорный вопрос на входе — уверенный мусор на выходе

Неважно, обращаетесь ли вы к заинтересованной стороне, набору данных или автоматизированной системе: точность вашего вопроса задает верхний предел ценности ответа. Размытый вопрос не проваливается с громким скандалом. Он возвращает плавный, уверенный и правдоподобный ответ на вопрос, который вы не имели в виду, и этот ответ выглядит завершенным.

Рассмотрим неоднозначный запрос данных: «Дайте мне наших лучших клиентов». Каждое ключевое слово здесь не определено. «Лучших» по какому критерию: общая выручка, маржа, удержание, темп роста, рекомендации? В каком временном окне: за все время, за последние двенадцать месяцев, за этот квартал? Какие клиенты учитываются: только активные, включая отток, включая пробные периоды? Набор данных с удовольствием ответит на ту версию, которую случайно закодировал запрос, а запрашивающий будет действовать на основе этого, как будто имел в виду именно то, что было у него в голове.

Точный вопрос фиксирует четыре вещи: точное количество или сущность, совокупность, на которую он распространяется, временное окно и критерии разрыва равенства или пороги. Та же дисциплина применима и к человеку («когда вы говорите "лучшие", вы имеете в виду самых прибыльных в этом году или тех, кто с наибольшей вероятностью продлит контракт?»), и к автоматизированной системе, где недоопределенный промпт приводит к уверенному ответу на неправильный вопрос.

Профессиональный навык заключается в том, чтобы заметить неоднозначность ДО того, как придет ответ, потому что уверенный неправильный ответ дорого стоит обнаруживать постфактум. Точность в вопросе дешевле, чем исправление ошибок после того, как они уже совершены.

Где теперь находится ваш рычаг влияния

Черновик стоит дёшево; формулировка и суждение — нет

Свяжем все нити воедино. Когда правдоподобный первый вариант практически чего угодно можно создать по запросу, ценную работу выполняет то, что автоматизированная система не может сделать за вас: определение того, какую проблему стоит решать, спецификация того, что означает «правильно», разделение проблемы на части для проверки, точная постановка вопроса и оценка того, соответствует ли полученный ответ спецификации.

Используйте этот чек-лист формулировки для любой неоднозначной задачи, прежде чем генерировать хотя бы один черновик:

- Проблема: Каков проявляющийся симптом, а какова корневая причина? Какова цена решения не той проблемы?

- Успех: Каковы проверяемые критерии «готово и правильно»? Могут ли два человека по-разному оценить выполнение каждого из них? Если да, уточните формулировку.

- Ограничения: Какие границы должно соблюдать решение: бюджет, сроки, данные, системы, правила?

- Объем работ: Что намеренно исключено из области задач?

- Декомпозиция: На какие независимые, индивидуально проверяемые подзадачи это разбивается? Какая из них является ключевой для человеческого суждения?

- Вопрос: Для любого запроса к человеку, набору данных или системе зафиксированы ли метрика, популяция, временное окно и критерий разбора ничейных результатов? Какая неоднозначность может привести к уверенному, но неверному ответу?

- Суждение: Когда ответ получен, какой тест покажет, что он правильный, а не просто плавный?

Профессионал этой эпохи — это не тот, кто быстрее всех создает черновики. Это тот, кто так четко формулирует проблему, что хороший ответ становится проверяемым, а неверный — очевидным.

Что вы уносите с собой

Два предложения, которые стоит запомнить

Вы отработали разделение симптома и проблемы, формулирование проверяемых критериев успеха с явными ограничениями, декомпозицию задачи на независимые проверяемые части и уточнение вопроса так, чтобы он не мог вернуть уверенный, но неверный ответ. Эти четыре действия — это единый навык: постановка задачи (framing).

Решение неправильной задачи с высоким качеством — самая дорогая ошибка в интеллектуальной работе, потому что это выглядит как успех. И точность вашего вопроса определяет верхний предел ценности любого ответа — от человека, набора данных или автоматизированной системы.

Создание первого черновика стало дешевым и продолжает дешеветь. Именно в постановке задачи, написании спецификации и оценке результата заключается рычаг профессионала. Носите с собой чек-лист. Задавайте более точный вопрос. Определите критерии готовности до начала работы.