Od niejasnego żądania do testowalnych kryteriów

Specyfikacja zamienia opinię w test

Niejasne żądanie („popraw onboarding”, „posprzątaj dane”, „dodaj wyszukiwanie”) nie może zostać dostarczone ani zweryfikowane, ponieważ nikt nie jest w stanie stwierdzić, kiedy jest ono zakończone. Specyfikacja zastępuje przymiotniki testami. Określa kryteria sukcesu w sposób, który można zmierzyć, oraz ograniczenia, których rozwiązanie musi przestrzegać.

Dwa składniki sprawiają, że specyfikacja staje się realna:

- Testowalne kryteria sukcesu: warunek, który można sprawdzić pod kątem spełnienia lub niespełnienia bez dyskusji. „Szybki” to opinia; „odpowiedź p95 poniżej 400 ms przy 200 żądaniach na sekundę” to test. „Lepszy onboarding” to opinia; „80% nowych użytkowników kończy krok 3 podczas swojej pierwszej sesji” to test.

- Jawne ograniczenia: granice, w których musi mieścić się rozwiązanie: budżet, termin, dane, których nie wolno dotykać, systemy, których nie wolno zmieniać, przepisy, które muszą być spełnione. Ograniczenia nie są przeszkodami; stanowią połowę definicji poprawnej odpowiedzi.

Pożyteczna dyscyplina. Dla każdego przymiotnika w zapytaniu zapisz pomiar, który by go rozstrzygnął, oraz ograniczenie, które go wyznacza. Jeśli nie potrafisz napisać testu, nie rozumiesz jeszcze prośby wystarczająco dobrze, aby zacząć.

Gdy pierwszy szkic jest tani do wygenerowania, to specyfikacja mówi Ci, czy szkic jest dobry. Dokładna specyfikacja to ponownie używalny osąd. Ocenia każdą kandydującą odpowiedź w ten sam sposób.

Niezależne, weryfikowalne podproblemy

Rozbij skałę na sprawdzalne kamienie

Duży problem opiera się ocenie, ponieważ nie da się ustalić, która jego część jest błędna. Dekompozycja strukturyzuje go w podproblemy, z których każdy jest na tyle mały, że można go zweryfikować samodzielnie. Dobra dekompozycja ma dwie cechy.

- Niezależność: podproblemy nakładają się na siebie w możliwie najmniejszym stopniu, dzięki czemu zmiana w jednym nie powoduje niezauważonego uszkodzenia drugiego. Gdy części są niezależne, można nad nimi pracować, testować je, a nawet automatyzować równolegle, a awaria lokalizuje się zamiast rozprzestrzeniać.

- Weryfikowalność: każdy podproblem ma własny test sukcesu, co pozwala potwierdzić jego rozwiązanie przed złożeniem całości. Części, której nie można sprawdzić, nie można ufać.

Dobrze rozłożony problem wskazuje również, gdzie skierować ograniczone ludzkie osądy. Większość podproblemów jest rutynowa i można je powierzyć systemowi automatycznemu lub osobie junior, sprawdzając je w oparciu o ich testy. Jeden lub dwa to kluczowe elementy: o wysokiej niepewności, o dużych konsekwencjach i łatwe do błędnego rozwiązania z pełnym przekonaniem. To one przyciągają uwagę eksperta.

Uważaj na fałszywą dekompozycję: części, które wydają się rozdzielne, ale mają ukryte zależności, przez co „ukończone” fragmenty nie składają się na działającą całość. Testem dekompozycji jest to, czy rozwiązanie każdej części, po jej weryfikacji, faktycznie rozwiązuje oryginalny problem.

Pytanie wyznacza górny limit odpowiedzi

Błędne pytanie w, pewny błędny wynik na wyjściu

Niezależnie od tego, czy zadajesz pytanie interesariuszowi, zbiorowi danych, czy systemowi zautomatyzowanemu, precyzja Twojego pytania wyznacza górny limit wartości odpowiedzi. Niejasne pytanie nie powoduje głośnego błędu. Zwraca płynną, pewną siebie i prawdopodobną odpowiedź na pytanie, którego wcale nie zamierzałeś zadać, a ta odpowiedź wygląda na kompletną.

Rozważ niejednoznaczne żądanie danych: „Pobierz mi naszych najlepszych klientów”. Każde kluczowe słowo jest zdefiniowane nieprecyzyjnie. Najlepszych według jakiego kryterium: całkowitych przychodów, marży, retencji, tempa wzrostu, poleceń? W jakim oknie czasowym: przez cały okres życia klienta, ostatnie dwanaście miesięcy, ten kwartał? Którzy klienci wchodzą w grę: tylko aktywni, w tym ci, którzy odeszli, w tym ci na etapie testowym? Zbiór danych chętnie odpowie na którąkolwiek wersję, którą przypadkiem koduje zapytanie, a osoba zlecająca będzie działać na tej podstawie, jakby odpowiadała na tę, którą miała na myśli.

Precyzyjne pytanie precyzuje cztery rzeczy: dokładną wielkość lub byt, populację, na którą się odnosi, okno czasowe oraz kryteria rozstrzygające lub progi. Ta sama dyscyplina dotyczy rozmowy z człowiekiem („gdy mówisz ‘najlepsi’, czy masz na myśli najbardziej dochodowych w tym roku, czy tych z największym prawdopodobieństwem odnowienia umowy?”) oraz systemu zautomatyzowanego, gdzie niedostatecznie sprecyzowany prompt zwraca pewną odpowiedź na złe pytanie.

Zawodową umiejętnością jest zauważenie niejednoznaczności PRZED otrzymaniem odpowiedzi, ponieważ pewna błędna odpowiedź jest kosztowna do wykrycia po fakcie. Precyzja w pytaniu jest tańsza niż korekta po fakcie.

Gdzie teraz leży Twoja dźwignia

Pierwszy szkic jest tani; formułowanie i osąd nie są

Połączmy wątki. Gdy wiarygodna pierwsza wersja niemal wszystkiego może zostać wygenerowana na żądanie, pracą, która niesie wartość, jest ta, której system automatyczny nie może wykonać za Ciebie: decydowanie, który problem jest wart rozwiązania, specyfikowanie, co oznacza „poprawnie”, dzielenie problemu tak, aby można go było zweryfikować, precyzyjne zadanie pytania oraz osądzanie, czy zwrócona odpowiedź faktycznie spełnia specyfikację.

Przenoś tę checklistę formułowania do każdego niejednoznacznego zadania, zanim wygenerujesz choćby jeden szkic:

- Problem: Jaki jest objaw główny, a jaki jest problem leżący u podstaw? Jakie są koszty rozwiązania niewłaściwego problemu?

- Sukces: Jakie są testowalne kryteria „ukończone i poprawne”? Czy dwie osoby mogłyby się nie zgadzać co do spełnienia każdego z nich? Jeśli tak, doprecyzuj je.

- Ograniczenia: Jakie granice musi respektować rozwiązanie: budżet, termin, dane, systemy, zasady?

- Zakres: Co jest celowo poza zakresem?

- Dekompozycja: Na jakie niezależne, indywidualnie weryfikowalne podproblemy to się rozkłada? Który z nich jest kluczowy dla ludzkiego osądu?

- Pytanie: W przypadku dowolnego zapytania do osoby, zbioru danych lub systemu, czy metryka, populacja, okno czasowe i sposób rozstrzygania remisów są jednoznacznie określone? Jaka niejednoznaczność może prowadzić do pewnego, ale błędnego wyniku?

- Osąd: Gdy odpowiedź nadejdzie, jaki test powie mi, że jest poprawna, a nie tylko płynna?

Profesjonalistą tej epoki nie jest ten, kto najszybciej tworzy pierwsze wersje. To ten, kto tak dobrze formułuje problem, że dobra odpowiedź staje się weryfikowalna, a błędna – widoczna.

Co wynosisz ze sobą

Dwa zdania do zapamiętania

Ćwiczyłeś rozdzielenie objawu od problemu, pisanie testowalnych kryteriów sukcesu z jawnymi ograniczeniami, dekompozycję problemu na niezależne, weryfikowalne części oraz doprecyzowanie pytania tak, aby nie mogło ono zwrócić pewnego, ale błędnego wyniku. Te cztery kroki to jedna umiejętność: formułowanie problemu.

Rozwiązanie błędnego problemu z dużą starannością to najdroższy błąd w pracy opartej na wiedzy, ponieważ wygląda jak sukces. A precyzja Twojego pytania wyznacza górną granicę wartości jakiejkolwiek odpowiedzi, czy to od człowieka, zbioru danych, czy systemu zautomatyzowanego.

Tworzenie pierwszej wersji jest teraz tanie i staje się coraz tańsze. Formułowanie problemu, pisanie specyfikacji i ocenianie wyniku to miejsca, gdzie tkwi dźwignia profesjonalisty. Przenoś listę kontrolną. Zadawaj ostrzejsze pytania. Zdefiniuj „gotowość” przed rozpoczęciem pracy.