Belirsiz İstekten Test Edilebilir Kriterlere

Bir Spesifikasyon Görüşü Teste Dönüştürür

Belirsiz bir istek ("onboarding'i iyileştir", "verileri temizle", "arama ekle") teslim edilemez veya doğrulanamaz, çünkü kimse ne zaman bittiğini söyleyemez. Bir spesifikasyon sıfatları testlerle değiştirir. Başarı kriterlerini ölçülebilir terimlerle ve çözümün uyması gereken kısıtlamaları belirtir.

Bir spesifikasyonu gerçek kılan iki bileşen vardır:

- Test edilebilir başarı kriterleri: Tartışmadan geç veya kal olarak kontrol edebileceğiniz bir koşul. "Hızlı" bir görüştür; "saniyede 200 istekte p95 yanıt süresinin 400 ms altında olması" bir testtir. "Daha iyi onboarding" bir görüştür; "yeni kullanıcıların %80'inin ilk oturumlarında 3. adımı tamamlaması" bir testtir.

- Açık kısıtlamalar: Çözümün içinde yaşaması gereken sınırlar: bütçe, son tarih, dokunmaması gereken veriler, değiştirmemesi gereken sistemler, uyması gereken düzenlemeler. Kısıtlamalar engeller değildir; doğru cevabın tanımının yarısıdır.

Faydalı bir disiplin. Talepteki her sıfat için, onu çözecek ölçümü ve onu sınırlayan kısıtı yazın. Testi yazamıyorsanız, talebi başlamak için yeterince iyi anlamıyorsunuz demektir.

İlk taslak üretmenin maliyeti düşük olduğunda, taslağın iyi olup olmadığını size spesifikasyon (spec) söyler. Kesin bir spesifikasyon, yeniden kullanılabilir bir yargıdır. Her aday cevabı aynı şekilde değerlendirir.

Bağımsız, Doğrulanabilir Alt Sorunlar

Kayayı Kontrol Edilebilir Taşlara Ayırın

Büyük bir sorun, hangi kısmın yanlış olduğunu anlayamadığınız için yargıya direnir. Parçaya Ayırma (Decomposition), sorunu her biri kendi başına doğrulanabilecek kadar küçük alt sorunlara yapılandırır. İyi bir parçaya ayırmanın iki özelliği vardır.

- Bağımsızlık: Alt sorunlar mümkün olduğunca az örtüşür, böylece birindeki değişiklik diğerini sessizce bozmaz. Parçalar bağımsız olduğunda, paralel olarak çalışılabilir, test edilebilir ve hatta otomatikleştirilebilir; ayrıca bir hata yayılmak yerine yerel kalır.

- Doğrulanabilirlik: Her alt sorun kendi başarı testini taşır, böylece bütünün birleştirilmesinden önce çözüldüğünü doğrulayabilirsiniz. Kontrol edemediğiniz bir parçaya güvenemezsiniz.

İyi parçalanmış bir sorun, kıt insan yargısının nereye yönlendirileceğini de gösterir. Alt sorunların çoğu rutin niteliktedir ve otomatik bir sisteme veya acemi bir elemana devredilip testlerine göre kontrol edilebilir. Bir veya ikisi ise özü oluşturur: yüksek belirsizlik, yüksek sonuç ve yanlış çıkması kolay olan kısımlar. Bunlar uzmanın dikkatini çeker.

Sahte bir parçaya ayırmaya dikkat edin: Ayrılabilir görünen ancak gizli bir bağımlılık paylaşan parçalar, böylece "tamamlanmış" parçalar işleyen bir bütün oluşturamaz. Bir parçaya ayırmanın testi, her parçanın çözülmüş ve doğrulanmış olması durumunda, orijinal sorunun gerçekten çözülüp çözülmediğidir.

Sorun, Cevabın Tavanını Belirler

Çöp Soru Girdi, Güvenli Çöp Çıktı

İster bir paydaşa, ister bir veri setine, isterse otomatik bir sisteme sorgu gönderiyor olun, sorunuzun hassasiyeti, yanıtın değerinin bir üst sınırını belirler. Belirsiz bir soru gürültülü bir şekilde hata vermez. Sormak istemediğiniz bir soruya akıcı, kendinden emin ve ikna edici bir yanıt döndürür ve bu yanıt tamamlanmış gibi görünür.

Belirsiz bir veri isteğini düşünün: "Bize en iyi müşterilerimizi getir." Her taşıyıcı kelime tanımsızdır. En iyi neye göre: toplam gelir, marj, elde tutma oranı, büyüme hızı, yönlendirmeler mi? Hangi zaman dilimi için: ömür boyu, son on iki ay, bu çeyrek mi? Hangi müşteriler sayılır: yalnızca aktif olanlar mı, ayrılanlar dahil mi, deneme sürümü kullananlar dahil mi mi? Bir veri seti, sorgunun tesadüfen kodladığı hangi versiyonu olursa olsun memnuniyetle yanıtlayacaktır ve istekte bulunan, bunun kafasındaki versiyon olduğunu varsayarak buna göre hareket edecektir.

Hassas bir soru dört şeyi sabitler: tam olarak nicelik veya varlık, bunun üzerinde aralıklanan popülasyon, zaman penceresi ve eşitlik durumlarını çözen kriterler veya eşikler. Aynı disiplin bir kişiye de uygulanır ("'en iyi' derken bu yıl en kârlı olanları mı yoksa yenileme olasılığı en yüksek olanları mı kastediyorsunuz?") ve bir otomatik sisteme de, burada yetersiz tanımlanmış bir istem (prompt), yanlış soruya kendinden emin bir yanıt üretir.

Profesyonel beceri, yanıt gelmeden ÖNCE belirsizliği fark etmektir, çünkü kendinden emin yanlış bir yanıtı sonradan tespit etmek maliyetlidir. Sorudaki hassasiyet, sonradan yapılan düzeltmeden daha ucuzdur.

Kaldıraçınızın Şimdi Nerede Olduğu

İlk Taslak Ucuzdur; Çerçeveleme ve Yargı Değildir

İplikleri bir araya getirin. Neredeyse her şeyin olası bir ilk versiyonu talep üzerine üretilebildiğinde, değeri taşıyan iş, otomatik bir sistemin sizin için yapamayacağı iştir: Hangi sorunun çözülmeye değer olduğunu belirlemek, "doğru"nun ne anlama geldiğini belirtmek, sorunun kontrol edilebilmesi için bölünmesi, sorunun tam olarak sorulması ve döndürülen cevabın gerçekten spesifikasyonu karşılayıp karşılamadığına hükmetmek.

Bu çerçeveleme kontrol listesini, tek bir taslak üretmeden önce, herhangi bir belirsiz görevde yanınızda taşıyın:

- Problem: Sunan belirti nedir ve altta yatan asıl sorun nedir? Yanlış sorunu çözmek neye mal olur?

- Başarı: "Tamamlandı ve doğru" için test edilebilir kriterler nelerdir? İki kişi, her birinin karşılanıp karşılanmadığı konusunda anlaşmazlığa düşebilir mi? Eğer öyleyse, kriteri netleştirin.

- Kısıtlar: Çözümün uyması gereken sınırlar nelerdir: bütçe, son tarih, veri, sistemler, kurallar?

- Kapsam: Hangi unsurlar bilinçli olarak kapsam dışı bırakılmıştır?

- Parçalama: Bu sorun, birbirinden bağımsız ve tek tek doğrulanabilir alt sorunlara nasıl ayrılır? Bunlardan hangisi insan yargısı için kilit noktadır?

- Soru: Bir kişiye, veri setine veya sisteme yöneltilecek herhangi bir sorguda; metrik, popülasyon, zaman penceresi ve eşitlik durumunda tercih kriteri netleştirilmiş mi? Hangi belirsizlik, güvenle yanlış bir yanıt döndürebilir?

- Yargı: Yanıt geldiğinde, onun yalnızca akıcı değil, doğru olduğunu gösteren test nedir?

Bu dönemin profesyoneli, ilk taslakları en hızlı üreten kişi değildir. Sorunu o kadar iyi çerçevelendirir ki iyi bir yanıt doğrulanabilir hale gelir ve yanlış bir yanıt görünür hale gelir.

İlerlettiğiniz Şey

Saklayacağınız İki Cümle

Belirti ile sorunu ayırt etmeyi, açık kısıtlamalarla test edilebilir başarı kriterleri yazmayı, bir sorunu bağımsız ve doğrulanabilir parçalara ayırmayı ve bir soruyu öyle keskinleştirmeyi ki kendinden emin yanlış bir yanıt döndüremesin, pratik ettiniz. Bu dört hareket tek bir beceridir: çerçeveleme.

Yanlış sorunu iyi çözmek, başarı gibi göründüğü için bilgi işindeki en pahalı hatadır. Ve sorusunuzun hassasiyeti, bir kişiden, bir veri setinden veya otomatik bir sistemden gelen herhangi bir yanıtın değerinin tavanını belirler.

İlk taslağı üretmek artık ucuz ve giderek daha da ucuzlaşıyor. Sorunu çerçevelemek, spesifikasyonu yazmak ve sonucu yargılamak, bir profesyonelin kaldıraçının (leverage) bulunduğu yerdir. Kontrol listesini yanınızda taşıyın. Daha keskin soruyu sorun. Başlamadan önce "tamamlandı"yı tanımlayın.