Küçük Örneklemeler Çılgınca Dalgalanır

Sadece Terimlerle İstatistiksel Güç

Örneklemden gelen her ölçüm, gerçek değer ile gürültünün toplamıdır. Örneklem ne kadar küçükse, sinyale kıyasla gürültü o kadar büyük olur. Bu, kodlama ile aşılabilen bir kusur değildir. Daha az gözlem ortalamasının aritmetiğidir.

İşe yarayan bir kural: Bir tahmindeki gürültü, örneklem boyutunun kendisiyle değil, örneklem boyutunun kareköküyle azalır. Belirsizliğinizi yarıya indirmek için dört kat daha fazla veriye ihtiyacınız var. On'a indirgemek için yüz kat daha fazla veriye ihtiyacınız var. Bu, erken sonuçların neden bu kadar değişken olduğunu ve bir testin son etabının neden yavaş hissettirdiğini açıklar.

İstatistiksel güç, belirli bir büyüklükte gerçek bir etkinin var olması durumunda, bir testin bu etkiyi tespit etme olasılığıdır. Yetersiz güçlü bir test, aradığı etkiyi güvenilir bir şekilde görebilmek için yeterince az gözleme sahip olan testtir. Yetersiz güçlü testler iki yönde başarısız olur: Gerçek etkileri kaçırırlar ve "önemli" bir sonuç bildirdiklerinde, bu sonuç gürültülü bir aşırı tahmin olma olasılığı daha yüksektir. İkinci başarısızlık olan abartılı kazanan, karar vericileri en çok yoran kısımdır.

Pratik disiplin: Bir testi çalıştırmadan önce, harekete geçmeye değer en küçük etkiyi belirleyin, ardından bu etkiyi tespit etmek için gereken örneklem boyutunu hesaplayın. Bu boyuta kadar çalıştırın. Birinci gün çay yapraklarını okumaya çalışmayın.

Yetersiz Güçlü Bir Raporun Teşhisi

Masağınıza otomatik bir rapor düşüyor. Bu çeyrekte 14 müşteri segmenti arasındaki müşteri kayıplarını (churn) karşılaştırıyor. Başlık şöyle diyor: "Segment 7'deki müşteri kaybı %22'ye fırladı, %9'luk ortalamanın çok üzerinde, acil olarak araştırın." Küçük yazılara bakıyorsunuz. Segment 7 bu çeyrekte 46 müşteri içeriyor. Segment 7'nin geçen çeyrekte 41 müşterisi vardı ve o zaman müşteri kaybı %7 idi.

Aralıksız Bir Nokta Tahmini

Noktanın Etrafındaki Çubuk

Bir nokta tahmini, tek bir en iyi tahmin sayıdır: artış %12, ortalama 4,2, kayıp oranı %9. Bir güven aralığı, verilerdeki gürültüye göre gerçek değerin makul olarak kaplayabileceği aralıktır: artış %12, artı eksi %9, yani makul olarak %3 ile %21 arasında herhangi bir yerde.

Nokta tahmini tahmindir. Aralık ise dürüstlüktür. Nokta tahminini aralığı, hata çubuğu veya aralık göstermeden sunan bir rapor, en çok ihtiyacınız olan tek sayıyı gizliyor. Çıplak bir nokta tahminini hassasiyet olarak değil, kırmızı bir bayrak olarak ele alın.

Kesişen aralıklar belirli bir ders taşır. A varyantının aralığı %3 ile %21 arasında ve B varyantının aralığı %1 ile %19 arasında ise, bu aralıklar büyük ölçüde örtüşüyor. A'nın B'den iyi olduğunu iddia edemezsiniz, çünkü veriler onların eşit olmasına veya B'nin önde olmasına tutarlıdır. İki nokta tahmini farklı olabilirken, aralıkları farkın gürültü olduğunu söyleyebilir.

Daha ince bir tuzak: Sıfırın tamamen üzerinde kalan geniş bir aralık, etkinin gerçek olduğunu ancak büyüklüğünün belirsiz olduğunu söyler. Sıfırı kesen geniş bir aralık ise işaretin bile bilinmediğini söyler. Bunlar farklı kararlar gerektirir. Aralığın genişliği bir süs değil, bilgidir.

İki Kesişen Aralığı Okuma

Bir satıcı size öneri motorlarını tanıtıyor. Slaytlarında şu yazıyor: "Motorumuz ortalama sipariş değerini 58,40 $'a çıkardı (%95 GA 54,10 $ ile 62,70 $ arası). Kontrol grubunun ortalaması 55,90 $'dı (%95 GA 51,30 $ ile 60,50 $ arası)." Sonuç olarak, kalın yazıyla, "sipariş başına net 2,50 $ kazanç, yayına alın" diyorlar.

Yeterince Çok Şey Test Edersen, Bir Şey Kazanır

Ne Kadar Çok Bakarsan, O Kadar Çok Şey Bulursun

0,05'lik bir p-değeri, gerçekten bir etki yoksa, bu kadar güçlü bir sonucu saf şansla yaklaşık 20'de 1 olasılıkla göreceğiniz anlamına gelir. Tek bir dürüst test yaptığınızda bu kabul edilebilir bir risktir. Yirmi test yaptığınızda ise yanlış pozitif bir sonucun neredeyse kesinleştiği anlamına gelir.

Çoklu karşılaştırmalar: Bir gösterge paneli kullanıcılarınızı 20 boyuta (cihaz, bölge, saat, yönlendiren, plan katmanı vb.) göre dilimleyip "önemli" görünen herhangi bir dilimi işaretliyorsa, hiçbir gerçek şey olmamasına rağmen her çalışmada yaklaşık bir yanlış kazanan beklemelisiniz. Araç tek bir test hakkında yalan söylemiyor. Sessizce birçok test çalıştırıyor ve en şanslı olanı raporluyor.

P-hacking, önemi yapay olarak üreten hareketlerin ailesidir: birçok sonuç metriği denemek ve çizgiyi aşan tek birini raporlamak, p-değeri düşene kadar kontroller ekleyip çıkarmak, anlamlı görünür an veri toplamanı durdurmak veya bir alt grup "yanıt verene" kadar veriyi alt gruplara ayırmak. Bunların hiçbiri dürüstsüzlük gerektirmez; motive analistler farkında olmadan p-hacking yapar.

Korunma önlemleri yapısal olmalıdır. Ön-kayıt: verileri görmeden önce tek bir hipotezi ve tek bir metriği yazın. Tutma kümesi (holdout): taze bir veri dilimi ayırın ve bulgunun, seçilip ayıklanma şansı olmayan verilerde de ayakta kaldığını doğrulayın. Düzeltme: birçok test çalıştırmak zorundaysanız, eşiği yükseltin (Bonferroni, yanlış keşif oranı kontrolü) böylece eşik, bakılan sayıyı hesaba katar. Bir tutma kümesinde ayakta kalan bir bulgu, yalnızca ilk denemede 0,05'i aşan bir bulgudan çok daha değerlidir.

Kazananı Bulan Analist

Bir analist, "Harika haber, Android kullanan, 25-34 yaş grubundaki ve e-postayı akşam 8'den sonra açan kullanıcılar arasında e-posta kampanyamızın satın alma oranlarını önemli ölçüde artırdığını (p = 0,03) tespit ettik" şeklinde raporluyor. Kampanyayı herkese ölçeklendirmek için bütçe talep ediyor. Analistin bu kombinasyona ulaşmadan önce cihaz, yaş grubu ve günün saati dilimleri üzerinden satın alma oranlarını incelediğini öğreniyorsunuz.

Anlamlı Olmak Hâlâ Çok Küçük Anlamına Geliyorsa

İki Farklı Soru

İstatistiksel anlamlılık tek bir soruyu yanıtlar: bu etki sıfırdan ayırt edilebilir mi? Etki boyutu ise farklı bir soruyu yanıtlar: etki ne kadar büyük? Bir sonuç aynı anda hem son derece anlamlı hem de tamamen önemsiz olabilir.

Bağlantı örneklem boyutudur. Örneklem yeterince büyükse, aralık mikro düzeydeki bir etkinin bile sıfıra değmemesi kadar küçüldüğü için neredeyse her fark istatistiksel olarak anlamlı hale gelir. 5 milyon kullanıcı üzerinde yapılan bir test, yeni bir düğme renginin tıklamaları %0,02 oranında "anlamlı" şekilde artırdığını p < 0,0001 ile raporlayabilir. p-değeri kusursuzdur. Etki ise değersizdir.

Dolayısıyla etki boyutu olmadan anlamlılık, cümlenin yalnızca yarısıdır. Karar vericinin soruları şunlardır: etki ne kadar büyük, bu karar için önemli olacak kadar büyük mü ve değeri maliyetini aşıyor mu? Altı aylık bir mühendislik projesi gerektiren %0,02'lik bir artış, ne kadar anlamlı olursa olsun pratik açıdan başarısızdır.

Bunu tersine de çevirin. Geniş bir aralığa (yetersiz güçlendirilmiş bir testten kaynaklanan) sahip büyük ve umut verici bir etki boyutu, daha büyük ve doğru şekilde güçlendirilmiş bir takip çalışması için değerli gerçek bir fırsat olabilir. Anlamlılık ve etki boyutu iki bağımsız kadranıdır. Her ikisini de okuyun.

Anlamlı Ama Yayına Hazır mı?

Platform ekibiniz, 4 milyon oturum üzerinde titiz ve yüksek güçlü (well-powered) bir deney yürüttü. Sonuç: "Yeni ödeme ekranı düzeni tamamlanan satın alma işlemlerini anlamlı ölçüde artırıyor, p < 0,001. Artış +0,05 puanlık (tamamlanma oranı %4,10'dan %4,15'e yükseldi)." Düzenin yayına alınması iki aylık bir yeniden yapılandırma gerektiriyor ve kod tabanını karmaşıklaştıracak. Ekip, "istatistiksel olarak anlamlı olduğundan, yayına almakla yükümlüyüz" argümanını öne sürüyor.

Bu Veri Kim Tarafından Toplandı ve Genellemeye Uygun mu?

Sayılar Bir Yerden Geliyor

Herhangi bir p-değeri veya aralık hakkında hüküm vermeden önce, verilerin nereden geldiğini sorun. İki soru işin çoğunu halleder: taban oran nedir ve bu örneklem, ilgilendiğiniz popülasyona genellenebilir mi?

Taban oranlar, okuduğunuz her oranın temelini oluşturur. Dolandırıcılığı tespit etmede "%95 doğru" olan bir test, dolandırıcılığın işlemlerin yalnızca %0,1'inde gerçekleştiğini göz önüne almadan mükemmel görünür: bu taban oranda, devasa dürüst çoğunluğun %5'i, küçük dolandırıcı azınlığın %95'inden çok daha büyük olduğu için, işaretlenen işlemlerin ezici çoğunluğu yanlış alarmdır. Taban oranı göz ardı etmek, teknik olarak doğru bir modelin neden kullanılamayacak kadar gürültülü bir uyarı akışı ürettiğinin yoludur. Bir tespit oranı veya yanıt oranı sayısını yargılamadan önce, altta yatan oranın ne olduğunu her zaman sorun.

Kaynak (Provenans), sayının sahiplik zinciridir. Kim topladı? Nasıl? Kimden? En etkileşimli kullanıcılarınızın yanıtladığı bir anket, churn (kayıp) yaşayan kullanıcılarınızı tanımlamaz. Bir tatil promosyonu sırasında ölçülen bir dönüşüm oranı, normal bir Salı gününü tanımlamaz. Ürünü satan tedarikçinin yürüttüğü bir performans testi (benchmark) tarafsız bir ölçüm değildir. Örneklem yöntemi, zamanlama, ölçüm aracı ve sonucun kimin lehine olması, bir sayının kararınıza genellenip genellenemeyeceğini şekillendiren faktörlerdir.

Genelleme, son kapıdır. Bir bağlamda (bir ülke, bir mevsim, bir müşteri segmenti, bir cihaz) toplanan veri, başka bir bağlama aktarılamayabilir. Sayı mükemmel ölçülmüş olsa bile, sorunuz için yanlış sayı olabilir. "Burada doğru" ile "kararım için doğru" farklı iddialardır.

Tedarikçinin Sitesindeki Vaka Çalışması

Bir yazılım tedarikçisinin açılış sayfasında "aracımızı kullanan şirketler %35 verimlilik artışı gördü" iddiası yer alıyor. Bu rakam, tedarikçinin seçip raporladığı 3 müşteri şirketinin vaka çalışmasından gelmektedir; ölçüm, tedarikçinin kendi ekibi tarafından sağlanan el ele (white-glove) onboarding sonrası ilk ay içinde, bu şirketlerin kendilerinin bildirdiği tasarruf edilen saatler üzerinden yapılmıştır.

İki Dakikalık Şüphecilerin Kontrol Listesi

Bunu Herhangi Bir Çalışma, Gösterge Paneli veya Otomatik Rapor Üzerine Uygulayın

Artık beş refleksiniz var. Bunlar, masanıza gelen herhangi bir özgüvenli sayıya karşı iki dakikadan kısa sürede uygulayabileceğiniz bir kontrol listesidir.

1. Örneklem ve güç. Bu sayının arkasındaki örneklem ne kadar büyük? Bir etkiyi tespit etmek için yeterli mi, yoksa birkaç gözleme dayanarak salınacak kadar küçük mi? Küçük bir gruptaki oran büyük ölçüde gürültüdür.

2. Aralık, nokta değil. Bir güven aralığı veya hata çubuğu var mı, yoksa sadece çıplak bir nokta tahmini mi? Aralığı olmayan bir nokta kırmızı bir bayraktır. İki şey karşılaştırılıyorsa, aralıkları örtüşüyor mu? Örtüşme, farkın kesinleşmediği anlamına gelir.

3. Kaç karşılaştırma? Bu, önceden beyan edilmiş tek bir test mi, yoksa birçok testin en şanslı dilimi mi? Kaç metrik, segment veya varyantın incelendiğini sorun. Bir aramadan elde edilen "önemli" bir kazanan, ona inanmadan önce taze bir tutma grubuna veya önceden kayıtlı bir onaya ihtiyaç duyar.

4. Etki büyüklüğü ve anlamlılık. p-değerini bir an için bir kenara bırakın: etki ne kadar büyük ve bu karar için maliyetine karşı önemli olmaya yeterince büyük mü? Devasa bir örneklemde "anlamlı" olan bir şey hâlâ önemsiz derecede küçük olabilir.

5. Baz oran ve kaynağı. Bu sayının dayandığı temel baz oran nedir? Verileri kim, nasıl, kimden topladı ve sonuçtan kim faydalanıyor? Ölçüldüğü bağlam, yaptığınız kararla örtüşüyor mu?

Kapıdan çıkarken yanınızda taşıyacağınız tek cümle: bir sayı, örneklemini, aralığını, karşılaştırmalarını ve kaynağını görmeden bir iddiadır, bir olgu değildir. Araçlar sürekli kendinden emin rakamlar üretmeye devam edecektir. Göreviniz, bu araçların at gözlüğüyle gördürdüğü dört şeyi okumaktır.

Konuyu derinlemesine incelemek için önerilen okumalar şunlardır: Darrell Huff'un "How to Lie with Statistics" (İstatistiklerle Nasıl Yalan Söylenir) adlı kitabı, Charles Wheelan'ın "Naked Statistics" (Çıplak İstatistik) adlı kitabı, Regina Nuzzo'nun p-hacking (p-değeri manipülasyonu) üzerine yazıları ve bir çalışmanın yöntemlerini okumaya yönelik CONSORT kılavuzu.