Bir Modeli Gerçekten Ne Anlama Geliyor
Bir simülasyon modeli, gerçek sistemin çıktılarının gözlem alanının özel bir yüzey M üzerinde (veya yakınında) durduğunu veya durması gerektiğini matematiksel bir iddiaya sahip.
Gerçek sistem y₁, y₂, ..., yₙ gözlem üretir. Model, değerleri ŷ₁, ŷ₂, ..., ŷₙ tahmin eder.
Hatalar jako mesafeler: rᵢ = yᵢ - ŷᵢ. Her hata, bir gözlemin ve karşılık gelen model tahmininin arasındaki mesafeyi ölçer. N-boyutlu gözlem alanlarında, hatalar r = y - ŷ vektörünü oluşturur.
En küçük kareler uyuşması: model parametrelerini ||r||² = Σrᵢ²'yi en aza indirirken seçin. Geometrik olarak, gözlem vektörü y'nin gözlem alanındaki gerçek veri kabarcığı M üzerindeki en yakın nokta ŷ'yi bulun.
Hatalar Misleading
||r||²'nin küçük olması, geçerli bir modelin garantisi değildir. İki sistemik başarım modu:
1. Sistemik bias: hatalar rᵢ, küçük ama hepsi pozitif (veya hepsi negatif). Model, sürekli olarak düşük veya yüksek tahmin eder. Geometrik olarak: ŷ, gerçek veri kabarcığına paralel bir eksen offset yüzeyinde durur - yakından mesafede, yapısal olarak yanlış.
2. Yanlış kabarcık: hatalar küçük çünkü model, eğitim verilerini tam olarak uydurabilen yeterli serbest parametreye sahip (overfitting). Model yüzeyi, veri noktaları arasında dalgalı olarak geçer, ancak yeni veri üzerinde tahminler kötüdür.
Sistemik Biasi Tespit Et
Ortalama hata olan bir model bile, bir girdi değişkenine göre sistemik bias gösteren olabilir.
Örnek: Bir hava durumu simülasyonu, yaz aylarında sıcaklığı 2°C eksik tahmin eder ve kış aylarında 2°C fazla tahmin eder, bu da yıl boyunca tam bir hata ortalaması ≈ 0 gösterir, ancak mevsimsel bias gösterir.
Hata tanıtımcı: rᵢ'yi her bir girdi değişkeni ile karşılaştırın. Düz bir desen (trend) yoksa, bu değişkenin sistemik biasından bahsediyor. Desen, modelde eksik bir boyut olduğunu gösterir.
Hamming'in doğrulama sorusu — 'Küçük ama önemli bir etki eksik mi?' — geometrik olarak şu şekilde çevrilebilir: Geribildirim vektörünün modele ait parametre uzayında spanlenmeyen bir yönde bileşenleri var mı?
Sistemik Kayma vs Rastgele Şaşkınlık
Hawthorne etkisi: Bir çalışmada subjects, deneyin tedavisi nedeniyle değil, çünkü gözlemci oldukları için davranışlarını değiştirir.
Geometrik Yorum
Gerçek veri manzara M, değişkenler (x₁, x₂, ..., xₖ, gözlem bağlamı) tarafından oluşturulan bir uzayda yaşar.
Model gözlem bağlamını dikkate almaz. (x₁, ..., xₖ) yalnız gözlemleri gözlem bağlamı olmadan bir yüzey düzleştirir.
Gözlem bağlamı 'incelemeye tabi tutuluyor' olduğunda, gerçek veri noktaları gözlem bağlamı ekseninde hareket eder. Modelin yüzeyi — (x₁, ..., xₖ) uzayında sabit — incelemeler bağlamında doğru veri noktalarını geçer. Geribildirimler küçüktür ( yüzey incelemeler bağlamında hala iyi uyuyor), ancak tahminler gözlemlenmeyen bağlamda sistemik olarak yanlış olur.
Geometri: Model yüzeyi incelemeler bağlamında gerçek veri manzanasına yakın, ama gerçeklik manzanasından uzak. Aralarındaki uzaklık: gözlem bağlamı eksenindeki Hawthorne kayması.
Hamming'in çift göz ardı gerekliliği: gözlem bağlamının tedaviyle ilişkili olmasını engellemek için. Bu, gerçeklik manzanası ve incelemeler bağlamı manzanasının birbiriyle birebir olduğu anlamına gelir — geometrik kaymayı ortadan kaldırır.
Diğer Gizli-Boyut Etkileri
Sistem üzerinde etkileyici fakat modele dahil olmayan herhangi bir değişken, aynı geometrik yapı oluşturur:
- Ekonomik modellere dahil olmayan mevsimsel etkiler
- Üretim simülatörlerinden operatör davranışı hariç tutulan
- Performans modellerine dahil olmayan yazılım sürüm durumu
Model, veri yüksek boyutlu bir maniple üzerinde yaşarken, daha düşük boyutlu bir yüzey üzerine uyacak şekilde uyumlu hale gelir. Kalan yönde küçük hatalar, ölçülen yönde büyük hatalar olacaktır.
Doğrulama Olarak Geometrik Uyum
Hamming'in doğrulama listesini, geometrik olarak yeniden ifade etmek:
Arka plan teorisi, kabul edilen yasaları destekler mi? Modelin parametre uzayının boyutları, gerçek veri maniple'ni mi kapsar? Anahtar değişkenler eksikse (dışlanan boyutlar), model yüzeyinin gerçeklikle hizalanması mümkün olmayacak.
İç kontrol testleri var mı? Konservasyon yasaları, geometrik kısıtlamalardır: veri, kütle korunumu, enerji korunumu vb. belirli bir altmanifold üzerinde yaşamalıdır. Eğer simülasyon bu kurallara aykırıysa, geçerlik alanı dışındaki bir yörünge izlemiştir.
Geçmişte bilinen deneyimlerle çakışmalar: Model yüzeyi, sadece eğitim verilerine uyan değil, ancak genellemeyi başarabilen tarihi doğrulama noktaları üzerinden geçmelidir.
Simülasyon stabil mi? Stabil bir simülasyon, küçük sapmalara rağmen gerçek çözüm maniple'ne yakın kalır. İstabil bir simülasyon, maniple'nin komşuluğunu terk eder ve geçerli bir model olarak adlandırılamaz.
Öngörünün Proje Olması
Hamming, öngörünün mümkün olmadığı alanlarda senaryo metodunu destekledi: 'Sistem X yapacak' diyerek değil, farklı varsayım kümelerine göre farklı senaryo modellerinin üretebileceği çıktı alanlarını sunarak.
Dikdörtgen Şema Anlatımı
Model yüzeyi M(θ), sistemin yasaları, sabitler ve sınır koşulları hakkında varsayımlar içeren parametreler θ'ye bağlıdır. Farklı varsayım kümeleri θ₁, θ₂, ..., θₖ farklı yüzeyler M(θ₁), ..., M(θₖ) oluşturur.
Senaryo kabuğu, bu yüzeylerin birleşimidir: Gerçek çıktının üretilebileceği çıktı alanının bölgesidir.
Bir tek öngörü, gerçek sonuçların, en iyi tahmin θ için M(θ) yakınlarında olduğunu iddia eder. Senaryo metodu, gerçek sonuçların kabuğun içinde olduğunu iddia eder.
Kabuğun Faydalı Olduğu Durumlar
Eğer kabuk dar - farklı varsayımlar rağmen çıktılarda hemfikirse - öngörünün güvenliği yüksek. Eğer kabuk geniş - farklı varsayımlar farklı çıktılar üretirse - modelin varsayımlara duyarlı olduğu söylenir. Bu duyarlık, bir hata modu değil, çıktı olarak verilir.
Hamming'in kendi öngörülerine dair iddiaları: Senaryolar veriyordu, değil mi? Gelecek hakkında ne söylediğini, 'kendimce muhtemel olan' olarak anlattı, değil mi? Tam bir öngörü değil, belirli bir tahmin.
Gerçeklikle Çakışma
Bir senaryo modeli, gerçekliğin kabuğun içinde düşündüğünde geçerlilik kazanır. Bu, tek bir nokta öngörüsünden daha zayıf bir testtir, ancak modelin ne kadar iddia edebileceğini daha dürüst bir şekilde ifade eder.
Birlikte Kullanım: Geçerli Model ve Dikdörtgen Şeması
Geometrik olarak geçerli bir simülasyon, üç hizada gelir:
1. Parametre alanı gerçek maniplei kapsar: modelin boyutları sistemin tüm değişkenlerini içerir. Gizli boyutluk boşlukları, sistemik sapmalara neden olur.
2. Stabilite, gerçek maniplei yakınında trajectory'yi korur: bir konverjans yönlendirme alanı hataları küçülür. Bir divergent alan, simülasyonu geçerli bölgeyi terk eder.
3. Kalan değerler küçük ve yapılandırilsızdır: rastgele ve yapılandırilmamış kalan değerler, modelin gerçek maniplei yakaladığını gösterir. Yapılandırılmış kalan değerler (trendler, desenler) bir boyut eksik olduğunu gösterir.
Hamming'in 'Neden anyone simülasyonu inanıyor?' bu geometrik olarak çevrilir: Model yüzeyinin gerçek manipleine ne kadar yakın olduğu, ne kadar boyutlu olduğu, ne kadar stabil olduğu ve ne kadar dış örnekleme noktasında doğrulanıyor?