Cosa Significa Veramente Fitting di un Modello
Un modello di simulazione fa un'affermazione matematica: gli output del sistema reale si trovano su (o vicino a) una superficie specifica M nello spazio delle osservazioni.
Sia il sistema reale produca osservazioni y₁, y₂, ..., yₙ. Il modello predice valori ŷ₁, ŷ₂, ..., ŷₙ.
Residui come distanze: rᵢ = yᵢ - ŷᵢ. Ogni residuo misura la distanza tra un'osservazione e la sua predizione del modello corrispondente. Nello spazio di osservazione n-dimensionale, i residui formano un vettore r = y - ŷ.
Fitting ai minimi quadrati: scegli parametri del modello per minimizzare ||r||² = Σrᵢ². Geometricamente, trova il punto ŷ sulla superficie del modello M più vicino al vettore di osservazione y nella distanza euclidea.
Quando i Residui Inducono in Errore
Piccoli ||r||² non garantiscono un modello valido. Due modalità di fallimento sistematico:
1. Bias sistematico: i residui rᵢ sono piccoli ma tutti positivi (o tutti negativi). Il modello sottovaluta o sovrastima costantemente. Geometricamente: ŷ si trova su una superficie di offset parallelo alla vera varietà di dati — vicina in distanza, sbagliata in struttura.
2. Varietà sbagliata: i residui sono piccoli perché il modello ha abbastanza parametri liberi per adattarsi esattamente ai dati di addestramento (overfitting). La superficie del modello si intreccia attraverso i punti dati, ma si curva selvaggiamente tra di loro. Le predizioni su nuovi dati sono scarse.
Rilevamento del Bias Sistematico
Un modello con residuo medio zero può comunque avere bias sistematico che varia con una variabile di input.
Esempio: una simulazione meteorologica che sottovaluta la temperatura di 2°C in estate e la sovrastima di 2°C in inverno ha residuo medio ≈ 0 su un anno intero, ma un chiaro bias stagionale.
Diagnostica residua: traccia rᵢ rispetto a ogni variabile di input. Un pattern piatto (nessun trend) suggerisce nessun bias sistematico da quella variabile. Un pattern di trend rivela una dimensione mancante nel modello.
La domanda di validazione di Hamming — 'Potrebbe mancare un effetto piccolo ma vitale?' — si traduce geometricamente: il vettore residuo ha una componente in una direzione non coperta dallo spazio parametrico del modello?
Offset Sistematico vs Rumore Casuale
L'effetto Hawthorne: i soggetti in uno studio cambiano il loro comportamento perché sanno di essere osservati, non a causa del trattamento sperimentale.
Interpretazione Geometrica
Sia la vera varietà di dati M vivere in uno spazio dispiegato dalle variabili (x₁, x₂, ..., xₖ, observation_context).
Il modello ignora observation_context. Si adatta a una superficie alle osservazioni in (x₁, ..., xₖ) soltanto.
Quando observation_context = 'essere studiato,' i punti dati effettivi si spostano lungo l'asse observation_context. La superficie del modello — fissa nello spazio (x₁, ..., xₖ) — ora si adatta ai dati spostati. I residui sembrano piccoli (la superficie si adatta ancora bene nel contesto dello studio), ma le predizioni nel contesto non osservato sono sistematicamente sbagliate.
La geometria: la superficie del modello è vicina alla varietà di dati del contesto-studio, ma lontana dalla varietà di realtà. La distanza tra loro: l'offset Hawthorne lungo l'asse observation_context.
Il requisito di Hamming di un doppio cieco: prevenire che observation_context diventi correlato al trattamento. Questo mantiene la varietà di realtà e la varietà di contesto-studio coincidenti — elimina l'offset geometrico.
Altri Effetti di Dimensione Nascosta
Qualsiasi variabile che influisce sul sistema ma è esclusa dal modello crea la stessa struttura geometrica:
- Effetti stagionali omessi da modelli economici
- Comportamento dell'operatore escluso da simulazioni di fabbricazione
- Stato della versione del software assente da modelli di prestazioni
Il modello si adatta a una superficie di dimensione inferiore ai dati che vivono su una varietà di dimensione superiore. I residui saranno piccoli nelle direzioni che il modello misura, grandi nelle direzioni non misurate.
Validazione come Allineamento Geometrico
La lista di controllo di validazione di Hamming, riconsiderata come geometria:
La teoria di base supporta le leggi assunte? Le dimensioni dello spazio parametrico del modello coprono la vera varietà di dati? Se le variabili chiave sono mancanti (dimensioni escluse), la superficie del modello non può essere allineata con la realtà.
Sono disponibili controlli interni? Le leggi di conservazione sono vincoli geometrici: i dati devono trovarsi su una sottovarietà specifica definita da conservazione della massa, conservazione dell'energia, ecc. Se la simulazione viola questi, la sua traiettoria ha lasciato la sottovarietà valida.
Verifiche incrociate con l'esperienza passata nota: la superficie del modello deve passare attraverso punti di validazione storica — non solo adattarsi ai dati di addestramento, ma generalizzare alle osservazioni fuori campione.
La simulazione è stabile? Una simulazione stabile resta vicino alla vera varietà di soluzione nonostante piccoli disturbi. Una simulazione instabile lascia il vicinato della varietà e non può essere chiamata un modello valido.
Quando la Predizione Diventa Proiezione
Hamming ha approvato il metodo degli scenari per domini dove la predizione è impossibile: invece di affermare 'il sistema farà X,' presenta un insieme di possibili traiettorie sotto diversi insiemi di assunzioni.
Interpretazione Geometrica
La superficie del modello M(θ) dipende da parametri θ (assunzioni su leggi, costanti, condizioni al contorno). Diversi insiemi di assunzioni θ₁, θ₂, ..., θₖ definiscono diverse superfici M(θ₁), ..., M(θₖ).
L'inviluppo dello scenario è l'unione di queste superfici: la regione dello spazio di output che uno qualsiasi dei modelli di scenario potrebbe produrre.
Una singola predizione afferma: il vero risultato si trova vicino a M(θ) per la stima migliore θ. Il metodo dello scenario afferma: il vero risultato si trova da qualche parte dentro l'inviluppo.
Quando l'Inviluppo È Utile
Se l'inviluppo è stretto — tutti gli scenari concordano sull'output nonostante diverse assunzioni — la fiducia nella predizione è alta. Se l'inviluppo è ampio — diverse assunzioni producono output molto diversi — il modello è altamente sensibile alle assunzioni. Quella sensibilità è l'output, non una modalità di fallimento.
La affermazione di Hamming sulle sue stesse predizioni: stava dando scenari, non predizioni puntuali. Il futuro che ha descritto era 'quello che probabilmente accadrà, secondo la mia opinione,' non una previsione precisa.
Sovrapposizione con la Realtà
Un modello di scenario è validato quando la realtà cade dentro l'inviluppo. Questo è un test più debole della predizione puntuale ma più onesto su quello che il modello può affermare.
Mettere Tutto Insieme: Modelli Validi & La Loro Geometria
La geometria della simulazione valida si riduce a tre allineamenti:
1. Lo spazio dei parametri copre la vera varietà: le dimensioni del modello includono tutte le variabili che guidano il sistema. Gli spazi di dimensione nascosta producono offset sistematici.
2. La stabilità mantiene la traiettoria vicino alla vera varietà: una direzione convergente significa che gli errori si restringono. Un campo divergente significa che la simulazione lascia la regione valida.
3. I residui sono piccoli E non strutturati: residui casuali, non correlati suggeriscono che il modello cattura la vera varietà. I residui strutturati (trend, pattern) segnalano una dimensione mancante.
La domanda di Hamming 'Perché qualcuno dovrebbe credere alla simulazione?' si traduce geometricamente: quanto è vicina la superficie del modello alla varietà di realtà, in quante dimensioni, con quanto stabilità, validata su quanti punti fuori campione?