Vad det verkligen innebär att anpassa en modell
En simuleringsmodell gör ett matematiskt påstående: utgångarna från det verkliga systemet ligger på (eller nära) en specifik yta M i observationsutrymmet.
Låt det verkliga systemet producera observationer y₁, y₂, ..., yₙ. Modellen förutspår värden ŷ₁, ŷ₂, ..., ŷₙ.
Residualer som avstånd: rᵢ = yᵢ - ŷᵢ. Varje residual mäter avståndet mellan en observation och dess motsvarande modellförutsägelse. I n-dimensionellt observationsutrymme bildar residualerna en vektor r = y - ŷ.
Minsta-kvadrat-passning: välj modellparametrar för att minimera ||r||² = Σrᵢ². Geometriskt sett, hitta punkten ŷ på modellytans M som ligger närmast observationsvektorn y i euklidiskt avstånd.
När residualer vilseleder
Små ||r||² garanterar inte en giltig modell. Två systematiska fellägen:
1. Systematisk bias: residualer rᵢ är små men alla positiva (eller alla negativa). Modellen förutspår konsekvent för lågt eller för högt. Geometriskt sett: ŷ ligger på en parallell offsetyta till den sanna datamångfalden — nära i avstånd, fel i struktur.
2. Fel mångfald: residualer är små eftersom modellen har tillräckligt många fria parametrar för att passa träningsdata exakt (överanpassning). Modellytans trådar genom datapunkterna, men kurvor vilt mellan dem. Förutsägelser på nya data är dåliga.
Att upptäcka systematisk bias
En modell med noll medianresidual kan fortfarande ha systematisk bias som varierar med en indatavariabel.
Exempel: en vädersimuler som underskättar temperaturen med 2°C på sommaren och överskattar med 2°C på vintern har medianresidual ≈ 0 under ett helt år, men en tydlig säsongsmässig bias.
Residualdiagnostik: rita rᵢ mot varje indatavariabel. Ett platt mönster (ingen trend) tyder på ingen systematisk bias från den variabeln. Ett trendmönster avslöjar en saknad dimension i modellen.
Hammings valideringsfråga — 'Skulle en liten men vital effekt kunna saknas?' — översätts geometriskt: har residualvektorn en komponent i en riktning som inte spänns upp av modellens parameterutrymme?
Systematisk offset kontra slumpmässigt brus
Hawthorne-effekten: försökspersoner i en studie ändrar sitt beteende eftersom de vet att de observeras, inte på grund av den experimentella behandlingen.
Geometrisk tolkning
Låt den sanna datamångfalden M leva i ett utrymme som spänns av variablerna (x₁, x₂, ..., xₖ, observation_context).
Modellen ignorerar observation_context. Den passar en yta till observationer i (x₁, ..., xₖ) ensam.
När observation_context = 'blir studerad,' förskjuts de faktiska datapunkterna längs observation_context-axeln. Modellens yta — fixerad i (x₁, ..., xₖ)-rummet — passar nu förskjutna data. Residualerna verkar små (ytan passar fortfarande väl inom studiebetingelsen), men förutsägelser i det observerade sammanhanget är systematiskt fel.
Geometrin: modellytans är nära studiesammanhangsdatamångfalden, men långt från verklighetsmångfalden. Avståndet mellan dem: Hawthorne-offseten längs observation_context-axeln.
Hammings blindkontrollkrav: förhindra observation_context från att bli korrelerad med behandling. Detta håller verklighetssamflingen och studiebetingelsen sammanfallande — eliminerar den geometriska offseten.
Andra effekter från dolda dimensioner
Alla variabler som påverkar systemet men är uteslutna från modellen skapar samma geometriska struktur:
- Säsongsmässiga effekter utelämnade från ekonomiska modeller
- Operatörsöverföring uteslutna från tillverkningssimulationer
- Programvaruversion state frånvaron av prestationsmodeller
Modellen passar en lägre-dimensionell yta till data som lever på en högre-dimensionell mångfald. Residualer kommer att vara små i riktningar som modellen mäter, stora i de omätta riktningarna.
Validering som geometrisk justering
Hammings valideringschecklista, omformulerad som geometri:
Stöder bakgrundsteorin de antagna lagarna? Spänner dimensionerna i modellens parameterutrymme den sanna datamångfalden? Om nyckelvariabler saknas (uteslutna dimensioner), kan modellytans inte justeras med verkligheten.
Finns interna kontroller tillgängliga? Bevarandelagar är geometriska begränsningar: data måste ligga på en specifik submanifold definierad av massbevaration, energibevaration, etc. Om simuleringen bryter dessa, har dess bana lämnat den giltiga undermångfalden.
Tvärkollar mot känd tidigare erfarenhet: modellytans måste passera genom historiska valideringspunkter — inte bara passar träningsdata, utan generaliserar till observationer utanför provet.
Är simuleringen stabil? En stabil simulering stannar nära den sanna lösningsmångfalden trots små störningar. En instabil simulering lämnar grannskapet till mångfalden och kan inte kallas en giltig modell.
När förutsägelse blir projektion
Hamming godkände scenariometoden för domäner där förutsägelse är omöjlig: istället för att hävda 'systemet kommer att göra X,' presentera en uppsättning möjliga banor under olika antagandeuppsättningar.
Geometrisk tolkning
Modellytans M(θ) beror på parametrar θ (antaganden om lagar, konstanter, gränsvillkor). Olika antagandeset θ₁, θ₂, ..., θₖ definierar olika ytor M(θ₁), ..., M(θₖ).
Scenariohöljen är föreningen av dessa ytor: området för utmatningsutrymmet som någon av scenariomodellerna kunde producera.
En enda förutsägelse hävdar: det sanna resultatet ligger nära M(θ) för det bästa uppskattningen θ. Scenariometoden hävdar: det sanna resultatet ligger någonstans inuti höljen.
När höljen är användbar
Om höljen är snävt — alla scenarier instämmer i utgången trots olika antaganden — är förtroendet för förutsägelsen högt. Om höljen är brett — olika antaganden producerar mycket olika utgångar — är modellen mycket känslig för antaganden. Denna känslighet är utgången, inte ett misslyckande.
Hammings påstående om hans egna förutsägelser: han gav scenarier, inte punktförutsägelser. Framtiden han beskrev var 'vad som sannolikt kommer att hända, enligt min åsikt,' inte en exakt prognos.
Överlappning med verkligheten
En scenariomodell valideras när verkligheten faller inuti höljen. Detta är ett svagare test än punktförutsägelse men mer ärligt om vad modellen kan hävda.
Att sätta ihop det: giltiga modeller & deras geometri
Geometrin för giltig simulering handlar om tre justeringar:
1. Parameterutrymmet täcker den sanna mångfalden: modellens dimensioner inkluderar alla variabler som styr systemet. Luckor för dolda dimensioner producerar systematiska offset.
2. Stabilitet håller banan nära den sanna mångfalden: en konvergent riktningsfält betyder att fel krymper. Ett divergent fält betyder att simuleringen lämnar det giltiga området.
3. Residualer är små OCH ostrukturerade: slumpmässiga, okorrelerade residualer tyder på att modellen fångar den sanna mångfalden. Strukturerade residualer (trender, mönster) signalerar en saknad dimension.
Hammings 'Varför bör någon tro på simuleringen?' översätts geometriskt: hur nära är modellytans till verklighetssamflingen, i hur många dimensioner, med hur mycket stabilitet, validerad på hur många observationer utanför provet?