Wat het Aanpassen van een Model echt betekent
Een simulatiemodel stelt een wiskundige bewering: de uitgangen van het echte systeem liggen op (of dicht bij) een bepaald oppervlak M in de ruimte van waarnemingen.
Laat het echte systeem waarnemingen y₁, y₂, ..., yₙ produceren. Het model voorspelt waarden ŷ₁, ŷ₂, ..., ŷₙ.
Residuen als afstanden: rᵢ = yᵢ - ŷᵢ. Elk residu meet de afstand tussen een waarneming en de overeenkomstige modelvoorspelling. In n-dimensionale waarnemingsruimte vormen de residuen een vector r = y - ŷ.
Kleinste-kwadratenaanpassing: kies modelparameters om ||r||² = Σrᵢ² te minimaliseren. Geometrisch gezegd, vind het punt ŷ op het modeloppervlak M dat het dichtst bij de waarnemingsvector y in Euclidische afstand ligt.
Wanneer Residuen Misleiden
Kleine ||r||² garandeert geen geldig model. Twee systematische foutmodi:
1. Systematische bias: residuen rᵢ zijn klein maar allemaal positief (of allemaal negatief). Het model voorspelt consequent onder of over. Geometrisch gezegd: ŷ ligt op een parallel offsetoppervlak naar het echte gegevensverdeelstuk — dicht bij afstand, fout in structuur.
2. Verkeerd verdeelstuk: residuen zijn klein omdat het model voldoende vrije parameters heeft om de trainingsgegevens exact aan te passen (overfitting). Het modeloppervlak loopt door de datapunten heen, maar buigt wild tussen hen. Voorspellingen voor nieuwe gegevens zijn slecht.
Systematische Bias Opsporen
Een model met een gemiddelde residuum van nul kan nog steeds systematische bias hebben die varieert met een invoervariabele.
Voorbeeld: een weersimulatie die de temperatuur in de zomer met 2°C onderschat en in de winter met 2°C overschat, heeft een gemiddeld residu ≈ 0 over een volledig jaar, maar een duidelijke seizoensbias.
Residu-diagnostiek: zet rᵢ uit tegen elke invoervariabele. Een plat patroon (geen trend) suggereert geen systematische bias van die variabele. Een trendpatroon onthult een ontbrekende dimensie in het model.
Hamming's validatievraag — 'Zou een klein maar vitaal effect kunnen ontbreken?' — vertaalt zich geometrisch: heeft de residuenvector een component in een richting die niet wordt overspannen door de parameterruimte van het model?
Systematische Offset versus Willekeurige Ruis
Het Hawthorne-effect: proefpersonen in een studie veranderen hun gedrag omdat ze weten dat ze worden waargenomen, niet omdat van de experimentele behandeling.
Geometrische Interpretatie
Laat het echte gegevensverdeelstuk M in een ruimte wonen die wordt overspannen door de variabelen (x₁, x₂, ..., xₖ, observation_context).
Het model negeert observation_context. Het past een oppervlak aan waarnemingen in (x₁, ..., xₖ) alleen.
Wanneer observation_context = 'wordt bestudeerd,' verschuiven de werkelijke datapunten langs de observation_context-as. Het modeloppervlak van het model — vast in (x₁, ..., xₖ) ruimte — past nu verschoven gegevens aan. De residuen lijken klein (het oppervlak past nog steeds goed binnen de studiecontext), maar voorspellingen in de waargenomen context zijn systematisch fout.
De geometrie: het modeloppervlak ligt dicht bij het gegevensverdeelstuk in de studiecontext, maar ver van het realiteitverdeelstuk. De afstand ertussen: de Hawthorne-offset langs de observation_context-as.
Hamming's dubbel-blind vereiste: voorkom dat observation_context gecorreleerd wordt met behandeling. Dit houdt het realiteitverdeelstuk en het studiecontext-verdeelstuk samenvallend — elimineert de geometrische offset.
Andere Hidden-Dimension Effecten
Elke variabele die het systeem beïnvloedt maar uit het model is uitgesloten, creëert dezelfde geometrische structuur:
- Seizoeneffecten weggelaten uit economische modellen
- Operatorgedrag uitgesloten van productiesimulatoren
- Softwareversie-status afwezig van prestatiemodellen
Het model past een lager-dimensionaal oppervlak aan gegevens die op een hoger-dimensionaal verdeelstuk leven. Residuen zullen klein zijn in richtingen die het model meet, groot in de ongemeten richtingen.
Validatie als Geometrische Uitlijning
Hamming's validatiechecklist, opnieuw geformuleerd als geometrie:
Ondersteunt de achtergrondtheorie de aangenomen wetten? Spannen de dimensies van de parameterruimte van het model het echte gegevensverdeelstuk? Als sleutelvariabelen ontbreken (uitgesloten dimensies), kan het modeloppervlak niet met de werkelijkheid worden uitgelijnd.
Zijn interne controles beschikbaar? Conserveringswetten zijn geometrische beperkingen: de gegevens moeten op een specifiek onderverdeelstuk liggen gedefinieerd door massa-conservering, energiebehoud, enz. Als de simulatie deze schendt, heeft haar traject het geldige onderverdeelstuk verlaten.
Kruischecks tegen bekende eerdere ervaringen: het modeloppervlak moet door historische validatiepunten gaan — niet alleen trainingsgegevens aanpassen, maar generaliseren naar waarnemingen buiten de steekproef.
Is de simulatie stabiel? Een stabiele simulatie blijft dicht bij het echte oplossingverdeelstuk ondanks kleine verstoringen. Een onstabiele simulatie verlaat de buurt van het verdeelstuk en kan niet geldig worden genoemd.
Wanneer Voorspelling Projectie Wordt
Hamming ondersteunde de scenariomethode voor domeinen waar voorspelling onmogelijk is: in plaats van te beweren 'het systeem zal X doen,' presenteer een reeks mogelijke trajecten onder verschillende aannamestellen.
Geometrische Interpretatie
Het modeloppervlak M(θ) hangt af van parameters θ (aannames over wetten, constanten, randvoorwaarden). Verschillende aannamestellen θ₁, θ₂, ..., θₖ definiëren verschillende oppervlakken M(θ₁), ..., M(θₖ).
De scenarioomhulsel is de vereniging van deze oppervlakken: het gebied van uitvoerruimte dat elk van de scenariomodellen zou kunnen produceren.
Een enkele voorspelling beweert: de werkelijke uitkomst ligt dicht bij M(θ) voor de beste schatting θ. De scenariomethode beweert: de werkelijke uitkomst ligt ergens in de omhulsel.
Wanneer de Omhulsel Nuttig Is
Als de omhulsel nauw is — alle scenario's zijn het eens over de uitvoer ondanks verschillende aannames — het vertrouwen in de voorspelling is hoog. Als de omhulsel breed is — verschillende aannames produceren zeer verschillende uitvoerwaarden — het model is zeer gevoelig voor aannames. Die gevoeligheid is de uitvoer, niet een foutmodus.
Hamming's bewering over zijn eigen voorspellingen: hij gaf scenario's, geen puntvoorspellingen. De toekomst die hij beschreef, was 'wat waarschijnlijk zal gebeuren, naar mijn mening,' niet een nauwkeurige voorspelling.
Overlap met Werkelijkheid
Een scenariomodel wordt gevalideerd wanneer de werkelijkheid in de omhulsel valt. Dit is een zwakker toets dan puntvoorspelling, maar eerlijker over wat het model kan claimen.
Alles bij elkaar: Geldige Modellen & Hun Geometrie
De geometrie van geldige simulatie komt neer op drie uitlijningen:
1. Parameterruimte dekt het echte verdeelstuk: de dimensies van het model omvatten alle variabelen die het systeem aansturen. Gaten in verborgen dimensies produceren systematische offsets.
2. Stabiliteit houdt het traject dicht bij het echte verdeelstuk: een convergente richtingsveld betekent dat fouten krimpen. Een divergent veld betekent dat de simulatie de geldige regio verlaat.
3. Residuen zijn klein EN ongestructureerd: willekeurige, ongecorreleerde residuen suggereren dat het model het echte verdeelstuk vastlegt. Gestructureerde residuen (trends, patronen) signaleren een ontbrekende dimensie.
Hamming's 'Waarom zou iemand de simulatie geloven?' vertaalt zich geometrisch: hoe dicht ligt het modeloppervlak bij het realiteitverdeelstuk, in hoeveel dimensies, met hoeveel stabiliteit, gevalideerd op hoeveel punten buiten de steekproef?