Ce que Significa Vraiment Ajuster un Modèle
Un modèle de simulation fait une affirmation mathématique : les résultats du système réel se situent sur (ou près) une surface spécifique M dans l'espace des observations.
Supposons que le système réel produise les observations y₁, y₂, ..., yₙ. Le modèle prédit les valeurs ŷ₁, ŷ₂, ..., ŷₙ.
Résidus comme distances : rᵢ = yᵢ - ŷᵢ. Chaque résidu mesure la distance entre une observation et sa prédiction de modèle correspondante. Dans l'espace d'observation à n dimensions, les résidus forment un vecteur r = y - ŷ.
Ajustement par les moindres carrés : choisir les paramètres du modèle pour minimiser ||r||² = Σrᵢ². Géométriquement, trouver le point ŷ sur la surface du modèle M le plus proche du vecteur d'observation y en distance euclidienne.
Quand les Résidus Trompent
Un petit ||r||² ne garantit pas un modèle valide. Deux modes de défaillance systématique :
1. Biais systématique : les résidus rᵢ sont petits mais tous positifs (ou tous négatifs). Le modèle sous-estime ou surestime systématiquement. Géométriquement : ŷ se situe sur une surface de décalage parallèle à la véritable variété de données — proche en distance, mauvaise en structure.
2. Mauvaise variété : les résidus sont petits parce que le modèle a suffisamment de paramètres libres pour ajuster exactement les données d'entraînement (surapprentissage). La surface du modèle traverse les points de données, mais se courbe énormément entre eux. Les prédictions sur les nouvelles données sont mauvaises.
Détection du Biais Systématique
Un modèle avec un résidu moyen nul peut quand même avoir un biais systématique qui varie selon une variable d'entrée.
Exemple : une simulation météorologique qui sous-estime la température de 2°C en été et la surestime de 2°C en hiver a un résidu moyen ≈ 0 sur une année complète, mais un biais saisonnier clair.
Diagnostic des résidus : tracer rᵢ en fonction de chaque variable d'entrée. Un motif plat (sans tendance) suggère l'absence de biais systématique de cette variable. Un motif de tendance révèle une dimension manquante dans le modèle.
La question de validation de Hamming — « Un petit mais effect vital pourrait-il manquer ? » — se traduit géométriquement : le vecteur résidu a-t-il une composante dans une direction non couverte par l'espace des paramètres du modèle ?
Décalage Systématique vs Bruit Aléatoire
L'effet Hawthorne : les sujets dans une étude changent leur comportement parce qu'ils savent qu'ils sont observés, non pas à cause du traitement expérimental.
Interprétation Géométrique
Supposons que la véritable variété de données M vit dans un espace couvrant les variables (x₁, x₂, ..., xₖ, observation_context).
Le modèle ignore observation_context. Il ajuste une surface aux observations dans (x₁, ..., xₖ) seul.
Quand observation_context = 'en cours d'étude,' les points de données réels se déplacent le long de l'axe observation_context. La surface du modèle — fixe dans l'espace (x₁, ..., xₖ) — ajuste maintenant les données déplacées. Les résidus semblent petits (la surface s'ajuste toujours bien dans le contexte d'étude), mais les prédictions dans le contexte non observé sont systématiquement mauvaises.
La géométrie : la surface du modèle est proche de la variété de données du contexte d'étude, mais loin de la variété réelle. La distance entre elles : le décalage Hawthorne le long de l'axe observation_context.
L'exigence de double insu de Hamming : empêcher observation_context de devenir corrélée avec le traitement. Cela maintient la variété réelle et la variété du contexte d'étude coïncidentes — élimine le décalage géométrique.
Autres Effets Dimensions Cachées
Toute variable qui affecte le système mais est exclue du modèle crée la même structure géométrique :
- Les effets saisonniers omis des modèles économiques
- Le comportement de l'opérateur exclu des simulations de fabrication
- L'état de la version logicielle absent des modèles de performance
Le modèle ajuste une surface à dimension inférieure aux données qui vivent sur une variété à dimension supérieure. Les résidus seront petits dans les directions que le modèle mesure, grands dans les directions non mesurées.
Validation comme Alignement Géométrique
La liste de contrôle de validation de Hamming, reformulée comme géométrie :
La théorie de fond soutient-elle les lois supposées ? Les dimensions de l'espace des paramètres du modèle couvrent-elles la véritable variété de données ? Si les variables clés manquent (dimensions exclues), la surface du modèle ne peut pas être alignée avec la réalité.
Des contrôles internes sont-ils disponibles ? Les lois de conservation sont des contraintes géométriques : les données doivent se situer sur une sous-variété spécifique définie par la conservation de la masse, la conservation de l'énergie, etc. Si la simulation viole ces conditions, sa trajectoire a quitté la sous-variété valide.
Vérifications croisées contre l'expérience passée connue : la surface du modèle doit passer par des points de validation historiques — non seulement ajuster les données d'entraînement, mais généraliser aux observations hors échantillon.
La simulation est-elle stable ? Une simulation stable reste près de la vraie variété de solutions malgré les petites perturbations. Une simulation instable quitte le voisinage de la variété et ne peut pas être appelée un modèle valide.
Quand la Prédiction Devient Projection
Hamming a approuvé la méthode de scénarios pour les domaines où la prédiction est impossible : au lieu de prétendre « le système fera X, » présentez un ensemble de trajectoires possibles sous différentes séries d'hypothèses.
Interprétation Géométrique
La surface du modèle M(θ) dépend des paramètres θ (hypothèses sur les lois, les constantes, les conditions aux limites). Différentes séries d'hypothèses θ₁, θ₂, ..., θₖ définissent différentes surfaces M(θ₁), ..., M(θₖ).
L'enveloppe de scénario est l'union de ces surfaces : la région de l'espace de sortie que n'importe lequel des modèles de scénario pourrait produire.
Une prédiction unique prétend : le résultat réel se situe près de M(θ) pour la meilleure estimation θ. La méthode de scénarios prétend : le résultat réel se situe quelque part à l'intérieur de l'enveloppe.
Quand l'Enveloppe Est Utile
Si l'enveloppe est étroite — tous les scénarios s'accordent sur la sortie malgré les différentes hypothèses — la confiance dans la prédiction est élevée. Si l'enveloppe est large — les différentes hypothèses produisent des résultats très différents — le modèle est très sensible aux hypothèses. Cette sensibilité est le résultat, pas un mode de défaillance.
La affirmation de Hamming sur ses propres prédictions : il donnait des scénarios, pas des prédictions ponctuelles. L'avenir qu'il décrivait était « ce qui est susceptible de se produire, à mon avis, » pas une prévision précise.
Chevauchement avec la Réalité
Un modèle de scénario est validé quand la réalité se situe à l'intérieur de l'enveloppe. C'est un test plus faible que la prédiction ponctuelle mais plus honnête quant à ce que le modèle peut prétendre.
Tout Rassembler : Modèles Valides & Leur Géométrie
La géométrie de la simulation valide revient à trois alignements :
1. L'espace des paramètres couvre la véritable variété : les dimensions du modèle incluent toutes les variables qui entraînent le système. Les écarts de dimension cachée produisent des décalages systématiques.
2. La stabilité maintient la trajectoire près de la véritable variété : une direction convergente signifie que les erreurs rétrécissent. Une direction divergente signifie que la simulation quitte la région valide.
3. Les résidus sont petits ET non structurés : les résidus aléatoires et non corrélés suggèrent que le modèle capture la véritable variété. Les résidus structurés (tendances, motifs) signalent une dimension manquante.
La question de Hamming « Pourquoi quelqu'un devrait-il croire la simulation ? » se traduit géométriquement : à quelle distance la surface du modèle se situe-t-elle de la variété réalité, dans combien de dimensions, avec combien de stabilité, validée sur combien de points hors échantillon ?