什么模型拟合实际上意味着
一个模拟模型提出一个数学断言: 真实系统的输出位于(或接近)特定表面 M 在观察空间中的位置。
让真实系统产生观察值 y₁, y₂, ..., yₙ。模型预测值 ŷ₁, ŷ₂, ..., ŷₙ。
残差作为距离: rᵢ = yᵢ - ŷᵢ。每个残差测量一个观察值与其对应模型预测值之间的距离。在 n 维观察空间中, 残差形成一个向量 r = y - ŷ。
最小二乘拟合: 选择模型参数以最小化 ||r||² = Σrᵢ²。几何上, 找到模型表面 M 上离观察向量 y 最近的点 ŷ 在欧几里得距离上。
当残差误导
小的 ||r||² 不保证有效模型。有两种系统性失败模式:
1. 系统偏差: 残差 rᵢ 都是正的(或都是负的)且很小。模型一致低估或高估。几何上: ŷ 位于真实数据流形的平行偏移表面上 —— 距离很近, 结构却错了。
2. 错误流形: 残差很小因为模型有足够的自由参数可以精确地拟合训练数据(过拟合)。模型表面穿过数据点, 但在它们之间弯曲。对新数据的预测效果不佳。
检测系统偏差
平均残差为零的模型可能仍然存在与输入变量相关的系统偏差。
示例: 一个低估夏天温度2°C, 高估冬天2°C的气象模拟, 在全年范围内, 残差的平均值约为0, 但有明显的季节性偏差。
残差诊断: 将 rᵢ 与每个输入变量进行绘图。没有趋势的平坦模式表明没有由该变量引起的系统偏差。趋势模式揭示了模型中缺少的维度。
汉明的验证问题——'一个小但关键的效应是否被忽略了?'——在几何上可以表述为：残差向量是否具有在模型参数空间中未被展开的方向分量？
系统偏差与随机噪声
哈沃斯效应：在研究中，受试者因为知道他们正在被观察而改变行为，而不是因为实验处理。
几何解释
让真实数据流形 M 在由变量 (x₁, x₂, ..., xₖ, 观察上下文) 组成的空间中。
模型忽略了观察上下文。它根据 (x₁, ..., xₖ) 的观察值拟合一个表面。
当观察上下文为 '正在研究' 时，实际数据点沿观察上下文轴线发生移动。模型的表面——在 (x₁, ..., xₖ) 空间中固定——现在适合移动的数据。当未观察到的上下文中进行预测时，残差看起来很小（表面在研究上下文中仍然很好地适合），但预测在未观察到的上下文中是系统错误的。
几何：模型表面接近研究上下文的数据流形，但远离现实流形。它们之间的距离：哈沃斯偏移沿观察上下文轴。
汉明的双盲要求：防止观察上下文与治疗相互关联。这使现实流形和研究上下文流形重合——消除几何偏移。
其他隐藏维度效应
任何影响系统但被排除在模型外的变量会创建相同的几何结构:
- 从经济模型中省略的季节效应
- 从制造模拟中排除的操作者行为
- 在性能模型中缺少的软件版本状态
模型会将生活在更高维子空间的数据拟合到一个低维表面上。残差在模型测量的方向上会很小，在未测量的方向上会很大。
验证作为几何对齐
Hamming的验证清单，用几何重新表述
支持假设的背景理论吗？ 模型参数空间的维度是否覆盖了真实数据子空间？如果关键变量被排除（被排除的维度），模型表面就无法与现实保持一致。
内部检查可用吗？ 保存定律是几何约束：数据必须位于由质量守恒、能量守恒等定义的特定子空间。如果模拟违反这些约束，其轨迹已经离开了有效子空间。
与已知过去经历进行交叉检查： 模型表面必须通过历史验证点——不仅仅是拟合训练数据，还要推广到出样本观察。
模拟是否稳定？ 稳定的模拟在小扰动下仍然接近真实解子空间。不可靠的模拟离开子空间，无法称为有效模型。
预测变成了投影
汉明赞同使用场景方法在预测不可能的领域：而不是断言“系统会做X”，提出在不同假设集下的可能轨迹集合。
几何解释
模型表面M(θ)取决于参数θ（对法律、常数、边界条件的假设）。不同假设集θ₁，θ₂，..., θₖ定义了不同的表面M(θ₁)，..., M(θₖ)。
场景包围体是这些表面之和：输出空间中任何场景模型都可能产生的区域。
单个预测断言：真实结果位于最佳估计θ对应的表面M(θ)附近。场景方法断言：真实结果位于包围体内部。
当包围体有用
如果包围体狭窄——不同假设下的输出一致——对预测的信心较高。如果包围体宽——不同假设下产生的输出差异很大——模型对假设的敏感性较高。这种敏感性是输出，而不是一个故障模式。
汉明关于他自己的预测的断言：他在给出场景，而不是单点预测。他描述的未来是“在我看来，很可能发生的”，而不是精确的预测。
与现实的重叠
当现实落入包围体时，场景模型得到验证。这比单点预测的验证要求更低，但对模型能声称的内容更诚实。
把它们放在一起：有效模型及其几何
有效模拟的几何归结为三个对齐：
1. 参数空间覆盖真实多维空间：模型的维度包括所有驱动系统的变量。隐藏维度的差距产生系统偏差。
2. 稳定性使轨迹接近真实多维空间：收敛方向场意味着误差减小。分散的场意味着模拟离开有效区域。
3. 残差小且无结构：随机、无相关性残差表明模型捕捉到了真实多维空间。具有结构的残差（趋势、模式）表明缺少维度。
Hamming的'任何人为什么相信模拟?'在几何上翻译为：模型表面与现实多维空间的距离有多近，具有多个维度，具有多大的稳定性，基于多少个外样本点进行验证？