模型拟合真正意味着什么
模拟模型做出了一个数学声明：真实系统的输出位于观察空间中的特定曲面 M 上（或附近）。
令真实系统产生观察值 y₁, y₂, ..., yₙ。模型预测值为 ŷ₁, ŷ₂, ..., ŷₙ。
残差作为距离： rᵢ = yᵢ - ŷᵢ。每个残差衡量观察值与其对应模型预测值之间的距离。在 n 维观察空间中，残差形成向量 r = y - ŷ。
最小二乘拟合： 选择模型参数以最小化 ||r||² = Σrᵢ²。从几何上讲，在欧几里得距离中找到模型曲面 M 上最接近观察向量 y 的点 ŷ。
当残差产生误导时
小的 ||r||² 不能保证模型有效。两个系统性故障模式：
1. 系统偏差： 残差 rᵢ 很小，但都是正数（或都是负数）。模型一贯地低估或高估。从几何上讲：ŷ 位于平行于真实数据流形的平行偏移曲面上——距离上接近，结构上错误。
2. 错误的流形： 残差很小，因为模型有足够的自由参数来精确拟合训练数据（过拟合）。模型曲面穿过数据点，但在它们之间剧烈弯曲。在新数据上的预测效果较差。
检测系统偏差
具有零均值残差的模型仍然可能具有随输入变量变化的系统偏差。
示例：一个天气模拟模型在夏季低估温度 2°C，在冬季高估 2°C，在整个年份的平均残差 ≈ 0，但有明显的季节性偏差。
残差诊断： 针对每个输入变量绘制 rᵢ。平坦的模式（无趋势）表明该变量没有系统偏差。趋势模式揭示了模型中缺失的维度。
哈明的验证问题——"是否遗漏了一个小但至关重要的效应？"——在几何上转化为：残差向量是否在模型参数空间不跨越的方向上有分量？
系统性偏差与随机噪声
霍桑效应：研究中的受试者改变了他们的行为，因为他们知道自己正在被观察，而不是因为实验处理。
几何解释
令真实数据流形 M 存在于由变量 (x₁, x₂, ..., xₖ, observation_context) 跨越的空间中。
模型忽略 observation_context。它仅在 (x₁, ..., xₖ) 的观察中拟合一个曲面。
当 observation_context = '正在被研究' 时，实际数据点沿 observation_context 轴移动。模型的曲面——在 (x₁, ..., xₖ) 空间中固定——现在拟合移位的数据。残差看起来很小（曲面仍然在研究背景内拟合良好），但在未观察的背景中的预测是系统性错误的。
几何： 模型曲面接近研究背景数据流形，但离现实流形很远。两者之间的距离：沿 observation_context 轴的霍桑偏移。
哈明的双盲要求：防止 observation_context 与处理相关联。这使现实流形和研究背景流形重合——消除了几何偏移。
其他隐藏维度效应
任何影响系统但从模型中排除的变量都会产生相同的几何结构：
- 经济模型中忽略的季节效应
- 制造模拟中排除的操作员行为
- 性能模型中缺少的软件版本状态
模型拟合一个较低维的曲面到存在于较高维流形上的数据。残差在模型测量的方向上会很小，在未测量的方向上会很大。
验证作为几何对齐
哈明的验证检查清单，重新表述为几何：
背景理论支持假定的规律吗？ 模型参数空间的维数是否跨越真实数据流形？如果缺少关键变量（排除的维度），模型曲面就无法与现实对齐。
有可用的内部检查吗？ 守恒定律是几何约束：数据必须位于由质量守恒、能量守恒等定义的特定子流形上。如果模拟违反这些，其轨迹已离开有效子流形。
与已知过去经验的交叉检查： 模型曲面必须通过历史验证点——不仅仅拟合训练数据，而且概括为样本外观察。
模拟是稳定的吗？ 稳定的模拟尽管存在小的扰动，但仍保持接近真实解流形。不稳定的模拟离开流形的邻域，不能被称为有效模型。
当预测变成投影时
哈明支持了场景方法用于预测不可能的领域：不是声称'系统将执行 X'，而是在不同假设集下提出一组可能的轨迹。
几何解释
模型曲面 M(θ) 取决于参数 θ（关于规律、常数、边界条件的假设）。不同的假设集 θ₁, θ₂, ..., θₖ 定义不同的曲面 M(θ₁), ..., M(θₖ)。
场景包络是这些曲面的并集：任何场景模型可能产生的输出空间区域。
单一预测声称：真实结果位于最佳估计 θ 的 M(θ) 附近。场景方法声称：真实结果位于包络内的某处。
包络何时有用
如果包络很窄——尽管有不同的假设，所有场景都同意输出——对预测的信心很高。如果包络很宽——不同的假设产生非常不同的输出——模型对假设高度敏感。该敏感性是输出，而不是故障模式。
哈明关于他自己预测的声称：他给出的是场景，而不是点预测。他描述的未来是'我认为可能发生的事'，而不是精确的预测。
与现实的重叠
当现实位于包络内时，场景模型得到验证。这是比点预测更弱的测试，但对模型能够声称的内容更诚实。
综合：有效模型及其几何
有效模拟的几何归结为三种对齐：
1. 参数空间覆盖真实流形： 模型的维度包括驱动系统的所有变量。隐藏维度差距会产生系统性偏移。
2. 稳定性将轨迹保持在真实流形附近： 收敛方向场意味着错误会缩小。发散场意味着模拟离开有效区域。
3. 残差很小且无结构： 随机的、无关的残差表明模型捕获了真实流形。结构化残差（趋势、模式）表明缺失维度。
哈明的'为什么有人应该相信模拟？'在几何上转化为：模型曲面与现实流形的接近程度如何，跨越多少维度，有多少稳定性，在多少样本外点上验证？