模型擬合真正意味著什麼
模擬模型提出一個數學主張：真實系統的輸出位於觀測空間中的特定曲面M上（或附近）。
讓真實系統產生觀測值y₁, y₂, ..., yₙ。模型預測值ŷ₁, ŷ₂, ..., ŷₙ。
殘差作為距離： rᵢ = yᵢ - ŷᵢ。每個殘差測量觀測值與其對應模型預測值之間的距離。在n維觀測空間中，殘差形成一個向量r = y - ŷ。
最小二乘擬合： 選擇模型參數以最小化||r||² = Σrᵢ²。幾何上，找到模型曲面M上最接近觀測向量y的點ŷ，以歐幾里得距離計。
殘差誤導的時候
小的||r||²不保證一個有效的模型。兩種系統故障模式：
1. 系統偏差： 殘差rᵢ很小但全部為正（或全部為負）。模型始終低估或高估。幾何上：ŷ位於真實數據流形的 平行偏移曲面 上——距離上接近，結構上錯誤。
2. 錯誤的流形： 殘差很小是因為模型有足夠的自由參數來精確擬合訓練數據（過擬合）。模型曲面穿過數據點，但在它們之間劇烈彎曲。對新數據的預測效果差。
檢測系統偏差
具有零平均殘差的模型仍然可能有因輸入變量而變化的系統偏差。
例子：天氣模擬在夏季低估溫度2°C，在冬季高估2°C，全年平均殘差≈0，但有明顯的季節性偏差。
殘差診斷： 將rᵢ對每個輸入變量作圖。平坦模式（無趨勢）表示該變量沒有系統偏差。趨勢模式表明模型中缺少維度。
Hamming的驗證問題——'是否可能缺少一個小但重要的效應？'——幾何上轉譯為：殘差向量是否有分量在模型參數空間未涵蓋的方向上？
系統偏移vs隨機噪聲
Hawthorne效應：研究中的受試者改變其行為是因為他們知道自己被觀察，而不是因為實驗治療。
幾何解釋
讓真實數據流形M位於由變量(x₁, x₂, ..., xₖ, observation_context)跨越的空間中。
模型忽視observation_context。它只將曲面擬合到(x₁, ..., xₖ)中的觀測。
當observation_context = 'being studied'時，實際數據點沿observation_context軸移動。模型的曲面——在(x₁, ..., xₖ)空間中固定——現在擬合位移數據。殘差看起來很小（曲面在研究背景下仍然擬合良好），但在未觀察背景下的預測是系統性錯誤。
幾何學： 模型曲面接近研究背景數據流形，但遠離現實流形。它們之間的距離：沿observation_context軸的Hawthorne偏移。
Hamming的雙盲要求：防止observation_context與治療相關聯。這使現實流形和研究背景流形重合——消除幾何偏移。
其他隱藏維度效應
任何影響系統但被排除在模型外的變量都會產生相同的幾何結構：
- 經濟模型中忽略的季節效應
- 製造模擬中排除的操作員行為
- 性能模型中缺少的軟件版本狀態
模型將低維曲面擬合到存在於高維流形上的數據。殘差在模型測量的方向上很小，在未測量方向上很大。
驗證作為幾何對齊
Hamming的驗證清單，重新框架化為幾何：
背景理論是否支持假定的規律？ 模型參數空間的維度是否跨越真實數據流形？如果缺少關鍵變量（排除維度），模型曲面無法與現實對齊。
是否有內部檢查？ 守恆律是幾何約束：數據必須位於由質量守恆、能量守恆等定義的特定子流形上。如果模擬違反這些，其軌跡已離開有效子流形。
根據已知過去經驗的交叉檢查： 模型曲面必須通過歷史驗證點——不只是擬合訓練數據，還要推廣到樣本外觀測。
模擬穩定嗎？ 穩定的模擬儘管有小的擾動仍停留在真實解流形附近。不穩定的模擬離開流形的鄰域，不能稱為有效的模型。
當預測成為投影
Hamming為預測不可能的領域支持情景方法：與其宣稱'系統將做X'，不如在不同假設集下呈現一組可能的軌跡。
幾何解釋
模型曲面M(θ)取決於參數θ（關於規律、常數、邊界條件的假設）。不同的假設集θ₁, θ₂, ..., θₖ定義了不同的曲面M(θ₁), ..., M(θₖ)。
情景包絡是這些曲面的並集：任何情景模型可能產生的輸出空間區域。
單個預測聲稱：真實結果位於最佳估計θ的M(θ)附近。情景方法聲稱：真實結果位於包絡內某處。
當包絡有用時
如果包絡窄——儘管假設不同，所有情景都對輸出達成一致——對預測的信心很高。如果包絡寬——不同假設產生非常不同的輸出——模型對假設高度敏感。那種敏感性是輸出，而不是故障模式。
Hamming關於自己預測的主張：他給出的是情景，而不是點預測。他描述的未來是'在我看來可能發生的事'，而不是精確預報。
與現實重疊
當現實落在包絡內時，情景模型被驗證。這比點預測的測試更弱，但對模型可以聲稱的內容更誠實。
整合在一起：有效的模型及其幾何學
有效模擬的幾何學歸結為三個對齊：
1. 參數空間覆蓋真實流形： 模型的維度包括驅動系統的所有變量。隱藏維度間隙產生系統偏移。
2. 穩定性使軌跡保持在真實流形附近： 收斂方向場意味著誤差縮小。發散場意味著模擬離開有效區域。
3. 殘差很小且無結構： 隨機、無關聯的殘差表明模型捕獲了真實流形。結構化殘差（趨勢、模式）表明缺少維度。
Hamming的'為什麼有人應該相信模擬？'幾何上轉譯為：模型曲面有多接近現實流形，有多少個維度，有多少穩定性，在多少個樣本外點上驗證？