모델을 실제로 적합한다는 것의 의미
시뮬레이션 모델은 수학적 주장을 제시합니다: 실제 시스템의 출력은 관측 공간의 특정 곡면 M 위에 (또는 근처에) 위치합니다.
실제 시스템이 관측값 y₁, y₂, ..., yₙ을 생성한다고 하겠습니다. 모델은 값 ŷ₁, ŷ₂, ..., ŷₙ을 예측합니다.
거리로서의 잔차: rᵢ = yᵢ - ŷᵢ. 각 잔차는 관측값과 해당 모델 예측 사이의 거리를 측정합니다. n차원 관측 공간에서, 잔차는 벡터 r = y - ŷ를 형성합니다.
최소제곱 적합: 모델 파라미터를 선택하여 ||r||² = Σrᵢ²를 최소화합니다. 기하학적으로, 모델 곡면 M 위의 점 ŷ를 찾아서 관측 벡터 y까지의 유클리드 거리가 가장 작도록 합니다.
잔차가 오도할 때
작은 ||r||²은 유효한 모델을 보장하지 않습니다. 두 가지 체계적 실패 모드:
1. 체계적 편향: 잔차 rᵢ는 작지만 모두 양수입니다(또는 모두 음수). 모델은 지속적으로 과소 또는 과다 예측합니다. 기하학적으로: ŷ는 실제 데이터 다양체에 대한 평행 오프셋 곡면 위에 있습니다 — 거리는 가깝지만 구조는 잘못되었습니다.
2. 잘못된 다양체: 잔차는 작습니다. 모델이 훈련 데이터에 정확히 적합할 수 있는 충분한 자유도를 가졌기 때문입니다(과적합). 모델 곡면은 데이터 포인트를 통과하지만 그 사이에서 크게 굽어집니다. 새로운 데이터에 대한 예측은 좋지 않습니다.
체계적 편향 감지
평균 잔차가 0인 모델도 입력 변수에 따라 변하는 체계적 편향을 가질 수 있습니다.
예시: 여름에 온도를 2°C 과소추정하고 겨울에 2°C 과다추정하는 날씨 시뮬레이션은 연중 평균 잔차 ≈ 0이지만, 명백한 계절 편향을 가집니다.
잔차 진단: 각 입력 변수에 대해 rᵢ를 도시합니다. 평평한 패턴(추세 없음)은 그 변수로부터의 체계적 편향이 없음을 시사합니다. 추세 패턴은 모델의 결락 차원을 드러냅니다.
Hamming의 검증 질문 — '작지만 중요한 효과가 결락되었을 수 있지 않을까?' — 기하학적으로 번역하면: 잔차 벡터가 모델의 파라미터 공간이 span하지 않는 방향에 성분을 가지고 있지 않은가?
체계적 오프셋 vs 무작위 잡음
호손 효과: 연구에 참여한 대상자는 실험 처리 때문이 아니라 자신이 관찰받고 있다는 것을 알기 때문에 행동을 변경합니다.
기하학적 해석
실제 데이터 다양체 M이 변수 (x₁, x₂, ..., xₖ, observation_context)로 span되는 공간에 살아있다고 하겠습니다.
모델은 observation_context를 무시합니다. (x₁, ..., xₖ)의 관측값에만 곡면을 적합합니다.
observation_context = '연구 중'일 때, 실제 데이터 포인트는 observation_context 축을 따라 이동합니다. 모델의 곡면 — (x₁, ..., xₖ) 공간에서 고정됨 — 이제 변위된 데이터에 적합합니다. 잔차는 작게 보입니다(곡면은 여전히 연구 문맥 내에서 잘 적합됨), 하지만 관찰되지 않은 문맥에서의 예측은 체계적으로 잘못됩니다.
기하학: 모델 곡면은 연구-문맥 데이터 다양체에 가깝지만, 현실 다양체로부터는 멉니다. 그들 사이의 거리: observation_context 축을 따른 호손 오프셋.
Hamming의 이중맹검 요구사항: observation_context가 처리와 상관관계를 가지지 않도록 방지합니다. 이는 현실 다양체와 연구-문맥 다양체를 일치시켜서 기하학적 오프셋을 제거합니다.
다른 숨겨진-차원 효과
시스템에 영향을 주지만 모델에서 제외된 모든 변수는 같은 기하학적 구조를 만듭니다:
- 경제 모델에서 생략된 계절 효과
- 제조 시뮬레이션에서 제외된 운영자 행동
- 성능 모델에서 부재한 소프트웨어 버전 상태
모델은 더 높은 차원의 다양체에 살아있는 데이터에 더 낮은 차원의 곡면을 적합합니다. 잔차는 모델이 측정하는 방향에서는 작고, 측정되지 않은 방향에서는 클 것입니다.
기하학적 정렬로서의 검증
Hamming의 검증 체크리스트를 기하학으로 재해석하면:
배경 이론이 가정된 법칙을 지지하는가? 모델의 파라미터 공간의 차원이 실제 데이터 다양체를 span하는가? 핵심 변수가 결락되었다면(제외된 차원), 모델 곡면을 현실에 정렬할 수 없습니다.
내부 검사가 가능한가? 보존 법칙은 기하학적 제약입니다: 데이터는 질량 보존, 에너지 보존 등으로 정의된 특정 부분다양체 위에 있어야 합니다. 시뮬레이션이 이를 위반하면, 그 궤적이 유효한 부분다양체를 떠났습니다.
알려진 과거 경험에 대한 교차 검사: 모델 곡면은 역사적 검증 포인트를 통과해야 합니다 — 훈련 데이터에만 적합하는 것이 아니라 표본 외 관측값으로 일반화해야 합니다.
시뮬레이션이 안정적인가? 안정적인 시뮬레이션은 작은 섭동에도 불구하고 실제 해 다양체 근처에 머뭅니다. 불안정한 시뮬레이션은 다양체의 근방을 벗어나므로 유효한 모델이라 할 수 없습니다.
예측이 사영이 될 때
Hamming은 예측이 불가능한 영역에서 시나리오 방법을 지지했습니다: '시스템이 X를 할 것이다'라고 주장하는 대신, 다양한 가정 집합 하에서 가능한 궤적의 집합을 제시합니다.
기하학적 해석
모델 곡면 M(θ)는 파라미터 θ(법칙, 상수, 경계 조건에 대한 가정)에 따라 다릅니다. 다양한 가정 집합 θ₁, θ₂, ..., θₖ는 다양한 곡면 M(θ₁), ..., M(θₖ)을 정의합니다.
시나리오 포개는 이러한 곡면의 합: 어떤 시나리오 모델이라도 생산할 수 있는 출력 공간의 영역.
단일 예측은 주장합니다: 실제 결과는 최선의 추정 θ에 대해 M(θ) 근처에 위치합니다. 시나리오 방법은 주장합니다: 실제 결과는 포개 내의 어딘가에 위치합니다.
포개가 유용할 때
포개가 좁다면 — 모든 시나리오가 다양한 가정에도 불구하고 출력에 동의합니다 — 예측에 대한 신뢰도가 높습니다. 포개가 넓다면 — 다양한 가정이 매우 다양한 출력을 생성합니다 — 모델은 가정에 매우 민감합니다. 그 민감도는 출력이지, 실패 모드가 아닙니다.
Hamming의 자신의 예측에 대한 주장: 그는 시나리오를 주고 있었고, 포인트 예측이 아니었습니다. 그가 설명한 미래는 정확한 예보가 아니라 '제 생각에 일어날 가능성이 있는 일'이었습니다.
현실과의 겹침
시나리오 모델은 현실이 포개 내에 있을 때 검증됩니다. 이것은 포인트 예측보다 더 약한 테스트이지만 모델이 주장할 수 있는 것에 대해 더 솔직합니다.
통합하기: 유효한 모델과 그 기하학
유효한 시뮬레이션의 기하학은 세 가지 정렬로 귀결됩니다:
1. 파라미터 공간이 실제 다양체를 커버한다: 모델의 차원은 시스템을 구동하는 모든 변수를 포함합니다. 숨겨진 차원 간격은 체계적 오프셋을 생성합니다.
2. 안정성은 궤적을 실제 다양체 근처에 유지한다: 수렴 방향 필드는 오류가 축소됨을 의미합니다. 발산 필드는 시뮬레이션이 유효한 영역을 떠남을 의미합니다.
3. 잔차는 작고 비구조화되어 있다: 무작위, 상관관계 없는 잔차는 모델이 실제 다양체를 포착함을 시사합니다. 구조화된 잔차(추세, 패턴)는 결락된 차원을 신호합니다.
Hamming의 '왜 누구나 시뮬레이션을 믿어야 하는가?'는 기하학적으로 번역합니다: 모델 곡면이 현실 다양체에 얼마나 가깝나요, 몇 개의 차원에서, 얼마나 많은 안정성으로, 표본 외 포인트 몇 개로 검증했습니까?