Что на самом деле означает подгонка модели
Модель симуляции делает математическое утверждение: выходы реальной системы лежат на (или рядом) определённой поверхности M в пространстве наблюдений.
Пусть реальная система производит наблюдения y₁, y₂, ..., yₙ. Модель предсказывает значения ŷ₁, ŷ₂, ..., ŷₙ.
Остатки как расстояния: rᵢ = yᵢ - ŷᵢ. Каждый остаток измеряет расстояние между наблюдением и соответствующим предсказанием модели. В n-мерном пространстве наблюдений остатки образуют вектор r = y - ŷ.
Подгонка методом наименьших квадратов: выбрать параметры модели, чтобы минимизировать ||r||² = Σrᵢ². Геометрически найти точку ŷ на поверхности модели M, ближайшую к вектору наблюдения y в евклидовом расстоянии.
Когда остатки вводят в заблуждение
Малая величина ||r||² не гарантирует корректность модели. Два систематических режима отказа:
1. Систематическая погрешность: остатки rᵢ малы, но все положительные (или все отрицательные). Модель последовательно недопредсказывает или переопредсказывает. Геометрически: ŷ лежит на параллельной смещённой поверхности к истинному многообразию данных — близко по расстоянию, неправильно по структуре.
2. Неправильное многообразие: остатки малы, потому что модель имеет достаточно свободных параметров, чтобы точно подгонять данные обучения (переобучение). Поверхность модели проходит через точки данных, но резко кривая между ними. Предсказания на новых данных плохие.
Обнаружение систематической погрешности
Модель с нулевым средним остатком может всё ещё иметь систематическую погрешность, которая варьируется в зависимости от переменной входа.
Пример: симуляция погоды, которая недооценивает температуру на 2°C летом и переоценивает на 2°C зимой, имеет средний остаток ≈ 0 за полный год, но явную сезонную погрешность.
Диагностика остатков: построить график rᵢ в зависимости от каждой переменной входа. Плоский паттерн (нет тренда) указывает на отсутствие систематической погрешности от этой переменной. Паттерн с трендом раскрывает отсутствующее измерение в модели.
Вопрос валидации Хэмминга — 'Может ли отсутствовать малый, но жизненно важный эффект?' — переводится геометрически: имеет ли вектор остатка компоненту в направлении, не охваченном параметрическим пространством модели?
Систематическое смещение и случайный шум
Эффект Хоторна: испытуемые в исследовании меняют своё поведение, потому что знают, что их наблюдают, а не из-за экспериментального воздействия.
Геометрическая интерпретация
Пусть истинное многообразие данных M живёт в пространстве, натянутом переменными (x₁, x₂, ..., xₖ, observation_context).
Модель игнорирует observation_context. Она подгоняет поверхность к наблюдениям только в (x₁, ..., xₖ).
Когда observation_context = 'being studied', фактические точки данных смещаются вдоль оси observation_context. Поверхность модели — фиксированная в пространстве (x₁, ..., xₖ) — теперь подгоняется к смещённым данным. Остатки выглядят малыми (поверхность по-прежнему хорошо подходит в контексте исследования), но предсказания в ненаблюдаемом контексте систематически неправильны.
Геометрия: поверхность модели близка к многообразию данных контекста исследования, но далека от многообразия реальности. Расстояние между ними: смещение Хоторна вдоль оси observation_context.
Требование Хэмминга о двойной слепоте: предотвратить корреляцию observation_context с воздействием. Это держит многообразие реальности и многообразие контекста исследования совпадающими — устраняет геометрическое смещение.
Другие эффекты скрытых измерений
Любая переменная, которая влияет на систему, но исключена из модели, создаёт ту же геометрическую структуру:
- Сезонные эффекты, опущенные в экономических моделях
- Поведение оператора, исключённое из симуляций производства
- Состояние версии программного обеспечения, отсутствующее в моделях производительности
Модель подгоняет поверхность меньшей размерности к данным, которые живут на многообразии большей размерности. Остатки будут малы в направлениях, которые измеряет модель, и велики в неизмеренных направлениях.
Валидация как геометрическое выравнивание
Контрольный список валидации Хэмминга, переформулирован как геометрия:
Поддерживает ли фоновая теория предполагаемые законы? Охватывают ли размерности параметрического пространства модели истинное многообразие данных? Если ключевые переменные отсутствуют (исключённые измерения), поверхность модели не может быть выровнена с реальностью.
Доступны ли внутренние проверки? Законы сохранения — это геометрические ограничения: данные должны лежать на конкретном подмногообразии, определённом сохранением массы, сохранением энергии и т. д. Если симуляция нарушает эти, её траектория покинула допустимое подмногообразие.
Перекрёстные проверки с известным прошлым опытом: поверхность модели должна проходить через исторические точки валидации — не только подгонять данные обучения, но и обобщать на наблюдения вне выборки.
Является ли симуляция устойчивой? Устойчивая симуляция остаётся рядом с истинным многообразием решения несмотря на малые возмущения. Неустойчивая симуляция покидает окрестность многообразия и не может быть названа корректной моделью.
Когда предсказание становится проекцией
Хэмминг одобрил метод сценариев для областей, где предсказание невозможно: вместо утверждения 'система будет делать X', представить набор возможных траекторий при разных наборах предположений.
Геометрическая интерпретация
Поверхность модели M(θ) зависит от параметров θ (предположения о законах, константах, граничных условиях). Разные наборы предположений θ₁, θ₂, ..., θₖ определяют разные поверхности M(θ₁), ..., M(θₖ).
Конверт сценариев — это объединение этих поверхностей: область выходного пространства, которую может произвести любая из моделей сценариев.
Одно предсказание утверждает: истинный результат лежит рядом с M(θ) для наилучшей оценки θ. Метод сценариев утверждает: истинный результат лежит где-то внутри конверта.
Когда конверт полезен
Если конверт узкий — все сценарии согласны на выходе несмотря на разные предположения — уверенность в предсказании высока. Если конверт широкий — разные предположения производят очень разные выходы — модель сильно чувствительна к предположениям. Эта чувствительность — это выход, а не режим отказа.
Утверждение Хэмминга о его собственных предсказаниях: он дал сценарии, а не точечные предсказания. Будущее, которое он описал, было 'то, что, вероятно, произойдёт, по моему мнению', а не точный прогноз.
Пересечение с реальностью
Модель сценариев валидируется, когда реальность падает внутри конверта. Это более слабый тест, чем точечное предсказание, но более честный о том, что может утверждать модель.
Собрав вместе: корректные модели и их геометрия
Геометрия корректной симуляции сводится к трём выравниваниям:
1. Параметрическое пространство охватывает истинное многообразие: размерности модели включают все переменные, которые управляют системой. Промежутки скрытых измерений производят систематические смещения.
2. Устойчивость держит траекторию рядом с истинным многообразием: сходящееся поле направлений означает, что ошибки сжимаются. Расходящееся поле означает, что симуляция покидает допустимую область.
3. Остатки малы И неструктурированы: случайные, некоррелированные остатки предполагают, что модель захватывает истинное многообразие. Структурированные остатки (тренды, паттерны) сигнализируют об отсутствующем измерении.
'Почему кто-то должен верить симуляции?' Хэмминга переводится геометрически: как близко поверхность модели к многообразию реальности, в скольких измерениях, с какой степенью устойчивости, валидирована на скольких точках вне выборки?