Що насправді означає пристосування моделі
Модель моделювання робить математичне твердження: виходи реальної системи лежать на (або поблизу) конкретної поверхні M у просторі спостережень.
Нехай реальна система виробляє спостереження y₁, y₂, ..., yₙ. Модель передбачає значення ŷ₁, ŷ₂, ..., ŷₙ.
Залишки як відстані: rᵢ = yᵢ - ŷᵢ. Кожен залишок вимірює відстань між спостереженням та відповідним передбаченням моделі. У n-вимірному просторі спостережень залишки утворюють вектор r = y - ŷ.
Пристосування за методом найменших квадратів: виберіть параметри моделі, щоб мінімізувати ||r||² = Σrᵢ². Геометрично знайти точку ŷ на поверхні моделі M найближчу до вектора спостереження y в евклідовій відстані.
Коли залишки вводять в оман
Малий ||r||² не гарантує правильність моделі. Два систематичні режими відмови:
1. Систематична похибка: залишки rᵢ малі, але всі позитивні (або всі негативні). Модель послідовно недопередбачає або перепередбачає. Геометрично: ŷ лежить на паралельній зміщеній поверхні до справжнього многовиду даних — близько по відстані, неправильно за структурою.
2. Неправильний многовид: залишки малі, тому що модель має достатньо вільних параметрів, щоб точно пристосуватися до навчальних даних (переповнення). Поверхня моделі проходить через точки даних, але різко вигинається між ними. Передбачення на нових даних поганої якості.
Виявлення систематичної похибки
Модель з нульовим середнім залишком може все ще мати систематичну похибку, яка варіюється залежно від вхідної змінної.
Приклад: метеорологічна модель, яка недооцінює температуру на 2°C влітку та переоцінює на 2°C взимку, має середній залишок ≈ 0 протягом повного року, але чітку сезонну похибку.
Діагностика залишків: побудуйте графік rᵢ проти кожної вхідної змінної. Плоский візерунок (без тренду) свідчить про відсутність систематичної похибки від цієї змінної. Візерунок тренду виявляє відсутнє вимірювання в моделі.
Питання перевірки Геммінга — 'Чи може відсутній малий, але важливий ефект?' — геометрично перекладається: чи має вектор залишку компоненту в напрямку, не охопленому простором параметрів моделі?
Систематичний зсув проти випадкового шуму
Ефект Готорна: випробовувані в дослідженні змінюють свою поведінку, тому що знають, що вони спостерігаються, а не через експериментальне лікування.
Геометрична інтерпретація
Нехай справжній многовид даних M живе в просторі, охопленому змінними (x₁, x₂, ..., xₖ, observation_context).
Модель ігнорує observation_context. Вона пристосовує поверхню до спостережень лише в (x₁, ..., xₖ).
Коли observation_context = 'бути вивчену,' фактичні точки даних зміщуються вздовж осі observation_context. Поверхня моделі — фіксована в просторі (x₁, ..., xₖ) — тепер пристосовується до зміщених даних. Залишки виглядають малими (поверхня все ще добре пристосовується в контексті дослідження), але передбачення в ненаглядному контексті систематично неправильні.
Геометрія: поверхня моделі близька до многовиду даних контексту дослідження, але далека від многовиду дійсності. Відстань між ними: зсув Готорна вздовж осі observation_context.
Вимога Геммінга про подвійну сліпоту: запобігти кореляції observation_context з лікуванням. Це утримує многовид дійсності та многовид контексту дослідження збіжними — усуває геометричний зсув.
Інші ефекти прихованого вимірювання
Будь-яка змінна, яка впливає на систему, але виключена з моделі, створює ту саму геометричну структуру:
- Сезонні ефекти, опущені в економічних моделях
- Поведінка оператора виключена з виробничого моделювання
- Стан версії програмного забезпечення відсутній в моделях продуктивності
Модель пристосовує поверхню нижньої розмірності до даних, які живуть на многовиді вищої розмірності. Залишки будуть малими в напрямках, які вимірює модель, великими в невимірюваних напрямках.
Валідація як геометричне вирівнювання
Перевірочний список валідації Геммінга, переформульований як геометрія:
Чи підтримує фонова теорія припущені закони? Чи охоплюють розміри простору параметрів моделі справжній многовид даних? Якщо ключові змінні відсутні (виключені вимірювання), поверхня моделі не може бути вирівнена з дійсністю.
Чи доступні внутрішні перевірки? Закони збереження — це геометричні обмеження: дані повинні лежати на конкретному підмноговиді, визначеному збереженням маси, енергії тощо. Якщо моделювання порушує ці умови, його траєкторія залишила дійсний підмноговид.
Перехресні перевірки проти відомого минулого досвіду: поверхня моделі повинна проходити крізь історичні точки валідації — не просто пристосовуватися до навчальних даних, а узагальнюватися на спостереження поза вибіркою.
Чи стабільно моделювання? Стабільне моделювання залишається поблизу справжнього многовиду розв'язку, незважаючи на малі збурення. Нестабільне моделювання залишає сусідство многовиду й не може називатися правильною моделлю.
Коли передбачення стає проекцією
Геммінг схвалив метод сценарію для областей, де передбачення неможливе: замість твердження 'система зробить X,' представити набір можливих траєкторій при різних наборах припущень.
Геометрична інтерпретація
Поверхня моделі M(θ) залежить від параметрів θ (припущення про закони, константи, граничні умови). Різні набори припущень θ₁, θ₂, ..., θₖ визначають різні поверхні M(θ₁), ..., M(θₖ).
Обвідна сценарію — це об'єднання цих поверхонь: область простору виходу, яку може виробити будь-яка з моделей сценарію.
Одне передбачення стверджує: справжній результат лежить поблизу M(θ) для найкращої оцінки θ. Метод сценарію стверджує: справжній результат лежить десь всередину обвідної.
Коли обвідна корисна
Якщо обвідна вузька — усі сценарії узгоджуються на виході попри різні припущення — впевненість у передбаченні висока. Якщо обвідна широка — різні припущення дають дуже різні результати — модель дуже чутлива до припущень. Ця чутливість — це результат, не режим відмови.
Твердження Геммінга про його власні передбачення: він давав сценарії, не точкові передбачення. Майбутнє, яке він описував, було 'що, на його думці, ймовірно, станеться,' не точний прогноз.
Перекриття з дійсністю
Модель сценарію перевіряється, коли дійсність падає всередину обвідної. Це слабший тест, ніж точкове передбачення, але чесніший щодо того, що може стверджувати модель.
Складаючи разом: правильні моделі та їх геометрія
Геометрія правильного моделювання зводиться до трьох вирівнювань:
1. Простір параметрів охоплює справжній многовид: розміри моделі включають усі змінні, які рухають систему. Розриви прихованого вимірювання створюють систематичні зсуви.
2. Стабільність утримує траєкторію поблизу справжнього многовиду: конвергентне поле напрямків означає зменшення помилок. Розбіжне поле означає, що моделювання залишає дійсну область.
3. Залишки малі ТА неструктуровані: випадкові, некорельовані залишки свідчать про те, що модель захоплює справжній многовид. Структуровані залишки (тренди, закономірності) сигналізують про відсутнє вимірювання.
Запитання Геммінга 'Чому хтось повинен вірити в моделювання?' геометрично перекладається: наскільки близька поверхня моделі до многовиду дійсності, в скількох вимірюваннях, з якою стабільністю, перевіреної на скількох точках поза вибіркою?