O que Significa Realmente Ajustar um Modelo
Um modelo de simulação faz uma afirmação matemática: os saídas do sistema real estão em (ou perto de) uma superfície específica M no espaço de observações.
Deixe o sistema real produzir observações y₁, y₂, ..., yₙ. O modelo prediz valores ŷ₁, ŷ₂, ..., ŷₙ.
Resíduos como distâncias: rᵢ = yᵢ - ŷᵢ. Cada resíduo mede a distância entre uma observação e sua previsão de modelo correspondente. Em espaço de observações n-dimensional, os resíduos formam um vetor r = y - ŷ.
Ajuste de mínimos quadrados: escolha os parâmetros do modelo para minimizar ||r||² = Σrᵢ². Geometricamente, encontre o ponto ŷ na superfície do modelo mais próximo da observação vetorial y em distância Euclidiana.
Quando os Resíduos Enganam
Pequeno ||r||² não garante um modelo válido. Dois modos de falha sistemáticos:
1. Viés sistemático: resíduos rᵢ são pequenos, mas todos positivos (ou todos negativos). O modelo subestima ou superestima consistentemente. Geometricamente: ŷ está em uma superfície de deslocamento paralelo à verdadeira superfície de dados - próxima em distância, mas com estrutura errada.
2. Superfície errada: os resíduos são pequenos porque o modelo tem muitos parâmetros livres para ajustar os dados de treinamento exatamente (sobajustagem). A superfície do modelo passa pelos pontos de dados, mas curva selvagemente entre eles. As previsões em novos dados são ruins.
Detectando Viés Sistemático
Um modelo com média de resíduo zero pode ainda ter viés sistemático que varia com uma variável de entrada.
Exemplo: uma simulação de clima que subestima a temperatura em 2°C no verão e superestima em 2°C no inverno tem média de resíduo ≈ 0 ao longo de um ano, mas um viés sazonal claro.
Diagnóstico de resíduo: plot rᵢ contra cada variável de entrada. Um padrão plano (sem tendência) sugere ausência de viés sistemático por essa variável. Um padrão de tendência revela uma dimensão perdida no modelo.
A pergunta de validação de Hamming — 'Uma pequena mas vital efeito pode estar faltando?' — se traduz geometricamente: o vetor residual tem um componente em uma direção não spanada pelo espaço de parâmetros do modelo?
Desvio Sistemático vs Ruído Aleatório
O efeito Hawthorne: os sujeitos em um estudo mudam seu comportamento porque sabem que estão sendo observados, não por causa do tratamento experimental.
Interpretação Geométrica
Deixe o verdadeiro manifold de dados M viver em um espaço spanado pelas variáveis (x₁, x₂, ..., xₖ, contexto_de_observação).
O modelo ignora o contexto_de_observação. Ele ajusta uma superfície às observações em (x₁, ..., xₖ) sozinho.
Quando contexto_de_observação = 'estudado', os pontos de dados reais se deslocam ao longo do eixo contexto_de_observação. A superfície do modelo — fixada em (x₁, ..., xₖ) espaço — agora se ajusta a dados deslocados. Os resíduos parecem pequenos (a superfície ainda se ajusta bem dentro do contexto de estudo), mas as previsões no contexto não observado estão sistematicamente erradas.
A geometria: a superfície do modelo está próxima ao manifold de dados do contexto de estudo, mas longe do manifold da realidade. A distância entre eles: o desvio Hawthorne ao longo do eixo contexto_de_observação.
O requisito de duplo-cego de Hamming: evitar que o contexto_de_observação se correlacione com o tratamento. Isso mantém o manifold da realidade e o manifold do contexto de estudo coincidentes — elimina o desvio geométrico.
Outros Efeitos de Dimensões Ocultas
Qualquer variável que afeta o sistema, mas é excluída do modelo, cria a mesma estrutura geométrica:
- Efeitos sazonais omitidos de modelos econômicos
- Comportamento do operador excluído de simulações de manufatura
- Estado da versão do software ausente de modelos de desempenho
O modelo ajusta uma superfície de menor dimensão aos dados que vivem em uma variedade de dimensões mais altas. Os resíduos serão pequenos nas direções medidas pelo modelo, mas grandes nas direções não medidas.
Validação como Alinhamento Geométrico
O checklist de validação de Hamming, reformulado como geometria:
O background theory apoia as leis assumidas? As dimensões do espaço de parâmetros do modelo abrangem a variedade de dados verdadeira? Se variáveis-chave estiverem ausentes (dimensões excluídas), a superfície do modelo não pode ser alinhada com a realidade.
Há controles internos disponíveis? As leis de conservação são restrições geométricas: os dados devem estar em uma subvariedade específica definida pela conservação de massa, conservação de energia, etc. Se a simulação violar essas leis, sua trajetória deixará a subvariedade válida.
Conferências cruzadas contra a experiência passada conhecida: a superfície do modelo deve passar por pontos de validação históricos - não apenas ajustar os dados de treinamento, mas generalizar para observações fora do conjunto de treinamento.
A simulação é estável? Uma simulação estável fica perto da variedade de soluções verdadeira, apesar de pequenas perturbações. Uma simulação instável deixa o bairro da variedade e não pode ser chamada de modelo válido.
Quando a Previsão se Torna Projeção
Hamming endossou o método de cenários para domínios onde a previsão é impossível: em vez de dizer 'o sistema fará X', apresente um conjunto de trajetórias possíveis sob diferentes conjuntos de suposições.
Interpretação Geométrica
A superfície do modelo M(θ) depende dos parâmetros θ (suposições sobre leis, constantes, condições de contorno). Diferentes conjuntos de suposições θ₁, θ₂, ..., θₖ definem diferentes superfícies M(θ₁), ..., M(θₖ).
O envelope de cenários é a união dessas superfícies: a região do espaço de saída que qualquer um dos modelos de cenário poderia produzir.
Uma única previsão afirma: a verdadeira saída está perto de M(θ) para o melhor estimativa θ. O método de cenários afirma: a verdadeira saída está em algum lugar dentro do envelope.
Quando o Envelope É Útil
Se o envelope for estreito - todos os cenários concordam com a saída apesar de diferentes suposições - a confiança na previsão é alta. Se o envelope for amplo - diferentes suposições produzem saídas muito diferentes - o modelo é altamente sensível às suposições. Essa sensibilidade é a saída, não um modo de falha.
A afirmação de Hamming sobre suas próprias previsões: ele estava dando cenários, não previsões pontuais. O futuro que descreveu era 'o que é provável acontecer, na minha opinião', não um forecaster preciso.
Overlap com Reality
Um modelo de cenário é validado quando a realidade cai dentro do envelope. Isso é um teste mais fraco do que a previsão pontual, mas mais honesto sobre o que o modelo pode afirmar.
Colocando Tudo Juntos: Modelos Válidos e Sua Geometria
A geometria de uma simulação válida se resume a três alinhamentos:
1. Espaço de parâmetros cobre o verdadeiro manifold: as dimensões do modelo incluem todas as variáveis que dirigem o sistema. Furos de dimensão oculta produzem desvios sistemáticos.
2. Estabilidade mantém a trajetória perto do verdadeiro manifold: um campo de direção convergente significa que os erros diminuem. Um campo divergente significa que a simulação deixa a região válida.
3. Resíduos são pequenos E desestruturados: resíduos aleatórios sugerem que o modelo captura o verdadeiro manifold. Resíduos estruturados (tendências, padrões) indicam uma dimensão perdida.
Hamming's 'Por que alguém deveria acreditar na simulação?' traduz-se geometricamente: quanto a superfície do modelo está próxima do manifold da realidade, em quantas dimensões, com quanto de estabilidade, validado em quantos pontos fora de amostra?