O que Realmente Significa Ajustar um Modelo
Um modelo de simulação faz uma afirmação matemática: as saídas do sistema real encontram-se em (ou perto de) uma superfície específica M no espaço de observações.
Sejam y₁, y₂, ..., yₙ as observações produzidas pelo sistema real. O modelo prevê valores ŷ₁, ŷ₂, ..., ŷₙ.
Resíduos como distâncias: rᵢ = yᵢ - ŷᵢ. Cada resíduo mede a distância entre uma observação e sua previsão de modelo correspondente. No espaço de observação n-dimensional, os resíduos formam um vetor r = y - ŷ.
Ajuste por mínimos quadrados: escolha parâmetros do modelo para minimizar ||r||² = Σrᵢ². Geometricamente, encontre o ponto ŷ na superfície do modelo M mais próximo do vetor de observação y em distância euclidiana.
Quando os Resíduos Enganam
Pequeno ||r||² não garante um modelo válido. Dois modos de falha sistemática:
1. Viés sistemático: resíduos rᵢ são pequenos, mas todos positivos (ou todos negativos). O modelo prevê consistentemente acima ou abaixo. Geometricamente: ŷ encontra-se em uma superfície de deslocamento paralela à variedade de dados verdadeira — próxima em distância, errada em estrutura.
2. Variedade errada: os resíduos são pequenos porque o modelo tem parâmetros livres suficientes para ajustar exatamente os dados de treinamento (overfitting). A superfície do modelo passa pelos pontos de dados, mas se curva selvagemente entre eles. Previsões em novos dados são pobres.
Detectando Viés Sistemático
Um modelo com resíduo médio zero pode ainda ter viés sistemático que varia com uma variável de entrada.
Exemplo: uma simulação de clima que subestima a temperatura em 2°C no verão e superestima em 2°C no inverno tem resíduo médio ≈ 0 ao longo de um ano completo, mas um claro viés sazonal.
Diagnóstico residual: faça gráfico de rᵢ contra cada variável de entrada. Um padrão plano (sem tendência) sugere ausência de viés sistemático dessa variável. Um padrão de tendência revela uma dimensão ausente no modelo.
A pergunta de validação de Hamming — 'Poderia um efeito pequeno mas vital estar faltando?' — se traduz geometricamente: o vetor residual tem um componente em uma direção não abrangida pelo espaço de parâmetros do modelo?
Deslocamento Sistemático vs Ruído Aleatório
Efeito Hawthorne: sujeitos em um estudo mudam seu comportamento porque sabem que estão sendo observados, não por causa do tratamento experimental.
Interpretação Geométrica
Deixe a variedade de dados verdadeira M viver em um espaço abrangido pelas variáveis (x₁, x₂, ..., xₖ, contexto_observação).
O modelo ignora contexto_observação. Ele ajusta uma superfície a observações em (x₁, ..., xₖ) apenas.
Quando contexto_observação = 'sendo estudado,' os pontos de dados reais se deslocam ao longo do eixo contexto_observação. A superfície do modelo — fixa no espaço (x₁, ..., xₖ) — agora se ajusta a dados deslocados. Os resíduos parecem pequenos (a superfície ainda se ajusta bem dentro do contexto do estudo), mas previsões no contexto não observado estão sistematicamente erradas.
A geometria: a superfície do modelo está próxima da variedade de dados do contexto-estudo, mas longe da variedade de realidade. A distância entre elas: o deslocamento Hawthorne ao longo do eixo contexto_observação.
Requisito de duplo-cego de Hamming: impedir que contexto_observação se correlacione com o tratamento. Isso mantém a variedade de realidade e a variedade de contexto-estudo coincidentes — elimina o deslocamento geométrico.
Outros Efeitos de Dimensão Oculta
Qualquer variável que afete o sistema, mas seja excluída do modelo, cria a mesma estrutura geométrica:
- Efeitos sazonais omitidos de modelos econômicos
- Comportamento do operador excluído de simulações de fabricação
- Estado de versão de software ausente de modelos de desempenho
O modelo ajusta uma superfície de dimensão inferior a dados que vivem em uma variedade de dimensão superior. Os resíduos serão pequenos em direções que o modelo mede, grandes nas direções não medidas.
Validação como Alinhamento Geométrico
Lista de verificação de validação de Hamming, reformulada como geometria:
A teoria de fundo suporta as leis assumidas? As dimensões do espaço de parâmetros do modelo abrangem a variedade de dados verdadeira? Se as variáveis-chave estão faltando (dimensões excluídas), a superfície do modelo não pode ser alinhada com a realidade.
Há verificações internas disponíveis? Leis de conservação são restrições geométricas: os dados devem encontrar-se em uma subvariedade específica definida por conservação de massa, conservação de energia, etc. Se a simulação viola estas, sua trajetória deixou a subvariedade válida.
Verificações cruzadas contra experiência passada conhecida: a superfície do modelo deve passar por pontos de validação históricos — não apenas ajustar dados de treinamento, mas generalizar para observações fora da amostra.
A simulação é estável? Uma simulação estável permanece perto da variedade de solução verdadeira apesar de pequenas perturbações. Uma simulação instável deixa a vizinhança da variedade e não pode ser chamada de modelo válido.
Quando a Previsão se Torna Projeção
Hamming apoiou o método de cenário para domínios onde a previsão é impossível: em vez de afirmar 'o sistema fará X,' apresente um conjunto de trajetórias possíveis sob diferentes conjuntos de suposições.
Interpretação Geométrica
A superfície do modelo M(θ) depende de parâmetros θ (suposições sobre leis, constantes, condições de contorno). Diferentes conjuntos de suposições θ₁, θ₂, ..., θₖ definem diferentes superfícies M(θ₁), ..., M(θₖ).
O envelope de cenário é a união dessas superfícies: a região do espaço de saída que qualquer um dos modelos de cenário poderia produzir.
Uma previsão única afirma: o resultado verdadeiro encontra-se perto de M(θ) para a melhor estimativa θ. O método de cenário afirma: o resultado verdadeiro encontra-se em algum lugar dentro do envelope.
Quando o Envelope É Útil
Se o envelope é estreito — todos os cenários concordam na saída apesar de diferentes suposições — a confiança na previsão é alta. Se o envelope é amplo — diferentes suposições produzem saídas muito diferentes — o modelo é altamente sensível às suposições. Essa sensibilidade é a saída, não um modo de falha.
Afirmação de Hamming sobre suas próprias previsões: ele estava dando cenários, não previsões pontuais. O futuro que descreveu era 'o que provavelmente acontecerá, na minha opinião,' não uma previsão precisa.
Sobreposição com a Realidade
Um modelo de cenário é validado quando a realidade cai dentro do envelope. Este é um teste mais fraco que a previsão pontual, mas mais honesto sobre o que o modelo pode afirmar.
Reunindo Tudo: Modelos Válidos & Sua Geometria
A geometria de simulação válida se resume a três alinhamentos:
1. Espaço de parâmetros abrange a variedade verdadeira: as dimensões do modelo incluem todas as variáveis que impulsionam o sistema. As lacunas de dimensão oculta produzem deslocamentos sistemáticos.
2. Estabilidade mantém a trajetória perto da variedade verdadeira: uma direção convergente significa que os erros encolhem. Um campo divergente significa que a simulação deixa a região válida.
3. Resíduos são pequenos E desestruturados: resíduos aleatórios e não correlacionados sugerem que o modelo captura a variedade verdadeira. Resíduos estruturados (tendências, padrões) sinalizam uma dimensão ausente.
A pergunta de Hamming 'Por que alguém deveria acreditar na simulação?' se traduz geometricamente: quão próxima é a superfície do modelo da variedade de realidade, em quantas dimensões, com quanta estabilidade, validada em quantos pontos fora da amostra?