Espaço de Valor vs Espaço de Medição
Modele o mundo como dois espaços:
Espaço de valor V: o conjunto de estados do mundo em relação ao que você realmente se importa. Pontos em V representam diferentes níveis da quantidade subjacente verdadeira (aprendizado do aluno, progresso militar, bem-estar econômico).
Espaço de medição M: o conjunto de valores que a métrica pode assumir. Uma métrica é uma função f: V → M — um mapeamento do espaço de valor para o espaço de medição.
Uma métrica válida é aquela em que f é próxima a uma isometria na região relevante: mudanças iguais em M correspondem a mudanças iguais em V. Pontos próximos em M correspondem a pontos próximos em V.
Uma métrica distorcida é aquela em que f é não-isométrica: a métrica comprime algumas regiões de V (tornando grandes mudanças invisíveis) e expande outras (tornando pequenas mudanças aparentarem grandes). A calibração de QI é uma distorção projetada: ela mapeia a distribuição de pontuação bruta para uma Gaussiana em M, independentemente da distribuição verdadeira de inteligência em V.
Lei de Goodhart em termos de mapeamento: quando M se torna um alvo, agentes aplicam ascensão de gradiente em M. Como f é uma distorção, ascensão de gradiente em M não corresponde a ascensão de gradiente em V. O agente se move em M sem se mover (ou se movendo para trás) em V.
Testando Validade de Métrica
Uma empresa avalia o desempenho dos funcionários em uma escala de 1-5 estrelas. A escala é calibrada de forma que 80% dos funcionários recebam 3 ou superior. O sistema de avaliação de desempenho é usado tanto para decisões de compensação (em que a ordem de classificação importa) quanto para planos de melhoria (em que o nível absoluto importa).
Ascensão de Gradiente no Espaço Errado
Modele o problema de otimização geometricamente. Seja V = espaço de valor (aprendizado verdadeiro do aluno, progresso militar, etc.) e M = espaço de métrica (pontuações de teste, contagens de corpos, etc.).
O gradiente do valor verdadeiro: ∇_V(value) aponta na direção em V que aumenta a quantidade subjacente que você se importa.
O gradiente da métrica: ∇_M(metric) aponta na direção em M que aumenta a métrica.
Como f: V → M não é uma isometria, o gradiente da métrica no espaço de valor (f(∇_M)) não está alinhado com ∇_V. O ângulo entre eles, θ = arccos(∇_V · f(∇_M) / (|∇_V| |f*(∇_M)|)), mede a severidade da falha de Goodhart.
Se θ = 0: o gradiente de métrica e gradiente de valor apontam na mesma direção. Otimizar a métrica otimiza o valor. Nenhuma corrupção de Goodhart.
Se θ = 90°: o gradiente de métrica é ortogonal ao valor. Otimizar a métrica se move em M sem se mover em V.
Se θ = 180°: o gradiente de métrica aponta oposto ao valor. Otimizar a métrica degrada ativamente o valor.
Quando a métrica se torna um alvo e agentes aplicam ascensão de gradiente na métrica, eles seguem f*(∇_M), não ∇_V. O ângulo de divergência θ cresce com o tempo enquanto a métrica é manipulada — o mapeamento f se torna menos isométrico enquanto agentes encontram as regiões onde ∇_M e ∇_V divergem mais, porque esses são os caminhos mais eficientes para manipulação.
Medindo a Divergência
Considere um espaço de valor bidimensional simples V = (habilidade, conformidade) onde habilidade = compreensão real do aluno, conformidade = capacidade do aluno de seguir procedimentos de teste.
Uma métrica de teste M = 0,3 × habilidade + 0,7 × conformidade (uma combinação linear específica, onde conformidade tem 70% de peso).
Otimização Multi-Objetivo como Defesa Contra Goodhart
Defesa de Hamming: use múltiplas métricas simultaneamente. A interpretação geométrica: em vez de maximizar uma única função objetivo f(x), otimize sobre um vetor de objetivos F(x) = (f₁(x), f₂(x), ..., fₖ(x)).
Para um objetivo vetorial, o conceito de solução é a fronteira de Pareto: o conjunto de soluções onde nenhum objetivo pode ser melhorado sem degradar outro. A fronteira de Pareto substitui o ótimo único.
Por que isso defende contra Goodhart: para manipular as métricas, um agente racional deve encontrar uma direção no espaço de valor que aumenta todos os fᵢ simultaneamente (ou pelo menos as métricas pelas quais estão sendo julgados). Se as métricas forem suficientemente independentes — suas direções de gradiente forem suficientemente não-paralelas — não há tal direção. Manipular uma métrica degrada outra.
O grau de defesa: se os k gradientes de métrica abrangem o espaço k-dimensional (são linearmente independentes), então otimizar qualquer subconjunto apropriado de métricas degrada pelo menos uma métrica excluída. A defesa completa de Pareto requer que nenhuma direção de manipulação exista que melhore todas as métricas.
Invariância de medição: uma métrica M é invariante com relação ao atributo irrelevante α se M(x + δα) = M(x) para mudanças δ em α. A métrica de QI não é invariante com relação à prática de teste: QI muda quando alunos praticam o teste sem ganhos genuínos na construção subjacente.
Projete um Sistema de Métrica Defendido por Pareto
Considere avaliar um cientista pesquisador em um sistema de duas métricas: M₁ = publicações por ano, M₂ = taxa de citação por paper (citações por paper).