O Problema do Travamento (Lock-In)
Um Bandit que Continua Vencendo
O UCB1 vanilla recalcula as pontuações a cada passo. Seleciona um braço. Puxa-o. Atualiza n_k & mean_reward(k). Repete. Em uma execução de treinamento longa com muitas fontes, um único braço pode acumular uma sequência de recompensas altas, aumentar sua média, & se tornar quase impossível de superar. Outros braços estagnam com n_k baixo e médias desatualizadas. Travamento (Lock-in).
O travamento (lock-in) prejudica o ANDREA de duas maneiras:
1. Colapso da diversidade. Um modelo que treina 90% dos passos em uma única fonte aprende os vícios estilísticos dessa fonte. As amostras de geração derivam para padrões repetitivos que correspondem à fonte dominante.
2. Exploração obsoleta. Braços com médias obsoletas não podem se recuperar. Um braço cuja média caiu cedo permanece preso nessa média, mesmo que o modelo agora tenha capacidade suficiente para extrair recompensa dele.
Uma Fase Compra Tempo
Solução: manter um conjunto fixo de braços de foco por uma fase (vários passos) antes de reavaliar. Uma fase de 14 passos significa que 14 passes de frente atingem os mesmos braços de foco. As recompensas médias se estabilizam. O ruído estocático é médio. Então o bandit rola novamente.
Comprimento de Fase Variável
ANDREA escolhe o comprimento da fase aleatoriamente de {7, 14, 21, 28, 42} passos em cada fronteira de fase. Cinco valores, aleatório uniforme. Fases curtas (7) reagem rapidamente a escolhas ruins; fases longas (42) permitem que conjuntos de foco estáveis sejam explorados totalmente. O teto limita o dano: no máximo 42 passos gastos em uma configuração de foco ruim antes de um novo sorteio forçado.
Estatísticas do Comprimento da Fase
1d3 (2-olhos) & 1d4 (3-olhos)
Notação de Dados
Notação de mesa: NdM significa rolar N dados com M lados cada. 1d3 rola um dado de 3 lados, retornando um valor em {1, 2, 3}. 1d4 rola um dado de 4 lados, retornando {1, 2, 3, 4}. O ANDREA também permite o resultado 0 por convenção: um rolo de 0 significa fase totalmente aleatória (sem braços de foco UCB).
Configurações de 2-Olhos vs 3-Olhos
A configuração de treinamento do ANDREA escolhe um de dois modos de dados:
Configuração de 2 olhos (1d3). Contagens possíveis de braços de foco: {0, 1, 2, 3}. O resultado 0 é reservado para a fase aleatória.
Configuração de 3 olhos (1d4). Contagens possíveis de braços de foco: {0, 1, 2, 3, 4}. Pools maiores permitem fases mais concentradas.
Aleatório Primeiro, UCB Segundo
Independentemente do resultado dos dados, o ANDREA preenche os slots de foco em duas passadas:
1. Braços aleatórios primeiro. Selecione uma fração dos slots de foco uniformemente ao acaso entre todos os braços disponíveis. Isso força variedade combinatória a cada fase, independentemente das classificações UCB.
2. O UCB preenche os slots restantes. Calcule as pontuações UCB1 para os braços que ainda não foram escolhidos. Selecione os braços restantes com maior classificação até que a contagem de slots de foco seja preenchida.
A ordem aleatória inicial é importante. Se o UCB fosse escolhido primeiro, um líder de sequência sempre reivindicaria um slot. Com a ordem aleatória inicial, mesmo o melhor braço UCB pode ficar de fora de uma fase. A diversidade permanece garantida.
Fases Aleatórias Puras
Quando o dado resulta em 0, o conjunto de foco inteiro vem de escolhas aleatórias. O UCB não contribui com nada. Aproximadamente 25% das fases (1d4) ou 33% das fases (1d3) caem aqui. As fases aleatórias puras forçam o bandit a atualizar sua amostra de braços com baixa extração, mantendo as estimativas de mean_reward honestas em todo o conjunto de braços.
Probabilidades dos Resultados do Dado
Limitando o Dano
Uma Fase Ruim Custa Até 42 Passos
Suponha que as seleções do UCB escolham um braço cuja média verdadeira é muito menor que sua média observada. A fase trava esse braço. A recompensa permanece baixa durante toda a fase. Quanto tempo até o bandit poder corrigir?
Comprimento máximo da fase: 42 passos. Após 42 passos, a fase termina, os dados são rodados novamente e os braços de foco são reembaralhados. A escolha ruim não pode durar mais do que 42 passes para frente.
Por que 42 (e não 100, e não 1000)
Fases longas permitem que as estimativas de mean_reward se estabilizem. Teoria estatística: a variância de uma média de n amostras diminui como 1/n. Ir de 7 amostras para 42 amostras fornece 6x mais amostras, o que resulta em um erro padrão aproximadamente sqrt(6) ≈ 2,45x mais estreito. Após 42 amostras, mean_reward fica dentro de aproximadamente +/-15% do seu valor verdadeiro (dependendo da variância da recompensa).
Além de 42 amostras, o ganho diminui: 100 amostras vs 42 amostras = 2,4x mais, o que resulta em um erro padrão aproximadamente sqrt(2,4) ≈ 1,55x mais estreito. O benefício marginal diminui à medida que o custo de um bloqueio ruim aumenta. 42 passos equilibra os dois.
Diversidade vs Convergência
Fases curtas (7 passos): as estimativas de recompensa permanecem ruidosas, mas escolhas ruins custam pouco. Fases longas (42 passos): as estimativas são precisas, mas escolhas ruins custam mais. O ANDREA mistura uniformemente os comprimentos das fases para que ambos os regimes apareçam em cada execução de treinamento.
Custo de Reconstrução do Btok
Cada fronteira de fase dispara uma reconstrução do arquivo btok para os braços de foco. A reconstrução do btok é executada em uma thread em segundo plano; a CUDA faz hot-reload quando detecta mudança no mtime. A reconstrução leva segundos; as fases devem ser longas o suficiente para que o sobrecusto da reconstrução permaneça pequeno. 42 passos na velocidade de treinamento do ANDREA-120M excede confortavelmente o tempo de reconstrução.
Raciocínio sobre o Teto
Próximos Tópicos
O Que Você Tem
O controle de dados baseado em fases envolve o UCB1 em três regras protetoras: comprimento de fase variável (7-42), braços aleatórios primeiro e fases aleatórias dirigidas por dados (25-33% puramente aleatório). O teto de 42 passos limita os danos; as fases aleatórias impedem o travamento; os comprimentos variáveis misturam velocidade de reação com estabilidade da estimativa.
O Que Resta
De onde vem o sinal de recompensa que alimenta o UCB? A Atividade 78 (atribuição de recompensa) mostra como o CUDA relata a perda por fonte a cada passo, como uma EMA por fonte rastreia a recompensa e por que o ANDREA escala as recompensas brutas por 1000x antes de alimentá-las ao UCB1.
Os pisos e penalidades de época (atividade 79) adicionam regras protetivas adicionais sobre a saída do bandit, garantindo que fontes pequenas não sejam esgotadas e que fontes grandes não sejam repetidas até a memorização.
Referência
Whitepaper do ANDREA, seção 3.2.