El Problema del Bloqueo
Un Bandido que Sigue Ganando
UCB1 estándar recalcula las puntuaciones en cada paso. Elige un brazo. Lo tira. Actualiza n_k & mean_reward(k). Repite. En una ejecución de entrenamiento larga con muchas fuentes, un solo brazo puede acumular una racha de recompensas altas, elevar su media y volverse casi imposible de superar. Otros brazos se estancan con n_k bajos y medias obsoletas. Bloqueo.
El bloqueo perjudica a ANDREA de dos maneras:
1. Colapso de la diversidad. Un modelo que entrena el 90 % de los pasos con una única fuente aprende los rasgos estilísticos de esa fuente. Las muestras de generación se desplazan hacia patrones repetitivos que coinciden con la fuente dominante.
2. Exploración obsoleta. Los brazos con medias obsoletas no pueden recuperarse. Un brazo cuya media disminuyó al principio permanece atascado en esa media, incluso si el modelo ahora tiene suficiente capacidad para extraer recompensa de él.
Una fase compra tiempo
Solución: mantener un conjunto fijo de brazos de enfoque durante una fase (varios pasos) antes de reevaluar. Una fase de 14 pasos significa que 14 pases hacia adelante impactan los mismos brazos de enfoque. Las recompensas medias se estabilizan. El ruido estocástico se promedia. Entonces, el bandit vuelve a tirar.
Longitud de fase variable
ANDREA elige la duración de la fase aleatoriamente de {7, 14, 21, 28, 42} pasos en cada límite de fase. Cinco valores, aleatorio uniforme. Las fases cortas (7) reaccionan rápidamente a malas elecciones; las fases largas (42) permiten que los conjuntos de enfoque estables se aprovechen por completo. El límite superior restringe el daño: se gastan como máximo 42 pasos en una configuración de enfoque deficiente antes de una reelección forzada.
Estadísticas de la duración de la fase
1d3 (2 ojos) y 1d4 (3 ojos)
Notación de dados
Notación de mesa: NdM significa lanzar N dados con M caras cada uno. 1d3 lanza un dado de 3 caras, devolviendo un valor en {1, 2, 3}. 1d4 lanza un dado de 4 caras, devolviendo {1, 2, 3, 4}. ANDREA también permite el resultado 0 por convención: un lanzamiento de 0 significa fase completamente aleatoria (sin brazos de enfoque UCB).
Configuraciones de 2 ojos vs 3 ojos
La configuración de entrenamiento de ANDREA elige uno de dos modos de dados:
Configuración de 2 ojos (1d3). Posibles conteos de brazos de enfoque: {0, 1, 2, 3}. El resultado 0 está reservado para la fase aleatoria.
Configuración de 3 ojos (1d4). Posibles conteos de brazos de enfoque: {0, 1, 2, 3, 4}. Pools más grandes permiten fases más concentradas.
Primero aleatorio, segundo UCB
Sin importar el resultado de los dados, ANDREA rellena los espacios de enfoque en dos pasadas:
1. Primero brazos aleatorios. Se selecciona una fracción de los espacios de enfoque de forma uniforme y aleatoria entre todos los brazos disponibles. Esto fuerza una variedad combinatoria en cada fase, independientemente de las clasificaciones UCB.
2. UCB rellena los espacios restantes. Calcula las puntuaciones UCB1 para los brazos que aún no han sido elegidos. Toma los brazos restantes con mejor clasificación hasta llenar la cantidad de espacios de enfoque.
Lo aleatorio primero es importante. Si UCB se eligiera primero, un líder de racha siempre reclamaría un espacio. Con lo aleatorio primero, incluso el mejor brazo UCB puede quedarse fuera de una fase. La diversidad sigue garantizada.
Fases Aleatorias Puras
Cuando el dado marca 0, el conjunto de enfoque completo proviene de selecciones aleatorias. UCB no contribuye en nada. Aproximadamente el 25% de las fases (1d4) o el 33% de las fases (1d3) caen aquí. Las fases aleatorias puras obligan al bandit a actualizar su muestra de brazos con baja extracción, manteniendo las estimaciones de mean_reward honestas en todo el conjunto de brazos.
Probabilidades de Resultado del Dado
Limitar el daño
Una mala fase cuesta hasta 42 pasos
Supongamos que las clasificaciones de UCB eligen un brazo cuyo valor medio real es mucho menor que su valor medio observado. La fase bloquea ese brazo. La recompensa se mantiene baja durante toda la fase. ¿Cuánto tiempo hasta que el bandit puede corregir?
Longitud máxima de fase: 42 pasos. Después de 42 pasos, la fase termina, los dados se vuelven a lanzar y los brazos de enfoque se rebarajan. La mala selección no puede durar más de 42 pases hacia adelante.
Por qué 42 (y no 100, y no 1000)
Las fases largas permiten que las estimaciones de mean_reward se estabilicen. Teoría estadística: la varianza de una media de n muestras disminuye como 1/n. Pasar de 7 muestras a 42 muestras proporciona 6 veces más muestras, lo que resulta en un error estándar aproximadamente 2,45 veces más estrecho (sqrt(6) ≈ 2,45). Después de 42 muestras, mean_reward se sitúa dentro de aproximadamente +/-15% de su valor verdadero (dependiendo de la varianza de la recompensa).
Más allá de 42 muestras, la ganancia se reduce: 100 muestras frente a 42 muestras = 2,4 veces más, lo que da un error estándar aproximadamente 1,55 veces más estrecho (sqrt(2,4) ≈ 1,55). El beneficio marginal disminuye a medida que crece el costo de un bloqueo incorrecto. 42 pasos equilibra ambos factores.
Diversidad frente a Convergencia
Fases cortas (7 pasos): las estimaciones de recompensa siguen siendo ruidosas, pero las malas elecciones cuestan poco. Fases largas (42 pasos): las estimaciones son precisas, pero las malas elecciones cuestan más. ANDREA mezcla las longitudes de fase de manera uniforme para que ambos regímenes aparezcan en cada ejecución de entrenamiento.
Costo de reconstrucción de Btok
Cada límite de fase desencadena una reconstrucción del archivo btok para los brazos de enfoque. La reconstrucción de btok se ejecuta en un hilo de fondo; CUDA recarga en caliente al detectar un cambio en mtime. La reconstrucción toma segundos; las fases deben ser lo suficientemente largas para que la sobrecarga de reconstrucción se mantenga pequeña. 42 pasos a la velocidad de entrenamiento de ANDREA-120M superan cómodamente el tiempo de reconstrucción.
Razonamiento sobre el límite superior
Próximos temas
Lo que tienes
El control de dados basado en fases envuelve UCB1 con tres reglas protectoras: longitud de fase variable (7-42), brazos aleatorios primero y fases aleatorias impulsadas por dados (25-33% puro aleatorio). El límite de 42 pasos limita el daño; las fases aleatorias previenen el bloqueo; las longitudes variables mezclan la velocidad de reacción con la estabilidad de la estimación.
Lo que queda
¿De dónde proviene realmente la señal de recompensa que alimenta a UCB? La Actividad 78 (atribución de recompensa) muestra cómo CUDA informa la pérdida por fuente en cada paso, cómo un EMA por fuente rastrea la recompensa y por qué ANDREA escala las recompensas crudas por 1000x antes de alimentar a UCB1.
Los pisos y las penalizaciones por época (actividad 79) añaden reglas protectoras adicionales sobre la salida del bandit, asegurando que las fuentes diminutas no se queden sin recursos y que las fuentes grandes no se repitan hasta la memorización.
Referencia
Whitepaper de ANDREA, sección 3.2.