1d3 (2-глазый) и 1d4 (3-глазый)

Обозначение кубиков

Настольное обозначение: NdM означает бросить N кубиков с M гранями каждый. 1d3 — бросок одного 3-гранного кубика, возвращающего значение из множества {1, 2, 3}. 1d4 — бросок одного 4-гранного кубика, возвращающего значение из множества {1, 2, 3, 4}. В ANDREA по соглашению также допускается результат 0: бросок 0 означает полностью случайную фазу (без фокусировочных рук UCB).

Конфигурации 2-глазого и 3-глазого режимов

Конфигурация обучения ANDREA выбирает один из двух режимов кубиков:

Конфигурация с 2 глазами (1d3). Возможные значения числа фокусных рычагов: {0, 1, 2, 3}. Результат 0 зарезервирован для случайной фазы.

Конфигурация с 3 глазами (1d4). Возможные значения числа фокусных рычагов: {0, 1, 2, 3, 4}. Большие пулы позволяют более концентрированные фазы.

Сначала случайный выбор, затем UCB

Независимо от результатов броска кубиков, ANDREA заполняет фокусные слоты в два прохода:

1. Сначала случайные рычаги. Случайным образом выбирается доля фокусных слотов из всех доступных рычагов. Это обеспечивает комбинаторное разнообразие в каждой фазе, независимо от рейтингов UCB.

2. UCB заполняет оставшиеся слоты. Вычислите значения UCB1 для рук, которые ещё не были выбраны. Берите оставшиеся руки с наивысшим рангом, пока не заполнится количество слотов фокуса.

Случайный выбор первым имеет значение. Если бы UCB выбирался первым, лидер по серии всегда занимал бы слот. Благодаря случайному выбору первым даже лучшая рука UCB может пропустить фазу. Разнообразие остаётся гарантированным.

Фазы чистого случайного выбора

Когда на кубиках выпадает 0, весь набор фокуса формируется из случайных выборов. UCB не вносит никакого вклада. Около 25% фаз (1d4) или 33% фаз (1d3) попадают в эту категорию. Фазы чистого случайного выбора заставляют бандита обновлять свою выборку рук с низким числом вытягиваний, сохраняя оценки mean_reward честными для всего пула рук.

Вероятности исходов броска кубиков

Ограничение урона

Плохая фаза стоит до 42 шагов

Допустим, ранги UCB выбирают фокусное плечо, истинное среднее значение которого значительно ниже наблюдаемого среднего. Фаза фиксирует это плечо. Награда остаётся низкой на протяжении всей фазы. Сколько времени потребуется бандиту, чтобы исправить ситуацию?

Максимальная длина фазы: 42 шага. После 42 шагов фаза завершается, кубики перебрасываются, руки фокуса перемешиваются. Неудачный выбор не может длиться дольше 42 передач вперёд.

Почему 42 (а не 100 и не 1000)

Длинные фазы позволяют оценкам mean_reward стабилизироваться. Статистическая теория: дисперсия среднего из n выборок уменьшается как 1/n. Переход от 7 выборок к 42 выборкам даёт в 6 раз больше данных, что сужает стандартную ошибку примерно в sqrt(6) ≈ 2,45 раза. После 42 выборок mean_reward находится в пределах примерно +/-15% от своего истинного значения (в зависимости от дисперсии награды).

После 42 выборок прирост уменьшается: 100 выборок против 42 выборок = в 2,4 раза больше, что сужает стандартную ошибку примерно в sqrt(2,4) ≈ 1,55 раза. Маржинальная выгода падает по мере роста стоимости неудачного «застревания». 42 шага балансируют эти два фактора.

Разнообразие против сходимости

Короткие фазы (7 шагов): оценки награды остаются зашумлёнными, но плохой выбор стоит немного. Длинные фазы (42 шага): оценки точные, но плохой выбор стоит дороже. ANDREA равномерно смешивает длины фаз, чтобы оба режима присутствовали в каждом запуске обучения.

Стоимость пересборки Btok

Каждая граница фазы запускает пересборку файла btok для фокусных ветвей. Пересборка btok выполняется в фоновом потоке; CUDA выполняет горячую перезагрузку при изменении mtime. Пересборка занимает секунды; фазы должны быть достаточно длинными, чтобы накладные расходы на пересборку оставались малыми. 42 шага при скорости обучения ANDREA-120M с запасом превышают время пересборки.

Рассуждения о потолке

Что будет дальше

Что у вас есть

Фазовое управление «кубиками» оборачивает UCB1 в три защитных правила: переменная длина фаз (7–42), случайные руки в первую очередь, фазы, управляемые «кубиками» (25–33% чистого случайного выбора). Потолок в 42 шага ограничивает ущерб; случайные фазы предотвращают «закрепление» (lock-in); переменные длины сочетают скорость реакции со стабильностью оценок.

Что осталось

Откуда на самом деле поступает сигнал вознаграждения, который питает UCB? Активность 78 (атрибуция вознаграждения) показывает, как CUDA сообщает о потере по каждому источнику на каждом шаге, как EMA по источникам отслеживает вознаграждение и почему ANDREA масштабирует сырые вознаграждения в 1000 раз перед подачей в UCB1.

Правила «Полы и штрафы за эпохи» (активность 79) накладывают дополнительные защитные ограничения на вывод бандита, гарантируя, что мелкие источники не будут недополучать внимание, а крупные источники не будут повторяться до уровня заучивания.

Ссылка

Белая книга ANDREA, раздел 3.2.