Всё снято на этом проекте. Панель показывает не только игру, но и то, что происходит у агента внутри: какие объекты он видит, куда смотрит, что слышит и что собирается делать.
Contra, база: сенсор, дверь, вторая комната Сид 0 из подтверждения на 32 сидах. Солдат расстреливает сенсор комнаты (объект типа 20, 8 HP — найден сканом таблиц объектов), стена гаснет и открывается, он идёт вверх через проём — и следующие кадры уже другая комната: люк на дальней стене, сенсор слева. В панели thoughts видны кандидаты из мануала: «advance up», «fire standing». Во второй комнате он снова встаёт в правый угол — так и записано. 30 секунд.Contra, первый уровень целиком — до карточки «AREA 2» Сид 1 из сквозного прогона с включения: джунгли, лесенка уступов под турелями (пять композиций таймингов прыжка), стена — тап по диагонали в упор, обе пушки и сенсор взрываются, заставка «прибыл в точку A», база. В панели thoughts видны все кандидаты с оценками, в том числе пары «run+jump now». Запись обрезана на входе во второй уровень: там у планировщика пока нет сигнала прогресса — камера на базе стоит. Из 32 сидов так заканчивают 12; смертей за прогон в среднем две.Super Mario Bros. 1-1 целиком, без смертей Планировщик, у которого вместо модели мира сам эмулятор: он перематывает консоль сейв-стейтами и смотрит, чем кончится каждый из шести планов через 144 кадра, усредняя по четырём продолжениям. В панели thoughts видно само решение — все шесть кандидатов с их оценками и пометкой, какой взят. В спокойных местах оценки близки и руль остаётся у политики; перед ямой они расходятся на сотни пикселей.
Подпись честная: это подглядывание в будущее, а не предсказание. Выученная оценка на тех же сидах уровень не заканчивает.Contra, джунгли — та же шестёрка планов, другая игра Ни один шаблон не менялся: B+RIGHT, означавший у Марио «бежать», здесь означает «наступать с огнём», прыжок общий. Обученная политика в этой игре инертна — ноль движения камеры на всех 32 сидах, — а планировщик с теми же шестью поведениями проходит почти весь уровень (3072 из ~3300 px, две смерти). Позицию для оценки дал 16-битный счётчик камеры из RAM-карты; у Super C такого счётчика в карте не было вообще, и его адрес нашёлся сканом памяти за минуты.
Итог четырёх игр: 371 из 384 парных сидов за планировщиком, ноль пер-геймного тюнинга. Это запись 29 августа; финальная стена пала 3 сентября — карточка выше.Super Mario Bros. Две минуты с планером поверх модели мира. Белые кружки — предсказание, куда полетит герой; тепловая карта показывает, на что смотрит сеть.Double Dragon Битемап: агент сближается с врагом, разворачивается к нему и бьёт, при окружении отходит. В клинче трекер теперь удерживает бойцов как два объекта, а не сливает в один — раньше из-за этого удар уходил в противоположную сторону. За две минуты агент проходит несколько участков улицы; в прошлой записи он упирался в левый край и оставался там.Агент слышит, где звучит Белое кольцо — предсказанный источник звука. Удары по блокам локализуются в ряд кирпичей. Прыжки уходят «в небо»: у прыжка нет источника на экране — честная слабость метода.Панель целиком Строка «hud read 300 1 1 1 391» — очки, монеты, мир и таймер, вычитанные прямо с картинки, без разметки и без доступа к памяти эмулятора; на экране в этот момент 000300, ×01, 1-1, TIME 391. На геймпаде подсвечены реально нажатые B и RIGHT, справа — распределение действий, неуверенность, живые свёрточные фильтры, память спрайтов и услышанные звуки. Кольца на кадре — предсказанный источник звука.Как выглядит политика изнутри Это вся политика целиком, а не её тепловая карта. У этого клона от экрана к кнопкам ведёт один вес на пиксель на действие и больше ничего, поэтому веса складываются обратно в картинку. Строка — действие, четыре панели — четыре кадра стопки от старого к новому. Красное: яркий пиксель здесь повышает счёт действия, синее — понижает. У A (прыжок) синяя верхняя половина и красная полоса на уровне ног. У RIGHT красное пятно слева от центра. DOWN держит узкую горизонталь там, где лежит солдат. Общее для всех действий вычтено: софтмакс его не видит, и без вычитания лист показывал бы среднюю яркость Contra. Играет такая политика хуже свёрточной на 656 пикселей — это и есть цена представления.
Что на панели
Рамки и стрелки — объекты, найденные по движению, и их скорости. Отдельным цветом тот, кем агент управляет.
Тепловая карта — куда смотрит сеть, принимая решение. После обучения с подсказкой она целится в объекты, а не в фон.
Белые кружки — «сон» модели мира: предсказанная траектория героя на двенадцать шагов вперёд.
Зелёные кольца — предполагаемый источник звука.
Столбец вероятностей — что сеть собирается нажать и насколько уверена.
Мысли — почему принято решение: «враг в зоне удара», «застрял, прыгаю», «экран просит нажать START».
