Microsoft запустила Quake II на нейросетях

Microsoft представила генеративную модель WHAMM (World and Human Action MaskGIT Model), предназначенную для создания интерактивных игровых сред в реальном времени. Возможности модели компания продемонстрировала на примере классического шутера Quake II, в который можно сыграть прямо в браузере на странице в Copilot Labs. Архитектура модели WHAMM включает два этапа. Основной трансформер (500 миллион параметров) получает 9 предыдущих пар кадр-действие и формирует грубый набросок нового кадра размером 640 × 360 пикселей. Затем другой трансформер (250 миллионов параметров) итеративно улучшает это изображение. В результате удается генерировать интерактивный видеоряд со скоростью свыше 10 кадров в секунду. Модель обучена на данных одной недели геймплея Quake II, собранных на одном уровне. Пользователи могут перемещаться по имитируемому моделью уровню, стрелять и взаимодействовать с объектами (например, взрывать бочки). Но есть и неточности: например, модель ошибается в счетчиках патронов и здоровья, враги выглядят размыто и бой с ними не всегда корректен, а из-за короткого контекста всего 0,9 секунды модель быстро забывает об объектах вне поля зрения.

В августе 2024 года инженеры из Google Research, Google DeepMind и Тель-Авивского университета смогли воссоздать с помощью нейросети другой легендарный шутер. Разработанный ими нейросетевой игровой движок GameNGen симулирует в реальном времени классический DOOM. В основе движка лежит диффузионная нейросеть, которая предсказывает каждый следующий кадр игры, используя последовательность ранее сгенерированных предыдущих кадров и поток команд игрока на входе. Модель оказалась способна генерировать полноценный игровой процесс в реальном времени со скоростью более 20 кадров в секунду и с качеством, сопоставимым с графикой оригинальной игры.