Компьютер освоил StarCraft на уровне опытных игроков

Исследователи из китайской компании Alibaba Group и Университетского колледжа Лондона продемонстрировали компьютерную программу, которая самостоятельно освоила в StarCraft некоторые тактики, используемые опытными игроками. Исследование доступно на ArXiv.org.

В последнее время искусственный интеллект начал обыгрывать людей в игры, которые раньше компьютер не мог освоить на уровне профессиональных игроков. Сначала программа AlphaGo «победила человечество в го», выиграв у одного из сильнейших игроков в мире, затем программа Libratus победила в 20-дневном покерном турнире «Brains Vs. Artificial Intelligence: Upping the Ante», обыграв четырех профессиональных игроков в покер. Тем не менее, в некоторых играх с неполной информацией компьютер все еще уступает человеку, и пока что одной из таких игр остается первый StarCraft.

В новой работе исследователи рассказали о прогрессе компьютерного игрока, который для обучения использует двунаправленно-скоординированную сеть (Bidirectionally-Coordinated Net, BiCNet) на основе рекуррентных нейросетей. По словам авторов, BiCNet лучше других существующих нейросетей подходит для обучения и взаимодействия нескольких агентов (подконтрольных ИИ боевых единиц). 

Представленная авторами программа самостоятельно достигла определенных успехов в области микроконтроля юнитов при ведении боя в StarCraft. Для обучения использовались тестовые сражения — например, три пехотинца против зерглинга с большим количеством здоровья. Сначала пехотинцы постоянно сталкивались друг с другом, убегая от зерглинга, но после 50 повторений сражения и более чем 40 тысяч шагов агенты научились разбегаться от врага практически безупречно.

Кроме перемещения юнитов с минимальным блокированием пути следования друг друга ИИ также самостоятельно освоил различные тактики ведения боя. Программа освоила базовую тактику «Hit & Run» («Ударил-убежал»), при которой один или несколько агентов с дистанционной атакой начинают вести огонь по противнику, однако затем отступают на условно безопасное расстояние. Также компьютер освоил более сложную тактику, атаку прикрывающим огнем, — несколько агентов используют тактику «Hit & Run», пока один из них не будет выбран врагом в качестве основной цели, остальные агенты при этом продолжают вести сосредоточенный огонь по врагу. 

Кроме того, разработчики продемонстрировали, что компьютерный игрок освоил сосредоточенное ведение огня по одной цели малыми группами, что позволяет эффективно уничтожать юниты противника в бою. Также искусственный интеллект научился учитывать возможности юнитов разного типа, при этом в бою учитываются как возможности агентов (например, десантные корабли используются для того, чтобы спрятать танки от ультралисков), так и возможности врага (ИИ при сражении с муталисками рассредотачивает свои юниты, чтобы снаряды-симбионты не могли поразить нескольких агентов).

Стоит отметить, что микроконтроль может обеспечить в бою победу даже при значительно превосходящих силах противника. Однако кроме этого в StarCraft необходимо принимать еще и глобальные стратегические решения — строить здания, покупать улучшения и оперативно отвоевывать ресурсы. Общую «продвинутость» программы можно будет оценить после участия ее в Starcraft AI Competition — это ежегодные соревнования среди специализированных алгоритмов.

Стратегия в реальном времени StarCraft вместе с дополнением Brood War была выпущена Blizzard в 1998 году. StarCraft принято считать одной из важнейших игр в киберспорте. Несмотря на солидный для компьютерной игры возраст и уже вышедшую вторую часть крупные турниры по StarCraft: Brood War проходят до сих пор. Недавно Blizzard Entertainment официально объявила о создании ремастеринг-версии StarCraft, релиз запланирован на лето 2017 года.

Николай Воронцов