Нейросеть AlphaStar одолела профессиональных игроков в StarCraft II
Программа AlphaStar, разработанная DeepMind, смогла обыграть двух профессиональных игроков в стратегию в реальном времени StarCraft II. Каждого из игроков-людей нейросеть победила в пяти матчах. Описание работы программы доступно на сайте DeepMind, а посмотреть на AlphaStar в деле можно на YouTube.
Для обеих частей StarCraft уже достаточно давно разрабатываются боты и даже проводятся соревнования подобных программ, однако до сих пор таким алгоритмам не удавалось победить человека. Дело в том, что несмотря на победу программы AlphaGo в настольной игре го (которая долгое время считалось слишком сложной для машин) со стратегией в реальном времени все обстоит иначе — это игра с закрытой информацией, в которой нужно решать большое количество задач одновременно. Компания Blizzard объявила о создании открытого API для StarCraft II еще летом 2017 года, но с тех пор заметного прогресса почти не было — даже нейросеть, разработанная DeepMind, долгое время не могла показать блестящего результата и проигрывала легкому уровню сложности встроенных алгоритмов.
Теперь компания DeepMind (входит в состав холдинга Alphabet) продемонстрировала, что их новая программа AlphaStar способна обыграть профессиональных игроков. При создании AlphaStar использовался метод глубокого обучения с подкреплением, а также обучение с учителем, в качестве тренировочного датасета разработчики использовали предоставленные компанией Blizzard анонимизированные записи игр настоящих людей. Обученная на этих играх нейросеть научилась побеждать встроенные алгоритмы StarCraft II на самой высокой сложности в 95 процентах случаев, после чего специалисты DeepMind заставили программу играть с самой собой. Разработчики отмечают, что сначала в «лиге AlphaStar» доминировал раш — тактика быстрой победы путем строительства большого количества сравнительно дешевых юнитов. Однако затем нейросеть научилась бороться с такими атаками и начала делать упор в том числе и на экономическое развитие. Всего на «лигу AlphaStar» ушло 14 дней игры агентов друг с другом, что эквивалентно 200 годам игры в StarCraft II.
Сначала нейросеть выиграла пять матчей из пяти против TLO (Дарио Вунш, Германия), а затем другая версия нейросети победила пять раз подряд игрока MaNa (Гжегож Коминч, Польша). Оба профессионала входят в сотню сильнейших игроков в StarCraft II. Интересно, что средний APM (количество действий в минуту) нейросети оказался значительно меньше, чем у ее противников.
Стоит отметить что все же небольшое преимущество у AlphaStar было — несмотря на то, что туман войны закрывал карту для нейросети так же, как и для человека, программа получала для обработки не частичное изображение известной области (условный экран), а видела сразу все, что позволяет увидеть игра. Благодаря этому нейросети не приходилось постоянно переключаться между разными зонами карты для контроля за происходящим. Когда же для еще одного демонстрационного матча с MaNa разработчики заставили AlphaStar играть с обычным ограничением масштаба видимой области, то нейросеть проиграла человеку. Правда, в DeepMind отмечают, что самостоятельно двигающая камеру версия программы обучалась в «лиге AlphaStar» всего семь дней.
Первая часть StarCraft тоже представляет собой сложную задачу даже для методов глубокого обучения. Так, в октябре 2017 года своего бота для этой игры представила компания Facebook, и он оказался слабее программ, созданных программистами-любителями. Специалистам из Alibaba Group и Университетского колледжа Лондона удалось научить свою программу неплохому уровню микроконтроля юнитов при ведении боя, но на полноценную игру их разработка все еще не способна.
Николай Воронцов
Она поможет написать письмо, план тренировки или сочинит историю
Яндекс обучил большую русскоязычную языковую модель YandexGPT и внедрил ее в своего виртуального помощника Алису. Сейчас нейросеть тестируют пользователи продуктов Яндекса, новость об этом вышла на сайте компании. Языковая модель — это нейросеть, которая умеет генерировать тексты, по очереди предсказывая каждое слово в предложении. Языковая модель YandexGPT основана на архитектуре Transformer, которую создали исследователи из Google в 2017 году. Когда в такую нейросеть загружают текст, она умеет выделять в нем важные слова и фокусировать на них внимание. Главный навык модели — хорошо понимать и запоминать тексты, и генерировать новые. Когда нейросеть осваивает этот навык, она одновременно естественным образом учится выполнять самые разные задачи, связанные с анализом текстов. Большие языковые модели основаны на архитектуре Transformer и обучены на огромном количестве данных, обычно из интернета. Они умеют создавать текст, почти не отличимый от человеческой речи. Первой успешной моделью такого типа стала нейросеть GPT от компании OpenAI. В 2022 вышла улучшенная версия модели ChatGPT. Ее не просто натренировали на большом количестве данных, но и дообучили с помощью обучения с подкреплением. Люди-эксперты работали с нейросетью в режиме диалога, показывая ей как правильно отвечать на вопросы. В надежде повторить успех ChatGPT, многие компании обучают свои языковые модели-аналоги (например, Bard от Google или Poe от Quora). Яндекс первым внедрил такую модель в виртуального помощника. 17 мая Яндекс выпустил большую языковую модель YandexGPT в открытый доступ. С ней можно пообщаться через Алису в приложении Яндекс, браузере, умной колонке или телевизоре. Чтобы активировать YandexGPT, нужно сказать: «Алиса, давай придумаем!» Языковая модель пока находится в режиме тестирования, но уже умеет выполнять разные задачи пользователей: выбрать подарок, составить план тренировки или написать деловое письмо. Модель умеет составлять грамотные содержательные тексты, но может ошибаться в фактах. Посмотрите, как пользователи общаются с YandexGPT: Нейросеть обучали на суперкомпьютерах Яндекса в два этапа. Сначала разработчики отобрали для обучения много книг, статей и страниц сайтов с помощью поисковых инструментов Яндекса — по утверждению компании, в выборку попадали только содержательные и хорошо написанные тексты. На втором этапе модель дообучили, чтобы она лучше вела диалог. Для этого Яндекс воспользовался методом, который придумали исследователи из OpenAI. Эксперты-разметчики составили сотни тысяч пар вопрос-ответ и показывали их YandexGPT на втором этапе обучения. Но у YandexGPT есть свои ограничения. Например, нейросеть пока не умеет запоминать контекст и учитывать предыдущие реплики. Однако YandexGPT постоянно дообучается на новых данных от пользователей и может развить этот навык в будущем. Cравнить качество ответов YandexGPT с другими языковыми моделями пока невозможно, Яндекс не раскрыл эти данные. Также неизвестна точная архитектура модели и параметры ее обучения. Тем временем другая языковая модель GPT-4 научилась работать не только с текстом, но и с картинками.