Ученые раскрыли подробности устройства покерного ИИ
В журнале Science вышла статья, где описывается принцип работы системы искусственного интеллекта Libratus. В начале года она победила в 20-дневном покерном турнире и выиграла у профессиональных игроков в покер фишек на сумму более 1,7 миллиона долларов.
Активное развитие технологий машинного обучения привело к созданию алгоритмов, которые справляются со многими задачами лучше людей. Особое внимание в этом году получили программы, которые научились обыгрывать людей в играх с неполной информацией — традиционно это считалось невозможным. В январе 2017 года система искусственного интеллекта Libratus победила в турнире по техасскому холдему, который сегодня считается наиболее популярной разновидностью покера. Во время турнира, который длился 20 дней, алгоритм заработал более 1,7 миллиона долларов в фишках. В новой статье Ноэм Браун (Noam Brown) и Туомас Сандхолм (Tuomas Sandholm), разработчики Libratus, описали, как работает алгоритм.
Libratus состоит из трех основных частей. Для первых кругов покера используется модуль, который рассматривает игру как абстракцию. Вместо того, чтобы учитывать все точки принятия решений, число которых достигает 10161, он упрощает игру, при этом максимально учитывая стратегические аспекты оригинальной игры. Так, Libratus округляет ставки и не делает различий между похожими карточными комбинациями, например флэшем с королем во главе и флэшем, где старшая карта — дама. После создания абстракции, компьютер разрабатывает плановую стратегию поведения для первых кругов, а также очень приблизительную стратегию для следующих этапов.
Чтобы научиться делать это, Libratus играл против самого себя, используя измененную версию алгоритма Monte Carlo Counter-factual Regret Minimization (MCCFR). С его помощью для каждого действия вычислялось значение сожаления — то, насколько игрок сожалеет о том, что он не сделал определенный шаг в прошлом. Во время симуляции MCCFR выбирал «исследователя», который должен был анализировать все возможные действия и постоянно обновлять значение сожаления. При этом его противник играл согласно стратегии, которая выстаивается на основе уже имеющихся данных. В конце «исследователю» давалась награда за каждое действие, благодаря которой он понимал, какой ход был хорошим, а какой — нет. После каждой партии игроки менялись ролями. В классическом варианте компьютер обычно исследует все гипотетические действия, чтобы выяснить размер награды за них; здесь же он пропускал «неинтересные» ходы, которые имели низкое значение сожаления, что позволило быстрее усовершенствовать его работу.
Для следующих этапов игры использовался второй модуль Libratus. Он создавал детальную стратегию для конкретного этапа игры, руководствуясь при этом плановой стратегией, разработанной в начале. Каждый раз, когда противник совершал не предусмотренное системой ИИ действие, она разыгрывала «мини-игру», где учитывался ход соперника. Это позволяло корректировать стратегию в режиме реального времени.
Третья часть Libratus улучшала исходную стратегию алгоритма. Обычно для этого строится модель поведения противника, которая учитывает его возможные ошибки. Однако Браун и Сандхолм использовали данные о ставках. Днем компьютер следил, какие ставки чаще всего делают другие игроки, а ночью вычислял возможные варианты развития событий с учетом этих данных.
Авторы статьи считают, что у систем, подобных Libratus, большое будущее в самых разных сферах, где приходится иметь дело с неполной информацией. Они могут быть использованы в сфере информационной безопасности, в военном деле, аукционах, переговорах и даже при распределении медикаментов.
Значимая победа компьютера над профессиональными игроками в игре с полной информацией произошла в 2015 году: тогда программа AlphaGo обыграла Фаня Хуэя в го — настольной игре, где противники стремятся огородить наибольшую территорию на игровой доске с помощью камней черного или белого цвета. А уже в 2017 году усовершенствованная версия AlphaGo победила другого известного игрока, Ли Седоля, которого относят к сильнейшим в мире. Теперь AlphaGo Zero научилась играть и в другие настольные игры.
Кристина Уласович
Она поможет написать письмо, план тренировки или сочинит историю
Яндекс обучил большую русскоязычную языковую модель YandexGPT и внедрил ее в своего виртуального помощника Алису. Сейчас нейросеть тестируют пользователи продуктов Яндекса, новость об этом вышла на сайте компании. Языковая модель — это нейросеть, которая умеет генерировать тексты, по очереди предсказывая каждое слово в предложении. Языковая модель YandexGPT основана на архитектуре Transformer, которую создали исследователи из Google в 2017 году. Когда в такую нейросеть загружают текст, она умеет выделять в нем важные слова и фокусировать на них внимание. Главный навык модели — хорошо понимать и запоминать тексты, и генерировать новые. Когда нейросеть осваивает этот навык, она одновременно естественным образом учится выполнять самые разные задачи, связанные с анализом текстов. Большие языковые модели основаны на архитектуре Transformer и обучены на огромном количестве данных, обычно из интернета. Они умеют создавать текст, почти не отличимый от человеческой речи. Первой успешной моделью такого типа стала нейросеть GPT от компании OpenAI. В 2022 вышла улучшенная версия модели ChatGPT. Ее не просто натренировали на большом количестве данных, но и дообучили с помощью обучения с подкреплением. Люди-эксперты работали с нейросетью в режиме диалога, показывая ей как правильно отвечать на вопросы. В надежде повторить успех ChatGPT, многие компании обучают свои языковые модели-аналоги (например, Bard от Google или Poe от Quora). Яндекс первым внедрил такую модель в виртуального помощника. 17 мая Яндекс выпустил большую языковую модель YandexGPT в открытый доступ. С ней можно пообщаться через Алису в приложении Яндекс, браузере, умной колонке или телевизоре. Чтобы активировать YandexGPT, нужно сказать: «Алиса, давай придумаем!» Языковая модель пока находится в режиме тестирования, но уже умеет выполнять разные задачи пользователей: выбрать подарок, составить план тренировки или написать деловое письмо. Модель умеет составлять грамотные содержательные тексты, но может ошибаться в фактах. Посмотрите, как пользователи общаются с YandexGPT: Нейросеть обучали на суперкомпьютерах Яндекса в два этапа. Сначала разработчики отобрали для обучения много книг, статей и страниц сайтов с помощью поисковых инструментов Яндекса — по утверждению компании, в выборку попадали только содержательные и хорошо написанные тексты. На втором этапе модель дообучили, чтобы она лучше вела диалог. Для этого Яндекс воспользовался методом, который придумали исследователи из OpenAI. Эксперты-разметчики составили сотни тысяч пар вопрос-ответ и показывали их YandexGPT на втором этапе обучения. Но у YandexGPT есть свои ограничения. Например, нейросеть пока не умеет запоминать контекст и учитывать предыдущие реплики. Однако YandexGPT постоянно дообучается на новых данных от пользователей и может развить этот навык в будущем. Cравнить качество ответов YandexGPT с другими языковыми моделями пока невозможно, Яндекс не раскрыл эти данные. Также неизвестна точная архитектура модели и параметры ее обучения. Тем временем другая языковая модель GPT-4 научилась работать не только с текстом, но и с картинками.