Разработчики из Google Brain представили среду для обучения искусственного интеллекта, в которой созданный бот модифицирует собственное тело для лучшего выполнения задания. Алгоритм среды работает с помощью обучения с подкреплением, а в ходе симуляции бот может менять размер своих ног на 75 сантиметров от изначальной длины и толщины. Описание работы выложено на github.
Живые организмы постоянно адаптируют свое тело под нужды окружающей среды, причем не только в процессе эволюции. Профессиональные спортсмены, к примеру, должны постоянно тренироваться, чтобы показывать высокие результаты. Тот же подход можно использовать и в развитии искусственного интеллекта: для этого, к примеру, используется обучение с подкреплением, в ходе которого обучаемый агент взаимодействует с окружающей средой, улучшая свои навыки.
Тем не менее, обычно в таком методе все же используются агенты с заранее заданными параметрами и в процессе обучения они учатся ими пользоваться. Разработчики из Google Brain во главе с Дэвидом Ха (David Ha) решили улучшить такой метод обучения, позволив агенту модифицировать собственные параметры для нужд среды. Для этого они использовали платформу OpenAI Gym, представленную год назад: в ней они создали «тело» из многоугольника и оснастили его парой ног. Затем боту давалось задание: пройти по местности или преодолеть несколько препятствий. За навигацию бота отвечал своеобразный лидар, который анализировал среду.
В процессе обучения боту можно было модифицировать свои ноги: менять их толщину или же размер (до 75 процентов от изначальной длины). Модификация тела позволяла ботам легче справляться с задачей: к примеру, для преодоления препятствий боту пришлось увеличить толщину задней ноги для более простой навигации.
В целом, бот отращивал ноги почти всегда. Тем не менее, для разработчиков было важно, чтобы поставленная перед агентом задача решалась с минимальным количеством затрат. Поэтому, к примеру, бот, которому нужно было пробежать по открытой местности без препятствий, свои ноги уменьшал: очень коротких для этого достаточно.
Несмотря на полезность такого метода и его относительную простоту (обучение с подкреплением требует минимального вмешательства человека), разработчики отметили, что он не всегда эффективен. В случае с обученным ботом самое правильное решение, которое позволило бы ему решать поставленную задачу с минимальным количеством затрат, может не существовать, поэтому сам он ему вряд ли научится.
Недавно среду, в которой агент самостоятельно обучается, показал и другой разработчик. В созданной им симуляции можно создать свое существо и дать ему задание, а далее — следить за процессом обучения.
Елизавета Ивтушок
Почему искусственный интеллект — это инструмент для узких задач
Блейк Лемуан проработал в Google семь лет. Осенью 2021 года он занялся тестированием разговорного агента LaMDA, которого корпорация представила незадолго до этого. Модель была обучена в первую очередь на диалогах, а не повествовательных или аналитических текстах, и потому прекрасно играла роль собеседника. Настолько, что через год Лемуан посоветовал ей найти адвоката и заявил, что признает в ней разумное существо. Даже более, чем разумное: в интервью для Washington Post, равно как и в отчете для руководства Google (его Лемуан вопреки запрету выложил в открытый доступ), инженер использует эпитет «sentient», а значит и вовсе считает машину способной испытывать чувства. Давайте разберемся, как так вышло и почему абсолютное большинство исследователей не видят смысла в его заявлении.