Разработчики из исследовательского подразделения Facebook и нескольких других организаций представили новую версию виртуальной среды для тестирования роботов — Habitat 2.0. В ней симулируются помещения, с которыми роботы могут взаимодействовать, например, открывать ящики, брать оттуда предметы и переносить на новое место. Разработчики отмечают, что новая среда позволяет симулировать поведение робота гораздо быстрее, чем другие публично доступные симуляторы — в 55 раз быстрее реального времени при работе на одной видеокарте. Краткое описание среды доступно на сайте Facebook AI, также авторы опубликовали препринт статьи.
Машинное обучение в последние годы позволило совершить большой скачок в качестве работы роботов, беспилотных автомобилей и других машин, самостоятельно выполняющих те или иные задачи. Как и в случае с обучением людей, в машинном обучении успех зависит от количества данных и объема практики. Но для многих задач получение опыта требует больших ресурсов. К примеру, одна из основных и пока еще не до конца решенных задач в робототехнике — захват предметов в быту или на производстве. И там, и там они различаются по форме, размеру, жесткости, отражательной способности и другим параметрам, поэтому для того, чтобы выучить универсальный навык, применимый ко всем предметам, роботам требуется огромное количество практики, на которую уходит большое количество времени. Эту задачу можно решить с помощью масштабирования, и еще несколько лет назад ее решали напрямую, используя несколько одинаковых роботов, выполняющих одинаковые задачи.
Но в последние годы прогресс в алгоритмах позволил довольно точно симулировать поведение роботов в виртуальной среде и, что гораздо важнее, переносить выученный в ней навык на реальное устройство. Это позволяет ускорить обучение на несколько порядков при наличии вычислительных мощностей. Этот метод уже используют на разных типах машин, в том числе в беспилотных автомобилях и роборуках. В 2019 году разработчики из Facebook создали свою виртуальную среду Habitat для симуляции поведения домашних роботов в реалистичных интерьерах. Они создали датасет Replica, состоящий из высокоточных трехмерных сканов реальных комнат домов, сохраняющих информацию о форме, цвете и отражательной способности поверхностей. Но у среды был недостаток: она была статичной и позволяла отрабатывать лишь некоторые типы задач, такие как навигация и распознавание объектов.
В новой версии разработчики изменили подход: они взяли одну комнату из датасета Replica и воссоздали ее с высокой точностью в виде набора интерактивных 3D-объектов, с которыми можно взаимодействовать. Всего в комнате находится 92 объекта, таких как мебель, посуда и книги, у каждого из которых есть физические параметры: масса, форма, фрикционные свойства поверхности. Также у всех объектов прописаны семантические данные (какого типа этот объект) и упрощенная форма для расчета столкновений. У нескольких объектов есть модель движения составных частей, например, открывания дверцы холодильника. За счет перестановки мебели и других предметов интерьера комната представлена в 111 разных вариантах, на которых может обучаться робот.
Изменениям подверглась и сама среда. Она умеет симулировать жесткие взаимодействия и различные типы движений, в том числе вращательные. Благодаря этому робот может взаимодействовать со всеми элементами комнаты и отрабатывать типичные для роботов-помощников задачи, например, брать из холодильника коробку с едой и приносить ее на стол.
Разработчики отмечают, что сознательно отказались от важных аспектов симуляции ради ее скорости. Среди прочего, среда не умеет рассчитывать неупругие взаимодействия и поведение жидкости, а также не учитывает особенности контакта колес с полом. Авторы заявляют, что благодаря этому новая виртуальная среда стала самой быстрой среди программ такого типа. Для примера разработчики указали скорость симуляции на компьютере с процессором Intel Xeon Gold 6226R и видеокартой NVIDIA GeForce 2080 Ti. При симуляции робота Fetch и его взаимодействия с объектами среды компьютер рассчитывал 1660 «шагов в секунду» (SPS). Поскольку среда рассчитывает физические взаимодействия с частотой 30 раз (шагов) в секунду, 1660 SPS означает, что симуляция происходит в 55,3 раза быстрее реального времени. Как и в прошлый раз, разработчики опубликовали документацию и код под свободной лицензией на GitHub.
В 2018 году другая группа разработчиков создала виртуальную среду для обучения нейросетевых персонажей бытовым задачам, а также научила алгоритм создавать подробную последовательность действий по видео или текстовому описанию.
*Facebook принадлежит компании Meta, деятельность которой в России запрещена.
Григорий Копиев