Инженеры из исследовательского подразделения компании Toyota научили робота с руками новым навыкам. Теперь он умеет качественно обнаруживать прозрачные и зеркальные предметы, а также снимать себя на экшн-камеру, подбирая оптимальный ракурс.
Toyota не первый год разрабатывает роботов с руками, надеясь в итоге создать роботизированных помощников по дому для людей с ограниченными возможностями или пожилых. Один из прототипов компания испытала с инвалидом-ветераном войны в 2017 году, тогда робот уже умел хватать предметы, к примеру, бутылку с водой, нажимать на кнопки и выполнять другие базовые бытовые действия. Но, как это часто бывает в робототехнике, от первичного прототипа, выполняющего базовые задачи, до полноценного серийного робота проходит большой срок, во время которого разработчики решают множество мелких сценариев, которые встречаются довольно редко, но без них разработку нельзя выпускать в коммерческую стадию из-за недостаточной безопасности или неудобства. В начале года инженеры показали один из таких этапов, решив проблему навигации по дому с предметами на полу, ходящими людьми и другими препятствиями: они предложили закреплять робота на потолке вверх ногами.
В новом видео инженеры показали, как обучили робота работать с прозрачными предметами и снимать себя при помощи селфи-палки. Как и в прошлые разы инженеры использовали две разновидности робота: напольную и потолочную. Но функционально и конструкционно они одинаковы и различия касаются лишь подвижной платформы, к которой крепится робот. Он состоит из корпуса, который в свою очередь собран из нескольких сегментов, которые могут сгибаться и разгибаться относительно друг друга. На его конце закреплены две руки и голова с двумя камерами.
Главная из новых способностей заключается в том, что теперь робот лучше работает с предметами, состоящими из прозрачного материала или с зеркальным покрытием. До недавнего времени это представляло большую проблему для роботов, потому что, как правило, они определяли форму и границу предмета, сравнивая его вид с разных ракурсов, а если предмет выполнен из стекла или дает очень яркие отражения, алгоритмы не могут рассчитать по снимкам адекватную 3D-модель и подготовить план захвата. Но в последние годы исследователи из разных групп научились бороться с этой проблемой, и разработчики из Toyota тоже смогли реализовать в своем роботе качественное распознавание объектов при помощи камеры глубины. Для этого они воспользовались симулятором, в котором алгоритм видел трехмерные объекты в разной обстановке и должен был рассчитать его форму и границы. Выученный в виртуальной среде навык удалось перенести на реальное устройство, благодаря чему теперь робот может захватывать и двигать стаканы и другие прозрачные предметы, встречающиеся в домах.
Второй из новых навыков — умение снимать себя. Инженеры научили робота брать в руку селфи-палку с экшн-камерой на конце и располагать ее так, чтобы робот оказывался в центре кадра и со стороны, в которой он выполняет действия, например, подметает пол. В пресс-релизе авторы приурочили эту возможность к американскому дню селфи 21 июня, однако, вероятно, у нее есть и практические применения. Например, записи выполнения действий с нового ракурса, отличающегося от ракурса с головы, гипотетически можно использовать для обучения алгоритмов методом самообучения.
В прошлом году инженеры Toyota разработали мягкий захват, позволяющий захватывать хрупкие предметы. Он состоит из двух надувных контактных площадок, внутри которых есть камера, определяющая параметры контакта благодаря искривлению поверхности площадок.
Григорий Копиев