Программу научили писать инструкции по видеороликам с YouTube

Схема работы системы.

Изображение: Ozan Sener et al. / Cornell University

Исследователи из Корнелльского университета и Стэнфордского университета разработали платформу, которая самостоятельно составляет пошаговые инструкции на основе видеороликов, опубликованных на YouTube. Подробнее о проекте RoboWatch можно прочитать на сайте университета

Для составления инструкций исследователи взяли сто наиболее популярных запросов в энциклопедии WikiHow, из которых выбрали те, которые относятся к взаимодействию с физическими объектами. В результате авторы отобрали семнадцать запросов, четырнадцать из которых относились к приготовлению пищи. После этого программа самостоятельно по данным запросам нашла на YouTube и скачала ролики и субтитры на английском языке, если они были.

После загрузки роликов система их разбивает на кадры и искала в них общие предметы в кадре и ключевые слова в субтитрах, по которым определяла необходимые для процесса шаги. После этого алгоритм составляет пошаговую инструкцию на основании полученных шагов, а при помощи субтитров генерирует к каждому этапу текстовое описание. 


Получившиеся в результате обработки видеороликов инструкции можно передавать непосредственно для использования роботами, считают исследователи. Например, они составили при помощи RoboWatch инструкции по прочистке засорившегося слива, по завязыванию галстука, по приготовлению омлета и молочного коктейля.

Ранее аналогичную программу разработали французские ученые из Высшей нормальной школы, их алгоритм продемонстрировал успешное составление двух инструкций: по сердечно-легочной реанимации и по замене автомобильного колеса. Разработка ученых из Корнелльского университета позволяет при достаточно количестве видео создать пошаговую инструкцию практически для любой задачи.

Также разработками в этой области занимаются исследователи из проекта RoboHow Института искусственного интеллекта Бременского университета. Немецкие ученые научили робота PR2 самостоятельно учиться по текстовым инструкциям портала WikiHow. В частности, робот научился готовить блинчики и пиццу.


Николай Воронцов

Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.