Программу научили писать инструкции по видеороликам с YouTube
Исследователи из Корнелльского университета и Стэнфордского университета разработали платформу, которая самостоятельно составляет пошаговые инструкции на основе видеороликов, опубликованных на YouTube. Подробнее о проекте RoboWatch можно прочитать на сайте университета
Для составления инструкций исследователи взяли сто наиболее популярных запросов в энциклопедии WikiHow, из которых выбрали те, которые относятся к взаимодействию с физическими объектами. В результате авторы отобрали семнадцать запросов, четырнадцать из которых относились к приготовлению пищи. После этого программа самостоятельно по данным запросам нашла на YouTube и скачала ролики и субтитры на английском языке, если они были.
После загрузки роликов система их разбивает на кадры и искала в них общие предметы в кадре и ключевые слова в субтитрах, по которым определяла необходимые для процесса шаги. После этого алгоритм составляет пошаговую инструкцию на основании полученных шагов, а при помощи субтитров генерирует к каждому этапу текстовое описание.
Получившиеся в результате обработки видеороликов инструкции можно передавать непосредственно для использования роботами, считают исследователи. Например, они составили при помощи RoboWatch инструкции по прочистке засорившегося слива, по завязыванию галстука, по приготовлению омлета и молочного коктейля.
Ранее аналогичную программу разработали французские ученые из Высшей нормальной школы, их алгоритм продемонстрировал успешное составление двух инструкций: по сердечно-легочной реанимации и по замене автомобильного колеса. Разработка ученых из Корнелльского университета позволяет при достаточно количестве видео создать пошаговую инструкцию практически для любой задачи.
Также разработками в этой области занимаются исследователи из проекта RoboHow Института искусственного интеллекта Бременского университета. Немецкие ученые научили робота PR2 самостоятельно учиться по текстовым инструкциям портала WikiHow. В частности, робот научился готовить блинчики и пиццу.
Попробуйте отличить природный звук от антропогенного
Что такое звук? Всего лишь колебания волн, которые наше ухо воспринимает, а мозг интерпретирует как, например, стук дятла или удары молотка. Но достаточно ли хорошо мы их распознаем, чтобы наверняка отличить одно от другого? В этом тесте мы перемешали звуки естественного происхождения и звуки, появившиеся благодаря человеку. Ваша задача — определить их источник. Попробуем?