Facebook* заставила ИИ гулять по виртуальному Нью-Йорку
Разработчики из Facebook заставили систему искусственного интеллекта, состоящую из «туриста» и «гида», искать дорогу в виртуальном Нью-Йорке. В эксперименте, описанном в препринте на arXiv.org, исследователи рассмотрели, как компьютерные алгоритмы могут ориентироваться в пространстве и сообщать информацию.
Один из подходов к машинному обучению подразумевает погружение одного или нескольких агентов в виртуальную среду. Они самостоятельно получают информацию о ней и выполняют задания. Этот способ тренировки позволяет добиться хороших результатов: например, именно так системы искусственного интеллекта смогли освоить паркур, научились описывать бытовые действия на видео и играть в Quake III Arena.
Созданная программистами система Talk The Walk состоит из двух агентов, которые общаются между собой на естественном или машинном языке. В ходе эксперимента «турист», заброшенный в случайную точку нью-йоркского района «Адская кухня», должен был найти дорогу к определенному пункту назначения с помощью «гида». Для этого он сообщал ему свое местоположение в той же форме, в какой бы это делал человек. После этого два агента начинали вести диалог: «турист» рассказывал о том, что он видит, а «гид» задавал уточняющие вопросы и направлял второго агента.
Система Talk The Walk впервые объединила в себе сразу три навыка: восприятие («турист», передвигающийся по городу), выполнение действий (навигация через виртуальную среду) и интерактивный диалог (общение «гида» и «туриста»). Для своей работы программисты отсняли 360-градусные панорамы «Адской кухни», однако «гид» для навигации использовал двумерную карту, он знал, где находится конечная точка пути, но ему было неизвестно местонахождение «туриста». «Турист», напротив, имел 360-градусный обзор среды, однако не знал, где расположен пункт назначения и как к нему добраться.
Для получения тренировочного набора данных разработчики привлекали волонтеров через сервис Amazon Mechanical Turk. Добровольцы вели между собой диалоги, периодически меняясь ролями. В общей сложности исследователи собрали более 10 тысяч успешных диалогов: людям требовалось, в среднем, 44 действия и 8-9 реплик, чтобы справиться с поставленной задачей.
В основу алгоритма лег разработанный исследователями механизм MASC (Masked Attention for Spatial Convolution), который позволяет быстро определить, какие ключевые слова находятся в ответах «гида» и какие из них наиболее важны, чтобы понять, куда двигаться. Специалисты Facebook отметили, что использование этого механизма удвоило точность результатов. При этом программа работает лучше, когда она самостоятельно генерирует сообщения, а не извлекает их из набора данных.
В будущем такой подход может улучшить работу систем искусственного интеллекта в целом. Например, подобный алгоритм может использоваться беспилотными автомобилями для поиска дороги, когда возникают проблемы с GPS, или роботы смогут подсказывать дорогу людям, основываясь на размытом описании.
Недавно инженеры разработали приложение для шлема HoloLens, которое может вести пользователя по заданному маршруту, сообщая ему о приближающихся поворотах и препятствиях. Компания Microsoft, в свою очередь, создала похожее приложение для смартфона, которое работает в паре с наушниками.
*Facebook принадлежит компании Meta, деятельность которой в России запрещена.
Кристина Уласович
Алгоритм помог отделить летучих мышей от птиц и насекомых
Ученым удалось точно описать миграцию перелетных летучих мышей и отличить их от других животных. Оказалось, что они летают на меньшей высоте, чем птицы, и начинают мигрировать позднее. Найти мигрирующих летучих мышей помог алгоритм для классификации данных с радаров: он определил, какие данные относятся к насекомым и птицам, а какие — к летучим мышам. Работа опубликована в журнале Methods in Ecology and Evolution. С помощью радаров ученые уже почти 80 лет исследуют летающих существ: птиц и насекомых. По данным с радаров можно изучать длительные и массовые перемещения птиц, например сезонную миграцию. Для анализа радарных данных нужно сначала понять, каким животным эти данные принадлежат. Птиц и насекомых легко различить по размеру, форме и аэродинамике, а вот летучих мышей от птиц отличить сложнее. Для различения летающих животных на радарных данных используются разные алгоритмы, в том числе методы машинного обучения, но для них нужно много предварительных наблюдений. Например, исследователи могут пронаблюдать за движением птиц в определенном месте и отметить их на данных с радаров. В отличие от птиц, летучие мыши активны в темное время суток, и наблюдать за ними сложнее, поэтому данных о миграции летучих мышей мало. Из-за отсутствия данных их перелеты не учитываются при строительстве небоскребов, вышек или электростанций, поэтому летучие мыши могут в них врезаться во время миграции. Чтобы лучше изучать и защищать летучих мышей, группа ученых из Тель-Авивского университета под руководством Нира Сапира (Nir Sapir) придумала способ определять их на данных с радаров. Во-первых, авторы учли характеристики полета летучих мышей: амплитуду и скорость движений крыльями, высоту и скорость передвижения. Во-вторых, они исследовали данные, собранные за четыре года в Долине Хула в Израиле за определенные две недели в июне — обычно в это время там останавливаются передохнуть многие перелетные птицы во время миграции по Евразийско-Африканскому маршруту, но по ночам в июне в долине встречаются только четыре хорошо изученных вида птиц, которых можно перепутать с летучими мышами. По характеристикам полета ученые отделили этих птиц от летучих мышей в радарных данных. Так авторы собрали датасет с информацией о перелетах летучих мышей и насекомых с птицами. Наблюдений по летучим мышам оказалось намного меньше, поэтому ученые дополнительно сгенерировали искусственные данные с помощью нейросети. В итоговом датасете получилось 430 тысяч наблюдений. На нем натренировали четыре классификатора, отделяющие летучих мышей от других летающих существ. Для классификации использовали деревья решений. Каждый классификатор использовал разный набор параметров: в одном учитывались все данные о полете, в другом не учитывалась скорость передвижения, в третьем — амплитуда и скорость махов крыльями, в четвертом — паузы без взмахов крыльями. Худшие результаты (точность меньше 65 процентов) показали третья и четвертая модели, которые не учитывали информацию о взмахах крыльями. Зато классификатор, обученный на полном наборе данных, показал точность 94 процента. Помимо обычной оценки точности классификации, авторы проверяли, как часто модель ошибочно определяет летучих мышей на дневных данных (обычно летучие мыши мигрируют по ночам). Авторы применили обученный классификатор на другие данные, собранные в Долине Хула, и смогли выяснить новые особенности миграции и поведения летучих мышей. Оказалось, что они еще менее активны зимой, чем летающие птицы и насекомые. Также ученые показали, что летучих мышей есть два основных периода и направления миграции: с марта по июнь на север и с сентября по ноябрь на юг. Летучие мыши начинают и заканчивают сезонные перелеты позднее, чем птицы. Недавно зоологи выяснили, что перелетные летучие мыши ориентируются по геомагнитному полю во время миграций. Ученые пришли к этому выводу после экспериментов с малыми нетопырями. Две группы летучих мышей держали в обычных клетках и клетках с искаженным магнитным полем. Когда обе группы выпустили из клеток, они полетели в разных направлениях.