Нейросеть «убрала» автомобили с улиц

Программист Крис Харрис (Chris Harris) создал приложение для смартфона, «удаляющее» автомобили с улиц. Оно работает на основе нейросетей, которые распознают автомобили и заменяют области с ними на кадре на синтезированное фоновое изображение улицы.

В последние годы в области машинного обучения наблюдается большой прогресс и наиболее заметен он в области алгоритмов для работы с изображениями. К примеру, программы уже умеют реалистично переносить мимику с лица одного человека на лицо другого, а также создавать полностью синтезированные видеоролики. Некоторые серьезные нейросетевые алгоритмы для обработки уже доступны для массового использования. Например, недавно Adobe внедрила в видеоредактор After Effects функцию автоматического удаления объектов с видео и замену их на реалистичный фон. Но эта функция требует от пользователя вручную выделять интересующие его объекты, а также тратит некоторое время на расчет изменений.

Разработчик Крис Харрис (Chris Harris) показал, как похожую технологию можно использовать в реальном времени для «удаления» автомобилей с улицы. На опубликованном видео можно видеть, как нейросетевой алгоритм заменяет автомобили в кадре на синтезированное фоновое изображение.

Автор ролика не рассказал, как именно работает алгоритм, однако некоторые предположения о его работе все же можно сделать. По-видимому, в алгоритме используются две нейросети, одна из которых распознает автомобили в кадре и выделяет их, а вторая работает с выделенными областями. Судя по тому, что на некоторых кадрах явно видна измененная прямоугольная область, в алгоритме не используется отдельная сеть для семантической сегментации. Обычно такие нейросети применяют для относительно аккуратного выделения объекта определенного типа в кадре.

Вероятно, нейросеть для создания фона учитывает соседние области на кадре, потому что на некоторых кадрах она дорисовывает стволы деревьев и столбы, закрытые автомобилем. Вместе с этим, она не учитывает соседние кадры при формировании фона, потому что на видео можно видеть, что в некоторых случаях алгоритм дорисовывает ствол дерева или столб даже если на предыдущих кадрах видно, что он закрыт не автомобилем, а другим объектом на фоне. Стоит отметить, что пока созданный программистом алгоритм — скорее демонстрация принципиальной возможности такого подхода, чем готовая для реального использования технология.

Ранее другие разработчики создавали похожие технологии для блокировки некоторых объектов в реальном мире. К примеру, в 2015 году американский программист создал шлем дополненной реальности, размывающий изображения брендов на предметах перед пользователем.

Григорий Копиев