Нейросеть «убрала» автомобили с улиц

Chris Harris / Twitter
Программист Крис Харрис (Chris Harris) создал приложение для смартфона, «удаляющее» автомобили с улиц. Оно работает на основе нейросетей, которые распознают автомобили и заменяют области с ними на кадре на синтезированное фоновое изображение улицы.
В последние годы в области машинного обучения наблюдается большой прогресс и наиболее заметен он в области алгоритмов для работы с изображениями. К примеру, программы уже умеют реалистично переносить мимику с лица одного человека на лицо другого, а также создавать полностью синтезированные видеоролики. Некоторые серьезные нейросетевые алгоритмы для обработки уже доступны для массового использования. Например, недавно Adobe внедрила в видеоредактор After Effects функцию автоматического удаления объектов с видео и замену их на реалистичный фон. Но эта функция требует от пользователя вручную выделять интересующие его объекты, а также тратит некоторое время на расчет изменений.
Разработчик Крис Харрис (Chris Harris) показал, как похожую технологию можно использовать в реальном времени для «удаления» автомобилей с улицы. На опубликованном видео можно видеть, как нейросетевой алгоритм заменяет автомобили в кадре на синтезированное фоновое изображение.
Автор ролика не рассказал, как именно работает алгоритм, однако некоторые предположения о его работе все же можно сделать. По-видимому, в алгоритме используются две нейросети, одна из которых распознает автомобили в кадре и выделяет их, а вторая работает с выделенными областями. Судя по тому, что на некоторых кадрах явно видна измененная прямоугольная область, в алгоритме не используется отдельная сеть для семантической сегментации. Обычно такие нейросети применяют для относительно аккуратного выделения объекта определенного типа в кадре.
Ранее другие разработчики создавали похожие технологии для блокировки некоторых объектов в реальном мире. К примеру, в 2015 году американский программист создал шлем дополненной реальности, размывающий изображения брендов на предметах перед пользователем.
Григорий Копиев