Нейросети сделали из Ван Гога мультипликатора

Немецкие ученые применили нейросети для переноса художественного стиля Винсента Ван Гога, Эдварда Мунка и других художников на мультфильмы. Препринт публикации доступен на arXiv.org.

Сотрудники Фрайбургского университета воспользовались недавними наработками по переносу стиля художников на статичные иллюстрации. Эти работы показали, что стиль не зависит от содержания картины, и его можно применить к любому изображению. Для этого поверхностные слои сверточной нейронной сети распознают наиболее общие признаки, такие как цветовая палитра, а с увеличением их глубины детализация возрастает.

Авторы исследования применили известную нейронную сеть VGG. С ее помощью они переносили стиль художника с конкретной картины на каждый кадр видео. Разработанный ими алгоритм анализировал разницу между последующими кадрами с временными ограничениями, отбраковывающими чрезмерные отличия.

Чтобы сделать переход от кадра к кадру плавным, эти ограничения учитывали оптический поток оригинального видео, и отбраковывали отличия не по кадрам в целом, а по траекториям отдельных точек. Участки кадров, которые до этого были заслонены движущимися объектами, в отбраковку не включались.

Обработка каждого кадра проводилась параллельно графическим и основным процессорами с разрешением 1024×463 пикселя. Сначала это занимало около восьми минут на кадр, в процессе оптимизации среднее время снизилось до трех минут на кадр.

Олег Лищук

Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.
Российские физики изготовили дешевый нанолазер с помощью перовскита и кольцевых импульсов

Физики из ИТМО, ДВФУ и Самарского университета придумали простой и дешевый способ производства нанолазеров, работающих в оптическом диапазоне. Для этого ученые выжгли на перовскитной пленке микрометровые кольца с помощью фемтосекундного лазера. Каждое такое кольцо работает как оптический резонатор, усиливающий волны из узкого диапазона частот; добротность полученного нанолазера превышает Q = 5000, а рабочие частоты охватывают более половины оптического диапазона. Вдобавок к остальным преимуществам, этот метод производства нанолазеров оказался очень быстрым: всего за 15 минут ученые заполнили кольцами площадь в квадратный сантиметр. Статья опубликована в ACS Nano.