as

Нейросети сделали из Ван Гога мультипликатора

Computer Vision Freiburg

Немецкие ученые применили нейросети для переноса художественного стиля Винсента Ван Гога, Эдварда Мунка и других художников на мультфильмы. Препринт публикации доступен на arXiv.org.

Т-Банк // CTF

Сотрудники Фрайбургского университета воспользовались недавними наработками по переносу стиля художников на статичные иллюстрации. Эти работы показали, что стиль не зависит от содержания картины, и его можно применить к любому изображению. Для этого поверхностные слои сверточной нейронной сети распознают наиболее общие признаки, такие как цветовая палитра, а с увеличением их глубины детализация возрастает.

Авторы исследования применили известную нейронную сеть VGG. С ее помощью они переносили стиль художника с конкретной картины на каждый кадр видео. Разработанный ими алгоритм анализировал разницу между последующими кадрами с временными ограничениями, отбраковывающими чрезмерные отличия.

Чтобы сделать переход от кадра к кадру плавным, эти ограничения учитывали оптический поток оригинального видео, и отбраковывали отличия не по кадрам в целом, а по траекториям отдельных точек. Участки кадров, которые до этого были заслонены движущимися объектами, в отбраковку не включались.

Обработка каждого кадра проводилась параллельно графическим и основным процессорами с разрешением 1024×463 пикселя. Сначала это занимало около восьми минут на кадр, в процессе оптимизации среднее время снизилось до трех минут на кадр.

Олег Лищук

Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.
Береста на хостинге

Как и зачем оцифровывать архивы и древние артефакты