Сервис для хранения и создания анимированных изображений Gfycat представил три проекта по улучшению анимированных изображений при помощи методов машинного обучения. Разработанные алгоритмы, подробнее о которых сообщает The Verge, смогут улучшить качество GIF-анимаций, автоматически сопроводить их тегами и даже исправить написанный поверх изображений текст.
Сервис Gfycat, запущенный в 2015 году, позволяет пользователям загружать анимированные изображения (на самом сервисе они хранятся в виде коротких видео), сопровождать их тегами (для краткого описания того, что изображено на GIF-анимации) и далее использовать в сети — например, в Twitter. Сейчас Gfycat работают над тремя новыми проектами для улучшения качества, каждый из которых назван в честь кошачьей породы или персонажа.
Первый проект, названный «Ангора», будет улучшать качество изображений. Алгоритм будет работать достаточно просто: проанализировав изображение, он будет искать источник (видео) в сети, после чего сделает уже новое изображение — лучшего качества. Так как при анализе изначального изображения оно будет разбито на кадры, алгоритм сможет работать даже в том случае, если анимация составлена из нескольких видео.
Проект «Мару» — это алгоритм, с помощью которого сервис сможет автоматически ставить теги к изображениям, даже если пользователь их не проставил при загрузке. Это сильно облегчит жизнь тем, кто ищет определенное изображение, например, с какой-то знаменитостью; сам алгоритм будет использовать технологии распознавания лиц.
Наконец, проект «Феликс» сможет анализировать написанный поверх анимированного изображения текст: предсказывать с помощью дерева решений примерное время его появления и вставлять в новое изображение — улучшенное с помощью «Ангоры».
В данный момент сервис только начинает использовать алгоритмы для улучшения изображений. Кроме того, они не будут пользовательскими — сайт планирует автоматически обрабатывать изображения при загрузке. С примерами, судя по всему, можно ознакомиться на самом сайте, воспользовавшись хэштегом #GifsRemastered.
Это не первый пример использования технологий машинного обучения для улучшения изображений — например, недавно был запущен сервис Let's Enhance: он использует нейросети для улучшения качества фотографий. А в прошлом году компания Google представила алгоритм улучшения разрешения изображений.
Елизавета Ивтушок