Нейросеть превратит панорамную камеру в рапидную
Китайская компания Kandao Technology представила функцию AI Slow-motion, которая позволяет «замедлить» снятое панорамное видео, дорисовав дополнительные промежуточные кадры. Первое время функция будет доступна только владельцам панорамных камер Kandao Obsidian и QooCam, сообщает Digital Photography Review.
Рапидная (скоростная) съемка позволяет посмотреть на процессы в «замедленном времени», однако требует значительных ресурсов на обработку поступающих данных, поскольку увеличивается число кадров в секунду. Поэтому во многих устройствах (в том числе и современных смартфонах) можно выбрать, что предпочтительнее в данный момент: разрешение видео или количество кадров. Необходимого эффекта можно добиться и без настоящей рапидной съемки, увеличив количество кадров на этапе постобработки видео — например, такая функция под названием Optical Flow есть в редакторе Final Cut Pro X, также ее помогает реализовать популярный плагин Twixtor (они плохо справляются с мелкими деталями, генерируют заметные артефакты, но позволяют добиться плавности видеоряда при замедленном воспроизведении).
Для панорамных камер потребительского класса настоящая рапидная съемка не подходит: 360-градусное видео и так «весит» в разы больше обычного, а увеличение частоты кадров в несколько раз потребует очень дорогого оборудования для обработки видеопотока в реальном времени. Добавление кадров на этапе постобработки, подходящее для классического «плоского» видео, тоже не лучшее решение — из-за огромного размера кадра обработка панорамного видео займет ощутимо больше времени.
Kandao разработала специально адаптированную для 360-градусного видео функцию AI Slow-motion. Представители компании утверждают, что функция создает меньше артефактов и работает быстрее существующих аналогов, «в 10 раз замедляя видео». На сайте компании опубликованы примеры как восьмикратного «замедления», так и десятикратного, среди которых панорамное видео танца, «замедленное» до 1200 кадров в секунду.
Для дорисовки дополнительных кадров используется нейросетевой алгоритм, однако никакой информации о конкретном типе нейросети или обучающей выборке не сообщается.
Функция будет доступна в программе Kandao Studio V3.0 после 23 апреля и сначала будет работать только с видео, снятым на камеры производства Kandao: Obsidian и QooCam. Однако в будущем AI Slow-motion будет поддерживать и другие камеры (при этом не уточняется, идет речь о других камерах собственного производства Kandao, или о поддержке камер сторонних производителей).
Иногда эффекта «замедления времени» можно добиться и в реальной жизни. Устройство под названием Slow Dance представляет собой деревянную рамку с подсветкой и соленоидом, к которому крепятся различные объекты. Рамка включает и выключает светодиодную подсветку с частотой 80 Герц, что невооруженным глазом воспринимается как непрерывный свет, а соленоид меняет частоту колебаний в зависимости от выбранного режима, создавая в рамке эффект движения объекта в «замедленном времени».
Николай Воронцов
Пока это лишь прототип
Компания Xiaomi показала прототип смартфона с креплением для объективов камер Leica. Это позволяет использовать в смартфоне намного большую по размеру и более совершенную оптическую систему, не увеличивая размеры самого устройства. Смартфоны вобрали в себя функции многих устройств, которыми раньше люди пользовались отдельно. И со временем они почти вытеснили с рынка целые классы потребительских устройств, в том числе навигаторы, MP3-плееры и фотокамеры, хотя последние остались популярным профессиональным инструментом. Во многом популярность смартфонов как устройства для съемки обусловлена именно тем, что носить с собой одно устройство гораздо удобнее, чем два. Но и качество съемки существенно повысилось, в основном за счет алгоритмов, о чем мы подробно рассказывали в материале «Зрячая математика». В аппаратном обеспечении тоже произошли заметные изменения, но в отличие от фотоаппаратов, в смартфонах фактически существует важное ограничение: компании-производители стремятся делать их как можно более тонкими. И хотя еще несколько лет назад крупнейшие производители стали делать блок камер выпирающим над основной частью корпуса, это все равно не позволяет разместить в смартфоне оптическую систему, сравнимую по размерам даже с камерами-«мыльницами». Отчасти эту проблему решили появившиеся несколько лет назад модули камер с перископической конструкцией, но в этом случае толщина смартфонов накладывает ограничение на ширину объектива. Xiaomi показала прототип смартфона, в котором используется классическая схема с выступающим блоком камер, но на него также можно закрепить объективы от полноценных фотокамер. Смартфон сделан на базе серийного Xiaomi 12S Ultra, в котором использовался круглый выступ с камерами. В оригинальном гаджете по центру использовалась камера с широкоугольным объективов, а в прототипе инженеры заменили ее на однодюймовую матрицу без объектива, прикрытую стеклом. Круглый выступ отличается от серийного 12S Ultra тем, что в нем есть резьба — на нее можно закрепить адаптер для байонета Leica M. Это позволяет использовать полноценные объективы от профессиональных камер, не меняя при этом толщину самого смартфона со снятым объективом. При этом без большого объектива пользователь не лишается возможности делать фотографии и видео: в устройстве есть и обычные встроенные камеры. Компания продемонстрировала работу смартфона с объективом Leica Summilux-M 35mm f/1.4, но потенциально он поддерживает любые объективы с тем же байонетом. Поскольку это прототип, он не будет производиться серийно, однако как это иногда бывает с концептами, компания может использовать наработки из этого проекта в будущих моделях. https://www.youtube.com/watch?v=gAC8atF2sXc Это не первый прототип Xiaomi, позволяющий увеличить длину оптической системы смартфона. В 2020 году компания показала телескопический модуль камеры, выезжающий из корпуса. Аппаратными инновациями в смартфонах занимаются и другие компании. Так, Sony весной выпустила смартфон с переменным оптическим зумом, а компания Glass Imaging создала для смартфонов модуль камеры с вытянутой линзой и анаморфным объективом.