Нейросеть воссоздала видео из размытого кадра
Индийские разработчики представили систему, которая умеет создавать короткие видео из размытых изображений. Алгоритм работает на основе сверточных и рекуррентных нейросетей и позволяет превращать артефакты движения на снимках в короткие (до десяти кадров) видео, говорится в препринте на arXiv.org.
При просмотре размытого изображения человек может мысленно достроить картину происходящего. Например, видя фотографию птицы с нечеткими крыльями, можно предположить, что размытие изображения обусловлено артефактами движения крыльев во время получения снимка. Для систем компьютерного зрения эта задача, однако, представляет бóльшую сложность, и большинство известных методов направлены только на удаление артефактов движения и сглаживание кадров.
Ученые из Индийского технологического института под руководством А. Н. Раджагопалана (A. N. Rajagopalan) предположили, что на основе одного размытого изображения можно создать целое короткое видео: то есть восстановить изначальное движение из его артефактов на снимке. Для этого они разработали алгоритм на основе сверточных нейросетей, которые активно применяют для задач, связанных с автоматическим распознаванием изображений, а также рекуррентных нейросетей.
Модель обучается на большом количестве видео, которые разбиваются на кадры. После этого нейросеть ищет такой кадр, артефакты на котором наиболее соответствуют артефактам кадра тренировочной выборки. После этого декодер «восстанавливает» артефакты кадра тренировочной выборки в движение, запечатленное на видео. Внутри модели, таким образом, хранятся данные о возможных восстановленных движениях из каждого доступного в обучающей выборке размытого кадра.
В результате работы нейросеть выдает восстановленные из размытого изображения видео, состоящие из десяти кадров. Разработанный алгоритм, по мнению создателей, сможет в дальнейшем помочь улучшать не только восстановление размытых изображений, но и самих видео.
Избавление от артефактов движения в отдельных кадрах может также улучшить стриминг видео. Пока что для этого используются, в основном, алгоритмы адаптации битрейта в зависимости от скорости видео и его буферизации.
Елизавета Ивтушок
Доля ложноположительных оценок зависела от пола, этноса и типа жилья
Марта Маслей (Marta Maslej) из Университета Торонто с коллегами создала алгоритм машинного обучения для предсказания агрессии пациентов при оказании острой психиатрической помощи по структурированным электронным медицинским картам. Тестирование показало, что полученная модель проявляет пристрастность при прогнозировании. В работе использовали медкарты 17703 пациентов крупного канадского психиатрического стационара с января 2016 по май 2022 года (всего 42719 дня наблюдений, 1272 из них с проявлениями агрессии пациентов). Наиболее частой причиной госпитализации были психотические расстройства. 12398 пациентов и 29879 дней наблюдений использовали для обучения модели, 5305 пациентов и 12840 дней — для ее тестирования. Результаты опубликованы в журнале npj Mental Health Research.