Нейросеть улучшит стриминг видео
Специалисты из Лаборатории компьютерных наук и искусственного интеллекта MIT разработали Pensieve — технологию адаптации вещания, которая позволяет уменьшить время буферизации видео и зависимость от него комфорта пользователя. Нейросеть способна улучшить качество восприятия видео во время прогрузки на 25 процентов, что значительно опережает другие подобные алгоритмы. Описание работы нейросети, исходный код, а также статья доступны на сайте лаборатории. Сама технология будет представлена на конференции SIGCOMM в Лос-Анджелесе 21-25 августа.
Скорость интернета, особенно мобильного, очень часто не позволяет грузить видео до конца и смотреть их без буферизации. Разработчики сайтов с медиаконтентом, такие как YouTube, используют технологии адаптивного битрейт-стриминга (англ. adaptive bitrate streaming, коротко ABR streaming), которые позволяют автоматически настраивать битрейт (количество бит на одну секунду мультимедийного контента) видео и, соответственно, его разрешение, сокращая время загрузки видео при низкой скорости соединения. Однако, правила, используемые алгоритмами адаптации битрейта, просты и фиксированы (чаще всего они основываются только на скорости соединения), что приводит к некорректной работе алгоритма и, как следствие, к уменьшению качества восприятия (параметр, определяющий удовлетворение потребителя).
Авторы новой работы представили алгоритм адаптации битрейта вещания Pensieve. Он основан на работе нейросети, которая работает по принципу обучения с подкреплением: принимая на вход данные о битрейте, скорости соединения и буферизации видео, Pensieve адаптирует стриминг и получает на выход видео лучшего качества, что служит «подкреплением» для его работы в дальнейшем.
Качество видео, полученного в результате работы нейросети, на 25 процентов превосходит качество, полученное в ходе работы других подобных алгоритмов, а доля буферизации видео во время стриминга снизилось на 30 процентов.
Исследователи отмечают, что их технология может во многом улучшить качество не только стриминга видео, но и другие области использования мультимедийных данных, например, систему дополненной реальности.
Нейросети часто используют для разработки алгоритмов улучшения качества медиа. В нашей заметке вы можете узнать о том, как разработчики Disney Research используют машинное обучение для того, чтобы убирать шум из мультфильмов.
Елизавета Ивтушок
Также алгоритм может быть полезен при стихийных бедствиях
Ученые разработали датчик, способный распознавать диарею по звукам дефекации, и представили его на 183-м заседании Акустического общества Америки. Предполагается, что устройство поможет предсказывать вспышки инфекционных заболеваний. Диарея может иметь вполне безобидное происхождение: например, быть побочным эффектом лекарства или реакцией организма на что-то несвежее. Однако нередко диарея сопровождает инфекционные заболевания, многие из которых до сих пор представляют серьезную опасность — например, холеру, уносящую около 150000 жизней в год. С этой точки зрения мониторинг звуков диареи может быть полезен для того, чтобы предсказать вспышку инфекции и остановить ее стремительное распространение. Группа ученых из Технологического института Джорджии под руководством инженера-исследователя Майи Гатлин (Maia Gatlin) разработала прототип устройства для мониторинга диареи. Датчик использует микрофон и алгоритм машинного обучения, работающий на встроенном микропроцессоре и умеющий анализировать звуки, которые издают посетители туалетов. Авторы изделия рассказывают о работе алгоритма в общих чертах, не сообщая об архитектуре нейросети, размере и составе датасета для обучения. Известно, что первоначально исследователи обучили алгоритм на звуках, которые удалось собрать из онлайн-источников. Каждый из этих образцов устройство преобразовывало в спектрограмму. Сперва алгоритм научили распознавать, какие характерные особенности спектрограммы сопровождают те или иные виды выделений. Для обучения использовались различные звуки естественных отправлений человека: как нормальные, вроде мочеиспускания, метеоризма и обычной, здоровой дефекации, так и патологические. Так, для диареи характерны определенные движения кишечника, рыхлые и водянистые, и сопровождаются они определенными звуками. Затем алгоритму дали послушать другие образцы звуков, и он смог распознать тип события с точностью до 98,1 процента. Авторы датчика предполагают, что устройство может быть полезно в различных сферах: например, для отслеживания состояния кишечника у пациентов в хосписах или тех, кто страдает от болезни Крона. Также детектор будет полезен в зонах стихийных бедствий — там, где загрязнение воды приводит к распространению болезнетворных микроорганизмов. Кроме того, не исключено, что в будущем эту технологию можно будет применять в экосистеме умного дома. Исследования того, что происходит в туалете и после него, помогают предсказать вспышки многих инфекционных заболеваний, не только холеры. Подробно о том, какую информацию можно получить, исследуя стоки, N+1 рассказывал в материале «Смытые данные».