Дисней научился автоматически переозвучивать фильмы
Ученые из Англии и США в сотрудничестве c компанией Disney создали алгоритм для автоматического переозвучивания видео. Он анализирует изменения в мимике говорящего и подбирает текст, при произнесении которого будет использованы те же движения. Работа будет опубликована на конференции ICASSP 2015, сейчас о ней можно прочитать на сайте Disney Research.
В основу нового метода положен анализ «динамических визем» (dynamic visemes): характерных движений лица во время речи. Программа покадрово записывает изменения в мимике человека, после чего параметризует их по формальным признакам: координатам разных точек губ, зубов, подбородка и так далее. Всего таких признаков оказалось около 50000, их сгруппировали в 150 классов.
Проанализировав базу видеозаписей, на которых люди зачитывают известный текст, ученые для каждого класса динамических визем составили таблицу соответствия. В ней указана степень схожести данного класса визем с той или иной фонемой, таким образом изображение сопоставляют со звуком и наоборот.
Например, ученые показали, что одна и та же последовательность лицевых движений одинаково хорошо соответствует следующим фразам: «clean swatches», «likes swats», «then swine», «need no pots», «tikes rush» и еще тысячам других.
Новизна такого подхода заключается в использовании динамических визем, а не статических, как это делалось раньше. Статические виземы ориентируются на застывшую мимику, а не на движения. Из-за этого для одной и той же последовательности выражений лица можно подобрать гораздо меньше фонем, чем в случае динамических визем.
Для наглядной демонстрации преимуществ нового подхода авторы использовали несколько алгоритмов для автоматического переозвучивания видео. В двух случаях они пользовались хорошо известными статическими методами, в последнем случае — новым методом с использованием динамических визем. Оказалось, что для коротких фраз новый подход выдает примерно в тысячу раз больше фонем, чем статический. Только для фраз длиной 15 слов и более статический метод «догоняет» динамический.
Проблема переозвучивания видео возникает каждый раз, когда в прокат выходит новый фильм: чтобы показать его в других странах, обязательно нужна переозвучка, однако даже небольшие несоответствия между движениями губ и слышимой речью могут вызывать дискомфорт при просмотре. По этой причине переводчикам-сценаристам приходится идти на множество ухищрений при написании нового текста. Новый метод позволяет даже для коротких фрагментов автоматически генерировать выборку из тысяч соответствующих фраз, что облегчит проблему написания текста, который бы хорошо соответствовал мимике актера.
При этом не потребуется демонтаж и разборка
Инженеры GE Aerospace Research разработали мягкого робота Sensiworm для обследования технического состояния авиационных двигателей. Робот способен ползать подобно гусенице по вертикальным поверхностям и даже потолку, передавая оператору видеоизображение в реальном времени. С помощью Sensiworm технические специалисты смогут оценивать текущее состояние авиамоторов без необходимости их демонтажа с самолета, сообщает New Atlas. При поддержке Angie — первого российского веб-сервера Современные турбовентиляторные двигатели требуют регулярного обслуживания. Они состоят из огромного количества деталей, тщательно изучить состояние которых без снятия двигателя с самолета даже с помощью эндоскпов (бороскопов) порой невозможно. При этом демонтаж мотора и его последующая разборка занимают много времени, в течение которого самолет простаивает на земле. Поэтому инженеры давно работают над альтернативными способами обследования авиадвигателей изнутри без их демонтажа. Одна из таких разработок принадлежит инженерам исследовательского отдела компании General Electric GE Aerospace Research, которые совместно с сотрудниками Университета Бингемтона разработали мягкого робота Sensiworm (Soft ElectroNics Skin-Innervated Robotic Worm) для обследования технического состояния авиационных двигателей изнутри. Вытянутый корпус Sensiworm состоит из мягкого полимерного материала, который способен растягиваться и сокращаться с помощью источника давления. Способ передвижения Sensiworm напоминает движения гусеницы пяденицы. Робот может передвигаться не только по горизонтальным и вертикальным поверхностям, но также и по потолку. Для этого он использует две присоски, расположенные в передней и задней части корпуса. Таким образом Sensiworm может добраться до труднодоступных мест внутри двигателя, включая лопатки компрессоров и турбин. https://www.youtube.com/watch?v=_Mks06p0KVo Внутри автономной версии Sensiworm, помимо собственных источников питания, давления и бортового компьютера, находится камера с источником света, а также другие сенсоры, необходимые сервисным специалистам. Робот может автоматически обнаруживать и обходить препятствия (технических деталей того, как это происходит, разработчики пока не сообщают). По словам создателей Sensiworm, робот должен выполнять роль дополнительных глаз и ушей, исследуя внутренности авиадвигателей на предмет неисправностей, коррозии и повреждения теплоизоляционного покрытия. Разработчики считают, что в будущем он сможет не только передавать изображение интересующих участков в реальном времени, выполняя роль продвинутого варианта бороскопа, но и сможет производить мелкий ремонт. Внутренней инспекции требуют не только такие сложные устройства как авиадвигатели, но даже трубопроводы. Китайские инженеры разработали миниатюрного робота для инспекции внутреннего состояния трубопроводов диаметром меньше сантиметра. Робот состоит из цилиндрических модулей, приводимых в движение актуаторами на основе диэлектрических эластомеров.