Нейросеть перевела текст в жестовую речь

Бринанские разработчики создали нейросетевой алгоритм, который превращает текст в видео с человеком, произносящим тот же текст на жестовом языке. Во время обучения алгоритм проверяет качество своей работы после синтеза видео, что позволило добиться гораздо лучшего результата, чем у предыдущих подобных методов, в том числе по качеству отрисовки кистей рук. Статья об алгоритме опубликована на arXiv.org.

Люди с полной или частичной потерей слуха общаются между собой на жестовом языке. Но подавляющее большинство мероприятий или контента предназначено для слышащих людей. В электронном виде эта проблема решается при помощи субтитров, но при проведении мероприятий или, например, трансляции прямого эфира, приходится использовать сурдоперевод с обычного языка на жестовый. Исследователи не первый год пытаются автоматизировать этот процесс. Изначально они пытались сделать это с помощью анимированных 3D-аватаров, но этот подход давал низкие результаты. В последнее время исследователи переключились на нейросетевой синтез, но до недавнего времени им не удавалось качественно отрисовывать важные детали, в том числе кисти рук.

Разработчики из Университета Суррея под руководством Ричарда Боудена (Richard Bowden) создали алгоритм, который более качественно производит сурдоперевод, в том числе отдельно обучается для качественного синтеза кистей — они крайне важны в жестовых языках. Изначально алгоритм принимает речь в виде текста. Затем текст проходит через кодировщик и декодировщик и превращается в скелетную модель тела, иллюстрирующую жест говорящего. После этого полученная последовательность поз кодируется в вектор. Он объединяется с вектором, полученным от стилевого изображения — фотографии человека, которую необходимо анимировать. Наконец, после этого последовательность поз подается на сверточную нейросеть U-Net, которая производит перенос движений с поз на реалистичное видео.

Во время обучения дискриминатор работал как со всем сгенерированным человеком в целом, так и отдельно с его кистями. Результат работы нейросети размечался алгоритмом OpenPose, который размечает на человеке его скелетную модель тела. Сравнивая сгенерированную алгоритмом модель тела с той, которая была размечена людьми, алгоритм по ходу обучения совершенствовал свой навык синтеза качественных кадров, на которых хорошо различимы детали.

Авторы обучили алгоритм на датасете PHOENIX14T, состоящем из 386 аннотированных записей работы сурдопереводчиков на немецком телеканале. Они проверили работу алгоритма, использовав несколько метрик, в том числе индекс структурного сходства, показывающий схожесть двух изображений. Индекс рассчитывался для исходного изображения из датасета и синтетического, созданного нейросетью, причем как для всей верхней части тела, так и отдельно для кистей. Сравнение с другими алгоритмами на одинаковых данных показало, что по всем четырем используемым метрикам новый алгоритм превосходит аналоги.

Также разработчики провели тест на 46 добровольцах (28 процентов из них — носители жестового языка), попросив их оценить реалистичность видео, сгенерированного разными алгоритмами. В этом сравнении также в абсолютном большинстве случаев добровольцы выбирали новый алгоритм.

Есть и другой подход к автоматизации сурдоперевода. Бельгийские инженеры предложили использовать для этого роборуку, которая умеет показывать различные жесты.

Григорий Копиев