Голограмма для HoloLens заменила переводчика на презентации

Компания Microsoft показала голограмму-переводчика, созданную для очков смешанной реальности HoloLens: предварительно созданную цифровую копию человека можно дополнить переведенной и синтезированной из текста записью его речи. На конференции Microsoft Inspire, которая прошла вчера в Лас-Вегасе, технологию продемонстрировала руководитель Azure Джулия Уайт, передает The Verge.

Несмотря на то, что технологии, которые позволили бы создавать реалистичные объемные голограммы людей (например, для видеозвонков или выступлений), сейчас активно развиваются, самыми доступными и качественными считаются голограммы, выстроенные при помощи технологий дополненной реальности: увидеть их можно через экран телефона или с помощью специальных очков. 

Один из методов для создания качественной голограммы для дальнейшего использования в технологиях дополненной реальности предлагает компания Microsoft. В прошлом году компания открыла несколько студий Mixed Reality для снятия цифровых копий людей с захватом движения, которые затем можно использовать, например, в их же очках HoloLens.

В новой демонстрации компания дополнила голограмму переводом. Цифровая голограмма участницы демонстрации Джулии Уайт зачитала текст выступления на японском языке: для этого исследователи использовали технологии text-to-speech, которые позволяют транслировать записанный текст в речь голосом носителя, причем даже на другом языке. Никаких подробностей о речевых технологиях, использованных компанией для презентации, пока что не предоставляется.

В целом, такую технологию можно использовать, к примеру, для проведения презентаций для международных аудиторий, которые говорят на несколько языках. При этом пока что создание такой копии требует предварительной записи цифровой проекции выступающего, а также предварительной записи, перевода и транслирования его речи. О том, будет ли в будущем такая технология работать, например, с синхронным переводом, пока что ничего не известно.

Кроме того, сейчас голограмме, которую показала Microsoft, не хватает синхронизации между речью и жестами говорящего. Здесь может пригодиться разработка, которую недавно представили американские исследователи: их нейросеть может транслировать речь в сопроводительные жесты.

Елизавета Ивтушок