Американский программист создал программу, позволяющую общаться с голосовым помощником Alexa с помощью жестового языка. Она распознает жесты с помощью камеры ноутбука и преобразует их в голосовые команды для помощника, а затем распознает ответы помощника и выводит их на экран в текстовом виде. На разработку обратил внимание блог prosthetic knowledge.
Многие технологические компании рассматривают голосовое управление в качестве одного из основных способов взаимодействия человека с умным домом и другими устройствами. Голосовые помощники установлены в практически всех современных смартфонах, но многие из них позволяют давать команды и с помощью клавиатуры. Однако в последние несколько лет стали довольно популярными умные колонки, в которых голосовой ввод — единственный способ общения с устройством. Это довольно удобно и позволяет, к примеру, включать музыку в комнате, не подходя к мультимедийному центру, но использовать такой интерфейс могут только люди без нарушений слуха и речи.
Разработчик из США Абхишек Сингх (Abhishek Singh) создал программное обеспечение, выступающее в качестве посредника между глухим человеком и голосовым помощником Alexa. Программа запускается на ноутбуке и использует встроенную камеру для распознавания жестов американского жестового языка. За распознавание отвечает алгоритм глубокого обучения, реализованный с помощью фреймворка TensorFlow.js, позволяющего обучать и запускать нейросетевые модели в браузере.
Пользователь дает команды на жестовом языке, а ноутбук в реальном времени распознает слова и произносит их с помощью системы синтеза речи, а также отображает на экране. В это же время колонка слышит и распознает слова компьютера и через небольшое время отвечает голосом, который также распознается и выводится на экран. Интерфейс приложения разделен на две части и оформлен как диалог пользователя и голосового ассистента:
Пока разработчик не раскрывает технические подробности реализации алгоритма, но планирует выложить исходный код приложения на GitHub.
В прошлом году Сингх представил необычный проект, позволяющий сыграть в Super Mario Bros. в дополненной реальности. Он разработал на Unity AR-версию первого уровня игры и адаптировал ее для очков дополненной реальности Microsoft Hololens. Поскольку пользователь не может запрыгнуть на виртуальный блок, геймплей игры претерпел изменения, но многие возможности повторяют оригинал. К примеру, можно ударять по блокам, собирать монетки и давить гумб.
Григорий Копиев
Термопокрывало охладит электромобиль днем и согреет ночью
Китайские инженеры создали терморегулирующий материал и термопокрывало на его основе, которое защищает электромобиль от жары и холода без дополнительных затрат энергии. Термопокрывало состоит из двух частей, одна из которых представляет собой ткань на основе диоксида кремния и нитрида бора, а вторая на основе фольги из алюминиевого сплава. Использование материала в качестве автомобильного чехла позволило в жаркую погоду сохранять температуру в салоне почти на 28 градусов ниже, чем в салоне автомобиля без чехла, а ночью поддерживать температуру батарейного блока электромобиля почти на 7 градусов выше температуры снаружи. Статья опубликована в журнале Device. Поддержание определенной температуры необходимо не только для комфортного самочувствия человека, но и для нормальной работы многих технических устройств. Например, в холодную погоду литий-ионные аккумуляторы теряют емкость, а летом в жару перегреваются, что может привести к сокращению их срока службы или даже возгоранию. Чтобы удерживать температуру в нужном диапазоне, требуется дополнительная энергия на нагрев или охлаждение, и на это может уходить довольно много энергии, особенно если речь идет о больших аккумуляторных батареях — как, например, в электромобилях. Однако существует способ регулировать температуру объекта пассивным образом, не затрачивая для этого дополнительную энергию. По такому пути пошли инженеры под руководством Кэ Хан Цуя (Kehang Cui) из Шанхайского университета транспорта. Они разработали материал, который за счет своих излучательных свойств позволяет регулировать радиационный нагрев и охлаждение, и изготовили из него термопокрывало, которое назвали «термальный плащ Януса». Название в честь двуликого бога из римской мифологии отражает двухстороннее строение материала. Внешняя его сторона играет роль солнцезащитного инфракрасного радиатора, а внутренняя — роль широкополосного инфракрасного отражателя. Внешняя часть материала изготовлена из тонких волокон на основе диоксида кремния, которые покрыты наночастицами нитрида бора с гексагональной кристаллической решеткой. Волокна материала переплетаются вместе и образуют ткань. С обратной стороны к ней прикрепляется внутренний слой, изготовленный из алюминиевого сплава. Внешняя и внутренняя стороны материала обладают различными оптическими свойствами: сторона с тканью имеет высокий коэффициент отражения солнечного света до 96 процентов, а также высокую излучательную способность до 97 процентов в инфракрасном диапазоне, совпадающем с атмосферным инфракрасным окном с длинами волн от 7 до 14 микрометров, в то время как фольга из алюминиевого сплава, расположенная с обратной стороны, обладает высокой отражательной способностью со значением около 93 процентов и не имеет потерь во всем инфракрасном диапазоне (5-16,7 мкм). Это позволяет плащу отражать большую часть падающего солнечного излучения и при этом остывать за счет излучения фотонов в инфракрасном диапазоне. В то же время с внутренней стороны происходит рециркуляция фотонов, излученных объектом — они отражаются от материала. Для оценки эффективности термального плаща исследователи провели испытания с использованием двух электрокаров, припаркованных на открытом воздухе в типичных погодных условиях в Шанхае. Один из автомобилей был укрыт термочехлом. В то время как температура салона незакрытого автомобиля достигала 51 градуса Цельсия в полдень, температура салона автомобиля, укрытого чехлом, была на 27,7 градуса ниже. И на 7,8 градуса ниже значения температуры на улице. Температура батарейного блока автомобиля без чехла соответствовала температуре окружающей среды, в то время как температура батареи электромобиля, укрытого материалом, была на 8 градусов ниже дневной температуры. В зимнюю ночь, когда уличная температура опускалась ниже нулевой отметки, термочехол помогал удерживать температуру батарейного блока на 6,8 градуса Цельсия выше, чем снаружи. Инженеры отмечают, что материал термопокрывала разработан таким, чтобы его можно было масштабировать в производстве. Для этого им пришлось пойти на некоторые компромиссы. Например, использование более тонких волокон кремния повысило бы солнечную отражательную способность, но они были бы менее прочными и не могли бы быть изготовлены с использованием промышленных технологий, уже существующих на рынке. Кроме того, используемые материалы, включая алюминий, кремний и нитрид бора, являются недорогими, что делает плащ легким, прочным и огнестойким. Он может использоваться не только для изготовления автомобильных чехлов, но и, например, в качестве материала для покрытия зданий и даже космических аппаратов. Ткани на основе материалов с разными излучательными свойствами могут использоваться и для создания одежды. Например, недавно мы рассказывали о бельгийских физиках, которые спроектировали ткань, одежда из которой может быть теплой или очень легкой в зависимости от того, какой стороной она надета. Это достигается за счет разницы между излучательными свойствами двух сторон ткани.