Кистевой экзоскелет передал ученику движения опытного пианиста
Инженеры из компании Sony создали прототип системы, позволяющей преподавателям и опытным музыкантам напрямую передавать движения пальцев во время игры на фортепиано ученику. Ролик с описанием системы опубликован на YouTube-канале Sony.
При обучении игре на большинстве музыкальных инструментов ученики могут воспроизвести технику исполнения их учителя опираясь лишь на свое зрение, слух и общее понимание принципов игры на инструменте. Кроме того, обычно при исполнении сам музыкант обычно не может в полной мере контролировать каждый аспект движений пальцев и благодаря этому анализировать свои ошибки или корректировать стиль.
Японские инженеры из компании Sony под руководством Синити Фуруя (Shinichi Furuya) создали систему, позволяющую напрямую переносить движения между учеником и учителем. Эта группа исследователей занимается изучением аспектов игры на фортепиано с помощью технических средств на протяжении некоторого времени. Например, недавно с помощью перчатки-экзоскелета они выяснили, что длительная практика игры на фортепиано усиливает слаженность работы соматосенсорной и моторной систем.
Теперь они создали связанную систему, состоящую из модифицированного фортепиано, перчатки для записи игры и перчатки-экзоскелета для воспроизведения записанных партий. В фортепиано под рядом клавиш инженеры установили оптические датчики, способные измерять силу и скорость нажатия. В качестве кистевого экзоскелета инженеры взяли готовое устройство от компании exiii, способное сгибать каждый палец на нужный угол. Пианист-учитель при этом надевает более легкую перчатку, которая только измеряет углы сгиба пальцев.
Все эти данные собираются в компьютер, который занимается обработкой данных и передает сигнал от перчатки учителя к экзоскелетной перчатке ученика. Инженеры показали, что система может работать в реальном времени, перенося движения пальцев между двумя людьми, а также воспроизводить записанные последовательности, к примеру, чтобы анализировать собственные движения после игры. Также система умеет в реальном времени визуализировать исполнение на мониторе рядом с фортепиано.
В прошлом году разработчики из Google тоже упростили игру на фортепиано техническими средствами, но совершенно другим образом. Они создали восьмикнопочный контроллер, модифицировали фортепиано, научив его самостоятельно нажимать на клавиши по команде, а также разработали нейросеть, которая подбирает для каждого нажатия одной из восьми кнопок контроллера наилучшую комбинацию клавиш фортепиано.
Григорий Копиев
Несколько игроков в этих очках видят одни и те же виртуальные объекты
Компания Niantic представила прототип беспроводных очков дополненной реальности, позволяющих нескольким людям видеть одни и те же виртуальные объекты, привязанные к реальным объектам или местам. Шлемы и очки дополненной реальности позволяют человеку видеть реальный мир, но внедряют в него отдельные виртуальные объекты. Изначально AR-устройства в основном разрабатывались для обычных пользователей, но они получались дорогими, как правило, большими и очень ограниченными в своих возможностях. Из-за этого многие компании, разрабатывающие носимые AR-гаджеты, либо свернули эти проекты, либо переориентировали их на применение в качестве рабочего инструмента для крупных компаний и военных. По второму пути пошли такие компании, как Microsoft и Magic Leap. Помимо фокуса компаний на промышленном применении, развитию потребительских AR-очков мешает и то, что обычно такие гаджеты получаются большими, либо они требуют подключать по проводу смартфон или отдельный вычислительный модуль. Niantic, известная прежде всего как компания-разработчик Pokemon Go, представила прототип AR-очков, который отличается от большинства подобных устройств компактностью и наличием многопользовательского режима. Очки оснащены складным ремешком, в части которого, судя по всему размещается электроника. В них есть три камеры для разметки сцены перед ними: очки распознают поверхности и учитывают их при наложении виртуальных объектов. Для управления интерфейсом используется один контроллер. Одно из главных новшеств заключается в многопользовательском режиме работы. Он основан на визуальной системе позиционирования, которая позволяет связывать виртуальный объект с реальным местоположением так, чтобы сразу несколько людей в AR-очках видели его в одном месте. Это позволяет реализовать многопользовательские AR-игры, примеры которых компания показала в ролике. https://www.youtube.com/watch?v=sDNjVxX0LrE Очки выполнены на базе нового процессора Qualcomm Snapdragon AR2, рассчитанного на создание AR-устройств с общим потреблением менее ватта. При этом процессор обеспечивает задержку сигнала в пределах двух миллисекунд, поэтому на самих очках производится лишь часть вычислений, а остальные выполняет находящийся рядом смартфон или ноутбук. Niantic отмечает, что это не серийное устройство, а демонстратор технологий. Тем не менее, Qualcomm рассчитывает, что подобные серийные гаджеты на базе AR2 начнут выпускаться в 2023 году. Инновации в области AR-устройств касаются не только гаджетов, но и людей. Недавно мы рассказывали о системе, позволяющей с помощью электростимуляции мышц поворачивать голову пользователя AR- или VR-шлема, чтобы он обратил внимание на важную информацию.