Вибрация в руках позволяет менять восприятие веса предметов в виртуальной реальности, выяснили японские и французские инженеры. Известно, что если замедлять движение виртуальных объектов, они кажутся людям тяжелее, но это работает лишь в небольшой степени, потому что помимо визуальной информации мозг использует и соматосенсорную. Оказалось, что вибрация в руках заглушает соматосенсорное восприятие и позволяет увеличить влияние визуального канала, а значит и усилить иллюзию. Препринт опубликован на arXiv.org.
Устройства виртуальной реальности постепенно становятся не новой технологией, а распространенным и привычным гаджетом. Так, некоторые отдельные модели продаются многомиллионными тиражами. Но до сих пор они задействуют лишь часть наших органов чувств: зрением и слухом. Инженеры давно работают над тем, чтобы охватить и остальные каналы восприятия, и создали для этого множество прототипов. Самые активные и интересные исследования проводятся в области тактильного восприятия и имитации физического контакта с предметами — пока что наиболее сложного с технической точки зрения. Здесь предлагаются самые разные принципы создания иллюзий, начиная от непосредственного физического воздействия на тело, заканчивая способами, которые обманывают восприятие от контакта с предметами, вообще не воздействуя на соответствующие органы чувств.
Один из таких методов заключается в изменении скорости движения виртуальных предметов. Исследования показывают, что если двигать предмет быстрее, чем двигается рука, человек воспринимает его как очень легкий, а если наоборот замедлять его по сравнению с движением руки, он будет казаться тяжелее. Но этот эффект работает довольно слабо, позволяя менять воспринимаемую массу лишь на несколько процентов. Это ограничение возникает из-за расхождения визуальной и соматосенсорной информации (соматосенсорная система человека отвечает в том числе за осязание и ощущение положения частей тела).
Группа инженеров во главе с Ютаро Хирао (Yutaro Hirao) из Токийского университета предположила, что это ограничение можно обойти, «забивая» соматосенсорные сигналы шумом. Для этого они предложили использовать вибрацию в руках.
Инженеры создали ремешки с двумя вибромоторами. Во время экспериментов они закрепляли на руке добровольцев по два ремешка: на запястье и в нижней части плеча. Устройства вибрировали с частотой 80 герц.
Эксперименты проводили на 20 добровольцах. Для начала авторы включали вибрацию на шесть секунд и спрашивали, возникла ли у испытуемых иллюзия движения руки. Если нет — они меняли положение ремешка и калибровали систему до момента, когда у человека возникала иллюзия движения. Во время самих экспериментов добровольцы проходили задания, в которых варьировалась разница между реальным движением руки, движением виртуального предмета и вибрацией.
Эксперименты показали, что вибрация на внутренней поверхности руки позволяет увеличить расхождение между визуальным и соматосенсорным восприятием от движения виртуального объекта, а следовательно усилить иллюзию изменяемого веса так, чтобы человек не замечал этого.
Инженеры не первый раз используют обман органов чувств для усиления погружения в виртуальную реальности. Ранее мы рассказывали о том, как для этого использовали саккады — резкие непроизвольные движения глаз, не замечаемые нами из-за саккадического подавления. Поворачивая виртуальный мир в эти «слепые» моменты, они немного перенаправляли человека в нужную сторону незаметно для него.
Григорий Копиев
Модель GameNGen симулирует игровой процесс в реальном времени с качеством, почти неотличимым от оригинала
Исследователи из Google Research, Google DeepMind и Тель-Авивского университета представили GameNGen — первый игровой движок, полностью управляемый нейросетью, который обеспечивает взаимодействие игрока с виртуальной средой в реальном времени с высоким качеством генерируемой графики. GameNGen может симулировать классическую игру DOOM со скоростью более 20 кадров в секунду, используя для этого вычислительные мощности одного TPU. Качество изображения сопоставимо с алгоритмом сжатия JPEG, а людям на первый взгляд очень сложно отличить реальную игру от симуляции. GameNGen обучается в два этапа: сначала агент с помощью обучения с подкреплением учится играть в игру, а затем диффузионная модель обучается генерировать следующий кадр на основе последовательности предыдущих кадров и действий игрока. Статья с описанием движка опубликована на странице проекта в GitHub.