Немецкий инженер создал мод для компьютерной Skyrim VR, который увеличивает эффективность персонажа, когда игрок фокусирует внимание. Для этого он использовал помимо VR-шлема небольшую ЭЭГ-гарнитуру, с помощью оторой можно измерить уровень концентрации человека. Инженер рассказал подробности о разработке в ролике на YouTube.
Традиционно в виртуальной реальности у пользователя есть шлем, отвечающий за визуальную составляющую погружения (часто и за звуковую), и контроллеры с кнопками и акселерометрами. Но инженеры ищут новые способы повышения реалистичности VR-игр и приложений. Например, много исследований посвящено воссозданию ощущений от контакта с предметами. Также есть разработки, использующие пассивные сигналы тела, а не требующие нажимать что-то, взмахивать руками и тому подобное. Среди них можно выделить электромиографический браслет от CTRL-Labs (принадлежит Meta), который замечает даже небольшое напряжение руки и конвертирует его в сигнал для управления.
Мариус Клуг (Marius Klug) — инженер-нейробиолог из Берлинского технического университета и блогер — создал на основе небольшой ЭЭГ-гарнитуры мод для Skyrim VR, позволяющий управлять одним из параметров персонажа с помощью концентрации. Он использовал шлем Valve Index и надеваемую на голову ЭЭГ-гарнитуру Muse 2. В ней есть несколько электродов, измеряющих электрическую активность мозга. Кроме того, он воспользовался открытой библиотекой Brainflow, помогающей получать и обрабаывать ЭЭГ-сигналы.
Мод, который создал Клуг, заменяет оригинальную систему магии в Skyrim и добавляет в игру силу заклинаний, которая напрямую зависит от концентрации и фокусирования игрока. Разработчик показал в ролике, как во время разговора, движений рук и глаз, и других действий этот параметр падает, а когда игрок пытается сосредоточиться и сконцентрироваться — он наоборот растет. Алгоритм измеряет текущий уровень концентрации, сопоставляет его с усредненными значениями из истории и создает оценку. Кроме ЭЭГ, он также использует данные с акселерометра, повышая величину концентрации при отсутствии сильных движений.
Автор мода отмечает, что пока это ранняя версия, и она работает не очень качественно, но он продолжит ее разработку.
Весной другой разработчик дополнил VR-игру языковой моделью GPT-3 и научил игровых персонажей разговаривать с игроком голосом, отвечая на произвольные, а не заранее записанные, вопросы.
Григорий Копиев