Программист из Новосибирска научил компьютер переводить жестовую азбуку

Алексей Приходько из Новосибирского государственного технического университета создал систему, которая автоматически переводит жестовую азбуку на письменный русский язык. Разработанный им алгоритм обходится без датчиков и маркеров на руке и работает исключительно при помощи компьютерного зрения. В дальнейшем разработчик собирается расширить возможности своей системы и включить в нее перевод жестов, обозначающих отдельные слова и целые предложения, сообщается в пресс-релизе университета.

Несмотря на то, что слабослышащих людей, которые используют жестовые языки, достаточно много (для русского жестового число носителей составляет около 121 тысячи человек), их общение со слышащими людьми очень осложнено. Разработчики и исследователи пытаются упростить коммуникацию, создавая специальные приложения или же технологии, которые могли бы переводить жестовую речь в письменную. 

Система, разработанная Алексеем Приходько, достаточно проста: она распознает жесты говорящего с помощью компьютерного зрения, не используя при этом специальных перчаток с датчиками или другими маркерами. Камера распознает руку в кадре и отслеживает изображенный жест, после чего переносит его на виртуальную модель руки и выводит соответствующий символ. Например, если система видит сжатую в кулак руку, то выводит букву «а», а если подогнутый большим пальцем указательный (так, чтобы получилась окружность) — букву «о». Помимо основной своей функции — перевода — система также позволяет управлять компьютером с помощью жестов: двигать мышью или настраивать громкость.

Прототип разработанной системы распознавания русского жестового языка пока что работает только для дактильной азбуки, то есть может распознавать жесты, используемые для отображения отдельных букв. В будущем Приходько собирается расширить возможности распознавания своей системы и переводить слова и предложение: для этого, однако, необходимо будет обучить ее и особенностям грамматики русского жестового. 

Другая сложность общения на жестовых языках — ограниченность словаря: для новых, не очень часто употребляемых терминов приходится использовать дактильную азбуку, что заметно замедляет речь. Энтузиасты, однако, пытаются словарь расширить: ранее мы писали о том, как исследователи создавали словари астрономических и биологических терминов для разных жестовых языков.

Елизавета Ивтушок