Нейросеть обучит людей американскому жестовому языку

Студия Hello Monday и Американское общество глухих детей разработали сайт, позволяющий самостоятельно учить американский жестовый язык и проверять свое произношение. Он использует камеру и алгоритмы машинного обучения, чтобы распознавать расположение кисти и пальцев и оценивать корректность жестов.

Жестовые языки в первую очередь предназначены для общения глухих между собой, но используются не только ими. К примеру, родители ребенка с полной или частичной, но сильной потерей слуха, вынуждены тоже учить жестовый язык, чтобы в свою очередь научить ему ребенка и общаться с ним. Для обучения жестовому языку можно воспользоваться помощью учителя, но это может быть не всегда удобно, а кроме того, требует финансовых затрат. Также в интернете есть много видео, посвященных обучению тому или иному жестовому языку, но они не дают ученику обратной связи и не позволяют оценить корректность выполнения жестов.

Разработчики из студии Hello Monday создали бесплатный сайт, позволяющий учить американский жестовый язык и получать обратную связь. Для работы сервису требуется доступ к веб-камере, но создатели утверждают, что алгоритмы работают полностью локально, поэтому кадры с нее не покидают компьютер пользователя.

После запуска сервис предлагает показать жесты, соответствующие буквам английского алфавита и отображает проценты, показывающие точность выполнения. Занятия поделены на уровни, во время которых пользователя просят показать разные буквы и составлять из них слова.

В основе сервиса лежит нейросеть, создающая по кадрам с веб-камеры модель руки пользователя. Это позволяет сравнивать жест, показанный пользователем, с тем, который попросил показать сервис.

Ранее мы рассказывали о других применениях нейросетей для упрощения жизни носителей жестового языка. Например, новосибирский программист создал алгоритм, который переводит речь на русском жестовом языке в письменную речь, а британцы сделали нейросеть для обратной задачи — превращения текста в видео с человеком, показывающим тот же текст жестами.

Григорий Копиев