Компьютерное зрение на смартфоне позволило слепым заниматься бегом

Разработчики из компании Google создали приложение для смартфона, позволяющее слепым заниматься бегом без поводыря. Оно распознает полосу на дороге и старается держать человека на ней, давая звуковые подсказки, рассказывают разработчики в блоге компании.

Смартфоны на Android и iOS адаптированы для использования людьми с частичной или полной потерей зрения. В них есть функции озвучивания элементов интерфейса, текста и даже изображений (система рассказывает, что изображено на фотографиях), а также голосовой ввод. Кроме того, поскольку современные смартфоны по мощности сопоставимы с компьютерами, в последние два-три года разработчики все чаще начинают использовать алгоритмы компьютерного зрения, что позволяет смартфонам рассказывать слепому человеку о том, какие объекты находятся перед камерой или какие эмоции испытывает собеседник.

Разработчики из Google создали новое приложение, которое так же использует компьютерное зрение, но для динамической задачи — бега по дороге. Для его работы необходим смартфон с достаточно мощным процессором, потому что оно использует алгоритмы машинного обучения, работающие на самом устройстве без необходимости в интернете. Кроме того, приложение работает только с размеченными дорогами, на которых есть яркая линия посередине.

Для начала бега нужно закрепить смартфон на поясе так, чтобы камера смотрела на дорогу перед человеком, и подключить к нему наушники. После этого приложение начинает работать примерно так же, как система удержания в полосе в автомобилях: оно подсказывает звуковым сигналом, что человек смещается от центра вбок. Сигнал при этом звучит не в обоих ушах, а с той стороны, в которую человек смещается. Кроме того, его интенсивность зависит от того, насколько сильно сместился человек.

Изначально разработчики разметили полосу на закрытой беговой трассе и собрали с нее множество записей бега, чтобы обучить алгоритм распознавать смещения. После этого они сначала тестировали работу приложения на закрытой трассе, а потом перешли к тестам в лесу. Разработчики отмечают, что на закрытой круговой трассе их доброволец с полной потерей зрения смог самостоятельно пробежать восемь кругов. Компания планирует развивать проект и договориться с другими организациями и властями, чтобы создать полосы для бега в других местах.

В начале года нидерландская компания Envision вместе с Google представила модифицированные очки Google Glass с приложением для помощи слепым. Очки могут зачитывать текст, узнавать людей перед пользователем и описывать окружающую обстановку.

Григорий Копиев