Компания Google выпустила приложение Lookout, позволяющее слепым узнавать об объектах рядом с ними. Оно в реальном времени распознает на изображении с камеры объекты и сообщает пользователю как о самом объекте, так и о направлении, в котором он находится. Кроме того, приложение умеет зачитывать текст, знаки, штрих-коды и другие визуальные объекты.
Современные смартфоны под управлением Android и iOS оснащены системными сервисами, позволяющими людям с ограниченными возможностями, в том числе слепым, взаимодействовать с устройством. К примеру, они умеют озвучивать интерфейс системы и программ. Кроме того, некоторые подобные системы в последние годы начали использовать алгоритмы компьютерного зрения для распознавания объектов на изображениях. К примеру, VoiceOver в iOS умеет пересказывать фотографии, зачитывая объекты на них и их свойства. Однако эти сервисы пригодны лишь для статичного контента и не позволяют использовать их для реального мира через камеру смартфона.
Разработчики из Google анонсировали приложение Lookout на конферении I/O 2018, однако выпустили его лишь в марте 2019 года. Приложение работает в трех режимах: изучение, шопинг и чтение. В основном режиме (изучение) приложение использует данные с камеры для распознавания объектов перед устройством в реальном времени. При этом приложение озвучивает найденные объекты и текст, а также сообщает их направление в виде часовой позиции, например, «компьютер на два часа». В режиме шопинга приложение работает аналогично, но настроено на распознавание штрих-кодов и ценников. В режиме зачитывания текста приложение распознает не объекты, а текст на них, и сразу же зачитывает его. Также приложение позволяет распознавать объекты не постоянно, а сделать один снимок и получить его подробное описание. Кроме того, пользователь может настроить, насколько детально алгоритмы будут описывать объекты в кадре.
Приложение совместимо с системной службой TalkBack, позволяющей взаимодействовать с интерфейсом с помощью жестов на экране. Кроме того, приложение можно использовать не только держа смартфон в руке, но и повесив его в чехле на шею. В таком случае пользователь может приостановить работу алгоритма распознавания, закрыв камеру рукой на пару секунд, а также запустить его заново, стукнув два раза по задней поверхности смартфона. Кроме того, управлять режимами работы можно с помощью жестов на сканере отпечатков пальцев, который обычно располагается на задней поверхности смартфона.
Приложение опубликовано в Google Play и доступно владельцам смартфонов Google Pixel с операционной системой Android 8.0 и выше, проживающих в США. Однако фактически оно работает и с другими смартфонами, имеющими версию Android 5.0 или выше, и доступно вне Google Play.
Недавно Huawei представила приложение Facing Emotions, способное распознавать эмоции людей перед камерой смартфона и сообщать о них пользователю удобным способом. Оно может зачитывать распознанную эмоцию, а также отображать на экране соответствующее ей изображение, выполненное в контрастных цветах.
Григорий Копиев