В Instagram появилась опция описания фотографий для слабовидящих людей. Теперь в смартфонах с включенной функцией чтения с экрана приложение сможет описывать фотографии: для этого используются алгоритмы компьютерного зрения. Также авторы фотографий смогут отключить эту функцию, добавляя описание вручную, сообщается на официальном сайте Instagram.
Для людей с ограничениями зрения в смартфонах предусмотрены специальные функции, облегчающие пользование. К примеру, в гаджетах Apple это система VoiceOver, которая реагирует на жесты пользователя, озвучивая то, к чему он прикасается на экране. Обычно такие системы работают и в приложениях, но при этом могут не справляться с описанием медиаконтента: фото или видео.
Теперь в Instagram появилась специальная функция, которая позволяет просматривать ленту пользователям с ограниченным зрением. Приложение будет использовать технологии компьютерного зрения (включая распознавание объектов от Facebook) для точного описания того, что изображено на снимке: функция будет доступна для тех, у кого на самом смартфоне подключено голосовое описание.
Кроме того, Instagram также подключил функцию, с помощью которой пользователи смогут самостоятельно добавить описания фотографий для слабовидящих пользователей. Обе функции доступны в последнем обновлении приложения.
Полезные приложения для слепых людей также выпускают и другие компании. К примеру, в этом году Microsoft представила приложение-навигатор, которое с помощью наушников дает слабовидящему человеку подсказки о направлении движения.
Елизавета Ивтушок
Она поможет написать письмо, план тренировки или сочинит историю
Яндекс обучил большую русскоязычную языковую модель YandexGPT и внедрил ее в своего виртуального помощника Алису. Сейчас нейросеть тестируют пользователи продуктов Яндекса, новость об этом вышла на сайте компании. Языковая модель — это нейросеть, которая умеет генерировать тексты, по очереди предсказывая каждое слово в предложении. Языковая модель YandexGPT основана на архитектуре Transformer, которую создали исследователи из Google в 2017 году. Когда в такую нейросеть загружают текст, она умеет выделять в нем важные слова и фокусировать на них внимание. Главный навык модели — хорошо понимать и запоминать тексты, и генерировать новые. Когда нейросеть осваивает этот навык, она одновременно естественным образом учится выполнять самые разные задачи, связанные с анализом текстов. Большие языковые модели основаны на архитектуре Transformer и обучены на огромном количестве данных, обычно из интернета. Они умеют создавать текст, почти не отличимый от человеческой речи. Первой успешной моделью такого типа стала нейросеть GPT от компании OpenAI. В 2022 вышла улучшенная версия модели ChatGPT. Ее не просто натренировали на большом количестве данных, но и дообучили с помощью обучения с подкреплением. Люди-эксперты работали с нейросетью в режиме диалога, показывая ей как правильно отвечать на вопросы. В надежде повторить успех ChatGPT, многие компании обучают свои языковые модели-аналоги (например, Bard от Google или Poe от Quora). Яндекс первым внедрил такую модель в виртуального помощника. 17 мая Яндекс выпустил большую языковую модель YandexGPT в открытый доступ. С ней можно пообщаться через Алису в приложении Яндекс, браузере, умной колонке или телевизоре. Чтобы активировать YandexGPT, нужно сказать: «Алиса, давай придумаем!» Языковая модель пока находится в режиме тестирования, но уже умеет выполнять разные задачи пользователей: выбрать подарок, составить план тренировки или написать деловое письмо. Модель умеет составлять грамотные содержательные тексты, но может ошибаться в фактах. Посмотрите, как пользователи общаются с YandexGPT: Нейросеть обучали на суперкомпьютерах Яндекса в два этапа. Сначала разработчики отобрали для обучения много книг, статей и страниц сайтов с помощью поисковых инструментов Яндекса — по утверждению компании, в выборку попадали только содержательные и хорошо написанные тексты. На втором этапе модель дообучили, чтобы она лучше вела диалог. Для этого Яндекс воспользовался методом, который придумали исследователи из OpenAI. Эксперты-разметчики составили сотни тысяч пар вопрос-ответ и показывали их YandexGPT на втором этапе обучения. Но у YandexGPT есть свои ограничения. Например, нейросеть пока не умеет запоминать контекст и учитывать предыдущие реплики. Однако YandexGPT постоянно дообучается на новых данных от пользователей и может развить этот навык в будущем. Cравнить качество ответов YandexGPT с другими языковыми моделями пока невозможно, Яндекс не раскрыл эти данные. Также неизвестна точная архитектура модели и параметры ее обучения. Тем временем другая языковая модель GPT-4 научилась работать не только с текстом, но и с картинками.