Очки дополненной реальности получили дисплей светового поля
Американский стартап Avegant создал прототип очков дополненной реальности, в конструкции которых вместо пары традиционных экранов используются дисплеи светового поля. Кратко о новом устройстве рассказывает The Verge.
Под дополненной реальностью обычно подразумевают отображение информации поверх объектов реального мира. Подобные технологии могут использоваться для обучения врачей, компьютерных игр, подготовки солдат, проведения работ на борту МКС и даже в детских раскрасках. Однако в очках дополненной реальности у пользователей может возникать проблема отсутствия низкой глубины резкости в той точке, куда направлен взгляд, что особенно актуально при прямом взаимодействии с виртуальными объектами. Например, если пользователь возьмет в руку виртуальный объект и посмотрит вдаль, то рука будет размытой, а объект в ней останется четким.
Для того, чтобы сделать изображение в AR-очках более правдоподобным, Avegant решили использовать в своем прототипе дисплей светового поля. Светопольный дисплей, фактически, является проектором, который выводит изображение не на прозрачный экран, а напрямую в глаза. Поскольку он формирует световое поле, а не «плоскую картинку», глаза могут фокусироваться на виртуальных предметах, находящихся на разном расстоянии так же, как это происходит в реальности.
Разработанное Avegant устройство напоминает по внешнему виду очки Hololens. На данном этапе это достаточно массивный прототип, который подключается к компьютеру с помощью кабелей, также в очках еще не реализовано отслеживание движений — то есть, несмотря на демонстрационный ролик, на самом деле устройство пока что не позволяет взять на руки какой-либо виртуальный объект. Журналисты The Verge особо отметили, что у прототипа Avegant существенно больше область, в которую выводится контент дополненной реальности. По словам пользователей, протестировавших оба устройства, у Hololens «AR-окошко» размером с колоду карт, в то время как у Avegant эта область по размерам ближе к формату бумаги A5.
Стоит отметить, что Microsoft в прошлом году начала продажи Hololens разработчикам, в то время как Avegant не называет никаких сроков коммерческой реализации технологии. В похожем положении находится и другой нишевый конкурент, Magic Leap. Компания опубликовала несколько демонстрационных роликов, однако о внешнем виде устройства неизвестно ничего, кроме схематичного изображения из патента.
Для записи светопольного изображения используются особые камеры светопольного поля (пленоптические камеры). В отличие от обычных камер, записывают данные не только о цвете и интенсивности света, но также векторная информация о направлении света. Таким образом, на этапе постобработки можно менять глубину резкости в кадре как на фотографиях, так и на видео. Производством таких камер на коммерческой основе занимается только компания Lytro.
Ранее также предлагалось с помощью светового поля решить проблему фокусировки в виртуальной реальности. Исследователи из Стэнфордского университета доработали VR-очки, установив туда дополнительный дисплей. Второй дисплей выводит изображение, скорректированное таким образом, чтобы при наложении изображения с двух ЖК-панелей на выходе получалось световое поле, где человеческий глаз может фокусироваться на конкретной точке изображения. Остальное изображение в это то время выглядит размытым, что естественно для человеческого зрения.
Кроме виртуальной и дополненной реальности дисплей светового поля может использоваться и в других устройствах. Исследователи из Human Media Lab Королевского университета в Кингстоне, например, создали прототип гнущегося смартфона с дисплеем светового поля, благодаря чему «голографический» смартфон может выводить трехмерное изображение, доступное для просмотра невооруженным глазом сразу нескольким пользователям.
На взлом одного смартфона ушло от 40 минут до 13 часов
Китайские ученые нашли в смартфонах шести крупных компаний (Samsung, Xiaomi, HUAWEI, Vivo, OnePlus, OPPO) уязвимости, которые позволяют взломать сканер отпечатков пальцев. Им удалось получить бесконечное количество попыток для разблокировки смартфонов, создать много искусственных отпечатков с помощью нейросетей и подобрать подходящий для разблокировки. Препринт доступен на arXiv.org. Аутентификация с помощью отпечатка пальца в смартфонах состоит из 4 этапов. Первый этап — это получение отпечатка. Когда палец касается сенсора, он делает несколько изображений отпечатка. Затем идет этап компенсации: чтобы улучшить качество изображений, с них удаляется шум. На следующем этапе алгоритмы проверяют текстуры, нажим и форму отпечатка. Их цель — отличить отпечаток настоящего человеческого пальца от, например, отпечатка пальца силиконовой руки. Хакеры могут использовать искусственные пальцы из разных материалов, чтобы взломать смартфон. На последнем этапе аутентификации полученный отпечаток сравнивается с правильным отпечатком из базы данных. В отличие от паролей, система не проверяет полное соответствие двух отпечатков. Вместо этого полученному отпечатку достаточно преодолеть заданный порог сходства с правильным. Если пробовать много разных отпечатков, один из них рано или поздно перейдет этот порог. Поэтому у сканеров отпечатков пальцев есть дополнительный метод усиления безопасности — это ограничение количества попыток. После нескольких безуспешных попыток зайти в смартфон система блокирует доступ. Китайские инженеры Чен Ю (Chen Yu) из компании Tensent и Хе Илинь (He Yiling) из Чжэцзянского университета придумали алгоритм BrutePrint, который может обмануть сканер отпечатков пальцев методом полного перебора. Они обнаружили две уязвимости Cancel-After-Match-Fail (CAMF) и Match-After-Lock (MAL), благодаря которым можно делать сколько угодно попыток аутентификации по отпечатку, а иногда и похитить отпечаток пальца пользователя, который хранится на смартфоне. Уязвимость CAMF основана на том, что за одну попытку аутентификации сканер обычно делает сразу несколько изображений отпечатков. Если убедить сканер, что множество разных изображений были сделаны за одну попытку, то можно пробовать бесконечно много отпечатков. Дело в том, что сканер может сделать три вывода по одному изображению: на нем правильный отпечаток, на нем неправильный отпечаток или в ходе сканирования случилась ошибка. Например, что-то произошло с оборудованием и вызвало сбой в программе. В случае такой ошибки попытка не заканчивается. Система BrutePrint нарушает контрольную сумму изображения отпечатка, которая как раз приводит к этой ошибке. Другая уязвимость MAL помогает обойти режим блокировки доступа после превышения числа неправильных попыток. В некоторых смартфонах во время выхода экрана из спящего режима режим блокировки доступа не работает. Этого хватает, чтобы внедриться в систему и запустить попытки доступа к сканеру отпечатков. Кроме того, в процессе сравнения отправленных отпечатков с правильными, которые хранятся в смартфоне, можно их похитить. Главный этап атаки — внедриться в систему сканирования и начать посылать ей изображения отпечатков, используя уязвимости CAMF и MAL. Для этого инженеры собрали систему, которая может перехватывать и менять сигнал между сканером отпечатков пальцев и процессором смартфона. В смартфоне сканер и процессор соединены интерфейсом, и атакующая система имитирует этот интерфейс: она тоже соединяется со сканером и процессором. В систему также входит карта памяти, на которой хранятся заранее подготовленные отпечатки пальцев для перебора. Авторы утверждают, что итоговая стоимость всех компонентов составила всего 15 долларов. Базу данных отпечатков для перебора можно собрать самостоятельно или найти в открытых источниках: научных исследованиях или утечках данных. Авторы сами сгенерировали данные для перебора. Важная часть атаки — это предобработка отпечатков, чтобы они выглядели реалистично и подходили для сенсора в конкретном смартфоне. Инженеры использовали нейросеть CycleGAN, которая умеет менять стиль изображения. Для эксперимента с каждым смартфоном авторы обучали нейросеть редактировать отпечатки, чтобы они были похожи на отпечатки с его сенсора. Инженеры провели десять экспериментов с разными смартфонами. Уязвимость CAMF сработала на всех моделях, но по-разному. Авторам удалось получить неограниченное количество попыток разблокировки на всех смартфонах с операционной системой Android и только 15 попыток на iOS. Кроме того, на айфонах ученым не удалось перехватить сигнал между процессором и сканером отпечатков пальцев. Дело в том, что iOS всегда шифрует этот сигнал, в отличие от Android. В итоге сканер не удалось взломать только на смартфонах компании Apple. На взлом остальных гаджетов ушло от 40 минут до 13 часов. Ученым также удалось похитить оригинальные отпечатки пальцев пользователей со всех смартфонов на платформе Android. Авторы предлагают несколько методов, которые помогут производителям смартфонов сделать сканеры отпечатков пальцев безопасней. Во-первых, избавиться от уязвимости CAMF: для этого нужно добавить проверку на количество ошибочных попыток, которые не дошли до этапа сравнения с правильным отпечатком. Чтобы устранить уязвимость MAL, нельзя отменять блокировку доступа. Наконец, нужно шифровать сигналы, которыми обмениваются сканер и процессор. Сканер отпечатков пальцев — не единственная система разблокировки, которую можно взломать. Вьетнамским инженерам удалось обмануть Face ID в iPhone X с помощью маски. Ее распечатали на 3D-принтере, налепили на нее нос и приклеили изображения губ и глаз. Сканер Face ID принял маску за настоящее лицо.