В смартфон встроили анаморфный объектив и вытянутую матрицу
Компания Glass Imaging разработала модуль камеры для смартфонов с анаморфной и перископической оптической системой. Это позволяет значительно увеличить размер матрицы при той же толщине гаджета, что в свою очередь позволяет повысить светочувствительность и разрешение камеры.
Разница между качеством фотографий смартфонов и больших профессиональных камер значительно сократилась еще несколько лет назад: например, они стали намного лучше снимать при плохом освещении и научились делать реалистичное размытие фона. Но эти успехи в основном были достигнуты с помощью алгоритмов, подробнее об этом можно прочитать в нашем большом материале «Зрячая математика». Размеры матриц и объективов тоже выросли, из-за чего почти у всех флагманских смартфонов теперь блок камер выпирает относительно корпуса, но они все еще не сопоставимо меньше матриц и объективов зеркальных и беззеркальных камер. Это связано с тем, что при увеличении размера матрицы необходимо увеличивать и фокусное расстояние объектива, из-за чего он становится толще. Поскольку смартфоны по ряду причин ограничены по толщине примерно сантиметром, фактически они ограничены и по размеру матриц и оптических систем своих камер.
Решение проблемы фокусного расстояния в смартфонах в 2018 году предложила китайская Oppo. Тогда она разработала перископический модуль камеры, в которой оптическая система расположена под углом 90 градусов к поверхности гаджета, благодаря чему ограничение по толщине фактически пропадает. С тех пор эту конструкцию стали использовать в серийных смартфонах многие производители. Это позволяет реализовать в тонком устройстве многократный оптический зум, но не решает проблему матрицы: даже в небольшом по меркам профессиональных камер стандарте 4/3 высота матрицы составляет 13,5 миллиметра, что намного больше толщины практически всех современных смартфонов (не говоря о том, что корпус и другие компоненты не позволяют использовать всю толщину).
Glass Imaging предложила дополнить перископическую конструкцию анаморфным объективом и вытянутой матрицей. В классических анаморфных объективах часть линз оптической системы имеют цилиндрическую конструкцию, что позволяет изменять пропорции кадра и «уместить» широкое поле зрение на кинопленку или фотоматрицу с обычным соотношением сторон 3:2. Затем сжатое по горизонтали искаженное изображение с помощью программы или проектора растягивают обратно, чтобы получить привычные глазу пропорции при показе фильма.
В прототипе модуля камеры, представленном компанией, используется комбинация из прямоугольных и цилиндрических линз, но они сжимают захватываемое изображение не по горизонтали, а по вертикали. Это позволяет использовать вытянутую фотоматрицу, вытянутый кадр с которой растягивается по вертикали до нормальных пропорций с помощью алгоритмов. Размер матрицы составляет 24 на 8 миллиметров, а площадь — 192 квадратных миллиметра. Для сравнения, площадь самой большой матрицы в iPhone 13 Pro и Samsung Galaxy S22 Ultra составляет 44 и 69 квадратных миллиметра соответственно.
Компания отмечает, что новая конструкция позволит использовать в смартфонах привычного размера камеры с гораздо большими светочувствительностью и разрешением (при таком же размере пикселя), а также получать более реалистичное размытие фона без использования алгоритмов вычислительной фотографии. Стоит отметить, что подход Glass Imaging подразумевает фундаментальный недостаток: при растягивании изображения используется нейросеть, повышающая разрешение, поэтому в некоторых условиях она может давать визуальные артефакты. В то же время, подобные алгоритмы существуют не первый год и разрабатываются ведущими IT-компаниями и исследовательскими группами, поэтому их качество постоянно растет и находится на высоком уровне.
Glass Imaging планирует продавать анаморфные модули камер производителям смартфонов, однако пока неизвестно, когда эта конструкция появится в серийных устройствах.
Ранее мы рассказывали о других необычных конструкциях, призванных повысить качество съемки на смартфоны. Например, Xiaomi разработала объективы с телескопической конструкцией и жидкостной линзой. А Apple осенью 2021 года первой встроила в серийный смартфон матричную стабилизацию, при которой матрица поворачивается для компенсации движения гаджета.
Григорий Копиев
Он нажимает на кнопки сенсорных терминалов самообслуживания вместо пользователя
Инженеры разработали прототип устройства, которое помогает слабовидящим пользователям взаимодействовать с сенсорными экранами терминалов и торговых автоматов. Небольшой вращающийся вокруг своей оси робот под названием Toucha11y с камерой и выдвижным стилусом прикрепляется к экрану и распознает интерфейс, после чего передает информацию на смартфон пользователя. В результате пользователь, используя встроенные функции помощи смартфона выбирает нужные команды, а робот нажимает за него на соответствующие элементы интерфейса. Доклад представлен на конференции Conference on Human Factors in Computing Systems 2023. Многие торговые автоматы, терминалы самообслуживания и банкоматы сегодня оснащены сенсорными экранами. При этом они крайне редко оснащены голосовым управлением, что становится серьезным препятствием для слепых и слабовидящих — зачастую они не в состоянии воспользоваться устройствами без посторонней помощи. Инженеры из Мэрилендского университета во главе с Хуай Шу Пэном (Huaishu Peng) предложили способ решения этой проблемы в виде мобильного приложения и работающего с ним в паре небольшого робота под названием Toucha11y, который прикрепляется к экрану терминала. Робот массой 160 грамм оснащен тремя присосками для прикрепления к экрану терминала. Корпус может поворачиваться вокруг своей оси с помощью электромотора, а в верхней части размещена камера, наклоненная на 45 градусов вниз. Одноплатный компьютер Raspberry Pi Zero внутри отвечает за работу механики и за связь с сервером, на котором производятся вычисления. Чтобы начать работу с Toucha11y, пользователь закрепляет его на тачскрине терминала. После чего гаджет с помощью камеры делает три последовательных снимка с разницей 30 градусов. Эти фотографии загружаются на сервер, где происходит распознавание интерфейса с помощью алгоритмов компьютерного зрения и сравнение с предварительно размеченными данными из базы, в которой собрана информация о наиболее часто встречающихся интерфейсах терминалов разных производителей. Исходя из этого определяются координаты робота относительно экрана интерфейса. Далее алгоритм на сервере формирует соответствующее меню и отсылает его на мобильное приложение пользователя, которое может озвучивать информацию, доступную на экране, и принимать команды от пользователя. После выбора пункта меню пользователем робот сам нажимает на соответствующую кнопку на экране с помощью выдвижного стилуса. Он представляет собой токопроводящий указатель, закрепленный на стальной рулетке. Рулетка выдвигается на нужную дистанцию из нижней части робота с помощью электромотора, и когда ее конец с указателем оказывается над нужным элементом интерфейса, он активируется с помощью электрического импульса. Таким образом, робот отвечает за физическое взаимодействие с экраном, в то время как пользователь взаимодействует со своим персональным устройством, которое уже содержит необходимые инструменты для помощи слабовидящим. https://www.youtube.com/watch?v=dqfhE42zB1I Для тестирования концепции и дизайна прототипа разработчики пригласили семь слабовидящих испытуемых. Используя робота, они должны были выполнить задание — заказать через интерфейс терминала самообслуживания определенный напиток с дополнительной опцией в виде заданного уровня сахара. Все участники исследования успешно справились с заданием со средним временем около 90 секунд. Из существующих проблем устройства, авторы доклада отмечают перекрытие нужных пунктов меню основанием робота и привязанность к базе данных. Первая проблема может быть решена простым изменением позиции робота или разработкой основания, которое могло бы взаимодействовать с сенсорным экраном. Вторая решается регулярным обновлением базы данных актуальными интерфейсами, либо использованием установленной на большей высоте дополнительной камеры, захватывающей весь экран. В отличие от установленных в общественных местах терминалов, возможностей для взаимодействия с персональными гаджетами у слепых и слабовидящих пользователей гораздо больше. Например, в 2020 году компания Google представила встроенную экранную клавиатуру TalkBack с брайлевым шрифтом для устройств для операционных систем Android.
