В смартфон встроили анаморфный объектив и вытянутую матрицу

Компания Glass Imaging разработала модуль камеры для смартфонов с анаморфной и перископической оптической системой. Это позволяет значительно увеличить размер матрицы при той же толщине гаджета, что в свою очередь позволяет повысить светочувствительность и разрешение камеры.

Разница между качеством фотографий смартфонов и больших профессиональных камер значительно сократилась еще несколько лет назад: например, они стали намного лучше снимать при плохом освещении и научились делать реалистичное размытие фона. Но эти успехи в основном были достигнуты с помощью алгоритмов, подробнее об этом можно прочитать в нашем большом материале «Зрячая математика». Размеры матриц и объективов тоже выросли, из-за чего почти у всех флагманских смартфонов теперь блок камер выпирает относительно корпуса, но они все еще не сопоставимо меньше матриц и объективов зеркальных и беззеркальных камер. Это связано с тем, что при увеличении размера матрицы необходимо увеличивать и фокусное расстояние объектива, из-за чего он становится толще. Поскольку смартфоны по ряду причин ограничены по толщине примерно сантиметром, фактически они ограничены и по размеру матриц и оптических систем своих камер.

Решение проблемы фокусного расстояния в смартфонах в 2018 году предложила китайская Oppo. Тогда она разработала перископический модуль камеры, в которой оптическая система расположена под углом 90 градусов к поверхности гаджета, благодаря чему ограничение по толщине фактически пропадает. С тех пор эту конструкцию стали использовать в серийных смартфонах многие производители. Это позволяет реализовать в тонком устройстве многократный оптический зум, но не решает проблему матрицы: даже в небольшом по меркам профессиональных камер стандарте 4/3 высота матрицы составляет 13,5 миллиметра, что намного больше толщины практически всех современных смартфонов (не говоря о том, что корпус и другие компоненты не позволяют использовать всю толщину).

Glass Imaging предложила дополнить перископическую конструкцию анаморфным объективом и вытянутой матрицей. В классических анаморфных объективах часть линз оптической системы имеют цилиндрическую конструкцию, что позволяет изменять пропорции кадра и «уместить» широкое поле зрение на кинопленку или фотоматрицу с обычным соотношением сторон 3:2. Затем сжатое по горизонтали искаженное изображение с помощью программы или проектора растягивают обратно, чтобы получить привычные глазу пропорции при показе фильма.

В прототипе модуля камеры, представленном компанией, используется комбинация из прямоугольных и цилиндрических линз, но они сжимают захватываемое изображение не по горизонтали, а по вертикали. Это позволяет использовать вытянутую фотоматрицу, вытянутый кадр с которой растягивается по вертикали до нормальных пропорций с помощью алгоритмов. Размер матрицы составляет 24 на 8 миллиметров, а площадь — 192 квадратных миллиметра. Для сравнения, площадь самой большой матрицы в iPhone 13 Pro и Samsung Galaxy S22 Ultra составляет 44 и 69 квадратных миллиметра соответственно.

Компания отмечает, что новая конструкция позволит использовать в смартфонах привычного размера камеры с гораздо большими светочувствительностью и разрешением (при таком же размере пикселя), а также получать более реалистичное размытие фона без использования алгоритмов вычислительной фотографии. Стоит отметить, что подход Glass Imaging подразумевает фундаментальный недостаток: при растягивании изображения используется нейросеть, повышающая разрешение, поэтому в некоторых условиях она может давать визуальные артефакты. В то же время, подобные алгоритмы существуют не первый год и разрабатываются ведущими IT-компаниями и исследовательскими группами, поэтому их качество постоянно растет и находится на высоком уровне.

Glass Imaging планирует продавать анаморфные модули камер производителям смартфонов, однако пока неизвестно, когда эта конструкция появится в серийных устройствах.

Ранее мы рассказывали о других необычных конструкциях, призванных повысить качество съемки на смартфоны. Например, Xiaomi разработала объективы с телескопической конструкцией и жидкостной линзой. А Apple осенью 2021 года первой встроила в серийный смартфон матричную стабилизацию, при которой матрица поворачивается для компенсации движения гаджета.

Григорий Копиев

Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.
Робот на присосках поможет слабовидящим купить напиток в автомате

Он нажимает на кнопки сенсорных терминалов самообслуживания вместо пользователя

Инженеры разработали прототип устройства, которое помогает слабовидящим пользователям взаимодействовать с сенсорными экранами терминалов и торговых автоматов. Небольшой вращающийся вокруг своей оси робот под названием Toucha11y с камерой и выдвижным стилусом прикрепляется к экрану и распознает интерфейс, после чего передает информацию на смартфон пользователя. В результате пользователь, используя встроенные функции помощи смартфона выбирает нужные команды, а робот нажимает за него на соответствующие элементы интерфейса. Доклад представлен на конференции Conference on Human Factors in Computing Systems 2023. Многие торговые автоматы, терминалы самообслуживания и банкоматы сегодня оснащены сенсорными экранами. При этом они крайне редко оснащены голосовым управлением, что становится серьезным препятствием для слепых и слабовидящих — зачастую они не в состоянии воспользоваться устройствами без посторонней помощи. Инженеры из Мэрилендского университета во главе с Хуай Шу Пэном (Huaishu Peng) предложили способ решения этой проблемы в виде мобильного приложения и работающего с ним в паре небольшого робота под названием Toucha11y, который прикрепляется к экрану терминала. Робот массой 160 грамм оснащен тремя присосками для прикрепления к экрану терминала. Корпус может поворачиваться вокруг своей оси с помощью электромотора, а в верхней части размещена камера, наклоненная на 45 градусов вниз. Одноплатный компьютер Raspberry Pi Zero внутри отвечает за работу механики и за связь с сервером, на котором производятся вычисления. Чтобы начать работу с Toucha11y, пользователь закрепляет его на тачскрине терминала. После чего гаджет с помощью камеры делает три последовательных снимка с разницей 30 градусов. Эти фотографии загружаются на сервер, где происходит распознавание интерфейса с помощью алгоритмов компьютерного зрения и сравнение с предварительно размеченными данными из базы, в которой собрана информация о наиболее часто встречающихся интерфейсах терминалов разных производителей. Исходя из этого определяются координаты робота относительно экрана интерфейса. Далее алгоритм на сервере формирует соответствующее меню и отсылает его на мобильное приложение пользователя, которое может озвучивать информацию, доступную на экране, и принимать команды от пользователя. После выбора пункта меню пользователем робот сам нажимает на соответствующую кнопку на экране с помощью выдвижного стилуса. Он представляет собой токопроводящий указатель, закрепленный на стальной рулетке. Рулетка выдвигается на нужную дистанцию из нижней части робота с помощью электромотора, и когда ее конец с указателем оказывается над нужным элементом интерфейса, он активируется с помощью электрического импульса. Таким образом, робот отвечает за физическое взаимодействие с экраном, в то время как пользователь взаимодействует со своим персональным устройством, которое уже содержит необходимые инструменты для помощи слабовидящим. https://www.youtube.com/watch?v=dqfhE42zB1I Для тестирования концепции и дизайна прототипа разработчики пригласили семь слабовидящих испытуемых. Используя робота, они должны были выполнить задание — заказать через интерфейс терминала самообслуживания определенный напиток с дополнительной опцией в виде заданного уровня сахара. Все участники исследования успешно справились с заданием со средним временем около 90 секунд. Из существующих проблем устройства, авторы доклада отмечают перекрытие нужных пунктов меню основанием робота и привязанность к базе данных. Первая проблема может быть решена простым изменением позиции робота или разработкой основания, которое могло бы взаимодействовать с сенсорным экраном. Вторая решается регулярным обновлением базы данных актуальными интерфейсами, либо использованием установленной на большей высоте дополнительной камеры, захватывающей весь экран. В отличие от установленных в общественных местах терминалов, возможностей для взаимодействия с персональными гаджетами у слепых и слабовидящих пользователей гораздо больше. Например, в 2020 году компания Google представила встроенную экранную клавиатуру TalkBack с брайлевым шрифтом для устройств для операционных систем Android.