Инженеры разработали простой и недорогой способ превращения обычного экрана ноутбука в сенсорный. Для этого они установили перед его веб-камерой зеркало на дверной петле, которое позволяет камере видеть прикосновение пальца к экрану. Программная часть системы анализирует изображение с камеры, с помощью компьютерного зрения определяет координаты прикосновения к экрану и превращает касания в действия мышью, сообщается на сайте одного из авторов проекта.
Некоторые современные ноутбуки оснащены сенсорными экранами, однако подавляющее большинство по-прежнему выпускается с обычными экранами. Некоторые инженеры предлагают не модифицировать сам экран, а обойтись небольшими сторонними устройствами. Например, американский стартап Leap Motion в 2012 году представил небольшой датчик, соединяемый с компьютером и анализирующий движения рук пользователя.
Несколько инженеров из Массачусетского технологического института создали более простое и дешевое решение для наделения существующих экранов ноутбуков способностью реагировать на прикосновения. Для этого они создали из подручных материалов небольшую насадку на веб-камеру ноутбука. Она состоит из дверной петли, на которую с помощью клея прикреплено зеркало. Оно установлено под таким углом, что на камеру попадает изображение экрана и небольшой области перед ним.
Для анализа этого изображение команда разработчиков использовала технологию одного из участников проекта, которую он разработал еще в 2010 году в качестве любительского проекта. Он создал на основе открытой библиотеки компьютерного зрения OpenCV программу, которая определяет прикосновение по отражению пальца от поверхности экрана. При поднесении пальца к экрану камера начинает видеть не только палец, но и его отражение от экрана на некотором расстоянии. Алгоритм выделяет оставляет на изображении только те части, которые имеют цвет, близкий к цвету кожи. В результате на нем остается два объекта. Если же объекты объединились — это значит, что палец прикоснулся к экрану.
Изначально разработчик использовал для этого внешнюю камеру, но теперь инженеры упростили концепцию и с помощью зеркала смогли использовать для той же цели встроенную в крышку ноутбука камеру. Перед началом работы программу необходимо откалибровать — для этого она просит пользователя прикоснуться к определенным местам на экране и на основе нескольких таких прикосновений учится сопоставлять координаты на изображении с камеры с координатами реального экрана.
Для того, чтобы программу можно было использовать с любыми приложениями в операционной системе, разработчики научили ее превращать касания в действия мыши. Помимо этого, разработчики приложений могут адаптировать их для использования с новой программой и получать не только данные о касании, но и о высоте пальца над экраном. Авторы отмечают, что пока их насадка лишь демонстрирует работоспособность концепции, поскольку на самом деле зеркало не позволяет отражать на камеру весь экран сразу, но для этого можно использовать изогнутое зеркало. Исходный код программы опубликован на GitHub.
Ранее американская компания создала программу, которая анализирует площадь и форму пятна контакта при прикосновении к сенсорному экрану и за счет этого определяет угол прикосновения пальца. Также система умеет распознавать вращательные движения одним пальцем.
Григорий Копиев
Пока это лишь прототип
Компания Xiaomi показала прототип смартфона с креплением для объективов камер Leica. Это позволяет использовать в смартфоне намного большую по размеру и более совершенную оптическую систему, не увеличивая размеры самого устройства. Смартфоны вобрали в себя функции многих устройств, которыми раньше люди пользовались отдельно. И со временем они почти вытеснили с рынка целые классы потребительских устройств, в том числе навигаторы, MP3-плееры и фотокамеры, хотя последние остались популярным профессиональным инструментом. Во многом популярность смартфонов как устройства для съемки обусловлена именно тем, что носить с собой одно устройство гораздо удобнее, чем два. Но и качество съемки существенно повысилось, в основном за счет алгоритмов, о чем мы подробно рассказывали в материале «Зрячая математика». В аппаратном обеспечении тоже произошли заметные изменения, но в отличие от фотоаппаратов, в смартфонах фактически существует важное ограничение: компании-производители стремятся делать их как можно более тонкими. И хотя еще несколько лет назад крупнейшие производители стали делать блок камер выпирающим над основной частью корпуса, это все равно не позволяет разместить в смартфоне оптическую систему, сравнимую по размерам даже с камерами-«мыльницами». Отчасти эту проблему решили появившиеся несколько лет назад модули камер с перископической конструкцией, но в этом случае толщина смартфонов накладывает ограничение на ширину объектива. Xiaomi показала прототип смартфона, в котором используется классическая схема с выступающим блоком камер, но на него также можно закрепить объективы от полноценных фотокамер. Смартфон сделан на базе серийного Xiaomi 12S Ultra, в котором использовался круглый выступ с камерами. В оригинальном гаджете по центру использовалась камера с широкоугольным объективов, а в прототипе инженеры заменили ее на однодюймовую матрицу без объектива, прикрытую стеклом. Круглый выступ отличается от серийного 12S Ultra тем, что в нем есть резьба — на нее можно закрепить адаптер для байонета Leica M. Это позволяет использовать полноценные объективы от профессиональных камер, не меняя при этом толщину самого смартфона со снятым объективом. При этом без большого объектива пользователь не лишается возможности делать фотографии и видео: в устройстве есть и обычные встроенные камеры. Компания продемонстрировала работу смартфона с объективом Leica Summilux-M 35mm f/1.4, но потенциально он поддерживает любые объективы с тем же байонетом. Поскольку это прототип, он не будет производиться серийно, однако как это иногда бывает с концептами, компания может использовать наработки из этого проекта в будущих моделях. https://www.youtube.com/watch?v=gAC8atF2sXc Это не первый прототип Xiaomi, позволяющий увеличить длину оптической системы смартфона. В 2020 году компания показала телескопический модуль камеры, выезжающий из корпуса. Аппаратными инновациями в смартфонах занимаются и другие компании. Так, Sony весной выпустила смартфон с переменным оптическим зумом, а компания Glass Imaging создала для смартфонов модуль камеры с вытянутой линзой и анаморфным объективом.