Смартфон научили копировать реальные предметы и вставлять их в Photoshop

Французский разработчик Сириль Дианье (Cyril Diagne) разработал мобильное приложение, позволяющее быстро сканировать объекты с помощью камеры, а затем переносить их в Adobe Photoshop. Код и документация проекта доступны на GitHub, а краткое описание разработчик опубликовал в твиттере.

Дополненная реальность позволяет накладывать виртуальные объекты на реальный мир так, будто они действительно в нем находятся. Некоторые исследователи в области программного обеспечения и интерфейсов предлагают реализовывать с помощью дополненной реальности двухстороннюю связь между реальными и виртуальными объектами. Например, недавно Adobe показала прототип приложения, позволяющего видеть комментарии преподавателя, наложенные на учебник, и добавлять свои наложенные слои в ответ. Но даже это приложение все равно основано на виртуальных объектах, пускай и наложенных на реальную книгу.

Сириль Дианье (Cyril Diagne) представил прототип приложения, которое способно самостоятельно находить объекты перед камерой смартфона, копировать их и вставлять в нужную область графического редактора. Прототип состоит из трех компонентов: мобильного приложения, локального приложения на компьютере и серверной части.

В мобильном приложении пользователь наводит камеру на интересующий его предмет и нажимает на экран. После этого в течение двух с половиной секунд на экране появляется вырезанный объект, который можно навести на экран компьютера с открытым файлом в Adobe Photoshop. Затем необходимо еще раз нажать на экран и через четыре секунды вырезанный предмет вставится в виде нового слоя в указанное место.

Приложение на компьютере работает как связующее звено между редактором и смартфоном. Оно с помощью метода масштабно-инвариантной трансформации признаков находит соответствие между изображением экрана с камеры и скриншотом с того же экрана. Благодаря этому вырезанный предмет переносится ровно в то место, куда указал пользователь.

Третий компонент работает на удаленном сервере, поскольку именно он отвечает за ресурсоемкие расчеты. На сервере работает нейросеть BASNet, которая принимает со смартфона исходную фотографию, определяет объект и отделяет его от фона, и возвращает изображение с вырезанным предметом в Photoshop. Для простоты разработчик опубликовал нейросеть в виде контейнера для Knative, который общается с приложением на смартфоне и Photoshop на компьютере через HTTP.

Разработчик отмечает, что написал приложение быстро, поэтому оно слабо оптимизировано. Например, он предлагает определять и вырезать объекты прямо на смартфоне с помощью алгоритма Deeplab, реализованного на мобильном фреймворке TensorFlow Lite. Кроме того, он заявил, что таким же образом можно вставлять предметы не только в Photoshop, но и в другие программы или саму операционную систему.

Недавно Дианье создал другое приложение-прототип. Это расширение для браузера Chrome, превращающее фотографии в инстаграме в объемные и анимированные. Оно основано на представленном недавно алгоритме, реалистично дорисовывающем фон за объектами на фотографиях.

Григорий Копиев