Компания Google представила смартфоны Pixel 6 и Pixel 6 Pro, в которых используется процессор собственной разработки. Также Google показала несколько новых алгоритмов машинного обучения для работы с изображениями. Трансляция презентации проходила на YouTube.
Главным отличием новых смартфонов стал процессор (система на чипе) Google Tensor, который компания разработала самостоятельно. В центральном процессоре восемь ядер: два высокопроизводительных Cortex-X1 (для сравнения, в Qualcomm Snapdragon одно такое ядро), два средних и еще четыре высокоэффективных. В чипе также используется 20-ядерный видеопроцессор и три вспомогательных блока: сопроцессор для постоянной фоновой работы некоторых алгоритмов, таких как распознавание музыки вокруг; процессор для ускорения алгоритмов машинного обучения, архитектура которого разработана с учетом нейросетевых моделей, используемых разработчиками Google; и сигнальный процессор, в который на аппаратном уровне вынесена часть нейросетевой обработки кадров. В чипе есть аппаратно и программно изолированное ядро со своей операционной системой для работы с важными данными, а помимо него у смартфона есть еще один отдельный чип для важных данных.
Сами смартфоны выделяются прежде всего дизайном блока камер, растянутым по всей ширине задней панели. В обоих смартфонах есть основная камера с разрешением 50 мегапикселей и широкоугольная на 12 мегапикселей, а в Pixel 6 Pro есть и третья. В ней используется объектив с перископической конструкцией и четырехкратным увеличением (и 20-кратным программно-аппаратным увеличением, о принципе работы которого мы рассказывали ранее). Ее разрешение составляет 48 мегапикселей. Разрешение передней камеры составляет 11,1 мегапикселя для Pro и 8 для обычной модели.
Версии различаются размером экрана: в обычной модели это 6,4 дюйма с разрешением FullHD и частотой 60-90 герц, а в Pro 6,7 дюйма, разрешение QHD и поддержка частот от 10 до 120 герц. В обеих моделях используется OLED-матрица со встроенным датчиком отпечатка пальца. Обе модели поддерживают беспроводную зарядку, в том числе и обратную, работают в 5G-сетях и защищены от воды и пыли по стандарту IP68. Объем оперативной памяти — 8 в обычной модели и 12 в Pro. Гаджеты поступят в продажу 28 октября по цене 599 и 899 долларов соответственно. Примечательно, что Google пообещала выпускать обновления безопасности для Pixel 6 на протяжении как минимум пяти лет.
Кроме аппаратных улучшений, смартфоны получили и несколько программных, основанных на алгоритмах машинного обучения. Большая часть из них касается камеры. В частности, смартфоны научились бороться с размытыми лицами на снимках. Еще до того, как пользователь нажал на кнопку съемки, алгоритмы отслеживают лица в кадре. Если перед камерой есть лицо человека, которое быстро двигается, то помимо основной камеры смартфон начинает снимать на широкоугольную, причем с меньшей выдержкой для уменьшения смазанности. Затем, уже после нажатия на кнопку съемки, он улучшает резкость лица на основном кадре, «накладывая» более резкое лицо с широкоугольной камеры.
Приложение Google Photo научили понимать и предлагать удалить объекты, закрасив их реалистичной заменой. Ссама функция удаления объектов давно применяется в некоторых приложениях, однако обычно без автоматического определения лишних деталей.
Разработчики улучшили и возможности съемки видео: Pixel 6 и 6 Pro получили поддержку съемки HDR-видео в разрешении 4K и частотой 60 кадров в секунду. Для этого используется нейросеть HDRnet+, часть вычислений которой аппаратно ускоряются на процессоре. Стоит отметить, что iPhone уже не первый год умеет снимать HDR-видео, делая вместо каждого кадра пару из недо- и переэкспонированных снимков, которые затем объединяются.
Компания рассказала, что дообучила приложение камеры и Google Photo на датасете с людьми, имеющими отличный от белого цвет кожи, что позволило лучше передавать цвет и яркость их кожи на фотографиях.
Помимо алгоритмов для фото и видео, Google также доработала нейросетевые модели для распознавания и перевода текста прямо на устройстве (без отправки данных на сервер) и улучшила поддержку автоматического перевода в мессенджерах:
Недавно свои новые смартфоны показала Apple. Главные изменения в них коснулись системы камер, а самым заметным внешне стал уменьшенный вырез в экране.
Григорий Копиев
Стартап Surplex представил ботинки с датчиками, позволяющими отслеживать положение всего тела. Это позволяет в реальном времени создавать модель человека и использовать ее в VR-играх. Проект гаджета опубликован на Kickstarter и уже собрал требуемую для запуска сумму.