Нейросеть Facebook* улучшила качество фовеального рендеринга
В области VR-шлемов существует метод фовеального рендеринга, при котором существенная часть ресурсов тратится на узкую область изображения, на которую смотрит человек, а остальные области создаются с гораздо меньшим качеством. Разработчики из Facebook создали алгоритм, который эффективно восстанавливает качественное изображение в областях, отрисованных с низким качеством. Статья была представлена на конференции SIGGRAPH Asia 2019.
Для комфортного погружения пользователя в виртуальную среду VR-шлем должен иметь высокое разрешение, работать с высокой частотой (комфортным показателем считается частота от 90 герц и выше), а также рассчитывать изображение для всего поля зрения вокруг головы. Это приводит к тому, что VR-шлемы требуют для своей работы подключения к достаточно мощному компьютеру, а автономные шлемы на текущем уровне развития технологий значительно отстают по характеристикам от подключаемых.
В качестве решения инженеры уже несколько лет развивают технологию фовеального рендеринга изображения для VR-шлемов, основанного на особенностях человеческого зрения. Дело в том, что мы видим четкой лишь небольшую область в центре (фовеальной зоне) нашего поля зрения, а периферийные области зрения захватывают гораздо меньше деталей. Соответственно, вычислительные ресурсы можно сэкономить, отслеживая направления взгляда и отрисовывая с высоким разрешением лишь центральную область.
Исследователи из Facebook Reality Labs под руководством Гизем Руфо (Gizem Rufo) создали нейросеть, способную брать изображение с четкой фовеальной зоной и редкими пикселями в периферийной зоне, и восстанавливать его до качественного изображения, которое для обычного пользователя похоже на исходное. Алгоритм работает на основе сверточной нейросети U-Net, имеющей структуру кодировщика-декодировщика.
Поскольку нейросеть работает с видео — то есть последовательностью семантически связанных между собой кадров — результаты восстановления соседних кадров должны быть согласованы между собой. Для этого разработчики добавили в алгоритм рекуррентные блоки, которые используют состояние сети на текущем кадре для восстановления следующего.
Кроме того, разработчики использовали для обучения популярную архитектуру генеративно-состязательной нейросети, при которой результат работы генератора (основной нейросети) отдается дискриминатору (проверяющей сети), который пытается определить то, настоящее это изображение или созданное алгоритмом. Благодаря этому обе части постоянно обучаются и генератор со временем значительно повышает качество своей работы.
Исследователи обучали алгоритм на датасете из различных видеозаписей, к примеру, с людьми или животными. Исходные видео обрабатывались алгоритмом, который случайным образом перемещал направление взгляда и стирал с кадра практически все пиксели вне центральной области зрения. В результате разработчикам удалось обучить алгоритм воссоздавать кадры с достаточно высоким качеством. Например, исследование на добровольцах показало, что по мере сжатия (увеличения доли стертых пикселей) заметность артефактов изображения повышается, но лишь при сжатии в 37 раз она достигает 50 процентов.
Разработчики отмечают, что использовали для работы нейросети компьютер с четырьмя видеокартами NVIDIA Tesla V100. Однако мощность этих видеоускорителей настолько высока, что при использовании для обычного рендеринга с частотой 90 герц авторы, вероятно, могли бы получить гораздо более качественное изображение, чем при восстановлении с помощью нейросети, поэтому цель работы, по-видимому, носит исключительно исследовательский характер.
Недавно инженеры из NVIDIA собрали прототип шлема дополненной реальности с аппаратным фовеальным рендерингом. Для этого в шлеме установлено два отдельных экрана, один из которых имеет широкое поле зрения, а второй намного более узкое, но при этом обладает сопоставимым разрешением.
*Facebook принадлежит компании Meta, деятельность которой в России запрещена.
Григорий Копиев
Алгоритм помог отделить летучих мышей от птиц и насекомых
Ученым удалось точно описать миграцию перелетных летучих мышей и отличить их от других животных. Оказалось, что они летают на меньшей высоте, чем птицы, и начинают мигрировать позднее. Найти мигрирующих летучих мышей помог алгоритм для классификации данных с радаров: он определил, какие данные относятся к насекомым и птицам, а какие — к летучим мышам. Работа опубликована в журнале Methods in Ecology and Evolution. С помощью радаров ученые уже почти 80 лет исследуют летающих существ: птиц и насекомых. По данным с радаров можно изучать длительные и массовые перемещения птиц, например сезонную миграцию. Для анализа радарных данных нужно сначала понять, каким животным эти данные принадлежат. Птиц и насекомых легко различить по размеру, форме и аэродинамике, а вот летучих мышей от птиц отличить сложнее. Для различения летающих животных на радарных данных используются разные алгоритмы, в том числе методы машинного обучения, но для них нужно много предварительных наблюдений. Например, исследователи могут пронаблюдать за движением птиц в определенном месте и отметить их на данных с радаров. В отличие от птиц, летучие мыши активны в темное время суток, и наблюдать за ними сложнее, поэтому данных о миграции летучих мышей мало. Из-за отсутствия данных их перелеты не учитываются при строительстве небоскребов, вышек или электростанций, поэтому летучие мыши могут в них врезаться во время миграции. Чтобы лучше изучать и защищать летучих мышей, группа ученых из Тель-Авивского университета под руководством Нира Сапира (Nir Sapir) придумала способ определять их на данных с радаров. Во-первых, авторы учли характеристики полета летучих мышей: амплитуду и скорость движений крыльями, высоту и скорость передвижения. Во-вторых, они исследовали данные, собранные за четыре года в Долине Хула в Израиле за определенные две недели в июне — обычно в это время там останавливаются передохнуть многие перелетные птицы во время миграции по Евразийско-Африканскому маршруту, но по ночам в июне в долине встречаются только четыре хорошо изученных вида птиц, которых можно перепутать с летучими мышами. По характеристикам полета ученые отделили этих птиц от летучих мышей в радарных данных. Так авторы собрали датасет с информацией о перелетах летучих мышей и насекомых с птицами. Наблюдений по летучим мышам оказалось намного меньше, поэтому ученые дополнительно сгенерировали искусственные данные с помощью нейросети. В итоговом датасете получилось 430 тысяч наблюдений. На нем натренировали четыре классификатора, отделяющие летучих мышей от других летающих существ. Для классификации использовали деревья решений. Каждый классификатор использовал разный набор параметров: в одном учитывались все данные о полете, в другом не учитывалась скорость передвижения, в третьем — амплитуда и скорость махов крыльями, в четвертом — паузы без взмахов крыльями. Худшие результаты (точность меньше 65 процентов) показали третья и четвертая модели, которые не учитывали информацию о взмахах крыльями. Зато классификатор, обученный на полном наборе данных, показал точность 94 процента. Помимо обычной оценки точности классификации, авторы проверяли, как часто модель ошибочно определяет летучих мышей на дневных данных (обычно летучие мыши мигрируют по ночам). Авторы применили обученный классификатор на другие данные, собранные в Долине Хула, и смогли выяснить новые особенности миграции и поведения летучих мышей. Оказалось, что они еще менее активны зимой, чем летающие птицы и насекомые. Также ученые показали, что летучих мышей есть два основных периода и направления миграции: с марта по июнь на север и с сентября по ноябрь на юг. Летучие мыши начинают и заканчивают сезонные перелеты позднее, чем птицы. Недавно зоологи выяснили, что перелетные летучие мыши ориентируются по геомагнитному полю во время миграций. Ученые пришли к этому выводу после экспериментов с малыми нетопырями. Две группы летучих мышей держали в обычных клетках и клетках с искаженным магнитным полем. Когда обе группы выпустили из клеток, они полетели в разных направлениях.