Разработчики Google в рамках программы Chrome Experiment реализовали возможность просмотра записи создания работ нескольких художников в виртуальной реальности. Об этом сообщается в блоге разработчиков, исходный код проекта доступен на отдельном портале.
Проект под названием «Сеансы виртуального искусства» реализован как отдельный портал, доступный для просмотра в браузере. На сайте пользователь может выбрать одного из шести художников и взглянуть на процесс создания нескольких его работ в виртуальной реальности со стороны. На портале представлены работы скульптора, иллюстратора, концепт-дизайнера, художника-модельера, художника-инсталлятора и художников, специализирующихся на стрит-арте. Для работы в виртуальной реальности все художники использовали приложение Tilt Brush и HTC Vive.
Пользователь может выбрать одну из нескольких работ художника и при просмотре регулировать скорость воспроизведения, а также произвольно менять точку обзора в трехмерном пространстве. При этом на экране виден не только результат работы, но и условная модель самого художника, рисующего в виртуальном пространстве. В правой нижней части окна можно видеть ту же сцену, но от первого лица.
Это не первый показательный VR-проект с участием художников — ранее художник-мультипликатор Глен Кин, работавший над некоторыми мультфильмами студии Walt Disney Feature Animation, продемонстрировал нарисованную в виртуальной реальности Русалочку Ариэль. Он также использовал для работы приложение Tilt Brush и комплект VR-очков HTC Vive.
Он показал лучшее время на трассе, обойдя соперников на полсекунды
Инженеры разработали автопилот для гоночного дрона, управляющий беспилотником на уровне лучших людей-пилотов. Алгоритм под названием Swift, полученный с помощью метода обучения с подкреплением, способен управлять гоночным квадрокоптером, полагаясь только на данные бортовых сенсоров. В реальных полетах на тестовой трассе для дрон-рейсинга Swift смог превзойти трех профессиональных пилотов-чемпионов, выиграв у них 15 гонок из 25 и пройдя трассу с минимальным временем, которое на полсекунды меньше лучшего результата пилота-человека. Статья опубликована в журнале Nature. При поддержке Angie — первого российского веб-сервера Дрон-рейсинг — вид спорта, в котором мультикоптеры на высокой скорости проходят трассу, состоящую из последовательности ворот, через которые нужно пролететь за минимально возможное время. При этом управление происходит от первого лица, с помощью камеры и видеоочков. Современные дроны обладают очень высокой маневренностью и подвижностью: они могут резко менять направление движения, ускоряться, замедляться и совершать перевороты, а во время гонки они разгоняются до скоростей свыше 100 километров в час и подвержены перегрузкам, превышающим их собственный вес в пять раз. Это делает их пилотирование непростой задачей и требует хорошей подготовки и высокой скорости реакции оператора. Инженеры давно работают над созданием автопилота, который мог бы управлять дроном на уровне профессиональных пилотов. Помимо участия в дрон-рейсинге такая способность может пригодиться и в обычной жизни — мультикоптеры обладают невысокой энергоэффективностью, поэтому способность быстро летать и успешно маневрировать в окружении большого числа препятствий напрямую связана с успешностью выполнения задач. Инженеры под руководством Давида Скарамузза (Davide Scaramuzza) из Цюрихского университета уже имеют опыт разработки эффективных алгоритмов управления для дронов. К примеру, ранее они создали автопилот, способный управлять квадрокоптером на скорости от 3 до 7 метров в секунду в лесу между деревьев, полагаясь только на данные с бортовых сенсоров. В своей новой работе инженеры представили алгоритм под названием Swift. Он способен эффективно управлять гоночным квадрокоптером на уровне профессионального пилота дрон-рейсинга. Swift состоит из двух основных модулей: системы восприятия, которая переводит изображение от бортовой камеры дрона и данные от инерционного измерительного блока IMU в низкоразмерное представление, а также системы управления, которая принимает на вход низкоразмерное представление, созданное системой восприятия, и генерирует управляющие команды для электромоторов дрона. В модуль системы восприятия также входит алгоритм, вычисляющий текущее положение дрона в пространстве на основе данных камеры и инерционно-измерительного блока. Эта информация через фильтр Калмана объединяется с данными об относительном положении гоночных ворот, обнаруженных предварительно обученным нейросетевым детектором объектов в видеопотоке, после чего передается на вход системы управления, которая состоит из двух скрытых слоев, по 128 нейронов в каждом. Система управления тренировалась в симуляции с использованием модельно-свободного глубокого обучения с подкреплением. Этот метод обучения использует метод проб и ошибок, чтобы максимизировать величину параметра вознаграждения. В данном случае вознаграждение было максимальным в случае, если дрон следовал в сторону центра ближайших ворот таким образом, чтобы следующие ворота оставались в поле зрения камеры. Чтобы учесть различия между симуляцией и реальной динамикой полета, в процессе обучения информацию симулятора дополнили данными из реального мира, записанными с помощью системы захвата движений. Оценку автопилота провели на трассе для дрон-рейсинга, состоящей из семи ворот, установленных на квадратной площадке с длиной стороны 30 метров. Длина маршрута через все ворота составляла 75 метров. Алгоритм соревновался с тремя профессиональными пилотами Алексом Вановером (Alex Vanover), Томасом Битматтой (Thomas Bitmatta) и Марвином Шэппером (Marvin Schaepper). Все участники использовали гоночные дроны с одинаковыми характеристиками. Перед испытательными соревнованиями у пилотов была неделя для знакомства с трассой. В соревнованиях каждый из пилотов стартовал одновременно с дроном под управлением автопилота. Победителем становился тот, кто быстрее пролетит через все ворота на трассе в правильном порядке три раза. По результатам Swift смог выиграть у своих соперников в совокупности 15 гонок из 25, а также установил рекорд трассы, пролетев ее быстрее на полсекунды, чем остальные участники. https://www.youtube.com/watch?v=fBiataDpGIo&t=1s Инженеры разрабатывают гоночные автопилоты и для автомобилей. Например, инженеры из подразделения искусственного интеллекта компании Sony создали алгоритм автопилота GT Sophy, который с помощью обучения с подкреплением научился проходить за минимальное время трассы в гоночном автосимуляторе Gran Turismo Sport. В настоящих киберспортивных соревнованиях GT Sophy не только показала лучшее время в одиночных заездах, но и смогла победить команду лучших игроков в совместных гонках, набрав больше всего очков.