Кристен Стюарт стала соавтором работы в области ИИ
Американская киноактриса и режиссер Кристен Стюарт стала соавтором публикации, в которой описывается перенос художественного стиля с помощью нейросетей. Препринт доступен на arXiv.org.
В последнее время нейросети активно используются в области обработки и распознавания изображений, в том числе уже и в коммерческих продуктах — например, приложение Prisma для смартфонов умеет перерисовывать заданное изображение в соответствии с выбранным стилем. Подробнее о том, как работает перенос стиля с помощью нейросетей, можно прочитать в материале N+1 «На выставке Ван Гога».
В самой публикации описывается обработка некоторых сцен фильма Come Swim, который сняла Кристен Стюарт. Для переноса стиля использовалась картина, которая изначально вдохновила режиссера на создание фильма о человеке под водой, который пробуждается от сна.
Изначально для обработки кадров авторы публикации рассматривали нейросети googlenet или VGG c 19 слоями, однако в первом случае их не устроил результат обработки, а во втором случае время обработки оказалось слишком долгим. В результате для получения нужного эффекта использовалась подготовленная сверточная нейросеть VGG с 16 слоями. Все предварительные работы производились над превью низкого разрешения, а для обработки кадров в полном размере использовался сервис облачных вычислений Amazon EC2. После этого кадры дополнительно увеличили до итогового разрешения в 2048 пикселей и отфильтровали от шума — суммарно на весь процесс обработки одного кадра у авторов уходило около 40 минут.
Ранее нейросети уже применяли для обработки кадров видео — например, немецкие ученые перенесли художественный стиль Винсента Ван Гога, Эдварда Мунка и других художников на мультфильмы и кино. Кроме того, существуют программы, способные смешивать сразу несколько стилей для обработки изображений и видео.
Это позволяет тратить в пять раз меньше энергии, чем при полете
Стартап Revolute Robotics из Аризоны разработал гибридного робота, который способен как летать, так и ездить по поверхности. Он представляет собой квадрокоптер, закрепленный на кардановом подвесе внутри металлической клетки сферической формы. Она защищает дрон от повреждений при столкновении с препятствиями, а также выступает в роли опоры при движении по земле, так как благодаря подвесу может свободно вращаться вокруг дрона во всех направлениях. По замыслу разработчиков, робот будет использовать для дистанционного обследования технического состояния оборудования и охраны объектов, сообщает издание New Atlas. Идея о размещении дронов целиком внутри защитного каркаса не нова. Несмотря на дополнительный вес, такой подход позволяет защитить дрон со всех направлений от повреждений при столкновении с препятствиями. Особенно это актуально при полетах в тесных помещениях с большим количеством объектов, например, с целью инспекции состояния оборудования технических сооружений. Такой дрон, к примеру, сделала швейцарская компания Flybotix. Разработанный ею бикоптер имеет защиту в виде почти сферической сетки, полностью покрывающей беспилотник. Схожую конструкцию для защиты дрона использовали и японские инженеры. Однако у предложенного ими варианта была особенность — сферическая защитная клетка, состоящая из двух независимых полусфер, имела возможность свободно вращаться вокруг двух осей, благодаря чему соприкосновение с препятствием меньше влияло на траекторию полета. Дрон, разрабатываемый стартапом Revolute Robotics, также помещен внутрь металлической защитной сетки сферической формы, которая способна вращаться вокруг беспилотника. Но благодаря карданному подвесу, которым квадрокоптер изнутри соединен со сферической оболочкой, это вращение может происходить не по двум осям, а в любом направлении. Эту способность инженеры решили использовать — робот может не только летать, но и ездить по поверхности, используя собственную защитную оболочку в роли всенаправленного колеса. https://www.youtube.com/watch?v=YUcwM7pCZkk Перемещение по поверхности происходит с помощью воздушных винтов дрона, который может наклоняться внутри свободно вращающейся вокруг него сферической оболочки в нужном направлении, регулируя скорость и направление движения. Упругая конструкция клетки и колец подвеса сглаживает толчки и удары, выполняя роль амортизатора. Регулируя уровень тяги пропеллеров, робот способен взбираться по крутым склонам, а при встрече с препятствием, которое нельзя переехать, может просто облететь его по воздуху. При этом на полет тратится в пять раз больше энергии, поэтому передвижение по поверхности оказывается предпочтительнее. В качестве полезной нагрузки робот может нести камеры, лидары и другие сенсоры. Поэтому его можно будет использовать, например, для составления трехмерных карт объектов и обследования технического состояния оборудования и инженерных сооружений, в том числе для инспекции труб. Другим возможным применением робота, по мнению разработчиков может стать охрана территории. Впрочем, защитный каркас — не всегда наилучшее решение, ведь дополнительный вес защиты будет уменьшать время работы дрона. Поэтому инженеры компании Cleo Robotics, которые разработали дрон Dronut X1 специально для работы в помещениях, применили другой подход. Два соосных несущих винта дрона X1 находятся полностью внутри похожего на пончик корпуса, и поэтому надежно защищены от встречи со стенами и другими препятствиями.