Disney научила алгоритм читать сценарий и «снимать» по нему видео
Исследователи из Disney Research разработали алгоритм, способный создавать короткие анимационные ролики на основе сценария, написанного естественным языком. Во время работы алгоритм упрощает исходные предложения, а затем сопоставляет каждый объект или действие с аналогами, имеющимися в его библиотеке, и создает на их основе 3D-анимацию, рассказывают авторы статьи, опубликованной на arXiv.org.
Ученые начали решать проблему синтеза изображений или видеозаписей на основе текстового описания достаточно давно, однако пока эта технология находится на начальном этапе развития и ее реализации обладают множеством недостатков. Эту проблему можно разбить на две основные части: обработка естественного языка, позволяющая компьютеру понимать смысл сказанного человеком, а также создание кадров. При обработке речевой последовательности от человека компьютер пытается понять структуру предложений, а также соотношение между словами в нем, а затем на основе этих знаний выполнить следующую задачу. В данном случае такой задачей является синтез реалистичного изображения или видеоролика, в котором объекты действуют в соответствии с исходным сценарием.
Алгоритмы, создающие ролики на основе текстового описания, уже существуют. Однако они обладают несколькими недостатками, главный из которых заключается в том, что им требуется не обычный текст на естественном языке (к примеру, сценарий фильма), а максимально простые, хотя и грамматически корректные, предложения. Ашутош Моди (Ashutosh Modi) и его коллеги из DIsney Research разработали алгоритм, способный работать с реальными сценариями фильмов и спектаклей. Обычно сценарии имеют четкую структуру, в которой можно выделить описание сцены с действиями персонажей, диалоги, техническую информацию для операторов и другие элементы. В своей работе исследователи сконцентрировались только на основном элементе, в котором происходит общее описание сцены и перечисляются действия действующих лиц.
Созданную разработчиками программу можно разделить на несколько модулей, выполняющих определенную функцию. Сначала исходный текст сценария получает модуль, отвечающий за предварительную обработку. Он распознает элементы сценария, к примеру, описание сцены, и создает пары типа «абзац текста — название элемента». Затем эти данные передаются модулю обработки языка. Изначально он упрощает предложения, по возможности разбивая каждое из них на два или больше, которые описывает по одному действию. Это происходит благодаря набору правил, по которым алгоритм распознает типы слов и их соотношения между собой.
Кроме того, модуль упрощает предложения не только структурно, но и лексически, заменяя слова на синонимы. Это необходимо для того, чтобы на последнем этапе алгоритм смог подобрать для каждого слова в сценарии соответствующую 3D-модель или анимацию из библиотеки, собранной авторами. После получения упрощенного сценария алгоритм размечает технические данные, такие время начала действия, эмоции действующих персонажей и другие, и отдает эти данные модулю, создающему итоговую 3D-анимацию на основе этих данных.
Разработчики проверили эффективность алгоритма с помощью BLEU-метода. Во время оценки три человека проводили такое же преобразование сценариев, как и алгоритм, а затем исследователи измеряли различия в преобразованиях, выполненных людьми и алгоритмом. Выяснилось, что качество преобразования (близость к преобразованию, сделанному человеком) достаточно сильно варьируются в зависимости от типа слова в предложении, к примеру, ближе всего к человеку алгоритм описывал манеры, с которыми делаются те или иные действия. Сравнение с другими алгоритмами обработки естественного языка показало, что новый алгоритм дает более близкий к человеческому результат.
Наконец, авторы провели оценку на добровольцах, которых просили оценить качество работы алгоритма. В общем случае при оценке по пятибалльной шкале от «Полностью несогласен» до «Полностью согласен» 45,23 процента добровольцев согласились с утверждением, что алгоритм корректно визуализирует текст. Кроме того, почти 60 процентов добровольцев согласились с тем, что алгоритм не добавляет в визуализацию действия, не упомянутые в сценарии.
В прошлом году американские разработчики научили нейросетевой алгоритм создавать по текстовому описанию ролики с персонажами мультсериала «Флинтстоуны». После обработки текста нейросеть ищет похожие кадры из реального мультфильма и дорабатывает их соответствующим образом.
Григорий Копиев
Пять правил успешной IТ-стажировки
Как попасть на работу в сфере IT без опыта работы? Хороший способ попробовать свои силы, познакомиться с работодателем и зарекомендовать себя — пойти на стажировку. Редакция N + 1 на примере программы Росатома подготовила пять универсальных правил, которые помогут попасть на желаемую IT-стажировку и остаться работать в компании. Правило 1. Выбирайте не только профессию, но и компанию Важно не только выбрать дело по душе, но и подобрать себе подходящее место работы — в наши дни это чуть ли не важнее, чем сама профессия. Хотели бы вы строить карьеру именно с этим работодателем? Если после стажировки вы надеетесь получить трудоустройство, внимательно изучите, чем компания занимается и насколько это близко вам лично. Может прозвучать неожиданно, но в Росатоме — госкорпорации, занимающейся атомной промышленностью, — есть IT-направление. Сотрудники разрабатывают цифровые продукты разного масштаба: от создания программных роботов и цифровизации Северного морского пути до строительства новых электростанций. Попасть на работу в госкорпорацию легче, чем кажется! Особенно если вы студент или выпускник старших курсов технических или IT-специальностей. Поддержка. Формат программы уникален, участие бесплатное и дистанционное. Команде участников предстоит решить реальный кейс при постоянной поддержке куратора и наставничестве эксперта. Кстати, участие в Case Lab можно засчитать как производственную практику в университете. А лучшие студенты получат приглашение на оплачиваемую стажировку в штат Гринатома и другие проекты Росатома. Правило 2. Определитесь, какое направление для вас Ок, с компанией определились. Что дальше? Нужно выбрать направление. Чем четче вы сформулируете свои предпочтения в работе, тем проще будет найти подходящую стажировку. А кандидат с четкой расстановкой приоритетов, безусловно, лучше выглядит в глазах работодателя. В Росатоме открывается много проектов, поэтому список программ Case Lab постоянно обновляется. Вот самые популярные направления: Аналитика и системный подход В условиях импортозамещения самые популярные системы учета в России и СНГ — это продукты 1С, которые используют 1,5 миллиона компаний. С их помощью можно считать зарплату сотрудников, контролировать расчеты с подрядчиками и клиентами, вести документооборот, сводить бухгалтерский баланс, формировать отчеты и делать многое другое. На Case Lab от Гринатома команды участников на реальных примерах изучают, как устроены автоматизация деятельности предприятия, подсчет зарплат, контроль расчетов с подрядчиками и клиентами через систему 1C, и с нуля обучаются новой профессии: 1С-аналитик или 1С-разработчик. Похожий трек есть и по направлению SAP. Там участники работают с SAP BI — системой обработки информации для бизнес-анализа, с помощью которой проводят стратегический анализ данных и принимают стратегические решения в компании. Поддержка В любой технологической компании есть несколько линий поддержки. Чем они отличаются друг от друга? Близостью к пользователю или системе: от непосредственной работы с пользователем до технических вопросов эксплуатации и низкоуровневого взаимодействия с кодом системы. Участники программы Support изучают построение IТ-инфраструктуры и знакомятся со спецификой работы в сфере IT. По итогам марафона Росатом открывает набор на стажировки по разным направлениям: первая линия поддержки пользователей, поддержка видео-конференц-связи или корпоративной системы передачи данных, администрирование систем коммуникаций Microsoft, работа с серверным оборудованием или автоматизация IТ-инфраструктуры. Веб-разработка Если хочешь быть востребованным специалистом, лучше всего изучать JavaScript или Java. Программа подходит для всех, кто начинает делать первые шаги к карьере в IТ. Подготовка идет по двум направлениям: разработка и системная аналитика. Участники учатся создавать, настраивать и кастомизировать несложные сайты, а также пробуют на практике работу в Scrum-команде. Кстати, в Case Lab ребята пишут на JavaScript. Правило 3. Не пренебрегайте конкурсами, хакатонами и другими программами поддержки молодых специалистов Крупные IT-компании давно следуют принципу, что лучше обучить новичков под свой проект с нуля, чем заниматься «перепрошивкой» готового специалиста. Проявите себя — так больше шансов, что вас заметят. Так, для желающих попасть на оплачиваемую стажировку в Росатом после Case Lab учитываются баллы рейтинга, мотивация и умение работать в команде. Программа подготовки к IT-стажировкам по всем направлениям бесплатная и проходит в дистанционном формате. Участникам предлагают совместно решить кейс на основе реальной ситуации. В процессе обучения команду сопровождает куратор, который еженедельно дает обратную связь, а также эксперт, проверяющий выполненное задание. На еженедельных встречах с экспертом участники могут задать вопросы и обменяться опытом. Правило 4. Интегрируйтесь в компанию по максимуму Не забывайте напоминать о себе. Принимайте приглашения на все встречи и совместные мероприятия, не стесняйтесь общаться. В вас должны видеть не только профессионала, но и приятного человека, с которым хочется иметь дело. Стажировка Гринатома может быть рассчитана как на полную, так и на частичную занятость. Руководители помогают стажерам адаптироваться в атомной отрасли и постепенно ставят перед ними практические задачи. Все стажеры официально трудоустроены, а их работа оплачивается исходя из фактической занятости. Росатом заинтересован в том, чтобы после стажировки участники программы остались работать в IT-блоке разных предприятий атомной отрасли. Чтобы участники не чувствовали себя оторванными от коллег, каждую пятницу проводятся развлекательно-познавательные тренинги — онлайн-встречи, на которых сотрудники компании делятся опытом и советами, как успешно пройти стажировку или развить soft skills. Во время онлайн-митапов и квизов стажеры знакомятся между собой и погружаются в процессы компании. IT-вакансии для стажеров доступны как удаленно, так и в офисе в разных городах России. Большинство стажировок можно проходить удаленно, и в этом, на наш взгляд, огромный плюс. Также не забывайте принимать участие во всех активностях компании: в Гринатоме есть беговой клуб, сообщество волонтеров, языковые клубы и многое другое. Правило 5. Не забывайте, стажировка — это полноценная работа Если вы хотите остаться в компании, относитесь к стажировке так же, как к полноценной работе. У вас будет руководитель-наставник, но это уже не учеба. Чтобы стать постоянным сотрудником одной из компаний Росатома, нужно пройти программу стажировки и получить положительную обратную связь от руководителя и наставника. Если все требования будут учтены, вас переведут на позицию джуниора. 80% стажеров Росатома заключают постоянный контракт. Если вам интересна работа в IT-блоке атомной отрасли — подавайте заявку, набор на стажировки открыт круглый год. За подробностями следите в группе «IT-стажировки Росатома» во «ВКонтакте» и на сайте.