Компьютерное зрение проследит за лабораторными животными без меток
Группа немецких и американских ученых разработала DeepLabCut — систему автоматического трекинга движений, созданную специально для изучения поведения лабораторных животных. Система разработана на основе алгоритмов глубокого обучения и позволяет точно отслеживать движения даже небольших животных, таких как дрозофилы, без использования каких-либо специальных меток. Препринт статьи с описанием алгоритма опубликован на arXiv.org.
Обновлено: в августе 2018 года статья опубликована в журнале Nature Neuroscience.
Обычно для наблюдением за движениями животных в лабораторных условиях используются тепловые камеры, датчики движения, либо специальные метки, которые затем помогают автоматически локализовать особь при анализе видеозаписей. Тем не менее, зачастую исследователям необходимо также следить и за отдельными частями тела животных: это достаточно просто с точки зрения прямых наблюдений самим ученым, но сложно при автоматической обработке большого объема материала. Для анализа позы можно использовать множество меток по всему телу, но это, однако, может нарушить движения животного или вовсе быть невозможным в виду маленьких размеров особи; кроме того, количество и месторасположение использованных маркеров должно быть определено до начала эксперимента.
Группа ученых под руководством Маттиаса Бетге (Matthias Bethge) из Тюбингенского университета решила использовать методы машинного обучения, чтобы вообще отказаться от меток. Нейросеть, лежащая в основе нового метода, обучена на вручную размеченных изображениях частей тела животных: анализируя каждый кадр видео из тренировочной выборки, она выдает вероятность появления в каждом пикселе определенной части тела животного или его положения в пространстве. Кроме того, нейросеть эффективно работает даже при небольшой величине обучающей выборки: 200 вручную размеченных кадров для каждой конкретной задачи.
С помощью разработанного метода ученым удалось, например, точно визуализировать движения мышиной лапки при выполнении задания по захвату предмета и ее перемещения внутри клетки. Эффективен алгоритм и при анализе передвижений дрозофилы: нейросеть помогла изучить процесс откладывания яиц.
Больше информации доступно на официальном сайте лаборатории. Там же разработчики выложили исходный код программы с подробным описанием работы — они доступны на github.
Глубокое обучение используют и для разработки методов автоматического определение позы человека в сложных условиях: например, когда видна только часть тела или когда его сложно определить на общем фоне. Подобный метод в прошлом году представили китайские ученые — о нем вы можете прочитать здесь.
Елизавета Ивтушок
Она поможет написать письмо, план тренировки или сочинит историю
Яндекс обучил большую русскоязычную языковую модель YandexGPT и внедрил ее в своего виртуального помощника Алису. Сейчас нейросеть тестируют пользователи продуктов Яндекса, новость об этом вышла на сайте компании. Языковая модель — это нейросеть, которая умеет генерировать тексты, по очереди предсказывая каждое слово в предложении. Языковая модель YandexGPT основана на архитектуре Transformer, которую создали исследователи из Google в 2017 году. Когда в такую нейросеть загружают текст, она умеет выделять в нем важные слова и фокусировать на них внимание. Главный навык модели — хорошо понимать и запоминать тексты, и генерировать новые. Когда нейросеть осваивает этот навык, она одновременно естественным образом учится выполнять самые разные задачи, связанные с анализом текстов. Большие языковые модели основаны на архитектуре Transformer и обучены на огромном количестве данных, обычно из интернета. Они умеют создавать текст, почти не отличимый от человеческой речи. Первой успешной моделью такого типа стала нейросеть GPT от компании OpenAI. В 2022 вышла улучшенная версия модели ChatGPT. Ее не просто натренировали на большом количестве данных, но и дообучили с помощью обучения с подкреплением. Люди-эксперты работали с нейросетью в режиме диалога, показывая ей как правильно отвечать на вопросы. В надежде повторить успех ChatGPT, многие компании обучают свои языковые модели-аналоги (например, Bard от Google или Poe от Quora). Яндекс первым внедрил такую модель в виртуального помощника. 17 мая Яндекс выпустил большую языковую модель YandexGPT в открытый доступ. С ней можно пообщаться через Алису в приложении Яндекс, браузере, умной колонке или телевизоре. Чтобы активировать YandexGPT, нужно сказать: «Алиса, давай придумаем!» Языковая модель пока находится в режиме тестирования, но уже умеет выполнять разные задачи пользователей: выбрать подарок, составить план тренировки или написать деловое письмо. Модель умеет составлять грамотные содержательные тексты, но может ошибаться в фактах. Посмотрите, как пользователи общаются с YandexGPT: Нейросеть обучали на суперкомпьютерах Яндекса в два этапа. Сначала разработчики отобрали для обучения много книг, статей и страниц сайтов с помощью поисковых инструментов Яндекса — по утверждению компании, в выборку попадали только содержательные и хорошо написанные тексты. На втором этапе модель дообучили, чтобы она лучше вела диалог. Для этого Яндекс воспользовался методом, который придумали исследователи из OpenAI. Эксперты-разметчики составили сотни тысяч пар вопрос-ответ и показывали их YandexGPT на втором этапе обучения. Но у YandexGPT есть свои ограничения. Например, нейросеть пока не умеет запоминать контекст и учитывать предыдущие реплики. Однако YandexGPT постоянно дообучается на новых данных от пользователей и может развить этот навык в будущем. Cравнить качество ответов YandexGPT с другими языковыми моделями пока невозможно, Яндекс не раскрыл эти данные. Также неизвестна точная архитектура модели и параметры ее обучения. Тем временем другая языковая модель GPT-4 научилась работать не только с текстом, но и с картинками.