Группа немецких и американских ученых разработала DeepLabCut — систему автоматического трекинга движений, созданную специально для изучения поведения лабораторных животных. Система разработана на основе алгоритмов глубокого обучения и позволяет точно отслеживать движения даже небольших животных, таких как дрозофилы, без использования каких-либо специальных меток. Препринт статьи с описанием алгоритма опубликован на arXiv.org.
Обновлено: в августе 2018 года статья опубликована в журнале Nature Neuroscience.
Обычно для наблюдением за движениями животных в лабораторных условиях используются тепловые камеры, датчики движения, либо специальные метки, которые затем помогают автоматически локализовать особь при анализе видеозаписей. Тем не менее, зачастую исследователям необходимо также следить и за отдельными частями тела животных: это достаточно просто с точки зрения прямых наблюдений самим ученым, но сложно при автоматической обработке большого объема материала. Для анализа позы можно использовать множество меток по всему телу, но это, однако, может нарушить движения животного или вовсе быть невозможным в виду маленьких размеров особи; кроме того, количество и месторасположение использованных маркеров должно быть определено до начала эксперимента.
Группа ученых под руководством Маттиаса Бетге (Matthias Bethge) из Тюбингенского университета решила использовать методы машинного обучения, чтобы вообще отказаться от меток. Нейросеть, лежащая в основе нового метода, обучена на вручную размеченных изображениях частей тела животных: анализируя каждый кадр видео из тренировочной выборки, она выдает вероятность появления в каждом пикселе определенной части тела животного или его положения в пространстве. Кроме того, нейросеть эффективно работает даже при небольшой величине обучающей выборки: 200 вручную размеченных кадров для каждой конкретной задачи.
С помощью разработанного метода ученым удалось, например, точно визуализировать движения мышиной лапки при выполнении задания по захвату предмета и ее перемещения внутри клетки. Эффективен алгоритм и при анализе передвижений дрозофилы: нейросеть помогла изучить процесс откладывания яиц.
Больше информации доступно на официальном сайте лаборатории. Там же разработчики выложили исходный код программы с подробным описанием работы — они доступны на github.
Глубокое обучение используют и для разработки методов автоматического определение позы человека в сложных условиях: например, когда видна только часть тела или когда его сложно определить на общем фоне. Подобный метод в прошлом году представили китайские ученые — о нем вы можете прочитать здесь.
Елизавета Ивтушок