Трехмерная сверточная нейросеть распознала движения животных с большой точностью
Группа ученых из США представила нейросетевой алгоритм, позволяющий по видео с животными восстанавливать их трехмерную позу с высокой точностью. В отличие от большинства современных подходов, этот метод не требует прикрепления маркеров к животным, а значит он будет удобен для наблюдений за животными не только в лабораториях, но и в естественной среде. Результаты исследования были опубликованы в Nature.
Изучение движения животных занимает центральное место в этологии, нейробиологии, психологии и экологии. Однако до сих пор не существует универсального метода, воспроизводимого в лабораториях и устойчивого в естественной среде обитания, который бы не использовал прикрепление маркеров к животным.
Изучение движений животных ранее уже автоматизировали с помощью двумерных методов — например, нейросети помогали отслеживать двумерные координаты частей тела. Хотя эти 2D-прогнозы и могут быть триангулированы в 3D с использованием нескольких независимых изображений, такой подход неэффективен для изучения свободно движущихся зверей. Происходит это потому, что сама нейросеть не знает ничего о трехмерной позе и не может объединять информацию с разных изображений. Если с одного из ракурсов часть тела будет перекрыта посторонним предметом, положение анатомических ориентиров определится неточно. У использования двумерных методов есть еще один недостаток: ничего не гарантирует хороший результат для любых поз животных и углов обзора камеры.
Для борьбы с таким и проблемами придумали оптимизационные схемы, которые используются для уточнения или отбрасывания неточно определенных координат. Но они пока не способны надежно отслеживать свободно движущихся животных, за исключением случаев обучения с большим количеством кадров.
Для изучения движения животных группа под руководством Тимоти Данна (Timothy Dunn) из Дьюкского университета и Джесси Маршалла (Jesse Marshall) из Гарвардского университета разработала сверточную нейросеть DANNCE. Ключевым нововведением DANNCE по сравнению с предыдущими алгоритмами является то, что сеть полностью трехмерна, так что она может узнавать об особенностях 3D-изображения и о том, как камеры и ориентиры связаны друг с другом в пространстве. Чтобы обучить нейросеть, ученые собрали датасет из семи миллионов кадров синхронизированного видео и меток с анатомическими ориентирами грызунов с нескольких ракурсов. Обученная нейросеть предсказывала положение ориентиров животных, используя только видео.
Работу DANNCE можно описать следующим образом. В каждый момент видеозаписи при помощи триангуляции изображений определяется положение крысы в пространстве. Этому пространственному положению ставится в соответствие пустая 3D-сетка. Далее на каждое из изображений проецируется один воксель. Пиксели из областей изображения, на которых есть грызун, трансформируются в воксель. Затем нейросеть обрабатывает данные со всех вокселей и выдает предполагаемые положения анатомических ориентиров животного на исходной 3D-сетке.
Исследователи сравнили работу DANNCE с DeepLabCut (DLC) - современным алгоритмом на основе двумерных сверточных нейросетей. Для этого оба метода обучили на одном и том же наборе видеокадров и поз (180 456 уникальных кадров, 3609 120 маркеров) и протестировали их на новых изображениях объекта, который не участвовал в обучении. Тестовая выборка состояла из 2400 кадров, которые были разделены на 12 групп в зависимости от поведения грызуна. Выяснилось, что DANNCE превосходит DLC даже в тех случаях, когда первый алгоритм получает изображения с трех камер, а второй - с шести: в этом случае неопределенность координат, предсказанных DANNCE, была более чем в 10 раз меньше. К тому же, если уменьшать число камер, DLC становилось труднее следить за большим числом ориентиров, в то время как DANNCE все так же хорошо справлялась с задачей. Кроме того, DANNCE научилась отслеживать положения мышей, мартышек и синиц, когда в обучающую выборку добавили небольшое количество вручную размеченных данных.
Успешное применение нейросетей в работе с изображениями и видео не ограничивается этой работой. Ранее мы рассказывали, как нейросеть превратила растовое изображение в непрерывное.
Яна Савченко
Для этого растению понадобилось 15 минут
Японские ученые отследили механизм работы белков семейства LAZY, занимающих ключевое место в восприятии силы тяжести растениями. В покое белки экспонированы на поверхности статолитов — органелл, имеющих высокую плотность и лежащих из-за этого в нижних частях клетки. Но наклон ростков резуховидки Таля приводил к тому, что статолиты перемещались в новые нижние участки клетки, оставляя отпечаток из белков LAZY. Белки, перенесенные с мембраны статолитов на цитоплазматическую мембрану, маркируют новое направление роста и изгиба корня. Исследование опубликовано в журнале Science. У корней большинства высших растений выражен гравитропизм, то есть движение в сторону источника силы тяжести. За гравитропизм корней отвечают клетки-статоциты, входящие в состав корневого чехлика. В них находятся органеллы статолиты — родственники хлоропластов, заполненные крахмалом и лежащие в нижней части клетки из-за более высокой, чем у цитоплазмы, плотности. Статолиты маркируют направление изгиба и роста корня, поскольку клетка экспортирует фитогормон ауксин в ту сторону, куда указывают органеллы, а ауксин вызывает растяжение клеток (по такому принципу поворачиваются растения подсолнечника в течение дня) и стимулирует их деление. Все эти детали были известны еще 50 лет назад, но механизмы, связывающие оседание статолитов и направление транспорта ауксина, за прошедшее время так и не были расшифрованы. Впрочем, было установлено, что белки семейств LAZY и RLD имеют отношение в гравитропизму, ведь корни растений, у которых выключены эти гены, перестают расти вниз. Молекулярные биологи и физиологи растений из нескольких университетов США и Японии при участии Миё Тэрао Морита (Miyo Terao Morita) из Национального института фундаментальной биологии в Окадзаки сосредоточились на изучении работы двух белков семейства LAZY — LZY3 и LZY4 — в корневом чехлике резуховидки Таля (Arabidopsis thaliana). Анализ аминокислотной последовательности LZY3 и LZY4 показал, что у белков нет трансмембранного домена для заякоривания в мембране, зато есть гидрофобные и положительно заряженные участки для взаимодействия с фосфолипидами внутреннего слоя мембраны. Точечные мутации в этих участках белков нарушали гравитропизм у ростков резуховидки. Поскольку белок с таким строением неспособен прочно фиксироваться в мембране, но при этом критически важен для гравитропизма, то, предположили биологи, он может слабо прикрепляться попеременно к плазматической мембраной и к гликолипидам внешней мембраны статолитов. И действительно, LZY3 и LZY4 были обнаружены на поверхности обеих мембран. Далее ученые при помощи конфокальной микроскопии отследили, как меняется распределение LZY4 в живой клетке после наклона ростков на 90-135 градусов. Уже спустя три минуты статолиты оказывались в нижней части клетки. Через 15 минут обнаружились метки LZY4 на прилежащем участке плазмалеммы, а первые признаки изменения формы корня появились через полчаса с начала эксперимента. Помимо воздействия гравитацией, ученые подвигали амилопласты внутри живых клеток при помощи оптического пинцета, чтобы исключить, что полярность клетки управляется какими-либо другими органеллами, имеющими высокую плотность. Как и в эксперименте с наклоном ростка, через несколько минут флуоресцентная метка, пришитая к LZY4, переходила с пластид на плазматическую мембрану. После оседания LZY на мембране с ним связывались белки семейства RLD, которые, в свою очередь, привлекают на мембрану белки-экспортеры ауксина. Таким образом, японские ученые описали еще один механизм механорецепции живыми организмами. По словам авторов статьи, принцип работы LAZY-зависимых сенсоров, чувствующих направление силы притяжения, но не ее величину, похож на работу «аналогового» инклинометра. Человеческие же проприорецепторы, полукружные канальцы и отолитовые органы работают как акселерометры, детектирующие линейное или угловое ускорение при движении головы, внутренних органов или мышц. Подробнее о принципе их работы можно прочитать в нашем материале «Премия за самочувствие». Градиент ауксина в корне влияет на только на его рост в физиологических условиях, но и, к примеру, на заживление ран.