Инженеры из Сингапура и США разработали метод, позволяющий распознавать звуки в комнате с помощью робота-пылесоса, не оснащенного микрофоном. Вместо него они воспользовались лидаром, который часто установлен в дорогих моделях, и научились регистрировать с помощью лазерного луча вибрации на поверхности предметов, образующиеся из-за звуков от человека или колонки. Работа была представлена на конференции SenSys 2020.
Звук — это волна механических колебаний, которые распространяются от их источника сквозь воздух, твердые предметы или другую среду и может переходить между средами: например, звук из мощных колонок или сабвуфера может вызывать заметную вибрацию на предметах в комнате. Ученые и инженеры давно догадались, что этот процесс можно «повернуть вспять» — по вибрациям предмета восстановить звук, который их вызвал. В 2014 году инженеры из Массачусетского технологического института показали, как можно восстановить звук при помощи пакета от чипсов и высокоскоростной камеры, а летом 2020 года израильские инженеры продемонстрировали, что звук в доме можно восстановить на большом расстоянии, если навести телескоп с фотодиодом на работающую лампочку.
Оба этих метода и их аналоги позволяют достичь неплохого качества и подслушивать речь, но требуют довольно дорогого оборудования и не годятся, если у злоумышленника нет визуального контакта с комнатой, звук из которой надо записать. Инженеры под руководством Цзюна Ханя (Jun Han) из Национального университета Сингапура разработали метод, для реализации которого годится робот-пылесос, оборудованный лидаром — его можно приобрести за несколько сотен долларов. Он состоит из лазерного излучателя и приемника, закрепленных на вращающейся платформе, и по сути работает как лазерный дальномер: посылает луч и по тому, как быстро он вернулся обратно, определяет расстояние до объектов в комнате, что позволяет строить точную карту.
В модели, которую использовали разработчики, лидар вращается с частотой пять герц и записывает 360 значений за оборот. В таком виде он способен регистрировать колебания в одной точке с частотой пять герц, что недостаточно для записи речи или других звуков. Инженеры немного модифицировали электрическую цепь в блоке лидара так, что он может регистрировать расстояние без вращения. Они отмечают, что того же эффекта можно добиться модификацией прошивки, но для простоты они обошлись аппаратным решением. Оно позволяет направить датчик на одну точку и записывать данные с частотой 1,8 килогерца (пять вращений в секунду × 360 измерений за оборот), что уже гораздо выше, хотя и все еще недостаточно для анализа речи. Разработчики воспользовались программным набором Dustcloud, позволяющим получать права суперпользователя на роботах-пылесосах Xiaomi, и с его помощью записывали с лидара «сырые» данные об интенсивности.
После получения данных с лидара алгоритмы проводят их фильтрацию. Среди прочего, они проводят интерполяцию для пустых фрагментов сигнала, получающихся из-за того, что луч не вернулся на датчик, пиковую нормализацию, фильтруют низкочастотный шум и усиливают сигнал в области низких частот, причем отдельно для множества небольших интервалов частот. В результате получается файл, который сложно понять человеку, но при этом в нем достаточно данных, чтобы в дальнейшем по ним можно было восстановить некоторые типы звуков.
После предварительной обработки спектрограмму сигнала подают на сверточную нейросеть, которая относит сигнал к одному из знакомых классов (они зависят от того, на каких данных и для какой задачи обучали нейросеть). Авторы показали практическую применимость метода на нескольких задачах: определение произнесенных цифр, пола говорящего и начальной музыкальной заставки телепередачи, а также распознавание личности говорящего. Они обучили алгоритм на соответсвующих датасетах других разработчиков, к примеру, Free Spoken Digit, состоящем из записей произнесенных цифр, и на собственном датасете из заставок телепередач, который они собрали из записей с YouTube.
Разработчики установили пылесос напротив мусорного ведра, которое выступало в качестве «мишени» лазерного излучателя, и включали звук громкостью 70 децибел на колонке, стоящей в 20 сантиметрах от ведра. В результате они получили достаточно высокую точность распознавания для такого метода: 96 процентов для определения пола, 91 процент для цифр, 90 процентов для телепередач (10 возможных вариантов передач) и 67,5 для определения личности (10 вариантов людей).
Авторы предложили два способа защиты от такой атаки. Во-первых, они предлагают устанавливать в пылесосы такие лидары, которые на аппаратном уровне не могут проводить измерения без вращения, что снизит частоту записываемого сигнала до всего нескольких герц. Во-вторых, они отмечают, что пылесос, который они использовали, записывает данные с лидара в виде пар расстояние-качество сигнала, а качество в свою очередь напрямую коррелирует с интенсивностью. Они предлагают не использовать на уровне системы данные, которые позволяют получить интенсивность сигнала.
Лазер можно использовать и для противоположной задачи: создавать с его помощью звук на большом расстоянии. Инженеры уже продемонстрировали эту возможность на практике, нашептав звук на ухо человеку и в микрофон умной колонке.
Григорий Копиев
Вероятно, из-за выброса гормона октопамина
Итальянские энтомологи придумали, как сделать выращенных в неволе самцов средиземноморских плодовых мух более успешными любовниками. Эксперименты показали, что если дать мужским особям этих насекомых подраться с роботизированной моделью сородича, то впоследствии они будут больше времени тратить на ухаживания за самками и спаривание с ними. Кроме того, у них вырастет процент успешных попыток спаривания. Как отмечается в статье для журнала Biological Cybernetics, результаты исследования повысят эффективность программ по сокращению численности насекомых, в ходе которых в дикую природу массово выпускают стерилизованных самцов. Среди насекомых много вредителей сельского хозяйства, переносчиков инфекций и инвазивных видов, угрожающих целым экосистемам. Один из наиболее эффективных и безопасных для окружающей среды методов борьбы с ними заключается в том, чтобы в большом количестве выращивать в неволе стерильных самцов определенных видов и выпускать их в природу. После того, как такие особи спарятся с дикими самками, те не дадут потомства. В результате местная популяция вида сократится или вовсе исчезнет. Несмотря на все достоинства этого подхода, у него есть и недостатки. Одна из проблем заключается в том, что выращенные в неволе и стерилизованные самцы приспособлены к жизни в природе хуже своих диких сородичей. Например, они зачастую плохо справляются с поиском и оплодотворением самок. Команда энтомологов под руководством Донато Романо (Donato Romano) из Школы передовых исследований имени Святой Анны в Пизе решила сделать выращенных в неволе самцов насекомых более успешными любовниками. Ученые сосредоточили внимание на средиземноморских плодовых мухах (Ceratitis capitata) — широко распространенных вредителях, личинки которых питаются плодами более 200 видов растений. С этими насекомыми часто борются, выпуская в природу стерилизованных самцов. Романо и его соавторы обратили внимание, что самцы средиземноморских плодовых мух агрессивно ведут себя по отношению друг к другу. Мужские особи этих насекомых занимают на листьях или плодах растений участки, где устраивают брачные демонстрации для привлечения самок. Хозяин участка ревностно защищает его от конкурентов, вступая с ними в ритуализированные поединки, включающие взмахи и удары крыльями, а также покачивания и толчки головой. Авторы предположили, что сражения с соперниками запускают в организме мух-самцов изменения, которые впоследствии позволяют им эффективнее привлекать и оплодотворять самок. Чтобы проверить данную идею, исследователи провели серию экспериментов с выращенными в неволе самцами плодовых мух. Они сажали по одной мужской особи за раз в прозрачный контейнер, на дне которого по окружности лежали пять дисков, вырезанных из листьев цитрусовых деревьев. После этого подопытных мух на двадцать минут оставляли в одиночестве, чтобы они заняли один из дисков в качестве демонстрационной площадки. Затем авторы помещали в центр окружности между дисками роботизированную модель самца, управляемую с помощью магнита, Ее направляли к диску, выбранному настоящим самцом, чтобы сымитировать вторжение соперника. Робомуха находилась у границ занятого участка тридцать секунд, после чего возвращалась в центр окружности на шестьдесят секунд. Данная последовательность действий повторялась в течение пятнадцати минут. Подопытные самцы видели в роботах соперников и демонстрировали агрессивное поведение, защищая от них свои участки. На следующем этапе к самцам плодовых мух, которые сразились с роботом, на час подсаживали половозрелых самок. Исследователи фиксировали, сколько времени у мужских особей займет вибрациями крыльями (это часть брачной демонстрации), как быстро они перейдут к совокуплению и как долго оно продлится. Кроме того, они оценивали, закончится ли попытка спариться успешно или самка отвергнет ухаживания. В качестве контрольной группы выступали самцы, которые не сталкивались ни с живыми, ни с роботизированными соперниками. В обеих группах было по 120 особей. Как и ожидали авторы, встреча с роботом-конкурентом помогла самцам плодовых мух эффективнее привлекать самок. По сравнению с сородичами из контрольной группы они дольше вибрировали крыльями, позже переходили к совокуплению и дольше оплодотворяли самок. В целом такие самцы тратили больше времени на ухаживания и спаривание. А их попытки совокупиться с самками чаще заканчивались успешно. Романо и его коллеги предполагают, что во время драки с соперником (настоящим или роботизированным) в гемолимфу мух-самцов выбрасывается большое количество октопамина — аналога норадреналина у беспозвоночных. Это соединение активирует октопаминергические нейроны и тем самым стимулирует агрессивное и брачное поведение. Авторы надеются, что результаты их исследования сделают проекты по контролю численности вредных насекомых более эффективными. Однако для этого нужно придумать, как тренировать стерилизованных самцов в промышленных масштабах. Ранее мы рассказывали о том, как нидерландские инженеры создали легкого летающего робота, который позволяет изучать механизмы, лежащие в основе полета насекомых. Несмотря на отсутствие хвоста он может управлять движением вокруг вертикальной оси с помощью движений крыльев, создающих крутящие моменты по остальным осям. Эксперименты с роботом позволили подтвердить гипотезу, согласно которой дрозофилы и некоторые другие насекомые используют аналогичный механизм во время резких поворотов.