Израильские ученые представили Lamphone — метод дистанционного подслушивания, который позволяет в реальном времени расшифровывать речь по вибрациям поверхности обычной потолочной лампочки при попадании на нее звуковых волн. Для такого подслушивания используется телескоп с подключенным к нему фотодиодом, который преобразует попавший на него свет в электрический сигнал, а сам сигнал затем конвертируют в речевую спектрограмму с помощью алгоритма, после чего из нее уже можно извлечь сказанное. С помощью Lamphone исследователям удалось распознать и восстановить речь и музыку из комнаты на расстоянии 25 метров с точки наблюдения на мосту. Подробнее метод описан на посвященном проекту сайте.
Колебания объектов, которые появляются, когда с их поверхностью сталкивается звуковая волна, наблюдателю не заметны. Распознать их, разумеется, все равно можно, но для этого нужна камера с очень высокой кадровой частотой, а колебания даже на замедленном видео будут едва видны. В 2017 году разработчикам из Массачусетского технологического института, этого, однако, хватило, чтобы преобразовать еле заметные колебания объектов в звук, который проигрывается рядом с ними: по изменениям пикселей на изображении растения, снятого на камеру с частотой 2200 кадров в секунду, им удалось восстановить целую мелодию.
У такого метода, пусть он и достаточно хорошо работает, есть серьезные ограничения. Во-первых, камеры с большой кадровой частотой довольно дорогие (впрочем, метод работает даже на видео с 60 кадрами в секунду). Во-вторых, разрешение изображений при съемке с высокой частотой смены кадров получается высоким и требует много времени на обработку и анализ, поэтому такой метод сложно использовать в реальном времени. Кроме того, с ним также сложнее работать с дальнего расстояния, а технология, которая конвертирует вибрацию в звук, нужна скорее для незаметной прослушки, в том числе — с дальнего расстояния.
Бен Насси (Ben Nassi) из Университета имени Бен-Гуриона в Негеве и коллеги решили избавиться от всех этих ограничений и разработали новый метод прослушки по вибрациям, колеблющимся объектом в котором служит обычная свисающая с потолка лампочка. Вместо камеры с высокой кадровой частотой для регистрации колебаний используется фотодиод — светочувствительный полупроводник, который преобразует облучающие его фотоны в электрический ток. Свет от лампочки на фотодиод поступает через любительский телескоп, который можно поставить достаточно далеко от самой лампочки.
Чтобы убедиться, что такой метод будет работать, ученые подвесили на потолочную лампочку гироскоп и проигрывали звук на расстоянии в один сантиметр с разной громкостью и частотой от 100 до 400 Герц. Колебания в вертикальной и горизонтальной плоскости были очень маленькими (от 0,005 до 0,06 градуса), но изменялись в зависимости от частоты и громкости подаваемого звука, что означает, что лампочка, пусть и едва заметно (примерно на 300–950 микрон), но все же колеблется от распространяющихся рядом звуковых волн, а ее колебания зависят от их характеристик.
С помощью измерений фотодиода ученые определили примерные изменения электрического тока при колебаниях лампочки на разных расстояниях между телескопом и самой лампочкой: для этого использовали аналогово-цифровой преобразователь. Оказалось, что при использовании 24-битного преобразователя минимальные колебания лампочки (перемещение на 300 микрон в плоскости) соответствуют изменению электрического тока на 54 микровольта — такой чувствительности достаточно, чтобы покрыть весь используемый учеными звуковой спектр (100 до 400 Герц) и использовать телескоп на большом расстоянии от самой лампочки.
Далее ученые начали регистрировать изменения светового сигнала (и, соответственно, электрического тока) при использовании разных звуков: оказалось, например, что, когда звука нет, на спектрограмме преобразованного оптического сигнала от лампочки в частоту есть пик в 100 Герц (это соответствует частоте мерцания лампочки). При использовании вблизи лампочки гудка с частотой звука в 518 Герц на спектрограмме появлялся соответствующий пик.
Для преобразования частоты электрического сигнала в звуковую спектрограмму, ученые разработали пошаговый алгоритм: сначала он фильтрует определенные частоты (например, 100-герцевое мигание лампочки в тишине), нормализует сигнал для выделения частот, соответствующих человеческой речи, и удаляет шум. В результате получается звуковая спектрограмма, которую уже можно конвертировать в сам звук с помощью сторонних программ.
Наконец, ученые проверили работу своего метода с помощью любительского телескопа с 20-сантиметровым объективом: его установили на мосту в 25 метров от окна в комнату, в которой на потолке была подвешена лампочка. Рядом с лампочкой проигрывали две песни (The Beatles «Let It Be» и Coldplay «Clocks») и запись фразы «We will make America great again». Восстановленные по спектрограммам записи оказались хорошо разборчивыми, причем не только на слух: обе песни узнала программа Shazam, а речь расшифровало открытое API для конвертирования речи в текст от Google.
Несмотря на то, что ученым в действительности удалось обойти ограничения предложенного ранее метода и разработать бесконтактный метод дальней прослушки, у Lamphone есть и свои ограничения: например, понятно, что для его работы необходим подвижный источник света, и пока что непонятно, будет ли такая система работать с чем-то кроме лампочки — это, однако, исследователи планируют изучить в дальнейшем.
А еще едва заметные колебания объектов можно использовать для аутентификации: несколько лет назад ученые, например, предложили определять пользователя умных очков по проводимости посылаемых звуков его черепом.
Елизавета Ивтушок