Инженер научил очки распознавать жесты и управлять умным домом

Американский инженер создал умные очки, понимающие, на что именно смотрит пользователь, и распознающие его жесты по отношению к этому объекту. К примеру, они позволяют взмахом руки включить лампу или музыку на колонке, рассказывает разработчик на странице проекта на GitHub.

На сегодняшний день существует множество систем умного дома, позволяющих управлять устройствами, не прикасаясь к ним. Многие из них работают на основе голосовых помощников и принимают команды в голосовом виде. Например, колонку Яндекса можно попросить включить умную лампу с помощью голосовой команды. Но если многие устройства в доме подключены к такой системе, возникает проблема: как определить, о каком именно устройстве говорит пользователь?

Инженер Ник Билд (Nick Bild) создал умные очки, понимающие, на какой именно предмет, подключенный к системе умного дома, показывает пользователь. Он взял за основу не готовые умные очки с камерой, а обычные солнцезащитные очки и дополнительную электронику. На одной из дужек он закрепил камеру для одноплатного компьютера Raspberry Pi, которая через провод подключена к плате NVIDIA Jetson Nano. Эту плату инженер разместил в картонной коробке, которую можно повесить на шею.

Разработчик реализовал управление устройствами жестами с помощью двух сверточных нейросетей. Одна из них распознает объекты в кадре, а вторая распознает жесты руки. Если алгоритмы получают комбинацию из известных объекта и жеста, очки с помощью Wi-Fi посылают команду на устройство.

Инженер обучил алгоритмы на двух самостоятельно собранных датасетах, каждый из которых содержал более 10 тысяч кадров. Пока разработчик научил систему принимать в качестве команды лишь взмах руки, однако он выложил код и обучающие данные на GitHub, поэтому любой желающий может дообучить модель для своих жестов.

В прошлом году редактор N+1 и инженеры из Яндекса и Московского театра мюзикла превратили обычную кофеварку в умную и управляемую голосом с помощью умной колонки «Яндекс.Станция», микроконтроллера и другой электроники.

Григорий Копиев