Специалисты из DeepMind, отделения Google, отвечающего за исследования искусственного интеллекта, разработали нейросеть, которая умеет соотносить видеоряд со звуком, и таким образом учится распознавать объекты без предварительного понимания того, что перед ней находится. Препринт статьи опубликован на сайте arXiv.
Развитие в области нейросетей и, в частности, компьютерного зрения научило искусственный интеллект распознавать объекты реального мира. Алгоритмы Microsoft, например, умеют определять то, что изображено на фотографии, с точностью до 95 процентов. Однако, для того, чтобы обучить такую нейросеть, требуется использование очень большого количества размеченной человеком информации: чтобы компьютер научился узнавать, например, собак, он сначала должен обучиться концепту того, что такое собака, обработав миллионы изображений животного. Определение объектов с помощью методов машинного обучения без учителя (unsupervised learning), то есть без предварительной разметки изображенных объектов, — задача более сложная.
Авторы новой работы представили алгоритм, главная задача которого — решение задания на соотнесение видео и аудио (Audio-Video Correspondance task, или коротко AVC). Алгоритм состоит из трех частей: первая нейросеть обрабатывает изображения, взятые из видео, вторая – аудио, соответствующие этим изображениям, третья часть учится соотносить изображения с определенным звуком. Алгоритм был обучен на 60 миллионах изображений и соответствующих им звукам, каждый из которых длился одну секунду.
В итоге, алгоритм научился правильно определять объекты и явления (например, игру на саксофоне или мужскую речь) по звуку и изображению в 79 процентах случаев. Для сравнения, подобный алгоритм, созданный при помощи машинного обучения с учителем, SoundNet, правильно определяет объект по звуку в 74 процентах случаев.
Создатели алгоритма отмечают, что, используя созданную ими систему, искусственный интеллект может научиться определять объекты окружающего его мира не путем предварительного обучения определенным концептам, а взаимодействуя с ними в реальном времени, слушая и наблюдая, – точно так же, как это делают люди.
Специалисты из DeepMind добиваются успеха во многих областях применения искусственного интеллекта. Так, в нашей заметке вы можете прочитать о том, как нейросеть одержала победу в игре го над профессиональными игроками, а здесь — об успехах в компьютерном синтезе человеческого голоса.
Елизавета Ивтушок
У пациентов с разным цветом кожи
Хала Муадди (Hala Muaddi) с коллегами по Клинике Майо разработала и успешно протестировала систему на основе машинного зрения для диагностики инфекций послеоперационных ран по фотографиям. Распознавание проходит в две стадии: идентификации хирургического разреза и идентификации инфекции в ране. Для обучения и тестирования системы использовали более 20 тысяч снимков, сделанных в течение месяца после операции более чем шестью тысячами пациентов (медианный возраст 54 года; 61,4 процента —женщины) девяти больниц Клиники Майо. Данные о развитии инфекций у них брали в базе программы NSQIP. Четыре разных модели распознавания подвергли десятикратной перекрестной проверке на достоверность. Результаты работы опубликованы в журнале Annals of Surgery.