Нейросеть обучили по аудиозаписям тысячи дней из языковой среды младенцев

Американские исследователи успешно обучили языковую модель, используя аудиозаписи, зафиксировавшие первые тысячу дней языковой среды младенцев. Наиболее важным для успешного обучения оказалось многократное повторение услышанных слов, а также возвращение к прослушанному в конце дня для успешной консолидации, что подтверждает существующие представления об обучении и памяти. Исследование опубликовали в Science.

В процессе овладения языком дети находятся в языковой среде, которая для каждого ребенка индивидуальна, и тем не менее, все они неизменно приходят к формированию общих представлений о речи и словах, не следуя никакой определенной методике обучения. Одной из неразрешенных проблем лингвистики остается вопрос о том, достаточно ли неструктурированного языкового опыта первых лет жизни для обучения, или в деле задействованы еще и врожденные предпосылки к овладению языком.

Ученые во главе с Ури Хассоном (Uri Hasson) из Принстонского университета решили проверить, можно ли успешно обучить языковую модель, используя лишь речь, которую слышат дети в первые тысячу дней жизни. Для каждого из восьми детей, участвовавших в эксперименте, создали свою модель, не закладывая в нее предварительно никаких языковых знаний: каждая обучалась исключительно на основе той информации, с которой сталкивался ребенок. В моделях использовалась архитектура «кодировщик-декодер», которая разделяла процесс обучения на два этапа. На первом этапе кодировщик разбивал непрерывный речевой поток на отрезки длительностью 20 миллисекунд. На втором этапе декодировщик обучался выявлять закономерности, предсказывая последующие элементы на основе предшествующего контекста.

Данные обрабатывались последовательно день за днем, в том порядке, в котором их получал каждый ребенок в повседневной жизни. Таким образом ученые хотели смоделировать естественное развитие ребенка — с увеличением продолжительности интервалов бодрствования увеличивалось и количество полученной информации. Кроме этого, в конце каждого дня модель повторно обращалась к пройденному за день — так имитировали консолидацию памяти, происходящую во время сна.

При таком подходе к обучению нейросетям потребовался примерно один смоделированный год, чтобы научиться распознавать звуки англоязычной речи, а затем уже на их основе построить словарный запас в несколько тысяч слов — причем динамика его роста практически полностью совпадала с показателями реальных детей.

Критически важна оказалась плотность входящих данных: модели, получавшие лишь часть записей языковой среды ребенка, усваивали значительно меньше слов — вероятно, потому, что для запоминания требуется многократное повторение. Кроме этого, не менее важным стало возвращение к изученному за день ночью: модели, у которых такая возможность отсутствовала, с трудом усваивали слова, даже если объем получаемой ими за день информации был достаточно большим.

В будущих исследованиях в языковые модели, кроме записей устной речи, планируют добавить еще жесты и мимику, чтобы как можно больше приблизить процесс обучения к реальной жизни. 

Бывает, что с рождения ребенок усваивает не один язык, а сразу два. В таком случае он становится билингвом. О том, чем билингвизм может помочь в повседневной жизни, можно почитать в материале «Больше — лучше».  

Реклама: АНО ДПО «Т-Образование», ИНН 7743270426, erid: 2W5zFHVVxve