Яндекс перезапустил «Балабобу» и научил ее генерировать текст на двух языках

Яндекс перезапустил «Балабобу» — нейросетевой сервис генерации текстов. Пользователь может ввести несколько слов и выбрать стиль, а нейросеть продолжит написанное человеком. Сервис работает на основе генеративной языковой модели YaLM, которую Яндекс представил и выложил в открытый доступ этим летом.

В последние несколько лет в области обработки естественного языка машинами произошел большой скачок. Современные алгоритмы, основанные на архитектуре Transformer, умеют писать текст, который порой сложно отличить от написанного человеком. Правда, это касается лишь коротких текстов длиной в один-два абзаца, а с более длинными текстами они справляются хуже.

Наибольшую известность среди подобных алгоритмов получила модель GPT-3 от OpenAI. Она отлично справляется со своей задачей (особенно это было справедливо на момент анонса в 2020 году), но у нее есть недостатки. Во-первых, она доступна лишь за плату, причем не всем разработчикам: например, Россия, не входит в список поддерживаемых стран. Во-вторых, она генерирует текст лишь на английском языке.

После выхода GPT-3 начали появляться алгоритмы, лишенные этих недостатков, в том числе и говорящие на русском языке. Сбер разработал русскоязычную (а затем и 61-язычную) реализацию GPT-3 под названием ruGPT-3, а также опубликовал как исходный код, так и демо-версию для всех желающих. Свою GPT-подобную языковую модель под названием YaLM разработал и Яндекс. Изначально в 2021 году компания тоже выпустила демо-версию (она получила название «Балабоба»), причем она позволяла выбирать стиль генерации. Но весной этого года Яндекс отключил «Балабобу», объяснив, что не может гарантировать корректную работу сервиса.

Теперь компания перезапустила сервис, обновив его. Его суть осталась прежней: пользователь может задать начало текста (достаточно нескольких слов) и выбрать стиль генерации, а нейросеть продолжит написанное. Главное отличие заключается в том, что теперь «Балабоба» умеет генерировать текст как на русском, так и на английском.

Также обновилась основа сервиса: в нем используется доработанная версия YaLM, которую компания представила этим летом. Тогда Яндекс опубликовал модель на 100 миллиардов параметров (она стала крупнейшей среди открытых языковых моделей), а в «Балабобе» применяется версия на 3 миллиарда параметров.

Нейросети, основанные на архитектуре GPT, обучают не только говорить на обычных языках, но и владеть языками программирования. Например, OpenAI вместе с GitHub адаптировала свою модель GPT-3 для помощи разработчикам и написания фрагментов кода, таких как небольшие функции. Аналогичные сервисы есть и у других компаний, например, Amazon и Tabnine.

Григорий Копиев