Компания OpenAI научила генеративную языковую нейросеть GPT-3 не только дополнять текст, но и редактировать его. Например, ее можно попросить переписать текст, объяснив нужные правки простыми словами. Описание новой функции доступно в блоге компании.
GPT-3 — это универсальная генеративная языковая модель, разработанная OpenAI в 2020 году. Она была предобучена на 570 гигабайтах неразмеченных текстов из интернета и благодаря этому сумела получить общее понимание того, как должен выглядеть осмысленный текст на языке, с которым она работает. После предобучения такой модели можно показать всего несколько примеров, чтобы обучить конкретной задаче, причем не обязательно текстовой по своей сути — к примеру, она оказалась способна выполнять простые арифметические действия.
GPT-3 позволяет писать тексты, но на самом деле способности изначальной модели сводятся к предсказыванию следующего слова в предложении. Постепенно разработчики дорабатывали нейросеть, в основном адаптируя ее к практическим задачам, в том числе к написанию кода по текстовой инструкции. Также они учат ее и новым возможностям. Например, недавно GPT-3 научили искать ответы на вопросы в интернете и подкреплять утверждения ссылками на источники.
Теперь разработчики из OpenAI научили нейросеть не только генерировать и дополнять текст, но и редактировать его. Редактирование работает в двух режимах. При собственно редактировании пользователь дает модели текст или программный код и описывает, что с ним нужно сделать, простым языком, например, алгоритм можно попросить переписать предложение, чтобы оно стало от первого лица.
Во втором режиме модель не редактирует текст, а вставляет в заданное место дополнение, для этого ей необходимо дать текст, идущий до и после этого места. К примеру, GPT-3 можно попросить написать логическую связку между двумя абзацами в тексте.
OpenAI обучила новым возможностям модели для генерации текста и кода. Они уже какое-то время тестировались в сервисе GitHub Copilot, пишущим код, а теперь доступно в бета-версии API для GPT-3 и Codex.
Оригинальная модель GPT-3 работает с английским языком, но уже существуют и русскоязычные адаптации: в 2020 году такую нейросеть представил Сбер, а в 2021 — Яндекс.
Григорий Копиев
Вопросы обрабатывает нейросеть и подсказывает крысе, на какую кнопку нажать
Российская биотехнологическая компания Neiry совместно с учеными МГУ разработала систему, которая позволяет крысе отвечать на вопросы с помощью клавиатуры с кнопками «да» и «нет». За обработку вопросов отвечает алгоритм машинного обучения, сообщается в пресс-релизе компании. В мозг крысы по имени Пифия ученые имплантировали инвазивный нейроинтерфейс, который стимулирует определенные зоны мозга животного. Нейроинтерфейс работает в паре с алгоритмом, который имеет доступ к информации в интернете. Крысе устно задают любой вопрос, например, по физике или истории, а алгоритм конвертирует его в «подсказки» — электрические сигналы, которые через электроды стимулируют определенные области мозга крысы. Животное воспринимает их как ощущения в теле. Если на вопрос нужно ответить «да», она испытывает одни ощущения, а если «нет» — другие. За правильный ответ Пифия получает вознаграждение. По словам ученых, эксперимент призван проверить качество работы созданных ими электродов и электроники, а также продемонстрировать в действии концепцию объединения естественного и искусственного интеллекта.