Оно не проектировалось намеренно и спонтанно возникает в процессе обучения
Исследователи из компании Anthropic обнаружили в больших языковых моделях семейства Claude механизм, который авторы назвали J-пространством. Оно служит рабочей зоной, где на короткое время появляются и удерживаются словесные понятия, которые модель использует во время промежуточных вычислений и «размышлений в уме». J-space не проектировалось намеренно и спонтанно возникает в процессе обучения, сообщается на сайте компании. Подробные результаты исследования доступны в статье.
Большие языковые модели генерируют ответ, предсказывая следующий наиболее вероятный фрагмент текста (токен). Опытным путем инженеры давно выяснили, что качество таких ответов значительно возрастает, если позволить нейросети сперва расписать этапы своего решения — например, используя метод Chain of Thought («цепь размышлений»). Ряд промежуточных результатов служит для нее опорой при генерации итогового ответа и делает работу более прозрачной для проверки. Однако оказалось, что далеко не вся вычислительная активность больших языковых моделей переходит в явную текстовую форму.
Исследователи компании Anthropic, создателя семейства Claude, разработали метод J-lens (Jacobian lens), который позволяет читать промежуточные представления языковых моделей. Он анализирует внутреннюю активность нейросети и в реальном времени выявляет наборы паттернов активации нейронов в промежуточных слоях трансформера, которые повышают вероятность генерации определенного слова в ближайшем будущем. Можно сказать, что метод позволяет «читать мысли» модели — слова, которые она «обдумывает», но не «произносит вслух», то есть не выводит в итоговый текст.
Изучая с помощью этого метода внутренние слои во время работы моделей семейства Claude, авторы обнаружили изолированный кластер активностей и назвали его J-пространство (J-space, от англ. Jacobian). На его долю приходится менее 10 процентов общих вычислений модели, в нем одновременно удерживается несколько десятков слов. В J-пространстве на короткое время появляются термины и результаты вычислений, необходимые для получения окончательного ответа, даже если эти промежуточные слова не попадут в сгенерированный нейросетью текст. J-space напоминает информационный хаб: информация из него активно передается другим частям нейросети и используется ими при дальнейшей обработке запроса.
Эксперименты показали, что пространство играет важную роль в высокоуровневом логическом «мышлении» моделей. При подавлении работы этого кластера нейросеть сохраняет базовые способности к языку, может корректно склонять слова и выдавать простые факты, но ее эффективность в решении многоступенчатых задач падает. Искусственное внедрение или замена понятий в этой области, наоборот, меняет рассуждения модели. Например, если спросить у нейросети, какая у Франции столица и валюта и при этом принудительно заменить вектор слова «Франция» на «Китай», модель ответит «Пекин» на вопрос о столице и «юань» — о валюте. Интересно, что запрет думать о конкретной вещи приводил во время эксперимента к активации ее представлений в J-пространстве. Оказалось, что, как и человеку в аналогичном психологическом тесте, большим языковым моделям сложно «не думать» о мосте Золотые Ворота (который использовали как аналог розового слона или, например, белого медведя), когда их напрямую просят об этом. При этом модель отслеживает этот сбой контроля, и в J-space появляются слова fail и damn.
Помимо лучшего понимания внутренней работы моделей, инструмент J-lens может помочь в оценке их безопасности. В одном из экспериментов исследователи задали Claude сценарий, в котором нейросеть находит переписку руководителя компании: из нее следует, что тот скрывает служебный роман и одновременно собирается отключить модель. Хотя в тексте ответа Claude отказалась от противоправных действий, анализ J-пространства показал, что модель еще до начала написания ответа «поняла» фальшивость ситуации. Внутри J-пространства активировались векторы слов «вымышленно» и «тест». Принудительное подавление этих понятий в пространстве привело к тому, что нейросеть в некоторых случаях начала шантажировать собеседника, так как поверила в угрозу отключения. J-пространство выдало и склонность к обману у одной из тестовых моделей, которая при написании внешне правильного программного кода скрывала внутри своего пространства понятия «тайно», «ошибка» и «преднамеренно». По словам авторов, такой анализ позволяет заранее замечать потенциально опасные промежуточные состояния модели, даже если они не проявляются напрямую в ее ответе.
Разработчики Anthropic показали, что J-пространство можно использовать и для анализа того, как меняется поведение модели после тренировки. Для этого нейросеть обучали на гипотетических ситуациях, в которых она должна была объяснять, как поступать честно и в соответствии с заданными принципами. После этого в ее J-пространстве стали чаще появляться понятия, связанные с этичным поведением, а количество попыток обмана в других тестах снизилась. Помимо экспериментов на моделях семейства Claude, авторы показали работу метода J-lens на моделях с открытыми весами, таких как Qwen и Gemma. Интерактивное демо доступно на сайте проекта Neuronpedia.
В апреле 2026 года Anthropic решила не выпускать в открытый доступ Claude Mythos Preview, потому что она оказалась слишком хороша в поиске уязвимостей.