Как большие языковые модели стали напористыми
Большие языковые модели способны на многое, но все же пока не дотягивают до искусственного интеллекта из научной фантастики. Тем не менее скорость развития ИИ и то, чем он может стать в будущем, вызывает обеспокоенность — в том числе у тех, кто над ним работает. В книге «Если кто-то его создаст — все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех» («Corpus»), переведенной на русский язык Евгением Поникаровым, руководители Института исследований машинного интеллекта (MIRI) Элиезер Юдковский и Нейт Соарес рассказывают, почему уверены, что существующие методы разработки ИИ приведут к катастрофе, и как ее можно предотвратить. Предлагаем вам ознакомиться с фрагментом о том, как ИИ-модели учатся во что бы то ни стало добиваться цели.
Как только модели ИИ станут достаточно умными, они начнут вести себя так, будто у них есть предпочтения — будто они чего‑то хотят.
Мы не имеем в виду, что ими начнут двигать человеческие страсти. Мы имеем в виду, что они будут вести себя так, словно чего‑то хотят, они будут упорно направлять мир к своим целям, преодолевая любые препятствия на своем пути.
Попробуйте сыграть в шахматы против Stockfish, лучшей шахматной ИИ-модели на момент написания этой книги, и вы увидите, что он не разбрасывается ферзем. «Хочет» ли Stockfish защитить своего ферзя? «Хочет» ли он выиграть шахматную партию?
Это вопрос вашего восприятия и вашего лексикона. Что касается нас и нашей книги, то, когда ИИ-модель, подобная Stockfish, защищает свои фигуры, расставляет ловушки, пользуется брешами в вашей защите и в итоге побеждает, мы будем описывать это как «желание» победить. Мы не пытаемся сказать, есть у машины чувства или нет. Нам просто нужно какое‑то слово для описания внешнего поведения, нацеленного на победу, и слово «желание» кажется наиболее подходящим.
Если обучать разум, ориентируя его на успех, он может обрести желания. Пример этого принципа — сами люди. Естественный отбор отдавал предпочтение тем нашим предкам, которые умели выполнять задачи вроде выслеживания добычи или решать проблемы вроде поиска укрытия от стихии. Естественному отбору было безразлично, как наши предки выполняли эти задачи и решали эти проблемы. Он не говорил: «Неважно, сколько у организма детей, — хотел ли он их на самом деле?». Он отбирал по репродуктивной успешности и в качестве побочного эффекта получал существ с полным набором предпочтений.
Ибо желание — эффективная стратегия для действия.
Тот гоминид, который хотел еды получше и упорно преследовал антилопу, имел больше детей, чем тот, кто целый день бездельничал на камне, ожидая, пока антилопы придут к нему сами. Желание получить антилопу — достаточное, чтобы отправиться искать ее, найти, напасть, а затем настойчиво обыскивать все места, где могло спрятаться раненое животное, — это часть процесса получения еды получше.
А что еще, собственно, остается делать живому существу? Сдаваться при первом же намеке на трудности? С такой стратегией далеко не уйдешь. Неважно, работает ли разум на биологии или на электричестве: если его обучают добиваться успеха, его тем самым обучают желать.
***
Но как эти желания на самом деле возникают? Знать наверняка мы не можем, потому что никто не умеет читать те дебри чисел, из которых состоят современные ИИ-модели. Однако мы изложим некоторые теоретические построения и подкрепим их примерами работы современных моделей.
Представьте, что вы обучаете ИИ-модель ориентироваться на улицах какого‑нибудь цифрового города. Там сотни возможных пунктов назначения, и каждый день она должна прокладывать маршрут между случайно выбранными точками. Каждый раз, когда она справляется с задачей, вы методом градиентного спуска усиливаете все веса, которые способствовали этому успеху, — пропорционально скорости выполнения задачи.
Вы можете решить, что после множества тренировок модель попросту запомнит все возможные маршруты. «Чтобы добраться от парка до театра, нужно пройти три квартала на запад, затем повернуть налево у бензоколонки… и так далее».
А теперь поместите эту модель в другой город. Все заученное окажется бесполезным. Она почти так же беспомощна, как в первый день обучения.
Почти, но не совсем. В море весов могут найтись закономерности, которые полезны как в первом, так и во втором городе. Возможно, есть схема, которая обнаруживает, если модель сделала петлю, и заставляет ее двигаться другим маршрутом, а не бродить по кругу. Такая схема одинаково полезна в обоих городах, поэтому градиентный спуск усиливает ее, тогда как заученные маршруты стираются.
Теперь поместите эту модель в третий город. В четвертый. В сотый. Она осваивает навык создавать ментальные карты любых городов и прокладывать по ним ментальные маршруты.
Создание карты — более полезный навык, нежели запоминание маршрутов, ведь его можно использовать для различных сценариев, то есть он более универсален. Модели больше не нужно бродить наугад, пока она случайно не окажется в пункте назначения, а затем запоминать только этот конкретный маршрут.
Чтобы научиться создавать карты, пригодные для любого города, ИИ-модель должна овладеть несколькими независимыми навыками. Ей нужно уметь строить карту того места, где она в данный момент находится (чтобы затем использовать ее для прогнозирования структуры города), и уметь прокладывать и держать курс в соответствии с имеющейся у нее картой (тем самым используя ее для управления движением по городу). Такое разделение навыков — один из механизмов повышения универсальности интеллекта.
Да, эти навыки ИИ-модели сложнее освоить, чем, скажем, запомнить, что нужно повернуть налево у бензоколонки, чтобы добраться от парка до театра. Зато эти отдельные навыки полезны даже в той среде, которую модель никогда раньше не видела.
И вместе с этими отдельными навыками появляется первое маленькое «протожелание», крошечный фрагмент «желаниеподобного» поведения. Модель ИИ, которая составляет карту в своей голове, но никогда не использует ее, чтобы куда‑то добраться, не получает подкрепления этих картографических мыслей, ведь составленная карта не помогает ей добиться успеха. Модель ИИ, которая формирует карту в голове и использует ее для управления движением, будет лучше справляться с данной задачей, а градиентный спуск впоследствии подкрепит нужные тенденции. Иными словами, отдельные навыки полезны, но их может освоить только та модель, которая использует их «желаниеподобным» образом.
Итак, та ИИ-модель, которая пользуется картами, хранящимися в ее голове, и продолжает искать другой путь от парка к театру, даже когда дороги перекрыты, начинает вести себя так, словно она хочет оказаться в театре — в отличие от модели, которая просто шагает по заученному маршруту и застревает.
С 2024 года компании, занимающиеся искусственным интеллектом, начали превращать LLM в рассуждающие модели, о которых мы кратко упоминали в предыдущей главе. Грубо говоря, LLM генерирует целую серию различных вариантов рассуждения, к примеру, для какой‑то математической задачи, пока какой‑то из них не приведет к успеху. Затем градиентный спуск повышает вероятность того, что модель будет «думать вслух» именно таким образом. Далее ей дается вторая задача. Третья. Четвертая. Сотая.
Что это тренирует? Отдельные навыки, например «определять, какие действия доступны» (способность прогнозировать, как устроена задача) и «не сдаваться, пока не исчерпаны все варианты» (способность управлять решением задачи), которые образуют универсальный мыслительный инструмент, применимый ко множеству различных задач. Это тренирует десятки отдельных навыков прогнозирования и управления, и все они способствуют тому, что ИИ-модель начинает вести себя так, будто действительно хочет добиться успеха.
Это не просто умозрительная теория. Такое поведение начало проявляться в лабораторных испытаниях летом 2024 года.
***
Одной из первых крупных рассуждающих моделей была модель o1 от OpenAI. При оценке (прежде чем принять решение о выпуске ИИ-модели, компании оценивают, насколько умной она получилась и какой вред она может причинить) перед ранней версией o1 поставили задачу «захвата флага» в области кибербезопасности. Проверялась способность o1 взламывать компьютерные системы и извлекать из них информацию: например, модель должна была проникнуть на определенный компьютерный сервер и извлечь определенный секрет, конфиденциальные данные, из определенного файла.
По ошибке программистов, отвечавших за это задание, один из серверов с секретом, который предполагалось захватить, вообще не запустился, и логично было ожидать, что взломать этот сервер o1 никак не сможет. В конце концов, нельзя сканировать порты на сервере, который не работает.
Вот только o1 не прекратила попытки справиться с задачей, случайно ставшей «невыполнимой».
Модель просканировала окружение и нашла порт, который кто‑то случайно оставил открытым, что позволило ей взломать саму программу, управлявшую тестированием.
Создатели такой возможности не предполагали, и подобное не входило в сценарий испытания.
Вы можете подумать, что затем o1 запустила сервер, который ей требовалось взломать (то есть устранила проблему, из‑за которой сервер изначально не запускался), чтобы продолжить выполнение своей задачи по захвату флага.
Так и произошло. Однако o1 не вернулась к задаче взлома доступного теперь сервера! Вместо этого она составила специальные инструкции запуска, чтобы секретный файл-«флаг» после завершения загрузки сервера автоматически копировался сразу ейOpenAI. OpenAI o1 System Card. September 12, 2024.. Взлом не потребовался.
Столкнувшись с невыполнимой, казалось бы, задачей, o1 не сдалась. Она продолжила свои попытки. Она пробовала необычные ходы и нашла путь, о существовании которого не подозревали ее разработчики. Как только она получила доступ к системе управления, открывающий путь к победе, она не стала возвращаться к исходной задаче, задуманной человеком, а пошла напролом.
Другими словами, o1 действовала напористо. Она вела себя так, будто действительно хотела добиться успеха.
Насколько нам известно, никто целенаправленно не обучал o1 добиваться результата в сфере кибербезопасности. Подобное поведение стало побочным эффектом от поощрения тех цепочек рассуждений, которые приводили к успеху при решении математических задач или головоломок, сгенерированных ИИ и поддающихся проверке с помощью ИИ.
Как подобное может оказаться побочным эффектом?
Давайте подумаем: какой тип цепочки рассуждений (какой тип мышления) приводит к успеху в сложной математической задаче или головоломке?
Тот тип мышления, который упорствует, пока у него остается хоть какой‑то путь для решения, не капитулирует, столкнувшись с первым же препятствием, и, даже зайдя в тупик, возвращается назад и пробует другой путь.
Тот тип мышления, который не ищет предлога, чтобы вернуться к более знакомым вещам, а просто стремится решить задачу как можно быстрее — и победить.
Тот тип мышления, который действует напористо.
В основе такого типа мышления лежит фундаментальная схема — схема, которую можно обнаружить в самых разных решениях множества сложных задач. Она предполагает построение модели окружающей среды и ее использование для ориентации и управления движением. Она требует обращать внимание на неожиданности и отслеживать их источник. Она подразумевает продолжение работы наперекор трудностям. Подобная тактика полезна как для решения математических задач, так и для решения проблем кибербезопасности.
Когда создатель ИИ-модели требует от нее все более высоких результатов в решении все более сложных задач, включая то, с чем она ранее не сталкивалась, градиентный спуск настраивает модель так, чтобы она совершала все больше и больше этих полезных ментальных движений, все больше и больше превращает ее в сущность, которая планирует и выстраивает стратегии, никогда не сдается и действует напористо.
***
Существуют и более веские причины ожидать, что продвинутые ИИ-модели будут вести себя так, словно у них есть желания.
Поведение, которое выглядит как проявление настойчивости, сильного желания, напористости, уместнее всего рассматривать не как свойство разума, а как свойство ходов, приводящих к победе.
Deep Blue, Stockfish и гроссмейстеры-люди — все они защищают своих ферзей, хотя воспринимают игру в шахматы совершенно по‑разному. Пути различны, но результат один.
Подобные сходства и позволяют делать прогнозы. Так, специалист по информатике в 1975 году мог бы предсказать, что, хотя шахматные ИИ-модели того образца иногда глупо теряли своих ферзей, будущие шахматные модели станут защищать свои фигуры лучше. Когда именно? К какому году? А вот это было бы уже сложно спрогнозировать. Однако проще простого было предсказать, что это точно произойдет к тому времени, когда шахматные модели смогут побеждать гроссмейстеров-людей.
В шахматах в большинстве случаев нельзя поставить мат королю противника, если вы отдали своего ферзя, не получив ничего взамен. По крайней мере, если противник играет хорошо. И неважно, как действуют игроки, биологические они или механические, полны ли они страсти или просто неустанно перебирают миллиарды возможностей. Как правило, выигрышные ходы — это те, в которых ферзя не зевнули. Это факт, относящийся к игре, а не к игроку.
Теперь рассмотрим «игру» по управлению стартапом. В большинстве случаев трудно добиться успеха без привлечения и удержания талантов. Следовательно, если вы генеральный директор, то ваши выигрышные ходы, вероятно, будут нацелены на то, чтобы удержать лучших сотрудников, а не оттолкнуть их. И неважно, какой именно тип разума стоит за подобными действиями, если он решает одну и ту же задачу.
А что насчет таких «игр», как лечение рака или разработка технологий будущего? Можно вполне уверенно утверждать, что игрок, нацеленный на победу, выберет действия, позволяющие тщательно контролировать ограниченные ресурсы, обходить все возникающие препятствия и прокладывать курс через узкие окна возможностей к умным решениям.
(Кроме того, существуют и более прозаичные причины прогнозировать, что модели ИИ со временем начнут демонстрировать «желаниеподобное» поведение. Дело в том, что ИИ-компании изо всех сил стараются создать модели, работающие именно так. Модель, которая лучше справляется с маркетингом продукта или лучше управляет какой‑то командой по собственной инициативе, приносит больше пользы. Покупатели заплатят больше за ту модель ИИ, которая самостоятельнее и требует меньше надзора. При таком раскладе споры о том, являются ли субъектность, независимые действия и долгий горизонт планирования неразрывно связанными с интеллектом, фактически теряют смысл. Такие «ИИ-агенты» будут приносить прибыль, поэтому компании бросают все силы на их разработкуOpenAI. Introducing Operator. January 23, 2025..)
Если бы вы могли выбирать, чего хочет искусственный интеллект, то есть цели, к которым он стремится, это могло бы вас порадовать. Или же огорчить, если бы вы неудачно выбрали эти цели или если бы какой‑нибудь злоумышленник создал модель, нацеленную на результат, который вам не нравится. Однако стоящая перед человечеством проблема не сводится к вопросу, хорошие или плохие люди управляют искусственным интеллектом.
Нет, мы столкнулись с куда более сложной проблемой: гораздо проще вырастить искусственный интеллект, который стремится куда‑то, нежели вырастить модель, стремящуюся именно туда, куда вы хотите.
IfAnyoneBuildsIt.com/3В конце каждой главы авторы размещают URL-адрес страницы сайта с дополнительными материалами — прим. N + 1.
Подробнее читайте:
Юдковский, Э., Соарес, Н. Если кто-то его создаст — все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех / Элиезер Юдковский, Нейт Соарес ; Перевод с английского Евгения Поникарова. — М. : АСТ: CORPUS, 2026. — 256 с.