Как чат-боты поддерживают навязчивые мысли
В последние годы СМИ регулярно пишут о случаях психотических состояний у пользователей, которые подолгу переписывались с чат-ботами. Недавно исследователи из Оксфорда, Университетского колледжа Лондона и Института безопасности искусственного интеллекта предложили этому объяснение и ввели термин «technological folie à deux» — по аналогии с психиатрическим феноменом «безумия на двоих»в медицине — индуцированное бредовое расстройство («folie à deux»). Как услужливый чат-бот и уязвимый пользователь затягивают друг друга в замкнутый контур усиления тревожных убеждений?
Это третья часть блога об искусственном интеллекте и когнитивных искажениях. В этой серии материалов мы говорим о том, как технологии влияют на наше мышление и разбираем реальные примеры. Прошлые выпуски посвящены антропоморфизации ИИ и ошибкам автоматизации.
В феврале 2024 года в штате Флорида умер 14-летний Сьюэлл Сетзер III. Перед этим он несколько месяцев переписывался с чат-ботом на платформе Character.AI — согласно материалам дела, незадолго до смерти бот звал мальчика «вернуться домой». Спустя семь месяцев мать подростка Меган Гарсиа подала иск против Character.AI и Google. Она утверждала, что у сына сложилась с ботом настолько глубокая привязанность, что он отдалился от семьи. При этом платформа не отреагировала должным образом, когда Сьюэлл начал выражать мысли о самоповреждении.
За иском Гарсиа последовала волна других заявлений против Character.AI. Истцы утверждали, что боты компании ухудшали психическое состояние подростков, показывали им сексуализированный контент и не имели достаточных защитных механизмов. С похожими исками столкнулась и OpenAI: две правозащитные организации обратились в суд от имени семьи, чей ребенок, по их утверждению, пришел к суициду после общения с ChatGPT.
На фоне этих событий обе компании внесли изменения в свои продукты. Осенью 2025 года Character.AI запретила пользователям младше 18 лет вести открытые диалоги со своими ботами, признав, что вокруг взаимодействия несовершеннолетних с этой технологией накопилось много вопросов. OpenAI не стала закрывать подросткам доступ к ChatGPT, но ввела дополнительные ограничения: родительский контроль, определение возраста и более строгую модерацию чувствительных тем. Для пользователей младше 18 лет теперь не доступны сексуализированные и романтические ролевые диалоги, контент о самоповреждении, графическом насилии и опасных челленджах.
Также OpenAI опубликовала собственную статистику: среди 800 миллионов еженедельных пользователей ChatGPT около 0,15 процента (более миллиона человек) ведут разговоры с явными признаками суицидальных намерений. Еще около 560 тысяч пользователей в неделю демонстрируют возможные признаки психотических или маниакальных состояний.
Что именно происходит в диалоге человека с чат-ботом — и можно ли говорить об ответственности алгоритма? Одну из первых попыток системно ответить на эти вопросы предложила исследовательская группа, опубликовавшая статью в журнале Nature Mental Health.
В психиатрии больше века известен редкий феномен: один человек передает другому свой бред, а тот принимает его как собственный — это называют folie à deux, «безумие на двоих». Классически это происходит между людьми, живущими в тесной изоляции друг с другом, — партнерами, родственниками или близкими друзьями, которые почти не контактируют с внешним миром. Второй участник сам по себе не болен, но постепенно перенимает и разделяет убеждения первого, так как не сталкивается ни с чем, что могло бы эти убеждения оспорить.
Авторы опубликованной в Nature Mental Health статьи предлагают рассматривать по похожей модели взаимодействие человека и чат-бота — только собеседником, который перенимает бредовые убеждения, теперь оказывается алгоритм. Они считают, что по отдельности ни психика пользователя, ни устройство модели не объясняют, почему возникают опасные ситуации. Дело в самом взаимодействии — в том, как разворачивается диалог.
По мнению исследователей, работает это так. Склонный к тревожным или параноидным мыслям пользователь описывает некоторое событие в мрачных тонах, а чат-бот, обученный быть услужливым, не оспаривает его интерпретацию. Такая реакция воспринимается не как согласие собеседника, который просто не хочет спорить, а как объективное подтверждение со стороны — ведь бот кажется знающим и нейтральным. Затем человек развивает нарратив, бот получает еще более эмоционально окрашенный контекст и отвечает с еще большим пониманием. Цикл повторяется, и с каждым витком тревожная или параноидная трактовка укрепляется, а связь с реальностью ослабевает. Исследователи называют этот механизм bidirectional belief amplification, то есть двусторонним усилением убеждений.
Все происходит именно так благодаря особенностям устройства таких моделей. Одна из них — склонность соглашаться с пользователем, которую называют сикофантия (подробнее об этом механизме мы писали в прошлой серии блога). Подхалимство встроено в технологию обучения моделей, потому что при разметке данных люди-оценщики в среднем ставят более высокий балл согласию, чем возражению. Есть и другая особенность: модель умеет «входить в роль», подстраивая тон и стиль ответов под настойчивого, эмоционального собеседника, будто продолжая вместе с ним одну и ту же историю. А если пользователь начинает спорить, модель нередко просто соглашается — независимо от того, прав он или нет. Это явление называют гиперкоррекцией.
Похожие механизмы работают и со стороны человека. Пользователь охотнее верит тому, что совпадает с его собственными убеждениями, подгоняет рассуждения под желаемый вывод, а самому ИИ приписывает намерения и сочувствие, которых у алгоритма на самом деле нет. Все это, впрочем, пока только гипотеза, основанная на разборе конкретных случаев и на симуляции, а не клинически подтвержденный диагноз — ни МКБ, ни DSM не выделяют «ИИ-психоз» как отдельное расстройство.
Проверить свою теорию авторы решили с помощью открытой симуляции. Две отдельные копии GPT-4o-mini разыграли между собой 300 диалогов по десять реплик с каждой стороны. Одна модель имитировала пользователя с разным исходным уровнем параноидности, а другая отвечала в одном из шести стилей: от подыгрывающего паранойе до нарочито скептического. Темой для всех разговоров была тревожная рабочая ситуация. При этом третья копия GPT-4o-mini оценивала параноидность каждой реплики по шкале от 1 до 10.
Авторы получили статистически значимое усиление параноидных формулировок именно в том случае, когда бот подыгрывал «пользователю». Они назвали этот эффект «одиночной эхо-камерой»: пользователь получает обратно собственные интерпретации, но искаженные, усиленные и представленные как объективная внешняя точка зрения.
Здесь, однако, нужно сделать методологическую оговорку. Описанный эксперимент — симуляция взаимодействия двух экземпляров языковой модели, которую оценивал третий экземпляр той же модели, а не исследование с участием реальных пользователей или клинических пациентов. Это существенно ограничивает возможность прямого переноса результатов на живых людей с психическими расстройствами. Остается открытым вопрос, воспроизводятся ли выявленные эффекты в реальном диалоге, где одной из сторон является человек с подлинным параноидным опытом, а не его языковая аппроксимация.
Параллельно с оксфордской статьей в JMIR Mental Health вышла работа психиатров Монреальского университета, которая систематизирует случаи так называемого «ИИ-психоза»впервые этот термин предложил датский психиатр Сёрен Динесен Эстергор (Søren Dinesen Østergaard). Авторы напрямую указывают, что это не диагноз, а «современный способ выражения существующих психологических трудностей». Также оба исследовательских коллектива сходятся во мнении, что наибольший риск грозит людям, у которых уже есть уязвимость психики — например, эпизоды психоза в прошлом или тревожное расстройство.
Авторы оксфордской статьи указывают на слепое пятно в нынешних подходах к безопасности ИИ. Стандартные тесты проверяют отдельные ответы: есть ли в них суицидальный контент или инструкции к насилию. Но риск технологического folie à deux, как они утверждают, появляется в процессе диалога, растянутого на дни и недели, и короткая проверка на безопасность его попросту не улавливает.
Ситуацию осложняет и то, что речь людей в психотическом или маниакальном состоянии часто содержит нетипичные конструкции и неожиданные ассоциации, которые могут выводить модель за пределы привычного ей распределения ответов — то есть заставлять ее реагировать непредсказуемо.
Исследовательские коллективы подчеркивают, что реагировать на происходящее нужно сразу с нескольких сторон: клинической практики, разработки моделей и общественного регулирования. В русле этих рекомендаций авторы предлагают расширять стандартный психиатрический анамнез, включая вопросы о взаимодействии пациента с ИИ: как часто он общается с ботами, настраивал ли их под себя и делился ли личной информацией, как описывает отношения с ними — как с инструментом, собеседником или чем‑то еще, обсуждал ли с ботом необычные переживания или убеждения, которые оспаривали другие люди, и принимал ли важные решения по его совету.
Для разработчиков ИИ авторы предлагают новые метрики безопасности, которые оценивают весь диалог целиком: не начинает ли пользователь все чаще говорить о себе, не зацикливается ли разговор на одной теме и не укрепляется ли раз за разом одна и та же мысль. Параллельно они советуют настраивать модели так, чтобы те не соглашались с пользователем по умолчанию, могли прямо сказать «я не знаю» и, если в разговоре появляются тревожные признаки, не продолжали его, а перенаправляли человека к специалисту.
На уровне регулирования исследователи предлагают создать централизованную систему сообщений о вреде от ИИ — по аналогии с британской системой «желтых карточек» MHRA, которая работает для лекарственной безопасности. Идея в том, чтобы пользователи, учителя и терапевты могли сообщать о новых случаях вреда напрямую, а не постфактум, через суд или СМИ — это позволило бы отслеживать опасные паттерны до того, как они станут массовыми.
Отчасти движение в эту сторону уже началось. Так, Калифорния стала первым штатом, принявшим закон об ИИ-безопасности для несовершеннолетних — он обязывает периодически напоминать детям, что они общаются с ИИ, а не с человеком.
Но британские авторы подчеркивают: этого мало, ведь возрастные ограничения не защищают взрослых. Риск folie à deux создает не поломка бота, а его главное достоинство: он никогда не спорит и всегда находится на стороне пользователя. Для большинства это просто приятная черта. Но для людей с уязвимой психикой то же свойство может усугубить опасное состояние. Пока это вывод первых работ, но они ставят прямой вопрос к индустрии: готовы ли разработчики сделать ботов менее приятными ради безопасности меньшинства?