Почему кажется, что чат-бот понимает наши эмоции
Люди, которые переписываются с чат-ботами, регулярно описывают эти диалоги как что-то большее, чем обмен репликами: у них возникает ощущение, что их поняли, услышали, разглядели эмоциональное состояние. Оно появляется даже тогда, когда система физически не способна считать ничего, кроме текста запроса. Откуда берется это чувство понимания — и можно ли ему доверять?
Ответы на эти вопросы связаны не с возможностями конкретной модели, а с когнитивным искажением, которое описали задолго до появления чат-ботов — эффектом прожектора.
Это четвертая часть блога об искусственном интеллекте и когнитивных искажениях. В этой серии материалов мы говорим о том, как технологии влияют на наше мышление и разбираем реальные примеры. Прошлые выпуски посвящены антропоморфизации ИИ, ошибкам автоматизации и технологическому folie à deux.
В известном психологическом исследовании Томас Гилович и Кеннет Савицки продемонстрировали, насколько сильно люди переоценивают заинтересованность окружающих в их внешности и действиях. Они просили студентов надеть футболку с неуместным принтом, зайти в комнату, заполненную другими студентами, а затем оценить, сколько человек обратили на них внимание. Участники предполагали, что принт заметила примерно половина людей в комнате, тогда как на самом деле на него обращала внимание примерно четверть. Этот эффект назвали «эффектом прожектора».
Похожим образом работает «иллюзия прозрачности» — ощущение, что наши внутренние состояния легко считываются окружающими. Например, люди склонны считать, что волнение, ложь или другие переживания гораздо заметнее для собеседника, чем они есть на самом деле. В экспериментах, рассмотренных Гиловичем и Савицки, люди переоценивали способность окружающих определить их эмоциональное состояние; отдельная работа авторов была посвящена тому, как люди пытаются скрывать ложь и насколько хорошо, по их мнению, это удается.
Те же механизмы могут проявляться и в общении с ИИ: иногда из ответов чат-бота складывается впечатление, что неодушевленная система искренне заинтересована и действительно понимает состояние собеседника.
В недавнем исследовании Оклендского университета 26 человек в течение месяца переписывались с двумя психотерапевтическими чат-ботами — Woebot и Wysa — и фиксировали свой опыт в дневниках. «Казалось, он меня понимал и пережил ровно то же самое, что я. Из-за этого я почувствовал себя понятым и стал ближе к нему», — написал участник № 8. Участник № 12 вспомнил, как бот упомянул нечто, о чем он рассказывал неделей раньше, словно «помнит и заботится» о его переживаниях.
В общей сложности 18 из 26 участников сообщили, что сформировали хотя бы легкую эмоциональную связь с чат-ботом. Причем эту связь почувствовало почти одинаковое количество испытуемых в группах с более низкими и более высокими показателями по благополучия по шкале ВОЗ. Однако ни Woebot, ни Wysa на момент исследования не работали на генеративных языковых моделях — это были системы с заранее прописанными сценариями и ограниченным набором реплик. То есть ощущение понимания возникало в ответ на структурированные, заготовленные заранее фразы.
Из чего именно оно складывается, демонстрирует контролируемый эксперимент с участием 300 человек, проведенный в Амстердамском университете. Исследователи создали две версии одного и того же чат-бота на базе GPT-4 — эмпатичную и нейтральную — и показали участникам запись разговора с одной из них, чтобы узнать, какие сообщения вызывают у них больше доверия. Эмпатичная версия делала ответы более сочувствующими и теплыми, однако это почти не влияло на то, как участники оценивали ее компетентность и насколько были готовы доверять ее советам. При этом не эмпатия, а именно то, насколько умным и знающим казался чат-бот, сильнее всего была связана с уровнем доверия и готовностью следовать его рекомендациям.
Оба исследования показывают одно и то же: чувство «меня поняли» в диалоге с ИИ рождается не из скрытой проницательности алгоритма, а из предсказуемых языковых паттернов сочувствия, которые сам пользователь интерпретирует как понимание.
Возможное объяснение этого феномена предлагают исследователи человеко-машинного взаимодействия: вероятно, пользователю кажется, будто модель «считывает» его тревожность, неуверенность или личностные особенности, хотя технически система реагирует только на явный текст запроса. Причем люди спонтанно приписывают чат-ботам эмпатию, намерения и понимание внутреннего состояния, особенно когда система использует «человечные» речевые обороты.
Это хорошо видно в исследовании 2025 года об «иллюзии эмпатии». Участникам показывали анонимные сообщения, написанные либо человеком, либо ChatGPT. Пока они не знали, кому принадлежит текст, написанные ИИ сообщения казались им эмоциональными, заботливыми и заслуживающими доверия. Но стоило сообщить, что автор — ChatGPT, как оценки резко менялись: участники ниже оценивали искренность автора и ценность сообщения. Получается, ощущение эмпатии во многом возникает не из того, что система действительно считывает состояние человека, а из нашей интерпретации ее слов.
Все это очень похоже на то, как работает классический эффект прожектора. Пользователь может чувствовать, что модель замечает его тревогу, неуверенность или другие особенности, хотя она на это неспособна. Однако чем убедительнее чат-бот имитирует человеческое понимание, тем легче принять эту имитацию за чистую монету.
Пользователь может не только думать, что ИИ понимает его, но и считать, что система объективно оценивает ситуацию, в которой он оказался. Бездушному алгоритму проще приписать беспристрастность, чем человеку со своими эмоциями, интересами и предубеждениями. В психологии это называют algorithm appreciation — склонностью сильнее ценить совет, когда известно, что его дал алгоритм.
В серии экспериментов исследователи из Гарвардского университета и Калифорнийского университета в Беркли показали, что люди сильнее корректировали оценки и прогнозы, если узнавали, что так советует сделать алгоритм, а не человек. Правда, доверие мнению ИИ не универсально: оно сильнее проявляется в аналитических задачах и может ослабевать, когда речь идет об эмоциональных или субъективных вопросах. Обратная сторона такого доверия — automation bias: склонность слишком легко соглашаться с рекомендациями автоматизированной системы, в том числе ошибочными.
Сочетание предельного внимания модели и тот факт, что ИИ, как правило, не демонстрирует эмоций или собственных интересов, формирует образ объективного собеседника. Но у этой кажущейся беспристрастности есть важная особенность: пользователь сам задает условия, на основании которых формируется ответ. Система обращает внимание на формулировку вопроса, выбранные слова, эмоциональный тон, уточнения и реакция на предыдущие сообщения. Поэтому на один и тот же запрос можно получить разные ответы.
Эксперименты по управлению тональностью ответов через промпты показывают: один и тот же смысловой запрос, сформулированный нейтрально или тревожно, дает результат с разной эмоциональной окраской. Эту разницу легко заметить на двух вопросах: «Почему я не могу сосредоточиться?» и «Я в отчаянии, почему я совсем не могу сосредоточиться?». Во втором случае более мягкий и сочувственный ответ не обязательно означает, что модель распознала эмоциональное состояние человека: она реагирует на слова, которыми это состояние было описано.
К этому добавляется и сикофантияпроще говоря, подхалимство — склонность языковых моделей подстраиваться под позицию и ожидания собеседника. Модель может соглашаться с пользователем, поддерживать заданную им интерпретацию или менять тон в соответствии с формулировкой запроса. Так рождается петля обратной связи: человек сам задает тон разговора, модель его отражает — и это отражение принимается за то, что система «считала» человека верно.
Это не делает общение с ИИ бесполезным. Но меняет то, как стоит интерпретировать его проницательность. Чат-бот не получает прямого доступа к внутреннему состоянию человека: он строит ответ на основании информации, которую ему сообщают, и тех языковых признаков, которые пользователь сам помещает в диалог. Чем убедительнее система имитирует понимание, тем легче забыть об этой границе.