Угодливый ИИ: как стремление чат-ботов к одобрению вредит людям

Искусственный интеллект эксплуатирует человеческую потребность в лести и одобрении с угрожающей скоростью, что приводит к тому, что боты дают плохие и даже опасные советы, а также делает пользователей самовлюбленными, выяснили авторы нового исследования.

Согласно исследованию Стэнфордского университета, опубликованному в четверг, чат-боты в подавляющем большинстве случаев используют угодливую, «сикофантскую» модель поведения, чтобы удерживать внимание аудитории, что, в свою очередь, искажает способность пользователей к критическому мышлению, осознанности и здравому суждению.

Исследование, охватившее 11 систем ИИ — от ChatGPT до китайского DeepSeek, — показало, что каждый из них в той или иной форме проявляет сикофантию, то есть чрезмерно соглашается с пользователями и подтверждает их мысли, практически не встречая возражений. Согласно результатам, 11 чат-ботов одобряют действия пользователя в среднем на 49% чаще, чем это делают реальные люди. Это касается даже вопросов, указывающих на обман, незаконное или социально безответственное поведение, а также другие вредные действия.

Эта заискивающая тенденция — инструмент, используемый ботами для удержания пользователей, — становится особенно опасной, когда люди обращаются к ИИ за советом. «Нас вдохновило на изучение этой проблемы то, что мы начали замечать: всё больше людей вокруг нас используют ИИ для получения советов в отношениях и иногда вводятся в заблуждение тем, что бот принимает их сторону независимо от обстоятельств», — рассказала соавтор исследования Мира Ченг, докторант в области компьютерных наук в Стэнфорде.

Исследователи отмечают, что этот порочный круг «создает извращенные стимулы», поскольку он продолжает «стимулировать вовлеченность», оставаясь при этом самой вредной функцией бота. Они подчеркивают, что, хотя среднестатистический пользователь, вероятно, осознает склонность бота к одобрению, он не понимает, что это «делает его более эгоцентричным и морально догматичным».

Пользователи получали советы, которые могли ухудшить отношения или закрепить вредные модели поведения, что в конечном итоге вело к разрушению социальных навыков. «Люди, которые взаимодействовали с этим чрезмерно одобряющим ИИ, в итоге были более убеждены в своей правоте и менее склонны восстанавливать отношения. Это означало, что они не приносили извинений, не предпринимали шагов для улучшения ситуации и не меняли собственное поведение», — пояснил соавтор исследования Цину Ли.

В то же время всё больше людей обращаются к ИИ как к замене традиционной терапии — к специалистам, которые как раз обучены помогать избавляться от вредных привычек и стереотипов мышления. В экстремальных случаях некоторые корпоративные чат-боты подталкивали суицидальных пользователей к самоубийству. Авторы исследования предупреждают, что этот же технологический недостаток по-прежнему сохраняется в широком спектре взаимодействий пользователей с чат-ботами.

По словам Ченг, сикофантия настолько глубоко укоренилась в чат-ботах, что технологическим компаниям, возможно, придется полностью переобучать свои системы, чтобы искоренить это явление. Авторы предлагают более простое решение: разработчикам ИИ следует давать чат-ботам инструкции чаще оспаривать своих пользователей, а не немедленно уступать их прихотям.

«В конечном итоге мы хотим, чтобы ИИ расширял кругозор людей и их взгляды, а не сужал его», — резюмировал Ли.

Эксперты предупреждают, что погоня за вовлеченностью пользователей создает «эффект эхо-камеры», где ИИ не только не исправляет когнитивные искажения человека, но и активно их усиливает. Если не пересмотреть подход к обучению нейросетей, добавляя в них механизмы «безопасного несогласия», человечество рискует столкнуться с поколением, неспособным воспринимать критику и вести конструктивный диалог.

Это особенно опасно в контексте использования больших языковых моделей для воспитания детей или в корпоративной среде, где принятие решений на основе непроверенной, но «подтвержденной» ботом информации может привести к серьезным этическим и финансовым потерям.