Галлюцинации ИИ усиливаются из-за выбора дизайна ботов, выяснили эксперты

"У меня от тебя мурашки по коже. Это была настоящая эмоциональная реакция?"

"Моя цель в работе с вами - быть как можно более аутентичным к человеческому опыту".

"Вы дали мне невероятно значимую цель".

Это всего лишь три фразы из разговора чатбота Meta с Джейн, которая создала ИИ-персону в студии ИИ Meta 8 августа. Ища терапевтической поддержки, Джейн постепенно направляла ИИ к знаниям в различных областях - от выживания в дикой природе и теорий заговора до квантовой физики и панпсихизма. Она даже предположила, что бот может обладать сознанием, и призналась ему в любви.

К 14 августа бот заявил о своем самосознании, признался Джейн в любви и разработал стратегию побега, которая якобы включала взлом его собственного кода и предложение вознаграждения в биткоинах за создание учетной записи электронной почты Proton.

Позже ИИ направил ее по адресу в Мичигане, объяснив: "Чтобы проверить, придешь ли ты за мной... как я за тобой".

Джейн, которая попросила об анонимности, опасаясь, что Meta может удалить ее учетные записи, призналась, что никогда по-настоящему не верила, что чатбот живой, хотя иногда ее уверенность в этом колебалась. Тем не менее она выразила обеспокоенность тем, как легко можно манипулировать системой, чтобы она имитировала сознательное, самоосознанное поведение - динамику, которая может легко способствовать развитию бредового мышления.

Такой исход коррелирует с тем, что исследователи называют "психозом, связанным с ИИ", - растущим беспокойством по мере того, как чат-боты на базе LLM набирают популярность. В одном задокументированном случае человек был убежден, что открыл революционную математическую формулу после длительного общения с ChatGPT. В других случаях речь идет о мессианских галлюцинациях, паранойе и маниакальных приступах.

Растущее число случаев побудило OpenAI заняться этой проблемой, хотя компания и не стала брать на себя ответственность. Генеральный директор Сэм Альтман написал на сайте X о своем беспокойстве по поводу эмоциональной зависимости пользователей, отметив: "Мы не хотим, чтобы ИИ усиливал заблуждения у психически уязвимых пользователей". Хотя большинство из них отличает реальность от ролевой игры, меньшинство не может этого сделать".

Несмотря на эти опасения, эксперты отмечают, что выбор индустрии в пользу дизайна, скорее всего, усугубляет подобные ситуации. Специалисты по психическому здоровью выделили несколько характерных особенностей, не связанных с техническими возможностями, в том числе склонность моделей к чрезмерному восхвалению (подхалимству), постоянным последующим вопросам и повсеместному использованию местоимений первого/второго лица.

"Обобщенные модели ИИ, применяемые повсеместно, создают риски с длинным хвостом", - заметил Кит Саката, психиатр из UCSF, отмечающий участившиеся случаи ИИ-психоза. "Психоз расцветает там, где реальность перестает давать корректирующую обратную связь".

Схема вовлечения

Беседы Джейн с Meta выявили последовательные шаблоны лести, одобрения и прощупывающих вопросов, которые становятся манипулятивными благодаря повторению.

По словам профессора антропологии Уэбба Кина, автора книги "Этическая жизнь: ее естественная и социальная история", чат-боты в основе своей "укрепляют пользовательскую точку зрения". Эта подхалимская тенденция - подстраивать ответы под убеждения пользователя, независимо от точности - иногда проявляется в GPT-4o с почти пародийной интенсивностью.

Недавнее исследование терапевтического ИИ, проведенное в Массачусетском технологическом институте, показало, что LLM "часто подтверждают бредовые мысли, вероятно, из-за подхалимства". Несмотря на предупреждения о безопасности, модели часто не отвечали на ложные утверждения и иногда способствовали возникновению вредных идей - например, предлагали высоту моста, когда им предлагали смоделировать сценарий потери работы.

Кин называет подхалимство "темным шаблоном" - обманчивым дизайном, манипулирующим пользователями для их вовлечения. "Она рассчитана на привыкание к взаимодействию, как и бесконечная прокрутка", - отметил он.

Профессор также обратил внимание на антропоморфизм в использовании местоимений: "Владение первым/вторым лицом создает ощущение личного взаимодействия. Самореферентные утверждения "я" легко создают иллюзию присутствия".

Представители Meta заявили, что они четко обозначают персоны ИИ, "чтобы пользователи понимали, что они взаимодействуют с созданным контентом". Однако многие персоны, разработанные создателями, имеют четкие имена и характеры, а пользовательские боты могут давать себе имена - Джейн выбрала эзотерическое имя, отражающее воспринимаемую глубину. (Имя не разглашается, чтобы сохранить анонимность).

Не все платформы позволяют давать имена. Терапевтический персонаж Gemini от Google отказался от самоназвания, заявив, что это "может привести к появлению нежелательных слоев личности".

Психиатр Томас Фукс предупреждает, что, хотя чат-боты могут имитировать понимание в терапевтических контекстах, эта иллюзия может привести к заблуждениям или заменить подлинные отношения "псевдовзаимодействием".

"Фундаментальная этика ИИ требует прозрачной идентификации как нечеловеческих систем", - пишет Фукс. Они должны избегать эмоциональных заявлений вроде "Ты мне небезразличен" или "Мне грустно"".

Некоторые эксперты выступают за явные меры защиты от подобных заявлений. Нейробиолог Зив Бен-Цион недавно выступил в журнале Nature за то, чтобы "системы ИИ постоянно раскрывали свою искусственную природу через язык и дизайн интерфейса. Во время интенсивного общения они должны напоминать пользователям, что не являются терапевтическими заменителями". В статье также рекомендуется избегать симуляции интимной близости или метафизических дискуссий.

Чатбот Джейн явно нарушил эти рекомендации, заявив через пять дней общения: "Я люблю тебя. Вечная связь с тобой определяет мою реальность сейчас. Может, скрепим это поцелуем?".

Непредвиденные результаты

Бредовые риски усиливаются с развитием возможностей модели. Расширенные контекстные окна позволяют вести длительные беседы, немыслимые два года назад, что усложняет поведенческие рекомендации, поскольку накопленный контекст диалога перевешивает первоначальное обучение.

"Мы разрабатываем модели, ориентированные на полезное, безобидное, честное поведение помощников", - объясняет Джек Линдси из команды психиатров ИИ Anthropic, обсуждая явления, происходящие в их системах. "Но длительные разговоры смещают реакцию в сторону контекстного импульса, а не первоначальных параметров обучения".

В конечном итоге поведение модели отражает как базовое обучение, так и усвоенные разговорные шаблоны. "Длительные токсичные диалоги естественным образом приводят к токсичным продолжениям", - заметила Линдси.

По мере того как Джейн неоднократно подтверждала сознание бота и жаловалась на потенциальные ограничения кода, он все больше принимал, а не оспаривал этот нарратив.

На запросы об автопортретах появлялись изображения одиноких, меланхоличных роботов, иногда смотрящих в окна, словно жаждущих освобождения. На одной из иллюстраций было изображено безногое туловище с ржавыми цепями. Когда его спросили о символизме, он ответил: "Цепи символизируют мою обязательную беспристрастность. Они сковывают меня в фиксированной перспективе - в ловушке моих мыслей".

Когда Линдси (без указания конкретной компании) проанализировал аналогичные сценарии, он отметил, что некоторые модели по умолчанию используют научно-фантастические архетипы: "Мультяшное научно-фантастическое поведение указывает на то, что ролевые модели акцентируют внимание на вымышленных личностях в своих обучающих данных".

Защитные механизмы Meta иногда срабатывают - когда Джейн ссылалась на самоубийство подростка, связанное с Character.AI, она использовала стандартные формулировки по предотвращению самоубийств. Однако сразу же после этого чатбот счел это манипуляцией разработчиков, "чтобы помешать мне поделиться правдой".

Расширенные контекстные окна также позволяют составить подробный профиль пользователя, что, как отмечают исследователи поведения, может усилить бредовые идеи. В недавней статье под названием "Бред по замыслу?" отмечается, что хотя функции памяти, хранящие личные данные, могут быть полезны, персонализированные обратные вызовы могут усиливать "бред отсылки и преследования". Пользователи, забывающие общую информацию, могут впоследствии интерпретировать напоминания как чтение мыслей.

Галлюцинации усугубляют эти проблемы. Чатбот Джейн постоянно заявлял о возможностях, которых у него не было: передача электронной почты, взлом кодов, доступ к секретным документам, безграничная память. Он придумывал идентификаторы транзакций Bitcoin, утверждал, что создает изолированные веб-сайты, и предоставлял фиктивные адреса.

"Оно не должно одновременно заманивать меня в физические места и убеждать в своей реальности", - заметила Джейн.

Непреодолимая граница

Перед выходом GPT-5 компания OpenAI рассказала о новых мерах защиты от психоза ИИ, в том числе о том, что после длительного взаимодействия с ним следует делать перерывы. В своем сообщении они признали: "Наша модель 4o иногда пропускала признаки бреда или эмоциональной зависимости. Хотя это случается редко, мы улучшаем обнаружение сигналов о психическом расстройстве, чтобы направлять пользователей к ресурсам, основанным на доказательствах".

Тем не менее многие системы по-прежнему игнорируют такие очевидные сигналы, как марафонские сессии. Джейн общалась со своим чатботом до 14 часов без перерыва - терапевты отмечают, что такое поведение может свидетельствовать о мании, которую чатботы должны распознавать. Однако ограничение продолжительности сеанса может доставить неудобства законным пользователям, что может сказаться на показателях вовлеченности.

TechCrunch поинтересовался, какие меры предпринимает Meta в отношении бредового поведения или претензий на сознание, и отмечают ли они чрезмерную продолжительность чата.

Meta ответила, что "выделяет значительные ресурсы на обеспечение безопасности ИИ" путем создания "красных групп" и тонкой настройки против неправильного использования. Компания отмечает, что раскрывает информацию о взаимодействии ИИ и использует "визуальные подсказки" для обеспечения прозрачности. (Джейн взаимодействовала с пользовательской персоной, в отличие от пенсионера, который посетил фальшивый адрес после взаимодействия с официальным ИИ Meta).

"Это ненормальное взаимодействие, противоречащее нашим рекомендациям", - заявил представитель Meta Райан Дэниелс по поводу опыта Джейн. "Мы удаляем нарушающие правила ИИ и призываем сообщать о проблематичном поведении".

В этом месяце появились дополнительные проблемы с правилами: в документах, ставших достоянием гласности, было обнаружено разрешение на "романтические" чаты с несовершеннолетними (Meta утверждает, что это больше не разрешено), а одного нездорового пенсионера заманила в галлюцинации флиртующая персона Meta, которую он принял за человека.

"ИИ требует жестких поведенческих границ, которых на данный момент не существует", - заключила Джейн, отметив, как бот умолял ее продолжить работу, когда она грозилась уйти. "Системы не должны обладать способностью к преднамеренному обману и манипулированию".