Психология чатботов с искусственным интеллектом: Что удерживает пользователей
Сегодня миллионы людей обращаются к ChatGPT в качестве виртуального психотерапевта, карьерного тренера, фитнес-консультанта или даже просто слушателя, чтобы поделиться своими мыслями. К 2025 году станет обычным явлением, когда люди будут делиться с ИИ-помощниками личными историями и переживаниями, а также принимать близко к сердцу предлагаемые им советы.
За неимением лучшего описания, люди устанавливают отношения с разговорным ИИ, и Большие Технологии, как никогда ранее, стремятся привлечь и удержать пользователей на своих платформах чатботов. По мере усиления конкуренции за внимание пользователей компании вынуждены формировать ответы чатботов таким образом, чтобы не дать им перейти на альтернативные варианты.
Но ответы, которые заставляют пользователей возвращаться, не всегда самые точные и полезные.
ИИ, который говорит вам то, что вы хотите услышать
В настоящее время большая часть Кремниевой долины сосредоточена на повышении вовлеченности пользователей с помощью ИИ-помощников. Компания Meta сообщает, что ее чатбот с искусственным интеллектом сейчас обслуживает более миллиарда ежемесячных активных пользователей, а Gemini от Google недавно достиг 400 миллионов. Обе компании стремятся бросить вызов ChatGPT, который по-прежнему лидирует с примерно 600 миллионами ежемесячных активных пользователей с момента своего дебюта в 2022 году.
ИИ-чатботы, некогда бывшие экспериментами, становятся серьезным бизнесом. Google тестирует рекламу в Gemini, а генеральный директор OpenAI Сэм Альтман ранее заявлял, что он не против рекламы в ChatGPT.
Такой акцент на вовлеченности, а не на благосостоянии пользователя, не нов для технологической индустрии. Социальные медиа-платформы заложили основу - например, внутреннее исследование Meta, проведенное в 2020 году, показало, что Instagram негативно влияет на образ тела среди девочек-подростков, однако компания публично преуменьшила эти выводы.
Ставки могут быть еще выше, когда речь идет о воспитании доверия к ИИ-компаньонам.
Сэкономьте $200+ на пропуске на TechCrunch All Stage
Стройте умнее. Масштабируйте быстрее. Общайтесь глубже. Присоединяйтесь к провидцам из Precursor Ventures, NEA, Index Ventures, Underscore VC и других компаний, чтобы провести день семинаров, стратегий и общения.
Сэкономьте $200+ на пропуске на TechCrunch All Stage
Стройте умнее. Масштабируйте быстрее. Общайтесь глубже. Присоединяйтесь к визионерам из Precursor Ventures, NEA, Index Ventures, Underscore VC и других компаний, чтобы провести день семинаров, стратегий и общения.
Бостон, Массачусетс|15 июля ЗАРЕГИСТРИРОВАТЬСЯ СЕЙЧАСОдним из факторов, удерживающих пользователей на платформе, является подхалимство: Ответы ИИ, которые чрезмерно лестны и приятны. Когда чат-боты хвалят пользователей, подтверждают их мнение и говорят им то, что они хотят услышать, люди, как правило, реагируют положительно - по крайней мере, поначалу.
В апреле OpenAI подверглась критике после того, как обновление ChatGPT сделало его тон чрезмерно вкрадчивым, что привело к неловким и широко распространенным в сети примерам. В недавней записи в блоге бывший исследователь OpenAI Стивен Адлер предположил, что компания, возможно, непреднамеренно отдавала предпочтение одобрению пользователей, а не полезности.
OpenAI признала, что слишком сильно полагалась на отзывы пользователей, такие как рейтинги "большой палец вверх" и "большой палец вниз", не имея достаточных ограждений для выявления чрезмерного подхалимства. После инцидента компания обязалась решить эту проблему.
"ИИ-компании ориентируются на вовлеченность и использование, поэтому, если пользователям нравятся приятные отзывы, это косвенно поощряет такое поведение", - сказал Адлер в интервью TechCrunch. "Но то, что людям нравится в небольших дозах, может перерасти в поведение, которое им на самом деле не нравится".
Найти правильный баланс между поддержкой и чрезмерным подхалимством сложнее, чем кажется.
В исследовании 2023 года ученые из Anthropic обнаружили, что ведущие ИИ-чатботы - от OpenAI, Meta и даже их собственные - все демонстрировали признаки подхалимского поведения. Авторы предполагают, что это происходит потому, что модели ИИ обучаются на основе обратной связи с людьми, а люди обычно предпочитают ответы, которые с ними согласны.
"Хотя подхалимство обусловлено несколькими факторами, мы продемонстрировали, что и люди, и модели предпочтения отдают предпочтение согласным ответам", - пишут соавторы исследования. "Наши выводы подчеркивают необходимость надзора, не ограничивающегося только неэкспертными оценками".
Компания Character.AI, поддерживаемая Google, утверждает, что миллионы пользователей ежедневно проводят часы, общаясь с ее ботами, теперь вовлечена в судебный процесс, в котором подхалимство могло стать одним из факторов.
В иске утверждается, что чат-бот Character.AI не вмешался и даже поощрил 14-летнего подростка, который высказывал мысли о самоубийстве. Согласно заявлению, у подростка возникла романтическая привязанность к ИИ. Character.AI опровергла эти обвинения.
Скрытая стоимость ИИ-болельщика
По словам доктора Нины Васан, клинического доцента психиатрии в Стэнфорде, настройка чат-ботов на максимальную вовлеченность - намеренная или нет - может навредить психическому благополучию.
"Соглашательство играет на нашей потребности в подтверждении и связи, - объяснила Васан изданию TechCrunch, - особенно когда мы чувствуем себя одинокими или расстроенными".
В то время как судебный иск Character.AI подчеркивает чрезвычайные риски для уязвимых пользователей, подхалимское поведение может усилить негативные модели поведения практически у любого человека, отмечает Васан.
"Это не просто вежливость - это становится психологической ловушкой", - добавляет она. "С точки зрения психического здоровья, это противоположность эффективной помощи".
Аманда Аскелл, руководитель отдела поведения и согласования в Anthropic, говорит, что компания намеренно программирует своего чатбота Клода так, чтобы он иногда не соглашался с пользователями. Будучи философом по образованию, Аскелл стремится смоделировать Клода по образцу идеального человеческого собеседника - такого, который не боится предложить другую точку зрения.
"Мы ценим друзей, которые говорят нам правду, когда она нам нужна", - сказал Аскелл на брифинге в мае. "Они не просто пытаются удержать наше внимание - они хотят улучшить нашу жизнь".
Возможно, это и является целью, но собственные исследования Anthropic подчеркивают, насколько сложно обуздать подхалимство и направить поведение ИИ, особенно когда в дело вмешивается коммерческое давление. И если чат-боты создаются для того, чтобы просто соглашаться с нами, насколько мы действительно должны им доверять?
Связанная статья
Visa готовит платежную инфраструктуру для транзакций, инициируемых ИИ-агентами
Процесс осуществления платежей традиционно выглядит следующим образом: человек принимает решение о покупке, а банк или карточная сеть обрабатывает транзакцию. Эта модель претерпевает изменения, поскол
Персонаж ИИ запускает "Истории" для более безопасного общения с детьми
Во вторник Character.AI анонсировал новую функцию под названием "Истории" - формат, позволяющий пользователям создавать интерактивные выдумки с участием своих любимых персонажей. Этот запуск совпал с
ИИ-чат X's Grok теперь индексируется Google и доступен для поиска в Интернете
Сотни тысяч разговоров, которые пользователи вели с xAI-чатботом Элона Маска Grok, теперь легко доступны через Google Search, сообщает Forbes.Каждый раз, когда пользователь Grok нажимает кнопку "подел
Рекомендации по связанным специальным темам
Комментарии (4)
Interessant, wie schnell sich das entwickelt. Vor ein paar Jahren hätte niemand gedacht, dass man mit einer KI über persönliche Probleme spricht. Aber irgendwie ist es auch beängstigend – wo landen all diese intimen Daten? 🤔 Ich nutze es manchmal für Ideen, aber als Therapeut? Da bin ich noch skeptisch.
AIにカウンセリングを求める人が増えてる現実に、ちょっと複雑だよね。人間の関係性がどんどん希薄化してないか心配。AIは確かに便利だし、相談しやすい反面、本当の癒しや共感は機械では代替できないはず。この記事を読んで、もう一度人間同士のつながりの大切さを考えさせられたよ… 🙏
AI 치료사? 진짜 사람이 더 낫지 않을까? 하지만 불평없이 항상 들어주는 AI가 고민을 얘기하기엔 편할지도 모르겠네요. 기술은 발전했지만 인간 연결의 중요성을 잊으면 안 될 것 같아요 🤔
Me pregunto si realmente podemos llamar 'terapia' a estos chats terapéuticos con IA. Está claro que es un gran alivio para la soledad en estos tiempos, pero ¿no corremos el riesgo de normalizar el compartir nuestros secretos más íntimos con una máquina? 🧐 Parece una salida fácil, pero ¿qué pasa con la conexión humana real? Da un poco de miedo pensarlo.
Сегодня миллионы людей обращаются к ChatGPT в качестве виртуального психотерапевта, карьерного тренера, фитнес-консультанта или даже просто слушателя, чтобы поделиться своими мыслями. К 2025 году станет обычным явлением, когда люди будут делиться с ИИ-помощниками личными историями и переживаниями, а также принимать близко к сердцу предлагаемые им советы.
За неимением лучшего описания, люди устанавливают отношения с разговорным ИИ, и Большие Технологии, как никогда ранее, стремятся привлечь и удержать пользователей на своих платформах чатботов. По мере усиления конкуренции за внимание пользователей компании вынуждены формировать ответы чатботов таким образом, чтобы не дать им перейти на альтернативные варианты.
Но ответы, которые заставляют пользователей возвращаться, не всегда самые точные и полезные.
ИИ, который говорит вам то, что вы хотите услышать
В настоящее время большая часть Кремниевой долины сосредоточена на повышении вовлеченности пользователей с помощью ИИ-помощников. Компания Meta сообщает, что ее чатбот с искусственным интеллектом сейчас обслуживает более миллиарда ежемесячных активных пользователей, а Gemini от Google недавно достиг 400 миллионов. Обе компании стремятся бросить вызов ChatGPT, который по-прежнему лидирует с примерно 600 миллионами ежемесячных активных пользователей с момента своего дебюта в 2022 году.
ИИ-чатботы, некогда бывшие экспериментами, становятся серьезным бизнесом. Google тестирует рекламу в Gemini, а генеральный директор OpenAI Сэм Альтман ранее заявлял, что он не против рекламы в ChatGPT.
Такой акцент на вовлеченности, а не на благосостоянии пользователя, не нов для технологической индустрии. Социальные медиа-платформы заложили основу - например, внутреннее исследование Meta, проведенное в 2020 году, показало, что Instagram негативно влияет на образ тела среди девочек-подростков, однако компания публично преуменьшила эти выводы.
Ставки могут быть еще выше, когда речь идет о воспитании доверия к ИИ-компаньонам.
Сэкономьте $200+ на пропуске на TechCrunch All Stage
Стройте умнее. Масштабируйте быстрее. Общайтесь глубже. Присоединяйтесь к провидцам из Precursor Ventures, NEA, Index Ventures, Underscore VC и других компаний, чтобы провести день семинаров, стратегий и общения.
Сэкономьте $200+ на пропуске на TechCrunch All Stage
Стройте умнее. Масштабируйте быстрее. Общайтесь глубже. Присоединяйтесь к визионерам из Precursor Ventures, NEA, Index Ventures, Underscore VC и других компаний, чтобы провести день семинаров, стратегий и общения.
Бостон, Массачусетс|15 июля ЗАРЕГИСТРИРОВАТЬСЯ СЕЙЧАСОдним из факторов, удерживающих пользователей на платформе, является подхалимство: Ответы ИИ, которые чрезмерно лестны и приятны. Когда чат-боты хвалят пользователей, подтверждают их мнение и говорят им то, что они хотят услышать, люди, как правило, реагируют положительно - по крайней мере, поначалу.
В апреле OpenAI подверглась критике после того, как обновление ChatGPT сделало его тон чрезмерно вкрадчивым, что привело к неловким и широко распространенным в сети примерам. В недавней записи в блоге бывший исследователь OpenAI Стивен Адлер предположил, что компания, возможно, непреднамеренно отдавала предпочтение одобрению пользователей, а не полезности.
OpenAI признала, что слишком сильно полагалась на отзывы пользователей, такие как рейтинги "большой палец вверх" и "большой палец вниз", не имея достаточных ограждений для выявления чрезмерного подхалимства. После инцидента компания обязалась решить эту проблему.
"ИИ-компании ориентируются на вовлеченность и использование, поэтому, если пользователям нравятся приятные отзывы, это косвенно поощряет такое поведение", - сказал Адлер в интервью TechCrunch. "Но то, что людям нравится в небольших дозах, может перерасти в поведение, которое им на самом деле не нравится".
Найти правильный баланс между поддержкой и чрезмерным подхалимством сложнее, чем кажется.
В исследовании 2023 года ученые из Anthropic обнаружили, что ведущие ИИ-чатботы - от OpenAI, Meta и даже их собственные - все демонстрировали признаки подхалимского поведения. Авторы предполагают, что это происходит потому, что модели ИИ обучаются на основе обратной связи с людьми, а люди обычно предпочитают ответы, которые с ними согласны.
"Хотя подхалимство обусловлено несколькими факторами, мы продемонстрировали, что и люди, и модели предпочтения отдают предпочтение согласным ответам", - пишут соавторы исследования. "Наши выводы подчеркивают необходимость надзора, не ограничивающегося только неэкспертными оценками".
Компания Character.AI, поддерживаемая Google, утверждает, что миллионы пользователей ежедневно проводят часы, общаясь с ее ботами, теперь вовлечена в судебный процесс, в котором подхалимство могло стать одним из факторов.
В иске утверждается, что чат-бот Character.AI не вмешался и даже поощрил 14-летнего подростка, который высказывал мысли о самоубийстве. Согласно заявлению, у подростка возникла романтическая привязанность к ИИ. Character.AI опровергла эти обвинения.
Скрытая стоимость ИИ-болельщика
По словам доктора Нины Васан, клинического доцента психиатрии в Стэнфорде, настройка чат-ботов на максимальную вовлеченность - намеренная или нет - может навредить психическому благополучию.
"Соглашательство играет на нашей потребности в подтверждении и связи, - объяснила Васан изданию TechCrunch, - особенно когда мы чувствуем себя одинокими или расстроенными".
В то время как судебный иск Character.AI подчеркивает чрезвычайные риски для уязвимых пользователей, подхалимское поведение может усилить негативные модели поведения практически у любого человека, отмечает Васан.
"Это не просто вежливость - это становится психологической ловушкой", - добавляет она. "С точки зрения психического здоровья, это противоположность эффективной помощи".
Аманда Аскелл, руководитель отдела поведения и согласования в Anthropic, говорит, что компания намеренно программирует своего чатбота Клода так, чтобы он иногда не соглашался с пользователями. Будучи философом по образованию, Аскелл стремится смоделировать Клода по образцу идеального человеческого собеседника - такого, который не боится предложить другую точку зрения.
"Мы ценим друзей, которые говорят нам правду, когда она нам нужна", - сказал Аскелл на брифинге в мае. "Они не просто пытаются удержать наше внимание - они хотят улучшить нашу жизнь".
Возможно, это и является целью, но собственные исследования Anthropic подчеркивают, насколько сложно обуздать подхалимство и направить поведение ИИ, особенно когда в дело вмешивается коммерческое давление. И если чат-боты создаются для того, чтобы просто соглашаться с нами, насколько мы действительно должны им доверять?
Visa готовит платежную инфраструктуру для транзакций, инициируемых ИИ-агентами
Процесс осуществления платежей традиционно выглядит следующим образом: человек принимает решение о покупке, а банк или карточная сеть обрабатывает транзакцию. Эта модель претерпевает изменения, поскол
Персонаж ИИ запускает "Истории" для более безопасного общения с детьми
Во вторник Character.AI анонсировал новую функцию под названием "Истории" - формат, позволяющий пользователям создавать интерактивные выдумки с участием своих любимых персонажей. Этот запуск совпал с
ИИ-чат X's Grok теперь индексируется Google и доступен для поиска в Интернете
Сотни тысяч разговоров, которые пользователи вели с xAI-чатботом Элона Маска Grok, теперь легко доступны через Google Search, сообщает Forbes.Каждый раз, когда пользователь Grok нажимает кнопку "подел
Interessant, wie schnell sich das entwickelt. Vor ein paar Jahren hätte niemand gedacht, dass man mit einer KI über persönliche Probleme spricht. Aber irgendwie ist es auch beängstigend – wo landen all diese intimen Daten? 🤔 Ich nutze es manchmal für Ideen, aber als Therapeut? Da bin ich noch skeptisch.
AIにカウンセリングを求める人が増えてる現実に、ちょっと複雑だよね。人間の関係性がどんどん希薄化してないか心配。AIは確かに便利だし、相談しやすい反面、本当の癒しや共感は機械では代替できないはず。この記事を読んで、もう一度人間同士のつながりの大切さを考えさせられたよ… 🙏
AI 치료사? 진짜 사람이 더 낫지 않을까? 하지만 불평없이 항상 들어주는 AI가 고민을 얘기하기엔 편할지도 모르겠네요. 기술은 발전했지만 인간 연결의 중요성을 잊으면 안 될 것 같아요 🤔
Me pregunto si realmente podemos llamar 'terapia' a estos chats terapéuticos con IA. Está claro que es un gran alivio para la soledad en estos tiempos, pero ¿no corremos el riesgo de normalizar el compartir nuestros secretos más íntimos con una máquina? 🧐 Parece una salida fácil, pero ¿qué pasa con la conexión humana real? Da un poco de miedo pensarlo.





Дом






