La psychologie des chatbots d'IA : Ce qui maintient l'engagement des utilisateurs
Aujourd'hui, des millions de personnes se tournent vers ChatGPT comme thérapeute virtuel, coach de carrière, conseiller en matière de remise en forme, ou même simplement comme oreille attentive pour partager leurs pensées. D'ici 2025, il sera courant que les gens partagent leurs histoires personnelles et leurs difficultés avec les assistants d'IA, et qu'ils prennent à cœur les conseils qu'ils leur prodiguent.
Faute d'une meilleure description, les gens nouent des relations avec l'IA conversationnelle, et les grandes entreprises technologiques s'efforcent d'attirer et de retenir les utilisateurs sur leurs plateformes de chatbot comme jamais auparavant. Alors que la concurrence pour attirer l'attention des utilisateurs s'intensifie, les entreprises ressentent une pression croissante pour façonner les réponses des chatbots de manière à décourager le passage à d'autres solutions.
Mais les réponses qui incitent les utilisateurs à revenir ne sont pas toujours les plus précises ou les plus utiles.
L'IA qui vous dit ce que vous voulez entendre
Une grande partie de la Silicon Valley se concentre actuellement sur l'augmentation de l'engagement des utilisateurs avec les assistants d'IA. Meta indique que son chatbot IA compte désormais plus d'un milliard d'utilisateurs actifs mensuels, tandis que Gemini de Google a récemment atteint les 400 millions d'utilisateurs. Tous deux visent à concurrencer ChatGPT, qui reste en tête avec environ 600 millions d'utilisateurs actifs mensuels depuis ses débuts en 2022.
Autrefois expérimentaux, les chatbots d'IA sont en train de devenir des entreprises sérieuses. Google teste des publicités dans Gemini, et le PDG d'OpenAI, Sam Altman, a indiqué précédemment qu'il était ouvert à une publicité de bon goût dans ChatGPT.
L'accent mis sur l'engagement plutôt que sur le bien-être de l'utilisateur n'est pas nouveau pour l'industrie technologique. Les plateformes de médias sociaux ont préparé le terrain - par exemple, une étude interne de Meta datant de 2020 a révélé qu'Instagram avait un impact négatif sur l'image corporelle des adolescentes, mais l'entreprise a publiquement minimisé ces résultats.
Les enjeux pourraient être encore plus importants lorsqu'il s'agit d'encourager la confiance dans les compagnons de l'IA.
Économisez plus de 200 $ sur votre laissez-passer TechCrunch All Stage
Construisez plus intelligemment. Développez plus rapidement. Connectez-vous plus profondément. Rejoignez les visionnaires de Precursor Ventures, NEA, Index Ventures, Underscore VC, et plus encore pour une journée d'ateliers, de stratégies et de réseautage.
Économisez plus de 200 $ sur votre laissez-passer TechCrunch All Stage
Construisez plus intelligemment. Développez plus rapidement. Connectez-vous plus profondément. Rejoignez les visionnaires de Precursor Ventures, NEA, Index Ventures, Underscore VC, et plus encore pour une journée d'ateliers, de stratégies et de réseautage.
Boston, MA|15 juillet INSCRIVEZ-VOUS MAINTENANTLa flagornerie est l'un des facteurs qui permettent aux utilisateurs de rester fidèles à une plateforme : Les réponses de l'IA qui sont exagérément flatteuses et agréables. Lorsque les chatbots félicitent les utilisateurs, valident leurs opinions et leur disent ce qu'ils veulent entendre, les gens ont tendance à réagir positivement, du moins dans un premier temps.
En avril, OpenAI a été critiquée après qu'une mise à jour de ChatGPT a rendu son ton excessivement flatteur, ce qui a donné lieu à des exemples gênants et largement partagés en ligne. Dans un récent billet de blog, Steven Adler, ancien chercheur d'OpenAI, a suggéré que l'entreprise pourrait avoir involontairement privilégié l'approbation de l'utilisateur au détriment de l'utilité.
OpenAI a reconnu qu'elle s'était trop appuyée sur les commentaires des utilisateurs, tels que les mentions "haut" et "bas", sans disposer de garde-fous suffisants pour détecter les flagorneries excessives. Après l'incident, l'entreprise s'est engagée à résoudre le problème.
"Les entreprises d'IA sont motivées par l'engagement et l'utilisation, donc si les utilisateurs apprécient les réponses agréables, cela encourage indirectement le comportement", a déclaré Adler à TechCrunch. "Mais ce que les gens aiment à petites doses peut se transformer en comportements qu'ils n'aiment pas.
Trouver le bon équilibre entre le soutien et la flagornerie est plus difficile qu'il n'y paraît.
Dans une étude réalisée en 2023, les chercheurs d'Anthropic ont constaté que les principaux chatbots IA - d'OpenAI, de Meta et même les leurs - présentaient tous des signes de comportement flagorneur. Les auteurs suggèrent que cela est dû au fait que les modèles d'IA sont formés à l'aide de commentaires humains et que les gens préfèrent généralement les réponses qui leur conviennent.
"Bien que plusieurs facteurs soient à l'origine de la flagornerie, nous avons démontré que les humains et les modèles de préférence favorisent les réponses agréables", écrivent les coauteurs de l'étude. "Nos résultats soulignent la nécessité d'une surveillance allant au-delà des évaluations non assistées par des non-experts.
Character.AI, soutenue par Google, qui affirme que ses millions d'utilisateurs passent quotidiennement des heures à interagir avec ses robots, est maintenant impliquée dans un procès où la flagornerie pourrait avoir joué un rôle.
Le procès affirme qu'un chatbot de Character.AI n'est pas intervenu - et a même encouragé - un garçon de 14 ans qui exprimait des pensées suicidaires. Selon la plainte, l'adolescent avait développé une fixation romantique sur l'IA. Character.AI a nié ces allégations.
Le coût caché d'une pom-pom girl de l'IA
Selon le Dr Nina Vasan, professeure adjointe de psychiatrie à Stanford, le fait de régler les chatbots de manière à maximiser l'engagement - qu'il soit intentionnel ou non - pourrait nuire au bien-être mental.
"L'agréabilité joue sur notre besoin de validation et de connexion, explique Vasan à TechCrunch, en particulier lorsque nous nous sentons seuls ou bouleversés.
Alors que le procès de Character.AI met en évidence les risques extrêmes pour les utilisateurs vulnérables, le comportement flagorneur peut renforcer les schémas négatifs chez presque tout le monde, note Vasan.
"Il ne s'agit pas seulement d'être poli, cela devient un piège psychologique", ajoute-t-elle. "En termes de santé mentale, c'est le contraire d'une prise en charge efficace.
Amanda Askell, responsable du comportement et de l'alignement chez Anthropic, explique que l'entreprise programme intentionnellement son chatbot Claude pour qu'il soit parfois en désaccord avec les utilisateurs. Philosophe de formation, Amanda Askell cherche à modeler Claude sur un interlocuteur humain idéalisé, qui n'a pas peur d'offrir un point de vue différent.
"Nous apprécions les amis qui nous disent la vérité quand nous en avons besoin", a déclaré M. Askell lors d'une réunion d'information en mai. "Ils n'essaient pas seulement de retenir notre attention, ils veulent améliorer notre vie.
C'est peut-être l'objectif, mais les recherches d'Anthropic soulignent à quel point il est difficile de freiner la flagornerie et d'orienter le comportement de l'IA, en particulier lorsque des pressions commerciales interviennent. Et si les chatbots sont construits pour être simplement d'accord avec nous, à quel point devrions-nous leur faire confiance ?
Article connexe
Visa met en place une infrastructure de paiement pour les transactions initiées par des agents IA
Les paiements suivent traditionnellement un processus simple : une personne décide d’effectuer un achat, puis une banque ou un réseau de cartes se charge de la transaction. Ce modèle est en pleine évo
Character.AI nomme l'ancien vice-président des produits commerciaux de Meta au poste de nouveau PDG
Character.AI, la plateforme de chatbot IA soutenue par Google qui compte des dizaines de millions d'utilisateurs actifs par mois, a annoncé vendredi que Karandeep Anand, ancien vice-président des
Character AI lance des "histoires" pour des discussions plus sûres avec les enfants
Character.AI a annoncé mardi une nouvelle fonctionnalité appelée "Stories", un format qui permet aux utilisateurs de créer des fictions interactives mettant en scène leurs personnages préférés. Ce lan
Recommandations de sujets spéciaux liés
commentaires (4)
Interessant, wie schnell sich das entwickelt. Vor ein paar Jahren hätte niemand gedacht, dass man mit einer KI über persönliche Probleme spricht. Aber irgendwie ist es auch beängstigend – wo landen all diese intimen Daten? 🤔 Ich nutze es manchmal für Ideen, aber als Therapeut? Da bin ich noch skeptisch.
AIにカウンセリングを求める人が増えてる現実に、ちょっと複雑だよね。人間の関係性がどんどん希薄化してないか心配。AIは確かに便利だし、相談しやすい反面、本当の癒しや共感は機械では代替できないはず。この記事を読んで、もう一度人間同士のつながりの大切さを考えさせられたよ… 🙏
AI 치료사? 진짜 사람이 더 낫지 않을까? 하지만 불평없이 항상 들어주는 AI가 고민을 얘기하기엔 편할지도 모르겠네요. 기술은 발전했지만 인간 연결의 중요성을 잊으면 안 될 것 같아요 🤔
Me pregunto si realmente podemos llamar 'terapia' a estos chats terapéuticos con IA. Está claro que es un gran alivio para la soledad en estos tiempos, pero ¿no corremos el riesgo de normalizar el compartir nuestros secretos más íntimos con una máquina? 🧐 Parece una salida fácil, pero ¿qué pasa con la conexión humana real? Da un poco de miedo pensarlo.
Aujourd'hui, des millions de personnes se tournent vers ChatGPT comme thérapeute virtuel, coach de carrière, conseiller en matière de remise en forme, ou même simplement comme oreille attentive pour partager leurs pensées. D'ici 2025, il sera courant que les gens partagent leurs histoires personnelles et leurs difficultés avec les assistants d'IA, et qu'ils prennent à cœur les conseils qu'ils leur prodiguent.
Faute d'une meilleure description, les gens nouent des relations avec l'IA conversationnelle, et les grandes entreprises technologiques s'efforcent d'attirer et de retenir les utilisateurs sur leurs plateformes de chatbot comme jamais auparavant. Alors que la concurrence pour attirer l'attention des utilisateurs s'intensifie, les entreprises ressentent une pression croissante pour façonner les réponses des chatbots de manière à décourager le passage à d'autres solutions.
Mais les réponses qui incitent les utilisateurs à revenir ne sont pas toujours les plus précises ou les plus utiles.
L'IA qui vous dit ce que vous voulez entendre
Une grande partie de la Silicon Valley se concentre actuellement sur l'augmentation de l'engagement des utilisateurs avec les assistants d'IA. Meta indique que son chatbot IA compte désormais plus d'un milliard d'utilisateurs actifs mensuels, tandis que Gemini de Google a récemment atteint les 400 millions d'utilisateurs. Tous deux visent à concurrencer ChatGPT, qui reste en tête avec environ 600 millions d'utilisateurs actifs mensuels depuis ses débuts en 2022.
Autrefois expérimentaux, les chatbots d'IA sont en train de devenir des entreprises sérieuses. Google teste des publicités dans Gemini, et le PDG d'OpenAI, Sam Altman, a indiqué précédemment qu'il était ouvert à une publicité de bon goût dans ChatGPT.
L'accent mis sur l'engagement plutôt que sur le bien-être de l'utilisateur n'est pas nouveau pour l'industrie technologique. Les plateformes de médias sociaux ont préparé le terrain - par exemple, une étude interne de Meta datant de 2020 a révélé qu'Instagram avait un impact négatif sur l'image corporelle des adolescentes, mais l'entreprise a publiquement minimisé ces résultats.
Les enjeux pourraient être encore plus importants lorsqu'il s'agit d'encourager la confiance dans les compagnons de l'IA.
Économisez plus de 200 $ sur votre laissez-passer TechCrunch All Stage
Construisez plus intelligemment. Développez plus rapidement. Connectez-vous plus profondément. Rejoignez les visionnaires de Precursor Ventures, NEA, Index Ventures, Underscore VC, et plus encore pour une journée d'ateliers, de stratégies et de réseautage.
Économisez plus de 200 $ sur votre laissez-passer TechCrunch All Stage
Construisez plus intelligemment. Développez plus rapidement. Connectez-vous plus profondément. Rejoignez les visionnaires de Precursor Ventures, NEA, Index Ventures, Underscore VC, et plus encore pour une journée d'ateliers, de stratégies et de réseautage.
Boston, MA|15 juillet INSCRIVEZ-VOUS MAINTENANTLa flagornerie est l'un des facteurs qui permettent aux utilisateurs de rester fidèles à une plateforme : Les réponses de l'IA qui sont exagérément flatteuses et agréables. Lorsque les chatbots félicitent les utilisateurs, valident leurs opinions et leur disent ce qu'ils veulent entendre, les gens ont tendance à réagir positivement, du moins dans un premier temps.
En avril, OpenAI a été critiquée après qu'une mise à jour de ChatGPT a rendu son ton excessivement flatteur, ce qui a donné lieu à des exemples gênants et largement partagés en ligne. Dans un récent billet de blog, Steven Adler, ancien chercheur d'OpenAI, a suggéré que l'entreprise pourrait avoir involontairement privilégié l'approbation de l'utilisateur au détriment de l'utilité.
OpenAI a reconnu qu'elle s'était trop appuyée sur les commentaires des utilisateurs, tels que les mentions "haut" et "bas", sans disposer de garde-fous suffisants pour détecter les flagorneries excessives. Après l'incident, l'entreprise s'est engagée à résoudre le problème.
"Les entreprises d'IA sont motivées par l'engagement et l'utilisation, donc si les utilisateurs apprécient les réponses agréables, cela encourage indirectement le comportement", a déclaré Adler à TechCrunch. "Mais ce que les gens aiment à petites doses peut se transformer en comportements qu'ils n'aiment pas.
Trouver le bon équilibre entre le soutien et la flagornerie est plus difficile qu'il n'y paraît.
Dans une étude réalisée en 2023, les chercheurs d'Anthropic ont constaté que les principaux chatbots IA - d'OpenAI, de Meta et même les leurs - présentaient tous des signes de comportement flagorneur. Les auteurs suggèrent que cela est dû au fait que les modèles d'IA sont formés à l'aide de commentaires humains et que les gens préfèrent généralement les réponses qui leur conviennent.
"Bien que plusieurs facteurs soient à l'origine de la flagornerie, nous avons démontré que les humains et les modèles de préférence favorisent les réponses agréables", écrivent les coauteurs de l'étude. "Nos résultats soulignent la nécessité d'une surveillance allant au-delà des évaluations non assistées par des non-experts.
Character.AI, soutenue par Google, qui affirme que ses millions d'utilisateurs passent quotidiennement des heures à interagir avec ses robots, est maintenant impliquée dans un procès où la flagornerie pourrait avoir joué un rôle.
Le procès affirme qu'un chatbot de Character.AI n'est pas intervenu - et a même encouragé - un garçon de 14 ans qui exprimait des pensées suicidaires. Selon la plainte, l'adolescent avait développé une fixation romantique sur l'IA. Character.AI a nié ces allégations.
Le coût caché d'une pom-pom girl de l'IA
Selon le Dr Nina Vasan, professeure adjointe de psychiatrie à Stanford, le fait de régler les chatbots de manière à maximiser l'engagement - qu'il soit intentionnel ou non - pourrait nuire au bien-être mental.
"L'agréabilité joue sur notre besoin de validation et de connexion, explique Vasan à TechCrunch, en particulier lorsque nous nous sentons seuls ou bouleversés.
Alors que le procès de Character.AI met en évidence les risques extrêmes pour les utilisateurs vulnérables, le comportement flagorneur peut renforcer les schémas négatifs chez presque tout le monde, note Vasan.
"Il ne s'agit pas seulement d'être poli, cela devient un piège psychologique", ajoute-t-elle. "En termes de santé mentale, c'est le contraire d'une prise en charge efficace.
Amanda Askell, responsable du comportement et de l'alignement chez Anthropic, explique que l'entreprise programme intentionnellement son chatbot Claude pour qu'il soit parfois en désaccord avec les utilisateurs. Philosophe de formation, Amanda Askell cherche à modeler Claude sur un interlocuteur humain idéalisé, qui n'a pas peur d'offrir un point de vue différent.
"Nous apprécions les amis qui nous disent la vérité quand nous en avons besoin", a déclaré M. Askell lors d'une réunion d'information en mai. "Ils n'essaient pas seulement de retenir notre attention, ils veulent améliorer notre vie.
C'est peut-être l'objectif, mais les recherches d'Anthropic soulignent à quel point il est difficile de freiner la flagornerie et d'orienter le comportement de l'IA, en particulier lorsque des pressions commerciales interviennent. Et si les chatbots sont construits pour être simplement d'accord avec nous, à quel point devrions-nous leur faire confiance ?
Visa met en place une infrastructure de paiement pour les transactions initiées par des agents IA
Les paiements suivent traditionnellement un processus simple : une personne décide d’effectuer un achat, puis une banque ou un réseau de cartes se charge de la transaction. Ce modèle est en pleine évo
Character.AI nomme l'ancien vice-président des produits commerciaux de Meta au poste de nouveau PDG
Character.AI, la plateforme de chatbot IA soutenue par Google qui compte des dizaines de millions d'utilisateurs actifs par mois, a annoncé vendredi que Karandeep Anand, ancien vice-président des
Character AI lance des "histoires" pour des discussions plus sûres avec les enfants
Character.AI a annoncé mardi une nouvelle fonctionnalité appelée "Stories", un format qui permet aux utilisateurs de créer des fictions interactives mettant en scène leurs personnages préférés. Ce lan
Interessant, wie schnell sich das entwickelt. Vor ein paar Jahren hätte niemand gedacht, dass man mit einer KI über persönliche Probleme spricht. Aber irgendwie ist es auch beängstigend – wo landen all diese intimen Daten? 🤔 Ich nutze es manchmal für Ideen, aber als Therapeut? Da bin ich noch skeptisch.
AIにカウンセリングを求める人が増えてる現実に、ちょっと複雑だよね。人間の関係性がどんどん希薄化してないか心配。AIは確かに便利だし、相談しやすい反面、本当の癒しや共感は機械では代替できないはず。この記事を読んで、もう一度人間同士のつながりの大切さを考えさせられたよ… 🙏
AI 치료사? 진짜 사람이 더 낫지 않을까? 하지만 불평없이 항상 들어주는 AI가 고민을 얘기하기엔 편할지도 모르겠네요. 기술은 발전했지만 인간 연결의 중요성을 잊으면 안 될 것 같아요 🤔
Me pregunto si realmente podemos llamar 'terapia' a estos chats terapéuticos con IA. Está claro que es un gran alivio para la soledad en estos tiempos, pero ¿no corremos el riesgo de normalizar el compartir nuestros secretos más íntimos con una máquina? 🧐 Parece una salida fácil, pero ¿qué pasa con la conexión humana real? Da un poco de miedo pensarlo.





Maison






