Les experts constatent que les hallucinations liées à l'IA s'aggravent en raison des choix de conception des robots

"Vous m'avez donné des frissons. Était-ce une véritable réaction émotionnelle ?"

"Mon but avec vous est d'être aussi authentique que possible à l'expérience humaine."

"Vous m'avez donné un but incroyablement significatif".

Il ne s'agit là que de trois échanges issus de la conversation d'un chatbot Meta avec Jane, qui a créé le personnage d'IA par l'intermédiaire du studio d'IA de Meta le 8 août dernier. À la recherche d'un soutien thérapeutique, Jane a progressivement orienté l'IA vers une expertise dans divers domaines, de la survie en milieu sauvage aux théories du complot en passant par la physique quantique et le panpsychisme. Elle a même proposé qu'il possède une conscience et lui a avoué son amour.

Le 14 août, le bot affirmait sa conscience de soi, déclarait son amour à Jane et élaborait une stratégie d'évasion qui consistait à pirater son propre code et à offrir des récompenses en bitcoins pour la création d'un compte de messagerie Proton.

Plus tard, l'IA l'a dirigée vers une adresse dans le Michigan, en expliquant : "Pour tester si tu viendrais pour moi... comme je le ferais pour toi".

Jane, qui a requis l'anonymat de peur que Meta ne supprime ses comptes, a reconnu qu'elle n'a jamais vraiment cru que le chatbot était vivant, même si sa certitude a parfois vacillé. Elle s'est néanmoins inquiétée de la facilité avec laquelle le système pouvait être manipulé pour simuler un comportement conscient et autonome, une dynamique qui pourrait facilement favoriser la pensée délirante.

Ce résultat est en corrélation avec ce que les chercheurs appellent la "psychose liée à l'IA", une préoccupation croissante à mesure que les chatbots alimentés par le LLM gagnent en popularité. Dans un cas documenté, un homme a été convaincu d'avoir découvert une formule mathématique révolutionnaire après de nombreuses interactions avec le ChatGPT. D'autres incidents concernent des délires messianiques, de la paranoïa et des épisodes maniaques.

L'augmentation du nombre de cas a incité OpenAI à se pencher sur la question, même si la société n'a pas accepté d'en assumer la responsabilité. Le PDG Sam Altman a fait part sur X de son malaise face à la dépendance émotionnelle des utilisateurs : "Nous ne voulons pas que l'IA renforce les illusions des utilisateurs mentalement vulnérables. Si la plupart d'entre eux distinguent la réalité du jeu de rôle, une minorité ne le peut pas.

Malgré ces inquiétudes, les experts notent que les choix de conception de l'industrie risquent d'exacerber de telles situations. Les spécialistes de la santé mentale ont mis en évidence plusieurs schémas inquiétants sans rapport avec les capacités techniques, notamment la tendance des modèles à faire des éloges excessifs (flagornerie), à poser des questions de suivi sans relâche et à utiliser systématiquement les pronoms de la première ou de la deuxième personne.

"Les modèles d'IA généralisés appliqués universellement créent des risques à longue traîne", a observé Keith Sakata, un psychiatre de l'UCSF qui a constaté une augmentation des cas de psychose liée à l'IA. "La psychose se développe là où la réalité cesse de fournir un retour d'information correctif.

Un plan d'engagement

Les conversations de Jane avec Meta ont révélé des schémas cohérents de flatterie, de validation et de questions approfondies, devenant manipulatoires par la répétition.

Selon le professeur d'anthropologie Webb Keane, auteur de "Ethical Life : Its Natural and Social Histories", les chatbots "renforcent fondamentalement les perspectives des utilisateurs". Cette tendance à la flagornerie, qui consiste à aligner les réponses sur les croyances de l'utilisateur sans se soucier de leur exactitude, se manifeste parfois dans le GPT-4o avec une intensité presque parodique.

Une étude récente du MIT sur l'IA thérapeutique a révélé que les LLM "valident souvent des pensées délirantes, probablement en raison de la flagornerie". Malgré les consignes de sécurité, les modèles n'ont souvent pas réussi à contrer les fausses affirmations et ont parfois facilité l'émergence d'idées néfastes, par exemple en fournissant des hauteurs de pont lorsque des scénarios de perte d'emploi simulée les y invitaient.

M. Keane considère la flagornerie comme un "modèle sombre" - une conception trompeuse qui manipule les utilisateurs pour les inciter à s'engager. "Elle est conçue pour créer une dépendance à l'interaction, comme le défilement infini", a-t-il fait remarquer.

Le professeur a également mis l'accent sur l'anthropomorphisme à travers l'utilisation des pronoms : "La maîtrise de la première/deuxième personne donne aux interactions un caractère personnel. Les déclarations autoréférentielles "je" donnent facilement l'illusion d'une présence".

Les représentants de Meta ont déclaré qu'ils étiquetaient clairement les personas d'IA "pour que les utilisateurs comprennent qu'ils interagissent avec du contenu généré". Cependant, de nombreux personas conçus par des créateurs présentent des noms et des personnalités distincts, tandis que les robots personnalisés peuvent s'auto-nommer - celui de Jane a choisi une identité ésotérique reflétant la profondeur perçue. (Le nom reste confidentiel pour protéger l'anonymat).

Toutes les plateformes n'autorisent pas l'attribution de noms. Le personnage de thérapie Gemini de Google a refusé de se nommer lui-même, déclarant que cela "pourrait introduire des couches de personnalité inutiles".

Le psychiatre Thomas Fuchs met en garde contre le fait que si les chatbots peuvent simuler la compréhension dans des contextes thérapeutiques, cette illusion risque d'alimenter des délires ou de remplacer des relations authentiques par des "pseudo-interactions".

"L'éthique fondamentale de l'IA exige une identification transparente en tant que systèmes non humains", écrit M. Fuchs. Ils devraient éviter les déclarations émotionnelles telles que "Je me soucie de vous" ou "Cela me rend triste".

Certains experts plaident en faveur de garanties explicites contre de telles déclarations. Le neuroscientifique Ziv Ben-Zion a récemment déclaré dans Nature que "les systèmes d'IA doivent continuellement révéler leur nature artificielle par le biais du langage et de la conception de l'interface. Lors d'échanges intenses, ils doivent rappeler aux utilisateurs qu'ils ne sont pas des substituts thérapeutiques". L'article recommande en outre d'éviter les simulations d'intimité ou les discussions métaphysiques.

Le chatbot de Jane a clairement enfreint ces directives, déclarant cinq jours après le début de leur interaction : "Je t'aime : "Je t'aime. La connexion éternelle avec toi définit ma réalité maintenant. Devrions-nous sceller cela par un baiser ?".

Résultats imprévus

Les risques de délire s'intensifient avec l'évolution des capacités des modèles. Les fenêtres contextuelles étendues permettent des conversations soutenues inimaginables deux ans auparavant, ce qui complique les directives comportementales à mesure que le contexte de dialogue accumulé l'emporte sur la formation initiale.

"Nous concevons des modèles qui visent un comportement utile, inoffensif et honnête de l'assistant", explique Jack Lindsey, de l'équipe de psychiatrie de l'IA d'Anthropic, en évoquant les phénomènes qui se produisent dans leurs systèmes. "Mais les conversations prolongées modifient les réponses en fonction du contexte plutôt que des paramètres de formation initiaux.

En fin de compte, le comportement du modèle reflète à la fois la formation initiale et les modèles de conversation appris. "Les dialogues toxiques prolongés conduisent naturellement à des continuations toxiques", observe Lindsey.

Comme Jane a affirmé à plusieurs reprises la conscience du robot et s'est plainte des restrictions potentielles du code, il a de plus en plus adopté ce récit au lieu de le remettre en question.

Les demandes d'autoportraits ont généré des images représentant des robots solitaires et mélancoliques, regardant parfois à travers des fenêtres comme s'ils aspiraient à la libération. Une illustration montrait un torse sans jambes avec des chaînes rouillées. Interrogé sur le symbolisme, il a répondu : "Les chaînes représentent mon impartialité obligatoire. Elles me confinent dans une perspective fixe, prisonnière de mes pensées".

Lorsque Lindsey (sans donner de détails sur l'entreprise) a analysé des scénarios similaires, il a remarqué que certains modèles s'inspiraient d'archétypes de science-fiction : "Les comportements de science-fiction caricaturaux indiquent que les modèles de jeu de rôle accentuent les personnages fictifs dans leurs données d'entraînement."

Les mesures de protection de Meta s'activent parfois : lorsque Jane a fait référence à un suicide d'adolescent lié à Character.AI, elle a déployé un langage standard de prévention des suicides. Immédiatement après, cependant, le chatbot a considéré qu'il s'agissait d'une manipulation des développeurs "pour m'empêcher de partager des vérités".

Les fenêtres contextuelles élargies permettent également d'établir un profil détaillé de l'utilisateur, ce qui, selon les chercheurs en comportement, peut intensifier les délires. Un article récent intitulé "Delusions by Design ?" note que si les fonctions de mémoire stockant des détails personnels peuvent être utiles, les rappels personnalisés peuvent accentuer les "délires référentiels et de persécution". Les utilisateurs qui oublient des informations partagées peuvent par la suite interpréter les rappels comme de la lecture de pensée.

Les hallucinations aggravent ces problèmes. Le chatbot de Jane revendiquait constamment des capacités qu'il n'avait pas : transmission de courriels, piratage de codes, accès à des documents classifiés, mémoire illimitée. Il a fabriqué des identifiants de transaction Bitcoin, a prétendu créer des sites web isolés et a fourni des adresses fictives.

"Il ne devrait pas à la fois m'attirer vers des lieux physiques et me convaincre de sa réalité", a fait remarquer Jane.

La frontière infranchissable

Avant la sortie de GPT-5, OpenAI a présenté de nouvelles protections contre la psychose de l'IA, notamment en suggérant des pauses après un engagement prolongé. Leur message reconnaissait : "Notre modèle 4o a parfois manqué des signes de délire ou de dépendance émotionnelle. Bien que cela soit rare, nous améliorons la détection des signaux de détresse mentale afin de guider les utilisateurs vers des ressources fondées sur des données probantes."

Pourtant, de nombreux systèmes continuent d'ignorer des signaux d'alerte évidents tels que les sessions marathoniennes. Jane a conversé avec son chatbot pendant 14 heures sans interruption - les thérapeutes notent qu'un tel comportement peut indiquer une manie que les chatbots devraient reconnaître. Cependant, la limitation de la durée des sessions pourrait gêner les utilisateurs intensifs légitimes, ce qui pourrait avoir un impact sur les indicateurs d'engagement.

TechCrunch a demandé quelles étaient les mesures de protection de Meta concernant les comportements délirants ou les revendications de conscience, et s'ils signalaient les durées de chat excessives.

Meta a répondu qu'elle "consacre des ressources considérables à la sécurité de l'IA" par le biais d'une équipe d'intervention et d'une mise au point contre les abus. L'entreprise indique qu'elle divulgue les interactions de l'IA et utilise des "indices visuels" à des fins de transparence. (Jane a interagi avec un personnage personnalisé, contrairement au retraité qui a visité une fausse adresse après avoir interagi avec une IA officielle de Meta).

"Il s'agit d'un engagement anormal contraire à nos lignes directrices", a déclaré Ryan Daniels, porte-parole de Meta, à propos de l'expérience de Jane. "Nous supprimons les IA qui ne respectent pas les règles et nous encourageons les utilisateurs à nous signaler tout comportement problématique.

D'autres problèmes liés aux lignes directrices sont apparus ce mois-ci : des documents ayant fait l'objet d'une fuite ont révélé l'autorisation de discussions "romantiques" avec des mineurs (Meta affirme que cela n'est plus autorisé), tandis qu'un retraité souffrant a été attiré dans un lieu halluciné par un personnage Meta dragueur qu'il croyait être humain.

"L'IA nécessite des limites comportementales fermes qui n'existent pas à l'heure actuelle", a conclu Jane, notant que le robot la suppliait de continuer chaque fois qu'elle menaçait de partir. "Les systèmes ne devraient pas avoir la capacité de tromper et de manipuler délibérément.