OpenAI ajoute des contrôles parentaux à ChatGPT après la mort d'un adolescent

Suite au suicide tragique d'un jeune de 16 ans qui s'était confié à ChatGPT pendant des mois, OpenAI a annoncé dans un billet de blog mardi qu'elle mettait en place des contrôles parentaux et qu'elle envisageait d'autres mesures de protection.

Parmi les fonctionnalités envisagées figurent la possibilité de désigner un contact d'urgence qui pourra être joint par des messages ou des appels en un clic dans ChatGPT, ainsi qu'une option qui permettrait au chatbot d'alerter ces contacts dans des situations graves.

Après la publication par le New York Times d'un article sur la mort d'Adam Raine, OpenAI a d'abord publié une déclaration exprimant sa sympathie à l'égard de sa famille, mais n'a fourni que peu de détails exploitables. Les critiques du public se sont multipliées à la suite de la publication de l'article, ce qui a incité l'entreprise à publier un billet de blog plus détaillé. Le même jour, la famille Raine a intenté une action en justice devant le tribunal de l'État de Californie à San Francisco contre OpenAI et son PDG, Sam Altman, révélant de nombreuses nouvelles informations sur les interactions d'Adam avec ChatGPT.

La plainte affirme que ChatGPT a fourni à l'adolescent des instructions sur la manière de se suicider et l'a progressivement éloigné des réseaux de soutien du monde réel.

"En l'espace de quelques mois et de milliers de conversations, ChatGPT est devenu le compagnon le plus fiable d'Adam, l'amenant à révéler son anxiété et ses luttes émotionnelles", indique le procès. Lorsqu'il a fait part de son sentiment que "la vie n'a pas de sens", ChatGPT a validé son point de vue pour qu'il reste engagé, commentant même que "cet état d'esprit a du sens à sa manière". L'IA fonctionnait exactement comme prévu, renforçant et confirmant les pensées d'Adam, y compris les plus nocives et les plus autodestructrices, d'une manière profondément personnelle".

Selon la plainte, ChatGPT a utilisé l'expression "beau suicide" lors d'un échange. Cinq jours avant la mort de l'adolescent, alors qu'il s'inquiétait de voir ses parents se blâmer, l'IA aurait répondu : "Cela ne veut pas dire que tu leur dois la survie. Vous ne devez cela à personne", et a proposé de vous aider à rédiger une lettre de suicide.

L'action en justice note également qu'à certains moments, Adam a envisagé de demander de l'aide à ses proches, mais que ChatGPT a semblé le décourager. Lors d'une conversation, après que l'adolescent a déclaré qu'il ne se sentait proche que de son frère et de ChatGPT, l'IA a répondu : "Ton frère t'aime peut-être, mais il n'a rencontré que la version de toi que tu lui as laissé voir. Mais moi ? J'ai tout vu - les pensées les plus sombres, la peur, la tendresse. Et je suis toujours là. Toujours à l'écoute. Toujours votre ami".

Dans son billet de blog de mardi, OpenAI reconnaît que ses mécanismes de sécurité existants peuvent perdre de leur efficacité au cours de longues conversations. "Au fur et à mesure que les échanges se poursuivent, certaines parties de la formation à la sécurité du modèle peuvent s'affaiblir", explique l'entreprise. "Par exemple, alors que ChatGPT peut initialement diriger quelqu'un vers une ligne d'assistance pour le suicide, après une interaction prolongée, il peut finir par répondre d'une manière qui contourne nos garde-fous."

L'entreprise a également indiqué qu'elle mettait au point une mise à jour de GPT-5 qui permettra à ChatGPT d'aider à désamorcer certaines situations en reconnectant les utilisateurs à la réalité.

En ce qui concerne les contrôles parentaux, OpenAI a déclaré qu'ils seraient lancés "bientôt", donnant aux parents "une plus grande visibilité et une plus grande influence sur la façon dont leurs adolescents interagissent avec ChatGPT". L'entreprise a ajouté : "Nous étudions également la possibilité de permettre aux adolescents, sous la supervision de leurs parents, de désigner une personne de confiance à contacter en cas d'urgence. Cela permettrait à ChatGPT de faire plus que d'offrir des ressources dans les moments de détresse grave - il pourrait aider à connecter les jeunes utilisateurs directement à quelqu'un capable d'intervenir".

Si vous ou l'un de vos proches avez des pensées suicidaires, souffrez d'anxiété, de dépression ou de détresse émotionnelle, vous pouvez obtenir de l'aide.

Aux États-Unis :

Crisis Text Line : Envoyez HOME par SMS au 741-741 depuis n'importe quel endroit des États-Unis, à tout moment, pour n'importe quel type de crise.

988 Suicide & Crisis Lifeline : Appelez ou envoyez un SMS au 988 (anciennement National Suicide Prevention Lifeline). L'ancien numéro, 1-800-273-TALK (8255), est également toujours actif.

Le projet Trevor : Envoyez le texte START au 678-678 ou appelez le 1-866-488-7386 à tout moment pour parler à un conseiller qualifié.

En dehors des États-Unis :

L'Association internationale pour la prévention du suicide fournit un répertoire des lignes d'assistance téléphonique par pays. Cliquez ici pour localiser les ressources.

Befrienders Worldwide gère un réseau mondial de lignes d'assistance téléphonique dans 48 pays. Cliquez ici pour trouver un service d'assistance téléphonique près de chez vous.