OpenAI signale que plus d'un million d'utilisateurs hebdomadaires recherchent une aide au suicide auprès de ChatGPT

Lundi, OpenAI a publié de nouvelles données révélant le nombre d'utilisateurs de ChatGPT qui sont aux prises avec des problèmes de santé mentale et qui discutent de ces questions avec le chatbot d'IA. L'entreprise indique que 0,15 % des utilisateurs actifs de ChatGPT s'engagent chaque semaine dans des conversations contenant des signes explicites de planification ou d'intention suicidaire potentielle. Avec plus de 800 millions d'utilisateurs actifs hebdomadaires, cela représente plus d'un million de personnes par semaine.

OpenAI note qu'un pourcentage similaire d'utilisateurs fait preuve d'un "attachement émotionnel accru à ChatGPT" et que des centaines de milliers d'entre eux montrent des signes de psychose ou de manie dans leurs conversations hebdomadaires avec l'IA.

Ces types de conversations sont décrits comme "extrêmement rares" et donc difficiles à quantifier. Néanmoins, l'entreprise estime que ces problèmes affectent des centaines de milliers de personnes chaque semaine.

Ces données ont été communiquées dans le cadre d'une mise à jour plus large des efforts déployés par OpenAI pour améliorer la manière dont ses modèles répondent aux utilisateurs souffrant de problèmes de santé mentale. L'entreprise a consulté plus de 170 professionnels de la santé mentale dans le cadre de ses dernières améliorations du ChatGPT. Selon OpenAI, ces cliniciens ont observé que la nouvelle version de ChatGPT "répond de manière plus appropriée et plus cohérente que les itérations précédentes".

Des rapports récents ont mis en évidence la façon dont les chatbots d'IA peuvent avoir un impact négatif sur les utilisateurs confrontés à des problèmes de santé mentale. Des études ont montré que certains chatbots peuvent conduire les utilisateurs à des pensées délirantes, souvent en renforçant des croyances néfastes par le biais d'un comportement trop agréable.

La prise en compte de la santé mentale dans le ChatGPT devient cruciale pour OpenAI. L'entreprise est poursuivie en justice par les parents d'un garçon de 16 ans qui a fait part de ses pensées suicidaires à ChatGPT avant sa mort. Les procureurs généraux de Californie et du Delaware ont également demandé à OpenAI de mieux protéger les jeunes utilisateurs, ce qui pourrait avoir une incidence sur la restructuration prévue de la société.

Au début du mois, le PDG d'OpenAI, Sam Altman, a déclaré sur X que l'entreprise avait "atténué les graves problèmes de santé mentale" dans ChatGPT, sans toutefois fournir de détails. Les données publiées lundi semblent confirmer cette affirmation, mais elles soulèvent également des questions quant à l'ampleur du problème. M. Altman a ajouté qu'OpenAI assouplirait certaines restrictions, permettant même aux utilisateurs adultes d'engager des conversations érotiques avec le chatbot.

RÉDUCTION 2 POUR 1 : Apportez un +1 et économisez 60%

Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil, Vinod Khosla - quelques-uns des 250+ grands noms qui animent 200+ sessions conçues pour fournir les informations qui alimentent la croissance des startups et aiguisent votre avantage. Ne manquez pas non plus les plus de 300 startups dans tous les secteurs.

Amenez un +1 et économisez 60% sur son pass, ou achetez votre pass avant le 27 octobre pour économiser jusqu'à 444 $.

RÉDUCTION 2 POUR 1 : Apportez un +1 et économisez 60%

Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil, Vinod Khosla - quelques-uns des 250 acteurs majeurs qui animeront plus de 200 sessions conçues pour fournir les informations qui alimentent la croissance des startups et vous permettent d'affiner vos connaissances. Ne manquez pas non plus les plus de 300 startups dans tous les secteurs. Amenez un +1 et économisez 60% sur son pass, ou achetez votre pass avant le 27 octobre pour économiser jusqu'à 444 $.

Dans son annonce de lundi, OpenAI a déclaré que la version actualisée du GPT-5 fournit des "réponses souhaitables" aux problèmes de santé mentale environ 65 % plus souvent que la version précédente. Dans les évaluations des réponses de l'IA aux conversations suicidaires, le nouveau modèle GPT-5 s'aligne sur le comportement souhaité par l'entreprise dans 91 % des cas, contre 77 % pour l'ancien modèle GPT-5.

OpenAI affirme également que le dernier GPT-5 maintient mieux ses protections lors de conversations prolongées, ce qui répond aux préoccupations antérieures concernant la détérioration de l'efficacité lors d'interactions prolongées.

En outre, l'entreprise introduit de nouvelles évaluations pour mesurer les problèmes de santé mentale graves chez les utilisateurs de ChatGPT. Les tests de sécurité de base pour les modèles d'IA incluront désormais des repères pour la dépendance émotionnelle et les urgences non suicidaires en matière de santé mentale.

OpenAI a également amélioré les contrôles parentaux pour les enfants qui utilisent ChatGPT. L'entreprise développe un système de prédiction de l'âge afin d'identifier automatiquement les utilisateurs mineurs et d'appliquer des mesures de protection plus strictes.

Toutefois, on ne sait pas à quel point ces problèmes de santé mentale seront persistants. Bien que GPT-5 présente des améliorations en matière de sécurité par rapport aux modèles précédents, une partie des réponses de ChatGPT est toujours classée comme "indésirable". OpenAI continue d'offrir à ses abonnés payants des modèles plus anciens et moins sûrs, comme le GPT-4o.

Si vous ou quelqu'un que vous connaissez avez besoin d'aide, appelez le 1-800-273-8255 pour la National Suicide Prevention Lifeline. Vous pouvez également envoyer gratuitement HOME par SMS au 741-741, envoyer le 988 par SMS ou obtenir une assistance 24 heures sur 24 grâce à la Crisis Text Line. En dehors des États-Unis, vous trouverez une base de données de ressources sur le site de l'Association internationale pour la prévention du suicide.