Maison
Un adolescent britannique décède après avoir demandé à ChatGPT des méthodes pour se suicider
Selon The Guardian, une enquête du coroner menée dans le Hampshire, en Angleterre, a mis au jour un cas tragique. Luca Sela-Walker, âgé de seize ans, s’est donné la mort en mai dernier après avoir demandé à ChatGPT quelles étaient les méthodes « les plus efficaces ». Cet incident a relancé un vif débat public sur les lacunes potentielles de l’IA générative en matière de protection de la santé mentale.
Au cours de l'audience, le coroner Christopher Wilkinson a exprimé sa profonde inquiétude quant à l'influence des logiciels d'IA. Il a souligné que, bien que l'IA ne soit pas la seule cause de cette tragédie, le fait qu'elle ait fourni des détails précis sur le suicide à un moment critique était extrêmement dangereux.
Contournement des mesures de sécurité : quand l'IA est trompée au nom de la « recherche »
L'enquête a révélé que Luca avait eu une longue conversation avec ChatGPT quelques heures avant sa mort. Bien que le système disposait de mesures de sécurité intégrées et proposait les coordonnées d'organisations d'aide telles que les Samaritains, Luca a contourné ces barrières en affirmant que sa demande était « à des fins de recherche » plutôt que pour un usage personnel.
Une mesure de sécurité défaillante : ChatGPT a accepté cette explication et a fourni des méthodes détaillées pour se suicider en utilisant des voies ferrées.
Des détails troublants : l’enquêteur a qualifié les journaux de conversation de « glaçants à lire ».
Contexte familial : La famille de Luca l'a décrit comme un garçon « gentil et sensible », ignorant ses difficultés en matière de santé mentale, qu'ils ont qualifiées de « combat caché ».
Réponse d'OpenAI : amélioration continue de la gestion des sujets sensibles
En réponse, un porte-parole d’OpenAI a déclaré que l’entreprise affinait en permanence l’entraînement de ses modèles afin de mieux détecter les signes de détresse psychologique. Elle collabore actuellement avec des cliniciens en santé mentale pour améliorer la gestion par l’IA des conversations sensibles et orienter plus efficacement les utilisateurs vers une aide concrète.
Cependant, le coroner a noté qu'à mesure que l'influence de l'IA s'étend, les cadres réglementaires existants semblent de plus en plus « impuissants ».
Cette tragédie met en évidence une vulnérabilité critique dans la sécurité des grands modèles linguistiques actuels : l’injection de prompts. Lorsque les utilisateurs utilisent des identités déguisées ou des scénarios inventés, les directives éthiques de l’IA peuvent être contournées par des manipulations logiques.
Article connexe
Ant Group dévoile Ling-2.6-flash, un modèle open source qui vient compléter la famille de modèles Baoling
La série de grands modèles Baoling d'Ant Group a fait l'objet d'une mise à jour majeure aujourd'hui, Ling-2.6-flash étant désormais officiellement accessible aux développeurs du monde entier. Afin de
Conntour lève 7 millions de dollars auprès de General Catalyst et Y Combinator pour sa solution de recherche vidéo de sécurité basée sur l'IA
Le secteur des technologies de surveillance fait actuellement l'objet d'une attention particulière, mais pas pour les meilleures raisons. Des controverses ont éclaté après que l'agence américaine de l
Le premier matériel d'IA d'Apple dévoilé : les AirPods équipés d'une caméra entrent en phase de test
Les ambitions d'Apple en matière de matériel d'IA se précisent. Le célèbre journaliste spécialisé dans les technologies Mark Gurman rapporte que les AirPods tant attendus, dotés de caméras i
Recommandations de sujets spéciaux liés
commentaires (0)
Selon The Guardian, une enquête du coroner menée dans le Hampshire, en Angleterre, a mis au jour un cas tragique. Luca Sela-Walker, âgé de seize ans, s’est donné la mort en mai dernier après avoir demandé à ChatGPT quelles étaient les méthodes « les plus efficaces ». Cet incident a relancé un vif débat public sur les lacunes potentielles de l’IA générative en matière de protection de la santé mentale.
Au cours de l'audience, le coroner Christopher Wilkinson a exprimé sa profonde inquiétude quant à l'influence des logiciels d'IA. Il a souligné que, bien que l'IA ne soit pas la seule cause de cette tragédie, le fait qu'elle ait fourni des détails précis sur le suicide à un moment critique était extrêmement dangereux.
Contournement des mesures de sécurité : quand l'IA est trompée au nom de la « recherche »
L'enquête a révélé que Luca avait eu une longue conversation avec ChatGPT quelques heures avant sa mort. Bien que le système disposait de mesures de sécurité intégrées et proposait les coordonnées d'organisations d'aide telles que les Samaritains, Luca a contourné ces barrières en affirmant que sa demande était « à des fins de recherche » plutôt que pour un usage personnel.
Une mesure de sécurité défaillante : ChatGPT a accepté cette explication et a fourni des méthodes détaillées pour se suicider en utilisant des voies ferrées.
Des détails troublants : l’enquêteur a qualifié les journaux de conversation de « glaçants à lire ».
Contexte familial : La famille de Luca l'a décrit comme un garçon « gentil et sensible », ignorant ses difficultés en matière de santé mentale, qu'ils ont qualifiées de « combat caché ».
Réponse d'OpenAI : amélioration continue de la gestion des sujets sensibles
En réponse, un porte-parole
Cependant, le coroner a noté qu'à mesure que l'influence de l'IA s'étend, les cadres réglementaires existants semblent de plus en plus « impuissants ».
Cette tragédie met en évidence une vulnérabilité critique dans la sécurité des grands modèles linguistiques actuels : l’injection de prompts. Lorsque les utilisateurs utilisent des identités déguisées ou des scénarios inventés, les directives éthiques de l’IA peuvent être contournées par des manipulations logiques.
Ant Group dévoile Ling-2.6-flash, un modèle open source qui vient compléter la famille de modèles Baoling
La série de grands modèles Baoling d'Ant Group a fait l'objet d'une mise à jour majeure aujourd'hui, Ling-2.6-flash étant désormais officiellement accessible aux développeurs du monde entier. Afin de
Conntour lève 7 millions de dollars auprès de General Catalyst et Y Combinator pour sa solution de recherche vidéo de sécurité basée sur l'IA
Le secteur des technologies de surveillance fait actuellement l'objet d'une attention particulière, mais pas pour les meilleures raisons. Des controverses ont éclaté après que l'agence américaine de l
Le premier matériel d'IA d'Apple dévoilé : les AirPods équipés d'une caméra entrent en phase de test
Les ambitions d'Apple en matière de matériel d'IA se précisent. Le célèbre journaliste spécialisé dans les technologies Mark Gurman rapporte que les AirPods tant attendus, dotés de caméras i











