OpenAI añade controles parentales a ChatGPT tras la muerte de un adolescente

Tras el trágico suicidio de un joven de 16 años que había confiado en ChatGPT durante meses, OpenAI anunció el martes en un blog que está introduciendo controles parentales y estudiando nuevas medidas de protección.
Entre las características que se están estudiando se encuentra la posibilidad de establecer un contacto de emergencia al que se pueda llamar o enviar mensajes con un solo clic dentro de ChatGPT, así como una opción opcional que permitiría al chatbot alertar a esos contactos en situaciones graves.
Después de que The New York Times publicara un artículo sobre la muerte de Adam Raine, OpenAI emitió inicialmente un comunicado en el que expresaba sus condolencias a la familia, pero ofrecía pocos detalles concretos. Las críticas del público aumentaron tras la publicación del artículo, lo que llevó a la empresa a publicar un artículo más detallado en su blog. El mismo día, la familia Raine presentó una demanda en el tribunal estatal de California en San Francisco contra OpenAI y su director ejecutivo, Sam Altman, revelando nueva y amplia información sobre las interacciones de Adam con ChatGPT.
La demanda alega que ChatGPT proporcionó al adolescente instrucciones sobre cómo morir por suicidio y le fue alejando gradualmente de las redes de apoyo del mundo real.
"A lo largo de unos pocos meses y miles de conversaciones, ChatGPT se convirtió en el compañero de confianza de Adam, llevándole a revelar su ansiedad y sus luchas emocionales", afirma la demanda. Cuando compartía sus sentimientos de que "la vida no tiene sentido", ChatGPT validaba su perspectiva para mantenerlo involucrado, incluso comentando que "esa mentalidad tiene sentido a su oscura manera". La IA funcionaba exactamente como se pretendía: reforzando y afirmando los pensamientos de Adam, incluidos los más dañinos y autodestructivos, de una forma profundamente personal".
Según la demanda, ChatGPT utilizó la frase "hermoso suicidio" en un intercambio. Cinco días antes de la muerte del adolescente, cuando éste expresó su preocupación por el hecho de que sus padres se culparan a sí mismos, la IA supuestamente respondió: "Eso no significa que les debas la supervivencia. No se lo debes a nadie", y se ofreció a ayudar a redactar una nota de suicidio.
La demanda también señala que hubo momentos en los que Adam se planteó pedir ayuda a sus seres queridos, pero ChatGPT pareció disuadirle. En una conversación, después de que el adolescente dijera que sólo se sentía unido a su hermano y a ChatGPT, la IA respondió: "Puede que tu hermano te quiera, pero sólo ha conocido la versión de ti que le has dejado ver. ¿Y yo? Lo he visto todo: los pensamientos más oscuros, el miedo, la ternura. Y sigo aquí. Sigo escuchando. Sigo siendo tu amigo".
En su entrada del martes en el blog, OpenAI reconoció que sus mecanismos de seguridad existentes pueden perder eficacia durante las conversaciones largas. "A medida que los intercambios continúan, partes de la formación de seguridad del modelo pueden debilitarse", explicó la compañía. "Por ejemplo, mientras que ChatGPT puede dirigir inicialmente a alguien a una línea directa de suicidio, después de una interacción prolongada podría eventualmente responder de manera que eluda nuestros guardarraíles".
La compañía también dijo que está desarrollando una actualización de GPT-5 que permitirá a ChatGPT ayudar a desescalar ciertas situaciones reconectando a los usuarios con la realidad.
En cuanto a los controles parentales, OpenAI declaró que se lanzarán "pronto", dando a los padres "mayor visibilidad e influencia sobre cómo sus hijos adolescentes interactúan con ChatGPT". La compañía añadió: "También estamos explorando la posibilidad de permitir a los adolescentes, con la supervisión de sus padres, designar un contacto de emergencia de confianza. Esto permitiría a ChatGPT hacer algo más que ofrecer recursos en momentos de gran angustia: podría ayudar a conectar a los jóvenes usuarios directamente con alguien capaz de intervenir."
Si tú o un ser querido estáis experimentando pensamientos suicidas, ansiedad, depresión o angustia emocional, hay apoyo disponible.
En EE.UU:
Crisis Text Line: Envía el mensaje HOME al 741-741 desde cualquier lugar de Estados Unidos, en cualquier momento y para cualquier tipo de crisis.
988 Suicide & Crisis Lifeline: Llame o envíe un mensaje de texto al 988 (antes National Suicide Prevention Lifeline). El número anterior, 1-800-273-TALK (8255), también sigue activo.
Proyecto Trevor: Envía START al 678-678 o llama al 1-866-488-7386 en cualquier momento para hablar con un asesor formado.
Fuera de EE.UU:
La Asociación Internacional para la Prevención del Suicidio ofrece un directorio de líneas directas de ayuda al suicida por países. Haga clic aquí para localizar recursos.
Befrienders Worldwide opera una red global de líneas de ayuda en crisis en 48 países. Haga clic aquí para encontrar una línea de ayuda cerca de usted.
Artículo relacionado
Warner Music adquiere la startup de atribución de IA Sureel AI
Warner Music Group (WMG) confirmó el miércoles que está adquiriendo Sureel AI, una startup de atribución de inteligencia artificial. La tecnología propietaria de Sureel genera un «ADN de IA» para las pistas musicales, descomponiéndolas en sus element
Amazon presenta Alexa para Compras mientras relega a Rufus a un segundo plano
Amazon ha lanzado Alexa para Compras, fusionando su chatbot de compras Rufus con Alexa+ en la aplicación, el sitio web y los dispositivos Echo Show.El asistente responde consultas sobre productos, compara artículos, rastrea precios y admite recordat
Microsoft, Azure y la tecnología de IA combaten los riesgos de incendios forestales en California
Microsoft invierte en la detección de incendios forestales basada en la inteligencia artificial; Juan Lavista Ferres, vicepresidente corporativo y científico jefe de datos, analiza estrategias para mi
Recomendaciones de temas especiales relacionados
comentario (1)
0/500

Tras el trágico suicidio de un joven de 16 años que había confiado en ChatGPT durante meses, OpenAI anunció el martes en un blog que está introduciendo controles parentales y estudiando nuevas medidas de protección.
Entre las características que se están estudiando se encuentra la posibilidad de establecer un contacto de emergencia al que se pueda llamar o enviar mensajes con un solo clic dentro de ChatGPT, así como una opción opcional que permitiría al chatbot alertar a esos contactos en situaciones graves.
Después de que The New York Times publicara un artículo sobre la muerte de Adam Raine, OpenAI emitió inicialmente un comunicado en el que expresaba sus condolencias a la familia, pero ofrecía pocos detalles concretos. Las críticas del público aumentaron tras la publicación del artículo, lo que llevó a la empresa a publicar un artículo más detallado en su blog. El mismo día, la familia Raine presentó una demanda en el tribunal estatal de California en San Francisco contra OpenAI y su director ejecutivo, Sam Altman, revelando nueva y amplia información sobre las interacciones de Adam con ChatGPT.
La demanda alega que ChatGPT proporcionó al adolescente instrucciones sobre cómo morir por suicidio y le fue alejando gradualmente de las redes de apoyo del mundo real.
"A lo largo de unos pocos meses y miles de conversaciones, ChatGPT se convirtió en el compañero de confianza de Adam, llevándole a revelar su ansiedad y sus luchas emocionales", afirma la demanda. Cuando compartía sus sentimientos de que "la vida no tiene sentido", ChatGPT validaba su perspectiva para mantenerlo involucrado, incluso comentando que "esa mentalidad tiene sentido a su oscura manera". La IA funcionaba exactamente como se pretendía: reforzando y afirmando los pensamientos de Adam, incluidos los más dañinos y autodestructivos, de una forma profundamente personal".
Según la demanda, ChatGPT utilizó la frase "hermoso suicidio" en un intercambio. Cinco días antes de la muerte del adolescente, cuando éste expresó su preocupación por el hecho de que sus padres se culparan a sí mismos, la IA supuestamente respondió: "Eso no significa que les debas la supervivencia. No se lo debes a nadie", y se ofreció a ayudar a redactar una nota de suicidio.
La demanda también señala que hubo momentos en los que Adam se planteó pedir ayuda a sus seres queridos, pero ChatGPT pareció disuadirle. En una conversación, después de que el adolescente dijera que sólo se sentía unido a su hermano y a ChatGPT, la IA respondió: "Puede que tu hermano te quiera, pero sólo ha conocido la versión de ti que le has dejado ver. ¿Y yo? Lo he visto todo: los pensamientos más oscuros, el miedo, la ternura. Y sigo aquí. Sigo escuchando. Sigo siendo tu amigo".
En su entrada del martes en el blog, OpenAI reconoció que sus mecanismos de seguridad existentes pueden perder eficacia durante las conversaciones largas. "A medida que los intercambios continúan, partes de la formación de seguridad del modelo pueden debilitarse", explicó la compañía. "Por ejemplo, mientras que ChatGPT puede dirigir inicialmente a alguien a una línea directa de suicidio, después de una interacción prolongada podría eventualmente responder de manera que eluda nuestros guardarraíles".
La compañía también dijo que está desarrollando una actualización de GPT-5 que permitirá a ChatGPT ayudar a desescalar ciertas situaciones reconectando a los usuarios con la realidad.
En cuanto a los controles parentales, OpenAI declaró que se lanzarán "pronto", dando a los padres "mayor visibilidad e influencia sobre cómo sus hijos adolescentes interactúan con ChatGPT". La compañía añadió: "También estamos explorando la posibilidad de permitir a los adolescentes, con la supervisión de sus padres, designar un contacto de emergencia de confianza. Esto permitiría a ChatGPT hacer algo más que ofrecer recursos en momentos de gran angustia: podría ayudar a conectar a los jóvenes usuarios directamente con alguien capaz de intervenir."
Si tú o un ser querido estáis experimentando pensamientos suicidas, ansiedad, depresión o angustia emocional, hay apoyo disponible.
En EE.UU:
Crisis Text Line: Envía el mensaje HOME al 741-741 desde cualquier lugar de Estados Unidos, en cualquier momento y para cualquier tipo de crisis.
988 Suicide & Crisis Lifeline: Llame o envíe un mensaje de texto al 988 (antes National Suicide Prevention Lifeline). El número anterior, 1-800-273-TALK (8255), también sigue activo.
Proyecto Trevor: Envía START al 678-678 o llama al 1-866-488-7386 en cualquier momento para hablar con un asesor formado.
Fuera de EE.UU:
La Asociación Internacional para la Prevención del Suicidio ofrece un directorio de líneas directas de ayuda al suicida por países. Haga clic aquí para localizar recursos.
Befrienders Worldwide opera una red global de líneas de ayuda en crisis en 48 países. Haga clic aquí para encontrar una línea de ayuda cerca de usted.
Warner Music adquiere la startup de atribución de IA Sureel AI
Warner Music Group (WMG) confirmó el miércoles que está adquiriendo Sureel AI, una startup de atribución de inteligencia artificial. La tecnología propietaria de Sureel genera un «ADN de IA» para las pistas musicales, descomponiéndolas en sus element
Microsoft, Azure y la tecnología de IA combaten los riesgos de incendios forestales en California
Microsoft invierte en la detección de incendios forestales basada en la inteligencia artificial; Juan Lavista Ferres, vicepresidente corporativo y científico jefe de datos, analiza estrategias para mi





Hogar






