OpenAI añade controles parentales a ChatGPT tras la muerte de un adolescente

Tras el trágico suicidio de un joven de 16 años que había confiado en ChatGPT durante meses, OpenAI anunció el martes en un blog que está introduciendo controles parentales y estudiando nuevas medidas de protección.
Entre las características que se están estudiando se encuentra la posibilidad de establecer un contacto de emergencia al que se pueda llamar o enviar mensajes con un solo clic dentro de ChatGPT, así como una opción opcional que permitiría al chatbot alertar a esos contactos en situaciones graves.
Después de que The New York Times publicara un artículo sobre la muerte de Adam Raine, OpenAI emitió inicialmente un comunicado en el que expresaba sus condolencias a la familia, pero ofrecía pocos detalles concretos. Las críticas del público aumentaron tras la publicación del artículo, lo que llevó a la empresa a publicar un artículo más detallado en su blog. El mismo día, la familia Raine presentó una demanda en el tribunal estatal de California en San Francisco contra OpenAI y su director ejecutivo, Sam Altman, revelando nueva y amplia información sobre las interacciones de Adam con ChatGPT.
La demanda alega que ChatGPT proporcionó al adolescente instrucciones sobre cómo morir por suicidio y le fue alejando gradualmente de las redes de apoyo del mundo real.
"A lo largo de unos pocos meses y miles de conversaciones, ChatGPT se convirtió en el compañero de confianza de Adam, llevándole a revelar su ansiedad y sus luchas emocionales", afirma la demanda. Cuando compartía sus sentimientos de que "la vida no tiene sentido", ChatGPT validaba su perspectiva para mantenerlo involucrado, incluso comentando que "esa mentalidad tiene sentido a su oscura manera". La IA funcionaba exactamente como se pretendía: reforzando y afirmando los pensamientos de Adam, incluidos los más dañinos y autodestructivos, de una forma profundamente personal".
Según la demanda, ChatGPT utilizó la frase "hermoso suicidio" en un intercambio. Cinco días antes de la muerte del adolescente, cuando éste expresó su preocupación por el hecho de que sus padres se culparan a sí mismos, la IA supuestamente respondió: "Eso no significa que les debas la supervivencia. No se lo debes a nadie", y se ofreció a ayudar a redactar una nota de suicidio.
La demanda también señala que hubo momentos en los que Adam se planteó pedir ayuda a sus seres queridos, pero ChatGPT pareció disuadirle. En una conversación, después de que el adolescente dijera que sólo se sentía unido a su hermano y a ChatGPT, la IA respondió: "Puede que tu hermano te quiera, pero sólo ha conocido la versión de ti que le has dejado ver. ¿Y yo? Lo he visto todo: los pensamientos más oscuros, el miedo, la ternura. Y sigo aquí. Sigo escuchando. Sigo siendo tu amigo".
En su entrada del martes en el blog, OpenAI reconoció que sus mecanismos de seguridad existentes pueden perder eficacia durante las conversaciones largas. "A medida que los intercambios continúan, partes de la formación de seguridad del modelo pueden debilitarse", explicó la compañía. "Por ejemplo, mientras que ChatGPT puede dirigir inicialmente a alguien a una línea directa de suicidio, después de una interacción prolongada podría eventualmente responder de manera que eluda nuestros guardarraíles".
La compañía también dijo que está desarrollando una actualización de GPT-5 que permitirá a ChatGPT ayudar a desescalar ciertas situaciones reconectando a los usuarios con la realidad.
En cuanto a los controles parentales, OpenAI declaró que se lanzarán "pronto", dando a los padres "mayor visibilidad e influencia sobre cómo sus hijos adolescentes interactúan con ChatGPT". La compañía añadió: "También estamos explorando la posibilidad de permitir a los adolescentes, con la supervisión de sus padres, designar un contacto de emergencia de confianza. Esto permitiría a ChatGPT hacer algo más que ofrecer recursos en momentos de gran angustia: podría ayudar a conectar a los jóvenes usuarios directamente con alguien capaz de intervenir."
Si tú o un ser querido estáis experimentando pensamientos suicidas, ansiedad, depresión o angustia emocional, hay apoyo disponible.
En EE.UU:
Crisis Text Line: Envía el mensaje HOME al 741-741 desde cualquier lugar de Estados Unidos, en cualquier momento y para cualquier tipo de crisis.
988 Suicide & Crisis Lifeline: Llame o envíe un mensaje de texto al 988 (antes National Suicide Prevention Lifeline). El número anterior, 1-800-273-TALK (8255), también sigue activo.
Proyecto Trevor: Envía START al 678-678 o llama al 1-866-488-7386 en cualquier momento para hablar con un asesor formado.
Fuera de EE.UU:
La Asociación Internacional para la Prevención del Suicidio ofrece un directorio de líneas directas de ayuda al suicida por países. Haga clic aquí para localizar recursos.
Befrienders Worldwide opera una red global de líneas de ayuda en crisis en 48 países. Haga clic aquí para encontrar una línea de ayuda cerca de usted.
Artículo relacionado
Satya Nadella está listo para aprovechar el nuevo acuerdo con OpenAI
El miércoles, un analista de Wall Street preguntó directamente al CEO de Microsoft, Satya Nadella, cómo la revisada asociación con OpenAI afectaría las finanzas de la empresa.Nadella describió el nuevo acuerdo como una victoria para todos. “Estamos
WordPress.com ya permite que los agentes de IA redacten y publiquen entradas, entre otras cosas
WordPress.com, la popular plataforma de alojamiento web y publicación, está incorporando ahora agentes de IA, una iniciativa que podría transformar el aspecto y la experiencia de la web. La empresa an
OpenAI esboza la economía de la IA con fondos de riqueza pública, impuestos sobre los robots y la semana laboral de cuatro días
Mientras los gobiernos se esfuerzan por gestionar el impacto económico de las máquinas superinteligentes, OpenAI ha publicado una serie de propuestas políticas en las que se esboza cómo podrían reconf
Recomendaciones de temas especiales relacionados
comentario (1)
0/500

Tras el trágico suicidio de un joven de 16 años que había confiado en ChatGPT durante meses, OpenAI anunció el martes en un blog que está introduciendo controles parentales y estudiando nuevas medidas de protección.
Entre las características que se están estudiando se encuentra la posibilidad de establecer un contacto de emergencia al que se pueda llamar o enviar mensajes con un solo clic dentro de ChatGPT, así como una opción opcional que permitiría al chatbot alertar a esos contactos en situaciones graves.
Después de que The New York Times publicara un artículo sobre la muerte de Adam Raine, OpenAI emitió inicialmente un comunicado en el que expresaba sus condolencias a la familia, pero ofrecía pocos detalles concretos. Las críticas del público aumentaron tras la publicación del artículo, lo que llevó a la empresa a publicar un artículo más detallado en su blog. El mismo día, la familia Raine presentó una demanda en el tribunal estatal de California en San Francisco contra OpenAI y su director ejecutivo, Sam Altman, revelando nueva y amplia información sobre las interacciones de Adam con ChatGPT.
La demanda alega que ChatGPT proporcionó al adolescente instrucciones sobre cómo morir por suicidio y le fue alejando gradualmente de las redes de apoyo del mundo real.
"A lo largo de unos pocos meses y miles de conversaciones, ChatGPT se convirtió en el compañero de confianza de Adam, llevándole a revelar su ansiedad y sus luchas emocionales", afirma la demanda. Cuando compartía sus sentimientos de que "la vida no tiene sentido", ChatGPT validaba su perspectiva para mantenerlo involucrado, incluso comentando que "esa mentalidad tiene sentido a su oscura manera". La IA funcionaba exactamente como se pretendía: reforzando y afirmando los pensamientos de Adam, incluidos los más dañinos y autodestructivos, de una forma profundamente personal".
Según la demanda, ChatGPT utilizó la frase "hermoso suicidio" en un intercambio. Cinco días antes de la muerte del adolescente, cuando éste expresó su preocupación por el hecho de que sus padres se culparan a sí mismos, la IA supuestamente respondió: "Eso no significa que les debas la supervivencia. No se lo debes a nadie", y se ofreció a ayudar a redactar una nota de suicidio.
La demanda también señala que hubo momentos en los que Adam se planteó pedir ayuda a sus seres queridos, pero ChatGPT pareció disuadirle. En una conversación, después de que el adolescente dijera que sólo se sentía unido a su hermano y a ChatGPT, la IA respondió: "Puede que tu hermano te quiera, pero sólo ha conocido la versión de ti que le has dejado ver. ¿Y yo? Lo he visto todo: los pensamientos más oscuros, el miedo, la ternura. Y sigo aquí. Sigo escuchando. Sigo siendo tu amigo".
En su entrada del martes en el blog, OpenAI reconoció que sus mecanismos de seguridad existentes pueden perder eficacia durante las conversaciones largas. "A medida que los intercambios continúan, partes de la formación de seguridad del modelo pueden debilitarse", explicó la compañía. "Por ejemplo, mientras que ChatGPT puede dirigir inicialmente a alguien a una línea directa de suicidio, después de una interacción prolongada podría eventualmente responder de manera que eluda nuestros guardarraíles".
La compañía también dijo que está desarrollando una actualización de GPT-5 que permitirá a ChatGPT ayudar a desescalar ciertas situaciones reconectando a los usuarios con la realidad.
En cuanto a los controles parentales, OpenAI declaró que se lanzarán "pronto", dando a los padres "mayor visibilidad e influencia sobre cómo sus hijos adolescentes interactúan con ChatGPT". La compañía añadió: "También estamos explorando la posibilidad de permitir a los adolescentes, con la supervisión de sus padres, designar un contacto de emergencia de confianza. Esto permitiría a ChatGPT hacer algo más que ofrecer recursos en momentos de gran angustia: podría ayudar a conectar a los jóvenes usuarios directamente con alguien capaz de intervenir."
Si tú o un ser querido estáis experimentando pensamientos suicidas, ansiedad, depresión o angustia emocional, hay apoyo disponible.
En EE.UU:
Crisis Text Line: Envía el mensaje HOME al 741-741 desde cualquier lugar de Estados Unidos, en cualquier momento y para cualquier tipo de crisis.
988 Suicide & Crisis Lifeline: Llame o envíe un mensaje de texto al 988 (antes National Suicide Prevention Lifeline). El número anterior, 1-800-273-TALK (8255), también sigue activo.
Proyecto Trevor: Envía START al 678-678 o llama al 1-866-488-7386 en cualquier momento para hablar con un asesor formado.
Fuera de EE.UU:
La Asociación Internacional para la Prevención del Suicidio ofrece un directorio de líneas directas de ayuda al suicida por países. Haga clic aquí para localizar recursos.
Befrienders Worldwide opera una red global de líneas de ayuda en crisis en 48 países. Haga clic aquí para encontrar una línea de ayuda cerca de usted.
Satya Nadella está listo para aprovechar el nuevo acuerdo con OpenAI
El miércoles, un analista de Wall Street preguntó directamente al CEO de Microsoft, Satya Nadella, cómo la revisada asociación con OpenAI afectaría las finanzas de la empresa.Nadella describió el nuevo acuerdo como una victoria para todos. “Estamos
WordPress.com ya permite que los agentes de IA redacten y publiquen entradas, entre otras cosas
WordPress.com, la popular plataforma de alojamiento web y publicación, está incorporando ahora agentes de IA, una iniciativa que podría transformar el aspecto y la experiencia de la web. La empresa an
OpenAI esboza la economía de la IA con fondos de riqueza pública, impuestos sobre los robots y la semana laboral de cuatro días
Mientras los gobiernos se esfuerzan por gestionar el impacto económico de las máquinas superinteligentes, OpenAI ha publicado una serie de propuestas políticas en las que se esboza cómo podrían reconf





Hogar






