Hogar
OpenAI integra herramientas de código abierto para la seguridad de los adolescentes en sus proyectos de desarrollo

El martes, OpenAI anunció el lanzamiento de un conjunto de indicaciones diseñadas para ayudar a los desarrolladores a hacer que sus aplicaciones sean más seguras para los adolescentes. El laboratorio de IA afirmó que estas políticas de seguridad para adolescentes son compatibles con su modelo de seguridad de código abierto, gpt-oss-safeguard.
En lugar de empezar desde cero para determinar cómo mejorar la seguridad de la IA para los adolescentes, los desarrolladores pueden utilizar estas indicaciones para reforzar sus aplicaciones. Abordan cuestiones como la violencia gráfica y el material sexual, los ideales y comportamientos nocivos sobre la imagen corporal, las actividades y retos de riesgo, los escenarios de juegos de rol románticos o violentos, y los productos y servicios con restricción de edad.
Estas políticas de seguridad se han diseñado en forma de indicaciones, lo que garantiza que funcionen fácilmente con modelos distintos de gpt-oss-safeguard, aunque es probable que sean más eficaces dentro del propio ecosistema de OpenAI.
OpenAI declaró que colaboró con las organizaciones de seguridad de la IA Common Sense Media y everyone.ai para desarrollar estas indicaciones.
«Estas políticas basadas en indicaciones ayudan a establecer una base de seguridad significativa en todo el ecosistema. Al ser de código abierto, pueden adaptarse y mejorarse con el tiempo», afirmó Robbie Torney, director de IA y evaluaciones digitales de Common Sense Media, en un comunicado.
En su blog, OpenAI señaló que a los desarrolladores, incluidos los equipos con experiencia, a menudo les resulta difícil traducir los objetivos de seguridad en reglas operativas precisas.
«Esto puede dar lugar a lagunas en la protección, una aplicación inconsistente o un filtrado excesivamente amplio», explicó la empresa. «Unas políticas claras y bien definidas son una base fundamental para unos sistemas de seguridad eficaces».
OpenAI reconoce que estas políticas no son una solución completa a los complejos retos de la seguridad de la IA. Sin embargo, se basan en esfuerzos previos, incluidas medidas de seguridad a nivel de producto como los controles parentales y la predicción de la edad. El año pasado, OpenAI actualizó sus directrices para los grandes modelos de lenguaje —conocidas como Model Spec— para abordar cómo sus modelos de IA deben interactuar con usuarios menores de 18 años.
Sin embargo, la propia OpenAI no tiene un historial impecable. La empresa se enfrenta a múltiples demandas de familias de personas que se suicidaron tras un uso extremo de ChatGPT. Estas relaciones perjudiciales suelen desarrollarse después de que un usuario eluda las medidas de seguridad del chatbot, y ninguna barrera de protección de los modelos es completamente impenetrable. No obstante, estas nuevas políticas representan un paso adelante, especialmente en lo que respecta a la ayuda a los desarrolladores independientes.
Artículo relacionado
Satya Nadella está listo para aprovechar el nuevo acuerdo con OpenAI
El miércoles, un analista de Wall Street preguntó directamente al CEO de Microsoft, Satya Nadella, cómo la revisada asociación con OpenAI afectaría las finanzas de la empresa.Nadella describió el nuevo acuerdo como una victoria para todos. “Estamos
OpenAI esboza la economía de la IA con fondos de riqueza pública, impuestos sobre los robots y la semana laboral de cuatro días
Mientras los gobiernos se esfuerzan por gestionar el impacto económico de las máquinas superinteligentes, OpenAI ha publicado una serie de propuestas políticas en las que se esboza cómo podrían reconf
Greg Brockman desvela cómo Elon Musk abandonó OpenAI
A finales de agosto de 2017, las figuras clave de OpenAI —por entonces un pequeño laboratorio de investigación sin ánimo de lucro— se reunieron para debatir cómo crearían una entidad con fines lucrati
Recomendaciones de temas especiales relacionados
comentario (0)
0/500

El martes, OpenAI anunció el lanzamiento de un conjunto de indicaciones diseñadas para ayudar a los desarrolladores a hacer que sus aplicaciones sean más seguras para los adolescentes. El laboratorio de IA afirmó que estas políticas de seguridad para adolescentes son compatibles con su modelo de seguridad de código abierto, gpt-oss-safeguard.
En lugar de empezar desde cero para determinar cómo mejorar la seguridad de la IA para los adolescentes, los desarrolladores pueden utilizar estas indicaciones para reforzar sus aplicaciones. Abordan cuestiones como la violencia gráfica y el material sexual, los ideales y comportamientos nocivos sobre la imagen corporal, las actividades y retos de riesgo, los escenarios de juegos de rol románticos o violentos, y los productos y servicios con restricción de edad.
Estas políticas de seguridad se han diseñado en forma de indicaciones, lo que garantiza que funcionen fácilmente con modelos distintos de gpt-oss-safeguard, aunque es probable que sean más eficaces dentro del propio ecosistema de OpenAI.
OpenAI declaró que colaboró con las organizaciones de seguridad de la IA Common Sense Media y everyone.ai para desarrollar estas indicaciones.
«Estas políticas basadas en indicaciones ayudan a establecer una base de seguridad significativa en todo el ecosistema. Al ser de código abierto, pueden adaptarse y mejorarse con el tiempo», afirmó Robbie Torney, director de IA y evaluaciones digitales de Common Sense Media, en un comunicado.
En su blog, OpenAI señaló que a los desarrolladores, incluidos los equipos con experiencia, a menudo les resulta difícil traducir los objetivos de seguridad en reglas operativas precisas.
«Esto puede dar lugar a lagunas en la protección, una aplicación inconsistente o un filtrado excesivamente amplio», explicó la empresa. «Unas políticas claras y bien definidas son una base fundamental para unos sistemas de seguridad eficaces».
OpenAI reconoce que estas políticas no son una solución completa a los complejos retos de la seguridad de la IA. Sin embargo, se basan en esfuerzos previos, incluidas medidas de seguridad a nivel de producto como los controles parentales y la predicción de la edad. El año pasado, OpenAI actualizó sus directrices para los grandes modelos de lenguaje —conocidas como Model Spec— para abordar cómo sus modelos de IA deben interactuar con usuarios menores de 18 años.
Sin embargo, la propia OpenAI no tiene un historial impecable. La empresa se enfrenta a múltiples demandas de familias de personas que se suicidaron tras un uso extremo de ChatGPT. Estas relaciones perjudiciales suelen desarrollarse después de que un usuario eluda las medidas de seguridad del chatbot, y ninguna barrera de protección de los modelos es completamente impenetrable. No obstante, estas nuevas políticas representan un paso adelante, especialmente en lo que respecta a la ayuda a los desarrolladores independientes.
Satya Nadella está listo para aprovechar el nuevo acuerdo con OpenAI
El miércoles, un analista de Wall Street preguntó directamente al CEO de Microsoft, Satya Nadella, cómo la revisada asociación con OpenAI afectaría las finanzas de la empresa.Nadella describió el nuevo acuerdo como una victoria para todos. “Estamos
OpenAI esboza la economía de la IA con fondos de riqueza pública, impuestos sobre los robots y la semana laboral de cuatro días
Mientras los gobiernos se esfuerzan por gestionar el impacto económico de las máquinas superinteligentes, OpenAI ha publicado una serie de propuestas políticas en las que se esboza cómo podrían reconf
Greg Brockman desvela cómo Elon Musk abandonó OpenAI
A finales de agosto de 2017, las figuras clave de OpenAI —por entonces un pequeño laboratorio de investigación sin ánimo de lucro— se reunieron para debatir cómo crearían una entidad con fines lucrati











