Los últimos modelos de IA de OpenAI tienen una nueva salvaguardia para evitar biorisks

Las nuevas medidas de seguridad de Openai para los modelos AI O3 y O4-Mini

Operai ha introducido un nuevo sistema de monitoreo para sus modelos AI avanzados, O3 y O4-Mini, diseñado específicamente para detectar y prevenir respuestas a indicaciones relacionadas con amenazas biológicas y químicas. Este "monitor de razonamiento centrado en la seguridad" es una respuesta a las capacidades mejoradas de estos modelos, que, según OpenAI, representan un paso adelante significativo de sus predecesores y podrían ser mal utilizados por actores maliciosos.

Los puntos de referencia internos de la compañía indican que O3, en particular, ha mostrado una mayor competencia en responder preguntas sobre la creación de ciertas amenazas biológicas. Para abordar este y otros riesgos potenciales, OpenAi desarrolló este nuevo sistema, que opera junto con O3 y O4-Mini. Está capacitado para reconocer y rechazar las indicaciones que podrían conducir a consejos nocivos sobre riesgos biológicos y químicos.

Pruebas y resultados

Para medir la efectividad de este monitor de seguridad, OpenAi realizó pruebas extensas. Los equipo rojo pasaron aproximadamente 1,000 horas identificando conversaciones "inseguras" relacionadas con el biorrisco generadas por O3 y O4-Mini. En una simulación de la "lógica de bloqueo" del monitor, los modelos se negaron con éxito a responder a los riesgos del 98.7% del tiempo.

Sin embargo, OpenAI admite que su prueba no consideró escenarios en los que los usuarios pudieran intentar diferentes indicaciones después de ser bloqueados. Como resultado, la compañía planea continuar utilizando el monitoreo humano como parte de su estrategia de seguridad.

Evaluación de riesgos y monitoreo continuo

A pesar de sus capacidades avanzadas, O3 y O4-Mini no exceden el umbral de "alto riesgo" de Openai para los biorriscos. Sin embargo, las primeras versiones de estos modelos fueron más expertos en responder preguntas sobre el desarrollo de armas biológicas en comparación con O1 y GPT-4. Operai está monitoreando activamente cómo estos modelos podrían facilitar el desarrollo de amenazas químicas y biológicas, como se describe en su marco de preparación actualizada.

Operai está recurriendo cada vez más a los sistemas automatizados para administrar los riesgos que plantean sus modelos. Por ejemplo, se utiliza un monitor de razonamiento similar para evitar que el generador de imágenes de GPT-4O produzca material de abuso sexual infantil (CSAM).

Preocupaciones y críticas

A pesar de estos esfuerzos, algunos investigadores argumentan que OpenAi puede no estar priorizando la seguridad lo suficiente. Uno de los socios de equipo rojo de OpenAI, METR, señaló que tuvieron un tiempo limitado para probar O3 para obtener un comportamiento engañoso. Además, Operai decidió no publicar un informe de seguridad para su modelo GPT-4.1 recientemente lanzado, lo que plantea más preocupaciones sobre el compromiso de la compañía con la transparencia y la seguridad.