Les derniers modèles d'IA d'OpenAI ont une nouvelle sauvegarde pour empêcher les biorisks

Les nouvelles mesures de sécurité d'Openai pour les modèles d'IA O3 et O4-MINI

OpenAI a introduit un nouveau système de surveillance pour ses modèles AI avancés, O3 et O4-MinI, spécialement conçu pour détecter et prévenir les réponses aux invites liées aux menaces biologiques et chimiques. Ce "moniteur de raisonnement axé sur la sécurité" est une réponse aux capacités améliorées de ces modèles, qui, selon OpenAI, représentent une étape significative de leurs prédécesseurs et pourraient être utilisées à mauvais escient par des acteurs malveillants.

Les repères internes de l'entreprise indiquent que l'O3, en particulier, a montré une plus grande compétence dans la réponse aux questions sur la création de certaines menaces biologiques. Pour résoudre ce risque et d'autres risques potentiels, OpenAI a développé ce nouveau système, qui fonctionne aux côtés de O3 et O4-MinI. Il est formé pour reconnaître et rejeter des invites qui pourraient conduire à des conseils nocifs sur les risques biologiques et chimiques.

Tests et résultats

Pour évaluer l'efficacité de ce moniteur de sécurité, OpenAI a effectué des tests approfondis. Red Teamers a passé environ 1 000 heures à identifier les conversations "dangereuses" liées au biorisque générées par O3 et O4-MinI. Dans une simulation de la «logique de blocage» du moniteur, les modèles ont réussi à répondre à des invites à risque 98,7% du temps.

Cependant, Openai admet que leur test n'a pas pris en compte des scénarios où les utilisateurs peuvent tenter différentes invites après avoir été bloquées. En conséquence, l'entreprise prévoit de continuer à utiliser la surveillance humaine dans le cadre de sa stratégie de sécurité.

Évaluation des risques et surveillance continue

Malgré leurs capacités avancées, O3 et O4-Mini ne dépassent pas le seuil de "risque élevé" d'OpenAI pour les biorisques. Pourtant, les premières versions de ces modèles étaient plus aptes à répondre aux questions sur le développement d'armes biologiques par rapport à O1 et GPT-4. OpenAI surveille activement la façon dont ces modèles pourraient faciliter le développement de menaces chimiques et biologiques, comme indiqué dans leur cadre de préparation mis à jour.

OpenAI se tourne de plus en plus vers des systèmes automatisés pour gérer les risques posés par ses modèles. Par exemple, un moniteur de raisonnement similaire est utilisé pour empêcher le générateur d'images de GPT-4O de produire du matériel d'abus sexuel pour enfants (CSAM).

Préoccupations et critiques

Malgré ces efforts, certains chercheurs soutiennent qu'OpenAI peut ne pas prioriser suffisamment de sécurité. L'un des partenaires en équipe rouge d'Openai, METR, a noté qu'ils avaient un temps limité pour tester l'O3 pour un comportement trompeur. En outre, OpenAI a choisi de ne pas publier de rapport de sécurité pour son modèle GPT-4.1 récemment lancé, ce qui a soulevé de nouvelles préoccupations concernant l'engagement de l'entreprise envers la transparence et la sécurité.