Os mais recentes modelos de IA do OpenAI têm uma nova salvaguarda para prevenir biorisks

As novas medidas de segurança do OpenAI para modelos de IA O3 e O4-Mini

A OpenAI introduziu um novo sistema de monitoramento para seus modelos avançados de IA, O3 e O4-mini, projetados especificamente para detectar e impedir respostas a avisos relacionados a ameaças biológicas e químicas. Esse "monitor de raciocínio focado na segurança" é uma resposta às capacidades aprimoradas desses modelos, que, de acordo com o OpenAI, representam um avanço significativo de seus antecessores e podem ser mal utilizados por atores maliciosos.

Os benchmarks internos da Companhia indicam que a O3, em particular, mostrou uma proficiência maior em responder perguntas sobre a criação de certas ameaças biológicas. Para abordar esse e outros riscos em potencial, o OpenAI desenvolveu esse novo sistema, que opera ao lado de O3 e O4-mini. É treinado para reconhecer e rejeitar instruções que podem levar a conselhos prejudiciais sobre riscos biológicos e químicos.

Testes e resultados

Para avaliar a eficácia deste monitor de segurança, o OpenAI realizou testes extensos. Os equipes vermelhas passaram aproximadamente 1.000 horas identificando conversas relacionadas a biorisk "inseguras" geradas por O3 e O4-mini. Em uma simulação da "lógica de bloqueio" do monitor, os modelos se recusaram com sucesso a responder a solicita 98,7% do tempo.

No entanto, o OpenAI admite que seu teste não considerou cenários em que os usuários poderiam tentar instruções diferentes após serem bloqueadas. Como resultado, a empresa planeja continuar usando o monitoramento humano como parte de sua estratégia de segurança.

Avaliação de risco e monitoramento contínuo

Apesar de suas capacidades avançadas, O3 e O4-mini não excedem o limiar de "alto risco" do OpenAI para os bioriscos. No entanto, as versões iniciais desses modelos foram mais hábeis em responder perguntas sobre o desenvolvimento de armas biológicas em comparação com O1 e GPT-4. O OpenAI está monitorando ativamente como esses modelos podem facilitar o desenvolvimento de ameaças químicas e biológicas, conforme descrito em sua estrutura de preparação atualizada.

O OpenAI está cada vez mais recorrendo a sistemas automatizados para gerenciar os riscos representados por seus modelos. Por exemplo, um monitor de raciocínio semelhante é usado para impedir que o gerador de imagens do GPT-4O produza material de abuso sexual infantil (CSAM).

Preocupações e críticas

Apesar desses esforços, alguns pesquisadores argumentam que o OpenAI pode não estar priorizando a segurança o suficiente. Um dos parceiros de equipes vermelhas da Openai, Metro, observou que tinha tempo limitado para testar a O3 para comportamento enganoso. Além disso, o OpenAI optou por não liberar um relatório de segurança para o seu modelo GPT-4.1 lançado recentemente, levantando outras preocupações sobre o compromisso da empresa com a transparência e a segurança.