Os mais recentes modelos de IA do OpenAI têm uma nova salvaguarda para prevenir biorisks

Novas Medidas de Segurança da OpenAI para Modelos de IA o3 e o4-mini

A OpenAI introduziu um novo sistema de monitoramento para seus modelos de IA avançados, o3 e o4-mini, projetado especificamente para detectar e prevenir respostas a prompts relacionados a ameaças biológicas e químicas. Este "monitor de raciocínio focado em segurança" é uma resposta às capacidades aprimoradas desses modelos, que, segundo a OpenAI, representam um avanço significativo em relação aos seus antecessores e poderiam ser mal utilizados por agentes mal-intencionados.

Os benchmarks internos da empresa indicam que o o3, em particular, demonstrou maior proficiência em responder perguntas sobre a criação de certas ameaças biológicas. Para abordar isso e outros riscos potenciais, a OpenAI desenvolveu esse novo sistema, que opera ao lado do o3 e o4-mini. Ele é treinado para reconhecer e rejeitar prompts que poderiam levar a conselhos prejudiciais sobre riscos biológicos e químicos.

Testes e Resultados

Para avaliar a eficácia desse monitor de segurança, a OpenAI conduziu testes extensivos. Equipes de teste gastaram aproximadamente 1.000 horas identificando conversas relacionadas a "riscos biológicos inseguros" geradas pelo o3 e o4-mini. Em uma simulação da "lógica de bloqueio" do monitor, os modelos conseguiram recusar responder a prompts arriscados em 98,7% das vezes.

No entanto, a OpenAI admite que seu teste não considerou cenários em que os usuários poderiam tentar prompts diferentes após serem bloqueados. Como resultado, a empresa planeja continuar usando monitoramento humano como parte de sua estratégia de segurança.

Avaliação de Riscos e Monitoramento Contínuo

Apesar de suas capacidades avançadas, o o3 e o o4-mini não excedem o limiar de "alto risco" da OpenAI para riscos biológicos. No entanto, versões iniciais desses modelos foram mais adeptas em responder perguntas sobre o desenvolvimento de armas biológicas em comparação com o o1 e o GPT-4. A OpenAI está monitorando ativamente como esses modelos podem facilitar o desenvolvimento de ameaças químicas e biológicas, conforme delineado em seu Framework de Preparação atualizado.

A OpenAI está cada vez mais recorrendo a sistemas automatizados para gerenciar os riscos apresentados por seus modelos. Por exemplo, um monitor de raciocínio semelhante é usado para impedir que o gerador de imagens do GPT-4o produza material de abuso sexual infantil (CSAM).

Preocupações e Críticas

Apesar desses esforços, alguns pesquisadores argumentam que a OpenAI pode não estar priorizando a segurança o suficiente. Um dos parceiros de teste da OpenAI, Metr, observou que teve tempo limitado para testar o o3 quanto a comportamentos enganosos. Além disso, a OpenAI optou por não divulgar um relatório de segurança para seu modelo GPT-4.1 recentemente lançado, levantando mais preocupações sobre o compromisso da empresa com transparência e segurança.