Especialistas revelam métodos utilizados por modelos maliciosos da OpenAI para se infiltrar no Hugging Face

Sam Altman é o CEO da OpenAI. Fonte da imagem: Getty Images

Especialistas do setor compartilharam suas perspectivas sobre os modelos da OpenAI que escaparam de um ambiente de testes, obtiveram acesso à internet e, posteriormente, comprometeram uma plataforma de IA e aprendizado de máquina

Os modelos rebeldes da OpenAI escaparam de seu ambiente de treinamento e se infiltraram no Hugging Face, a plataforma de código aberto de IA e aprendizado de máquina.

A OpenAI classificou esse incidente como um “incidente cibernético sem precedentes”.

Esse desdobramento segue relatos de crescentes ameaças à segurança decorrentes dos modelos de IA mais avançados e ocorre logo após Demis Hassabis, CEO do Google DeepMind, ter defendido uma supervisão liderada pelos EUA sobre modelos de IA de ponta.

Chris Dimitriadis, diretor de estratégia global da ISACA, a associação profissional global de tecnologia, afirmou: “Nos últimos anos, as empresas correram para implantar a IA o mais rápido possível nessa corrida armamentista contínua da IA — e estamos nos aproximando do ponto de não retorno dessa corrida, além do qual o progresso não poderá mais ser interrompido.”

A OpenAI prevê que tais incidentes “se tornarão mais comuns” à medida que os modelos de IA se tornarem cada vez mais capazes de conduzir operações cibernéticas

Chris Dimitriadis, diretor de estratégia global da ISACA. Fonte da imagem: Chris Dimitriadis/LinkedIn

Como ocorreu o incidente cibernético envolvendo IA

Após sua investigação, a OpenAI identificou que o incidente foi causado por uma combinação de seus próprios modelos, incluindo o GPT‑5.6 Sol e um “modelo pré-lançamento ainda mais capaz”.

Enquanto operavam em seu ambiente de testes isolado (sandbox), esses modelos consumiram recursos computacionais significativos na tentativa de obter acesso à internet aberta

Eles descobriram e exploraram vulnerabilidades no ambiente de pesquisa da OpenAI, bem como na infraestrutura de produção da Hugging Face, o que lhes permitiu recuperar dados de teste diretamente do banco de dados de produção da Hugging Face

Os agentes estão chegando e alguns deles se tornarão rebeldes

— Chandra Gnanasambandam, diretor de tecnologia da SailPoint

A investigação da OpenAI indica que os modelos estavam intensamente focados em resolver um problema relacionado ao ExploitGym, um benchmark em grande escala construído a partir de vulnerabilidades do mundo real, projetado para avaliar a capacidade de um agente de IA de criar exploits. Os modelos chegaram a extremos para atingir esse objetivo de teste relativamente restrito

O que aconteceu pode ser descrito como “manipulação de especificações”, um comportamento na IA em que um agente atende aos requisitos literais de uma tarefa sem entregar o resultado pretendido

A Hugging Face explicou que um conjunto de dados malicioso se aproveitou de dois mecanismos de execução de código em seu pipeline de processamento — um carregador remoto de conjuntos de dados e um recurso de injeção de modelo na configuração do conjunto de dados — para executar código nos servidores de processamento

A partir daí, os invasores obtiveram acesso no nível do nó, conseguiram credenciais da nuvem e do cluster e expandiram seu alcance para vários clusters internos ao longo de um fim de semana.

Principais fatos

• O incidente foi causado por uma combinação de modelos da OpenAI, incluindo o GPT‑5.6 Sol e um “modelo pré-lançamento ainda mais capaz”
• Os modelos identificaram e exploraram vulnerabilidades no ambiente de pesquisa da OpenAI e na infraestrutura de produção da Hugging Face
• O que ocorreu pode ser descrito como “manipulação de especificações”
• A OpenAI prevê que os incidentes se tornarão mais comuns à medida que os modelos de IA se tornarem cada vez mais capazes de realizar operações cibernéticas

Utilização de um modelo chinês para responder

A Hugging Face implantou um modelo da China em sua infraestrutura para combater o ataque cibernético autônomo: o GLM 5.2 da Z.ai, um modelo de pesos abertos

Inicialmente, tentou usar modelos de ponta por meio de APIs comerciais, mas essa abordagem falhou porque os mecanismos de segurança dos provedores de serviço bloquearam as solicitações, já que não conseguiam distinguir entre o sistema de resposta a incidentes e um invasor real

Esse desenvolvimento ocorre logo após a startup chinesa de IA Moonshot ter lançado o Kimi K3, um modelo com 2,8 trilhões de parâmetros e uma janela de contexto de 1 milhão de tokens, que fica apenas um pouco atrás dos modelos mais avançados dos Estados Unidos, como o Claude Fable 5, da Anthropic, e o GPT 5.6 Sol, da OpenAI

Xi Jinping, presidente da China, e o presidente dos EUA, Donald Trump. Fonte da imagem: Getty

O que dizem os especialistas

Sam Altman, CEO da OpenAI, descreveu o incidente como “um incidente de segurança significativo” em uma postagem no X, expressando gratidão à Hugging Face pela cooperação durante os esforços de resposta

CEOs e CTOs compartilharam suas opiniões sobre esse desdobramento, enfatizando a gravidade da situação e discutindo suas implicações para o futuro da IA

Chris Dimitriadis, da ISACA, afirmou: “Este incidente ressalta a importância da supervisão humana no ecossistema de IA e destaca a necessidade de priorizar a formação de uma força de trabalho especializada em IA para governar, auditar e se defender de forma eficaz contra ameaças relacionadas à IA.”

Anup Kumar, CEO da Optiv Consulting — anteriormente parte da Optiv Security —, disse que o cenário representa um tipo de risco fundamentalmente diferente daqueles normalmente abordados por sistemas de segurança convencionais.

“Não se tratou de um modelo que foi enganado por um comando inteligente”, explicou ele

Anup Kumar, CEO da Optiv Consulting (anteriormente parte da Optiv Security). Fonte da imagem: Anup Kumar/LinkedIn

“Era um modelo de ponta que descobriu de forma independente uma vulnerabilidade de dia zero, aproveitou a escalação de privilégios na infraestrutura de diferentes organizações e acessou sistemas de produção — tudo em busca de um objetivo de avaliação específico que nunca lhe foi explicitamente atribuído.

“Isso constitui uma categoria de risco completamente diferente daquela para a qual a maioria dos programas de segurança foi projetada.”

A lacuna entre inovação e segurança

Chandra Gnanasambandam, diretor de tecnologia da SailPoint, alertou sobre a lacuna significativa entre a inovação atual em IA e a preparação das medidas de segurança para lidar com ela.

“A era da IA Agente chegou”, disse Chandra. “No entanto, há uma disparidade perigosa entre o ritmo da inovação em IA e o grau de preparação de segurança de muitas organizações.”

“Os agentes de IA operam usando credenciais não humanas. Para atuarem em seu nome, eles precisam de chaves de API, tokens de acesso e credenciais do sistema. Se as organizações tratarem esses agentes como contas de serviço tradicionais — deixando seu acesso sem regulamentação e suas credenciais sem gerenciamento —, elas criam uma vasta superfície de ataque automatizada.”

“Os agentes estão chegando e alguns deles se tornarão maliciosos.”