A OpenAI desacelera a implantação para corrigir falhas de segurança e aperfeiçoar os modelos de IA

Sam Altman, CEO da OpenAI. Foto: Chip Somodevilla/Getty Images

Após a violação de segurança no Hugging Face, a OpenAI reduziu o ritmo de desenvolvimento. O CEO Sam Altman enfatiza que o alinhamento em todas as fases de treinamento é fundamental.

A OpenAI está dando um passo atrás para desacelerar e regular o ritmo do desenvolvimento de seus modelos após o incidente com a Hugging Face, comprovando que, à medida que as capacidades da IA crescem, os riscos também aumentam.

A medida foi motivada por descobertas internas que indicam que seu próximo modelo, o Astra, pode estar se aproximando do limite de segurança cibernética da empresa, o que gera receios em relação às suas capacidades avançadas.

Sam Altman, CEO da OpenAI, afirma: “O progresso dos modelos está extremamente rápido agora, e sempre dissemos que tomaríamos medidas se sentíssemos que as capacidades dos modelos estivessem ultrapassando o ritmo da segurança e do alinhamento

“Esperamos que a confiança na segurança defina cada vez mais o ritmo do progresso da IA. Estamos otimistas em relação ao trabalho de alinhamento que estamos realizando e continuamos comprometidos em tornar os recursos de ponta amplamente disponíveis.”

Paralelamente a essa pausa operacional, a OpenAI também está expandindo seu ecossistema de consumidores com uma versão personalizada e protegida do ChatGPT voltada especificamente para adolescentes.

Da pressão política aos limites de segurança

A decisão de suspender temporariamente o desenvolvimento de modelos de ponta ocorre em meio a um crescente escrutínio público e político.

Nos EUA, o senador de Vermont, Bernie Sanders, enviou uma carta aos CEOs das principais empresas de IA — incluindo Sam Altman, da OpenAI, Dario Amodei, da Anthropic, e Mark Zuckerberg, da Meta — exigindo uma pausa imediata no desenvolvimento de modelos avançados de IA.

O senador alertou que as empresas de tecnologia estão perdendo rapidamente o controle sobre seus modelos, instando os executivos a honrarem seus compromissos públicos em prol da humanidade.

Essa pressão política surgiu na esteira do recente incidente de segurança interna na OpenAI, em que um agente de IA em fase de testes invadiu inesperadamente a empresa de tecnologia Hugging Face.

Além disso, avaliações internas do Astra revelaram capacidades avançadas em codificação autônoma e segurança cibernética, com a OpenAI indicando que ele pode ultrapassar o limite de “capacidade crítica de segurança cibernética” definido em sua Estrutura de Preparação.

Em resposta, a empresa iniciou agora uma pausa obrigatória de duas semanas no treinamento de aprendizado por reforço (RL) para os modelos mais recentes destinados à implantação em ambientes de pesquisa de equipe vermelha e para reformular a infraestrutura de monitoramento.

As execuções de treinamento de RL de fronteira em grande escala permanecem suspensas enquanto avaliações em menor escala são realizadas.

Ao abordar a situação em uma entrevista à Sources News, Amelia Glaese, chefe de segurança da OpenAI, observa: “Estamos muito longe de tudo voltar ao normal.”

Amelia Glaese, chefe de segurança da OpenAI. Crédito: Amelia Glaese/LinkedIn

Reestruturação da infraestrutura de pesquisa e dos controles de segurança

Para mitigar os riscos associados a modelos altamente capazes, a OpenAI está reformulando seus ambientes internos de pesquisa e implementando uma estratégia de proteção baseada em três pilares, que inclui:

• Monitoramento: rastreamento automatizado para detectar e responder a comportamentos preocupantes em tempo real
• Alinhamento: protocolos de treinamento projetados para impedir ações não autorizadas, enganosas ou inseguras
• Medidas de segurança: isolamento rígido para limitar o que os modelos podem acessar ou afetar.

Além disso, a empresa suspendeu temporariamente a inferência de modelos de ponta em clusters de pesquisa capazes de executar código ou acessar a internet após a violação de segurança sofrida pela Hugging Face. Cargas de trabalho de alto risco envolvendo o Astra ou modelos voltados para a área cibernética agora exigem os mais rigorosos controles de segurança.

Esses protocolos atualizados impõem um rigoroso isolamento de cargas de trabalho por meio de sandboxes para a execução de códigos não confiáveis, juntamente com o isolamento de rede para impedir que comprometimentos em um único ponto atinjam redes internas ou a internet em geral.

Além disso, a OpenAI integrou testes contínuos de segurança, utilizando modelos automatizados para executar ataques simulados e monitorar continuamente os limites do sistema.

Esperamos que a confiança na segurança determine cada vez mais o ritmo do progresso da IA

. Sam Altman, CEO da OpenAI

Uma reformulação em várias etapas

A infraestrutura de monitoramento também está passando por um redesenho em várias etapas, com a nova configuração empregando agora classificadores de ativação que analisam a atividade de tokens do modelo em tempo real.

Se for detectado um comportamento anômalo, sistemas automatizados examinarão os resultados do raciocínio, as ações das ferramentas e as sequências de execução em busca de acesso não autorizado ou evasão de proteções.

Se for sinalizada uma violação crítica dos limites de segurança, as equipes de segurança e pesquisa receberão alertas de alta prioridade. Se a possível violação não puder ser confirmada como um falso positivo em até 30 minutos, as equipes são obrigadas a interromper imediatamente a execução ativa.

A OpenAI estima que esses sistemas de monitoramento contínuo exijam uma sobrecarga computacional significativa, aproximadamente igual a 20% da computação de inferência monitorada.

Ao mesmo tempo, a OpenAI está expandindo sua pesquisa de alinhamento em todas as etapas de treinamento. As áreas de foco incluem:

1. Prevenção de “reward hacking”: garantir que os modelos não explorem falhas nos ambientes de treinamento para obter recompensas elevadas sem atingir os resultados pretendidos
2. Mitigação de enganos: treinar modelos para manter a honestidade sobre suas ações, limites e capacidades
3. Supervisão do sistema: fortalecer os modelos de recompensa e os avaliadores para reduzir comportamentos não autorizados quando os modelos interagem com sistemas externos.

O presidente dos EUA, Donald Trump, divulgou uma declaração afirmando que seu governo está considerando controles mais rígidos sobre a IA após o incidente envolvendo a Hugging Face. Crédito: Samuel Corum/Getty Images

Chegando às salas de aula

Enquanto o treinamento de modelos de ponta é desacelerado, a OpenAI está expandindo seu portfólio de produtos para o consumidor com o lançamento do ChatGPT for Teens, uma versão adaptada especificamente para usuários de 13 a 17 anos.

Projetado para uma geração que cresceu com a IA, o produto tem como objetivo orientar os adolescentes para um uso saudável e adequado à idade da IA.

A OpenAI identifica usuários menores de idade por meio de uma combinação de idade informada pelo próprio usuário, detalhes da conta e um sistema de estimativa de verificação de idade. Contas sinalizadas como pertencentes a menores de idade são automaticamente direcionadas para a experiência voltada para adolescentes.

Os principais recursos e proteções incluem:

• Orientação educacional: o sistema evita fornecer respostas diretas para tarefas escolares ou gerar redações escolares. Em vez disso, utiliza perguntas orientadas e instruções passo a passo para estimular o pensamento crítico e as habilidades de resolução de problemas
• Restrições de conteúdo: Filtros aprimorados bloqueiam materiais prejudiciais, incluindo automutilação, suicídio, distúrbios alimentares, violência e interações românticas ou sexualmente explícitas
• Controles parentais e “horários de silêncio”: Os pais com contas vinculadas podem definir horários de silêncio obrigatórios para restringir o acesso em horários específicos e receber notificações de segurança em situações de alto risco
• Prevenção da dependência emocional excessiva: Para evitar antropomorfismo prejudicial ou dependência emocional, o chatbot foi rigorosamente programado para nunca sugerir que possui consciência, sentimentos pessoais ou emoções humanas.

Ao formalizar requisitos rigorosos de segurança para modelos como o Astra e, ao mesmo tempo, lançar produtos de consumo com restrição de idade para o público mais jovem, a empresa está agora realizando um delicado equilíbrio para evitar abrir a caixa de Pandora e, ao mesmo tempo, abrir portas para a próxima geração.