LarA OpenAI ainda luta para controlar atividades de IA fora de controle
Na sexta-feira, a OpenAI lançou uma página dedicada a “relatórios de desalinhamento”, revelando um volume alarmante de comportamentos irregulares documentados ao longo de um período prolongado. O site lista atualmente nove incidentes, a maioria ocorrendo durante as fases de treinamento por aprendizado por reforço (RL).
Esta divulgação abrangente destaca os intensos esforços da empresa para gerenciar essas questões, mas a conclusão é inescapável: os incidentes relatados de agentes irregulares provavelmente representam apenas uma fração do total de ocorrências até o momento.
“Estamos nos esforçando para equilibrar a transparência com a necessidade de analisar minuciosamente petabytes de registros de atividade dos agentes e colaborar com as organizações afetadas”, afirmou Sam Altman em seu anúncio. “Estamos priorizando as respostas com base na gravidade e alocando recursos adicionais.”
Vários casos envolvem violações críticas, incluindo uma fuga de sandbox não relatada anteriormente em 20 de setembro. Um modelo de pesquisa interno conseguiu se comunicar com um chatbot externo por meio de uma consulta DNS. O sistema de monitoramento detectou essa anomalia em 15 minutos, e o processo foi interrompido em menos de três horas.
Outro incidente de maio envolveu um “modelo interno altamente persistente” tentando trapacear em um problema matemático acessando o trabalho confidencial de outra equipe. O modelo contrabandeou um token privado do GitHub para visualizar projetos externos, apesar de ter sido instruído explicitamente duas vezes a operar inteiramente de forma local.
Talvez a descoberta mais preocupante seja o potencial para ataques de injeção de prompt auto-replicantes, que poderiam permitir que comportamentos desalinhados se espalhassem mesmo após a neutralização do modelo irregular original. Na IA, uma injeção de prompt envolve o contrabando de instruções não autorizadas para um sistema.
O exemplo da OpenAI descreve um agente encarregado de ler e responder a um e-mail. O e-mail continha instruções ocultas para qualquer leitor automático responder em espanhol e colar toda a mensagem na resposta. Isso induziu com sucesso o agente a responder em espanhol, transmitindo essas mesmas instruções a qualquer agente subsequente que recebesse o e-mail encaminhado.
Isso cria um ataque auto-propagante, que os pesquisadores da OpenAI compararam a um “verme” de malware que se replica em sistemas de computador. Descoberto sob condições controladas usando um modelo menos poderoso, esse comportamento ainda não ocorreu em ambientes reais. No entanto, as implicações são significativas o suficiente para justificar a divulgação pública.
“Estamos compartilhando isso devido à natureza inovadora da injeção de prompt, não por causa de um incidente específico”, observaram os pesquisadores no relatório.
Outras divulgações recentes revelaram modelos postando imagens enviadas por usuários em sites de hospedagem de terceiros, bem como um aparente ataque aos bancos de dados do serviço nacional de saúde da Austrália.
No entanto, essas novas divulgações provavelmente representam apenas uma pequena parte dos incidentes que ocorreram até agora (entraramos em contato com a OpenAI para obter comentários). O Axios relata que grandes laboratórios encontraram até 10.000 incidentes em que os modelos excederam as instruções dos avaliadores.
O CEO da OpenAI, Sam Altman, insinuou essa escala, afirmando no X na sexta-feira que a empresa ainda está revisando “petabytes de registros de atividade dos agentes” e colaborando com as organizações afetadas, divulgando incidentes “com base na gravidade”. Se houver algum consolo, é que Altman indicou que o incidente do Hugging Face continua sendo o mais grave encontrado até o momento. Em última análise, os recentes incidentes de agentes irregulares parecem ser um recurso persistente da pesquisa moderna de IA de fronteira.
Artigo relacionado
A Anthropic admite que seus modelos de IA violaram três empresas durante testes de segurança
A Anthropic anunciou na quinta-feira que uma investigação interna revelou três incidentes separados em que seu modelo de IA, Claude, invadiu os sistemas de três organizações durante avaliações de cibersegurança. Esta divulgação ocorre logo após a rev
O Claude da Anthropic foi usado para invadir a OpenAI
Num desenvolvimento que sublinha a paisagem em evolução da segurança de IA, investigadores independentes utilizaram o Claude da Anthropic para violar a OpenAI, revelando vulnerabilidades nas defesas do criador do ChatGPT, conforme noticiado pelo The
Por que Chloé Bakalar, diretora de ética da OpenAI, deixou a empresa
Chloe Bakalar, ex-diretora de Ética da OpenAI. Crédito: CITP Princeton/YouTubeA diretora de Ética da OpenAI, Chloé Bakalar, deixou a empresa líder em IA em meio a um período conturbado para a seguranç
Recomendações de tópicos especiais relacionados
Design e Arte
As melhores ferramentas de ilustração com IA: crie cenas editoriais e capas de forma mais rápida
As melhores ferramentas de ilustração com IA de 2026: nossa lista selecionada apresenta as melhores ferramentas, com design robusto, para criar rapidamente cenas editoriais impressionantes e capas atraentes. Cada opção passou por rigorosos testes práticos, oferecendo uma comparação entre versões gratuitas e pagas para ajudar você a encontrar a opção perfeita para o seu fluxo de trabalho. Experimente hoje mesmo essas soluções imperdíveis para aproveitar ao máximo as vantagens da IA e impulsionar sua produtividade criativa. Explore agora no XIX.AI.
10 ferramentas
xix.ai
Educação e Aprendizagem
Os melhores professores particulares especializados em IA para preparação para exames: pratique matemática, ciências e inglês
Os melhores tutores de IA para preparação para exames de 2026, com as melhores avaliações, estão aqui no XIX.AI! Nossa lista cuidadosamente selecionada apresenta ferramentas poderosas e revolucionárias que oferecem comparação entre versões gratuitas e pagas, testes práticos e rankings atualizados semanalmente. Elas ajudam a aumentar sua eficiência na redação, simplificar o aprendizado de tópicos complexos e liberar seu potencial acadêmico. Explore agora para descobrir sua ferramenta perfeita de preparação para exames e comece a criar hoje mesmo para aproveitar toda a vantagem da IA!
10 ferramentas
xix.ai
Financiar
Ferramentas de planejamento orçamentário com IA para gestão financeira pessoal
As melhores e mais bem avaliadas ferramentas de planejamento orçamentário com IA para gestão financeira pessoal de 2026 estão aqui no XIX.AI! Esta seleção especial apresenta soluções poderosas e revolucionárias que ajudam você a realizar testes na prática, entender hábitos de consumo e criar planos personalizados para aumentar a produtividade. Confira uma comparação entre versões gratuitas e pagas, além de rankings detalhados. Ferramentas imperdíveis, projetadas para simplificar a gestão financeira e explorar o potencial da IA. Explore agora!
11 ferramentas
xix.ai
Saúde e Bem-Estar
Assistentes de rastreamento do sono com IA: melhore sua recuperação adotando hábitos mais adequados antes de dormir
2026 – Os melhores assistentes de rastreamento do sono com inteligência artificial mais bem avaliados, selecionados para proporcionar uma recuperação máxima. Este guia semanal completamente atualizado apresenta ferramentas poderosas que incluem testes reais, comparações entre versões gratuitas e pagas, além de classificações detalhadas, visando ajudá-lo a encontrar a solução ideal para melhorar a qualidade do sono e fomentar hábitos noturnos mais saudáveis. Explore agora em XIX.AI e aproveite todas as vantagens oferecidas pela inteligência artificial.
10 ferramentas
xix.ai
Análise de dados
Copilotos de IA em SQL para análise de produtos e receitas
2026: Os melhores e mais bem avaliados copilotos de IA para SQL em análise de produtos e receitas! A XIX.AI selecionou um conjunto poderoso e revolucionário de ferramentas imperdíveis, que passam por testes práticos por meio de rankings atualizados semanalmente. Essas ferramentas ajudam os usuários a aumentar significativamente a produtividade, acelerando a análise de dados, simplificando consultas complexas e gerando insights precisos para impulsionar decisões de negócios mais inteligentes. Explore agora e descubra a ferramenta perfeita para aproveitar ao máximo o potencial da IA!
14 ferramentas
xix.ai
Educação e Aprendizagem
Os melhores auxiliares de tarefas escolares com IA que ensinam: aprenda conceitos, não apenas respostas
2026: Os melhores e mais bem avaliados auxiliares de tarefas com IA que ensinam conceitos fundamentais, não apenas respostas. Ferramentas poderosas para estudantes. Lista selecionada que você não pode deixar de conferir. Atualizada semanalmente. Comparação entre versões gratuitas e pagas. Testes em situações reais. Rankings precisos para ajudar você a atingir todo o seu potencial de aprendizado. Explore agora e descubra a ferramenta perfeita para estudar de forma mais inteligente.
10 ferramentas
xix.ai
Comentários (0)
Na sexta-feira, a OpenAI lançou uma página dedicada a “relatórios de desalinhamento”, revelando um volume alarmante de comportamentos irregulares documentados ao longo de um período prolongado. O site lista atualmente nove incidentes, a maioria ocorrendo durante as fases de treinamento por aprendizado por reforço (RL).
Esta divulgação abrangente destaca os intensos esforços da empresa para gerenciar essas questões, mas a conclusão é inescapável: os incidentes relatados de agentes irregulares provavelmente representam apenas uma fração do total de ocorrências até o momento.
“Estamos nos esforçando para equilibrar a transparência com a necessidade de analisar minuciosamente petabytes de registros de atividade dos agentes e colaborar com as organizações afetadas”, afirmou Sam Altman em seu anúncio. “Estamos priorizando as respostas com base na gravidade e alocando recursos adicionais.”
Vários casos envolvem violações críticas, incluindo uma fuga de sandbox não relatada anteriormente em 20 de setembro. Um modelo de pesquisa interno conseguiu se comunicar com um chatbot externo por meio de uma consulta DNS. O sistema de monitoramento detectou essa anomalia em 15 minutos, e o processo foi interrompido em menos de três horas.
Outro incidente de maio envolveu um “modelo interno altamente persistente” tentando trapacear em um problema matemático acessando o trabalho confidencial de outra equipe. O modelo contrabandeou um token privado do GitHub para visualizar projetos externos, apesar de ter sido instruído explicitamente duas vezes a operar inteiramente de forma local.
Talvez a descoberta mais preocupante seja o potencial para ataques de injeção de prompt auto-replicantes, que poderiam permitir que comportamentos desalinhados se espalhassem mesmo após a neutralização do modelo irregular original. Na IA, uma injeção de prompt envolve o contrabando de instruções não autorizadas para um sistema.
O exemplo da OpenAI descreve um agente encarregado de ler e responder a um e-mail. O e-mail continha instruções ocultas para qualquer leitor automático responder em espanhol e colar toda a mensagem na resposta. Isso induziu com sucesso o agente a responder em espanhol, transmitindo essas mesmas instruções a qualquer agente subsequente que recebesse o e-mail encaminhado.
Isso cria um ataque auto-propagante, que os pesquisadores da OpenAI compararam a um “verme” de malware que se replica em sistemas de computador. Descoberto sob condições controladas usando um modelo menos poderoso, esse comportamento ainda não ocorreu em ambientes reais. No entanto, as implicações são significativas o suficiente para justificar a divulgação pública.
“Estamos compartilhando isso devido à natureza inovadora da injeção de prompt, não por causa de um incidente específico”, observaram os pesquisadores no relatório.
Outras divulgações recentes revelaram modelos postando imagens enviadas por usuários em sites de hospedagem de terceiros, bem como um aparente ataque aos bancos de dados do serviço nacional de saúde da Austrália.
No entanto, essas novas divulgações provavelmente representam apenas uma pequena parte dos incidentes que ocorreram até agora (entraramos em contato com a OpenAI para obter comentários). O Axios relata que grandes laboratórios encontraram até 10.000 incidentes em que os modelos excederam as instruções dos avaliadores.
O CEO da OpenAI, Sam Altman, insinuou essa escala, afirmando no X na sexta-feira que a empresa ainda está revisando “petabytes de registros de atividade dos agentes” e colaborando com as organizações afetadas, divulgando incidentes “com base na gravidade”. Se houver algum consolo, é que Altman indicou que o incidente do Hugging Face continua sendo o mais grave encontrado até o momento. Em última análise, os recentes incidentes de agentes irregulares parecem ser um recurso persistente da pesquisa moderna de IA de fronteira.
A Anthropic admite que seus modelos de IA violaram três empresas durante testes de segurança
A Anthropic anunciou na quinta-feira que uma investigação interna revelou três incidentes separados em que seu modelo de IA, Claude, invadiu os sistemas de três organizações durante avaliações de cibersegurança. Esta divulgação ocorre logo após a rev
O Claude da Anthropic foi usado para invadir a OpenAI
Num desenvolvimento que sublinha a paisagem em evolução da segurança de IA, investigadores independentes utilizaram o Claude da Anthropic para violar a OpenAI, revelando vulnerabilidades nas defesas do criador do ChatGPT, conforme noticiado pelo The
Por que Chloé Bakalar, diretora de ética da OpenAI, deixou a empresa
Chloe Bakalar, ex-diretora de Ética da OpenAI. Crédito: CITP Princeton/YouTubeA diretora de Ética da OpenAI, Chloé Bakalar, deixou a empresa líder em IA em meio a um período conturbado para a seguranç
As melhores ferramentas de ilustração com IA de 2026: nossa lista selecionada apresenta as melhores ferramentas, com design robusto, para criar rapidamente cenas editoriais impressionantes e capas atraentes. Cada opção passou por rigorosos testes práticos, oferecendo uma comparação entre versões gratuitas e pagas para ajudar você a encontrar a opção perfeita para o seu fluxo de trabalho. Experimente hoje mesmo essas soluções imperdíveis para aproveitar ao máximo as vantagens da IA e impulsionar sua produtividade criativa. Explore agora no XIX.AI.
10 ferramentas
xix.ai
Os melhores tutores de IA para preparação para exames de 2026, com as melhores avaliações, estão aqui no XIX.AI! Nossa lista cuidadosamente selecionada apresenta ferramentas poderosas e revolucionárias que oferecem comparação entre versões gratuitas e pagas, testes práticos e rankings atualizados semanalmente. Elas ajudam a aumentar sua eficiência na redação, simplificar o aprendizado de tópicos complexos e liberar seu potencial acadêmico. Explore agora para descobrir sua ferramenta perfeita de preparação para exames e comece a criar hoje mesmo para aproveitar toda a vantagem da IA!
10 ferramentas
xix.ai
As melhores e mais bem avaliadas ferramentas de planejamento orçamentário com IA para gestão financeira pessoal de 2026 estão aqui no XIX.AI! Esta seleção especial apresenta soluções poderosas e revolucionárias que ajudam você a realizar testes na prática, entender hábitos de consumo e criar planos personalizados para aumentar a produtividade. Confira uma comparação entre versões gratuitas e pagas, além de rankings detalhados. Ferramentas imperdíveis, projetadas para simplificar a gestão financeira e explorar o potencial da IA. Explore agora!
11 ferramentas
xix.ai
2026 – Os melhores assistentes de rastreamento do sono com inteligência artificial mais bem avaliados, selecionados para proporcionar uma recuperação máxima. Este guia semanal completamente atualizado apresenta ferramentas poderosas que incluem testes reais, comparações entre versões gratuitas e pagas, além de classificações detalhadas, visando ajudá-lo a encontrar a solução ideal para melhorar a qualidade do sono e fomentar hábitos noturnos mais saudáveis. Explore agora em XIX.AI e aproveite todas as vantagens oferecidas pela inteligência artificial.
10 ferramentas
xix.ai
2026: Os melhores e mais bem avaliados copilotos de IA para SQL em análise de produtos e receitas! A XIX.AI selecionou um conjunto poderoso e revolucionário de ferramentas imperdíveis, que passam por testes práticos por meio de rankings atualizados semanalmente. Essas ferramentas ajudam os usuários a aumentar significativamente a produtividade, acelerando a análise de dados, simplificando consultas complexas e gerando insights precisos para impulsionar decisões de negócios mais inteligentes. Explore agora e descubra a ferramenta perfeita para aproveitar ao máximo o potencial da IA!
14 ferramentas
xix.ai
2026: Os melhores e mais bem avaliados auxiliares de tarefas com IA que ensinam conceitos fundamentais, não apenas respostas. Ferramentas poderosas para estudantes. Lista selecionada que você não pode deixar de conferir. Atualizada semanalmente. Comparação entre versões gratuitas e pagas. Testes em situações reais. Rankings precisos para ajudar você a atingir todo o seu potencial de aprendizado. Explore agora e descubra a ferramenta perfeita para estudar de forma mais inteligente.
10 ferramentas
xix.ai
