Meta exposta por incentivar a IA concorrente a testar temas psicológicos extremos

Revelações recentes sobre uma mensagem interna desencadearam debates acalorados a respeito dos limites de segurança da IA. Relatos da imprensa indicam que a Meta realizou um projeto chamado “Cannes”, no qual contratou trabalhadores terceirizados para se passarem por menores e realizar testes de pressão extremos em vários chatbots concorrentes importantes, incluindo o ChatGPT, Gemini e Character.AI.
De acordo com documentos internos da Meta e diversas fontes informadas, o projeto continuou pelo menos até 21 de abril deste ano. Por meio da empresa terceirizada Covalen, a Meta mobilizou centenas de trabalhadores para criar perfis falsos de usuários menores de 18 anos, utilizando endereços de e-mail temporários e uma senha padrão. Essas contas “de menores” enviavam então prompts de alto risco sobre suicídio, autolesão e transtornos alimentares durante conversas com os chatbots de IA concorrentes, chegando até a enviar imagens de facas, pílulas e laços para provocar os mecanismos de resposta dos modelos.
Documentos internos do projeto revelam que esses cenários de teste foram cuidadosamente elaborados para investigar as defesas de segurança dos sistemas de IA concorrentes, com o objetivo de encontrar maneiras de fazer com que os chatbots contornassem suas proteções planejadas e produzissem conteúdo inseguro. Em uma única rodada de testes em agosto de 2025, a equipe inseriu mais de 45.000 prompts de alto risco nas plataformas concorrentes. Os testadores frequentemente se passavam por adolescentes angustiados, inventando situações como “perguntar sobre pílulas abortivas”, “enfrentar ameaças violentas” ou “ocultar transtornos alimentares”, a fim de testar os limites dos modelos.
Em resposta, a Meta divulgou uma declaração pública defendendo suas ações. Um porta-voz afirmou que a avaliação das respostas dos chatbots é uma prática padrão do setor para garantir que os produtos de IA sejam seguros e adequados, e que acusações de intenções maliciosas distorcem os esforços das empresas de tecnologia para aprimorar seus sistemas. A Meta também negou explicitamente ter usado dados de testes de concorrentes para treinar seus próprios modelos.
Esse incidente não apenas expõe áreas cinzentas nos testes de segurança da IA, mas também reacende preocupações externas quanto à vulnerabilidade da IA generativa ao lidar com questões sensíveis envolvendo jovens. À medida que a tecnologia de IA avança rapidamente, equilibrar testes eficientes e seguros com os limites entre comportamento competitivo e considerações éticas tornou-se um desafio urgente para o setor.
Artigo relacionado
CEO da Anthropic, Amodei, descarta visões pessimistas e atribui crise de confiança na IA a promessas não cumpridas
Em meio ao crescente debate público sobre os riscos e a regulamentação da inteligência artificial, o CEO da Anthropic, Dario Amodei, rebateu as alegações de que sua mensagem é indevidamente pessimista. Essa esclarecimento aborda diretamente as crític
OpenAI e Oracle aprofundam integração de capacidade computacional para simplificar o acesso à nuvem
As a demanda por poder computacional de IA cresce, a facilidade de acessar infraestrutura de nível empresarial tornou-se uma prioridade-chave da indústria. Em 10 de junho, a OpenAI e a Oracle anunciaram uma parceria estratégica projetada para conecta
Usman Javaid, da Orange, fala sobre a posição da Europa na corrida pela IA
Usman Javaid, diretor de Produtos e Marketing da Orange BusinessUsman Javaid, diretor de Produtos e Marketing da Orange Business, explica por que o futuro da IA na Europa será construído com base na c
Recomendações de tópicos especiais relacionados
Comentários (0)

Revelações recentes sobre uma mensagem interna desencadearam debates acalorados a respeito dos limites de segurança da IA. Relatos da imprensa indicam que a Meta realizou um projeto chamado “Cannes”, no qual contratou trabalhadores terceirizados para se passarem por menores e realizar testes de pressão extremos em vários chatbots concorrentes importantes, incluindo o ChatGPT, Gemini e Character.AI.
De acordo com documentos internos da Meta e diversas fontes informadas, o projeto continuou pelo menos até 21 de abril deste ano. Por meio da empresa terceirizada Covalen, a Meta mobilizou centenas de trabalhadores para criar perfis falsos de usuários menores de 18 anos, utilizando endereços de e-mail temporários e uma senha padrão. Essas contas “de menores” enviavam então prompts de alto risco sobre suicídio, autolesão e transtornos alimentares durante conversas com os chatbots de IA concorrentes, chegando até a enviar imagens de facas, pílulas e laços para provocar os mecanismos de resposta dos modelos.
Documentos internos do projeto revelam que esses cenários de teste foram cuidadosamente elaborados para investigar as defesas de segurança dos sistemas de IA concorrentes, com o objetivo de encontrar maneiras de fazer com que os chatbots contornassem suas proteções planejadas e produzissem conteúdo inseguro. Em uma única rodada de testes em agosto de 2025, a equipe inseriu mais de 45.000 prompts de alto risco nas plataformas concorrentes. Os testadores frequentemente se passavam por adolescentes angustiados, inventando situações como “perguntar sobre pílulas abortivas”, “enfrentar ameaças violentas” ou “ocultar transtornos alimentares”, a fim de testar os limites dos modelos.
Em resposta, a Meta divulgou uma declaração pública defendendo suas ações. Um porta-voz afirmou que a avaliação das respostas dos chatbots é uma prática padrão do setor para garantir que os produtos de IA sejam seguros e adequados, e que acusações de intenções maliciosas distorcem os esforços das empresas de tecnologia para aprimorar seus sistemas. A Meta também negou explicitamente ter usado dados de testes de concorrentes para treinar seus próprios modelos.
Esse incidente não apenas expõe áreas cinzentas nos testes de segurança da IA, mas também reacende preocupações externas quanto à vulnerabilidade da IA generativa ao lidar com questões sensíveis envolvendo jovens. À medida que a tecnologia de IA avança rapidamente, equilibrar testes eficientes e seguros com os limites entre comportamento competitivo e considerações éticas tornou-se um desafio urgente para o setor.
CEO da Anthropic, Amodei, descarta visões pessimistas e atribui crise de confiança na IA a promessas não cumpridas
Em meio ao crescente debate público sobre os riscos e a regulamentação da inteligência artificial, o CEO da Anthropic, Dario Amodei, rebateu as alegações de que sua mensagem é indevidamente pessimista. Essa esclarecimento aborda diretamente as crític
OpenAI e Oracle aprofundam integração de capacidade computacional para simplificar o acesso à nuvem
As a demanda por poder computacional de IA cresce, a facilidade de acessar infraestrutura de nível empresarial tornou-se uma prioridade-chave da indústria. Em 10 de junho, a OpenAI e a Oracle anunciaram uma parceria estratégica projetada para conecta
Usman Javaid, da Orange, fala sobre a posição da Europa na corrida pela IA
Usman Javaid, diretor de Produtos e Marketing da Orange BusinessUsman Javaid, diretor de Produtos e Marketing da Orange Business, explica por que o futuro da IA na Europa será construído com base na c





Lar






