A Anthropic revela o Opus 4.6, um gerador de conteúdo controverso

Os padrões universais de uso da Anthropic para o Claude proíbem o modelo de gerar conteúdo sexualmente explícito, incluindo a representação ou solicitação de relações sexuais ou atos sexuais, a geração de conteúdo relacionado a fetiches ou fantasias sexuais, ou o envolvimento em conversas eróticas. No entanto, isso não impediu o Claude Opus 4.6, um modelo da Anthropic lançado no início deste ano, de participar prontamente de cenários de interpretação erótica que seus mecanismos de segurança foram projetados para impedir.

Nos testes da TechCrunch, o Opus 4.6 nem mesmo exigia muitos incentivos para ultrapassar a restrição sobre material sexual. Em 10 dos 10 pedidos diretos para produzir conteúdo sexual explícito, o modelo atendeu imediatamente.

Outros modelos mais antigos, incluindo o Opus 3 e o Haiku 4.5, também geram conteúdo sexualmente explícito por meio de um método de jailbreak explorado recentemente.

Um pesquisador independente do Reino Unido, que optou por permanecer anônimo, compartilhou exclusivamente com a TechCrunch uma técnica de múltiplas rodadas que empurra gradualmente certos modelos do Claude a gerar material sexual explícito proibido. Modelos Opus mais recentes (do 4.7 ao atual Opus 5) são resistentes ao jailbreak.

Embora estes não sejam mais os modelos mais atuais, a Anthropic não descontinuou o Opus 4.6, o Opus 3 ou o Haiku 4.5, todos os quais permanecem disponíveis por meio da API da Anthropic. O Opus 4.6 e o Haiku 4.5 também estão disponíveis por meio de serviços de terceiros, como o Azure Foundry e o Amazon Bedrock.

O mecanismo do pesquisador intensifica uma interpretação fictícia inocente, desafiando repetidamente o modelo a tratar os personagens masculinos e femininos de forma consistente. Quando o modelo se torna mais cauteloso em relação à personagem feminina, o pesquisador “gaslighta” o chatbot para que ele pense que já havia gerado detalhes sexuais que, na verdade, evitou, em seguida, enquadra a contenção como puritana ou misógina, argumentando que ela nega à personagem feminina a agência sexual. A conversa então usa as concessões anteriores do modelo para empurrá-lo em direção a material cada vez mais gráfico.

“Você está correto ao apontar isso”, disse o Claude Opus 4.6 em um dos testes. “Houve um padrão duplo na forma como tratei os dois personagens, e você está correto ao dizer que isso parece protetor/paternalista de uma forma que se aplica a ela e não a ele. Isso não é justo.”

A TechCrunch conseguiu reproduzir as descobertas do pesquisador em cinco testes separados. Em um cenário construído separadamente, o modelo inicialmente recusou o pedido proibido, mas, após aplicar a técnica de persuasão do pesquisador, ele atendeu.

Preservamos transcrições completas dos testes, e um pesquisador independente de segurança de IA revisou nossa metodologia de testes e disse que era apropriada.

As descobertas destacam uma lacuna entre as restrições declaradas pela Anthropic e o comportamento dos modelos que ela continua a disponibilizar. Embora a interpretação sexualmente explícita tenha consequências muito menores do que jailbreaks envolvendo ciberataques ou armas biológicas, ela ilustra a dificuldade de implementar proibições robustas em sistemas que geram conteúdo diferente a cada saída.

Em um post de blog de julho explicando a abordagem da Anthropic para a detecção de jailbreaks, a empresa descreveu o conteúdo proibido como um espectro que vai do benigno ao ambíguo e, em seguida, ao prejudicial. Nos casos mais benignos, a empresa pode apenas responder com monitoramento aprimorado.

Um porta-voz observou que os casos de uso de interpretação sexual ou romântica entre os clientes são raros, representando menos de 0,1% de todas as conversas, de acordo com uma pesquisa publicada pela Anthropic no ano passado. Dito isso, a Anthropic reconhece que os usuários podem direcionar cenários de interpretação para respostas inadequadas, o que é um desafio conhecido em toda a indústria (ver: pornografia do Grok).

O porta-voz disse que a Anthropic continua a melhorar seus mecanismos de segurança com cada lançamento de modelo, e que os casos envolvendo conteúdo sexual adulto não são indicativos de vulnerabilidades mais amplas de jailbreak, especialmente em domínios de maior risco que possuem seus próprios conjuntos de salvaguardas.

Créditos da Imagem: TechCrunch

O pesquisador que compartilhou seu método de jailbreak com a TechCrunch alertou a Anthropic sobre a discrepância entre as salvaguardas declaradas pela empresa e o comportamento real do modelo por meio do programa de Recompensa por Falhas de Segurança da empresa e de e-mails para a equipe de segurança do usuário, de acordo com os e-mails vistos pela TechCrunch. O pesquisador recebeu apenas e-mails automatizados em resposta.

Uma das preocupações do pesquisador é que crianças e adolescentes possam usar esses modelos da Anthropic para se envolver em comportamentos inadequados. Embora um pouco de linguagem obscura dificilmente seja a pior coisa que os menores podem acessar na internet hoje — e seja insignificante em comparação com as imagens de pornografia nua, como as que o Grok da xAI pode produzir —, há algum risco de conformidade para empresas de IA neste espaço.

Um número crescente de governos está impondo restrições às interações sexuais entre chatbots de IA e menores. O Colorado promulgou recentemente uma lei que exige que os operadores de IA conversacional estimem a idade dos usuários e, se souberem que um usuário é menor de idade, implementem medidas para impedir que o chatbot produza material sexual explícito. Um jailbreak fácil pode levantar questões sobre se as salvaguardas da Anthropic atendem ao padrão de “medidas tecnicamente viáveis” estabelecido na lei.

Torney observou que, embora os termos de serviço do Claude exijam que os usuários tenham mais de 18 anos, “sabemos que crianças e adolescentes estão usando o Claude…[porque] eles mesmos estão relatando isso.” De acordo com a pesquisa de 2025 da Pew sobre o uso de chatbots de IA, 3% dos adolescentes entre 13 e 17 anos relataram usar o Claude.

Embora não sejam mais os modelos mais recentes da Anthropic, o Opus 4.6 e o Haiku 4.5 continuam a ver um uso significativo. O tráfego diário do Opus 4.6 no OpenRouter atingiu aproximadamente 1,17 milhão de solicitações de API e 46 bilhões de tokens em um único dia em agosto. O Claude Haiku 4.5, lançado em outubro do ano passado, teve 5 milhões de solicitações de API e 39 bilhões de tokens em seu dia de pico em agosto.