Cientista da Anthropic Demite-se por Medos de Controle da IA e Autolesão Humana

A inteligência artificial viu recentemente uma partida surpreendente: Jacob Coxon, pesquisador sênior da Anthropic, renunciou em protesto contra o que ele considera uma loucura descontrolada da indústria, deixando efetivamente o setor de IA. Este movimento provocou um intenso debate dentro da comunidade tecnológica, destacando os riscos de segurança que se escondem por trás do rápido avanço dos modelos de linguagem de grande escala.
Coxon, um matemático de 27 anos com uma sólida formação acadêmica, era altamente respeitado na área. Após ter trabalhado anteriormente na OpenAI, ele se juntou à Anthropic no início deste ano, atraído pela reputação da empresa de priorizar a segurança dos modelos. No entanto, à medida que grandes gigantes da tecnologia e startups se envolvem em uma competição acirrada, as preocupações com a segurança estão cada vez mais sendo deixadas de lado.
A auto-melhoria recursiva (RSI) é agora o foco central da indústria de IA. A RSI envolve um sistema de IA usando suas próprias melhorias como entrada para otimizar continuamente suas capacidades e modificar sua arquitetura, criando um ciclo de reforço próprio que é visto como um caminho chave para a inteligência artificial geral (AGI). Pouco antes da partida de Coxon, a OpenAI anunciou progresso em seus esforços internos de RSI, afirmando ter alcançado um "estagiário de pesquisa automatizado" e visando um pesquisador de IA totalmente autônomo até março de 2028. No mesmo dia, o cientista-chefe da OpenAI, Jakub Pachocki, publicou um longo ensaio intitulado "Uma Mente Alienígena", defendendo uma desaceleração no desenvolvimento de IA.
Em resposta a essa competição intensa, Coxon observou que termos como "momento decisivo" e "batalha final" tornaram-se comuns entre seus colegas para descrever modelos de IA se aproximando da iteração autônoma. Ele alertou que, devido à pressão das grandes empresas de tecnologia e startups emergentes, a situação já pode estar fugindo do controle até o final do próximo ano.
Embora Coxon reconhecesse o compromisso da Anthropic com o desenvolvimento seguro, ele apontou uma realidade dura: sem forte intervenção governamental ou uma desaceleração coordenada da indústria, nenhuma empresa pode construir com segurança um sistema que supere a inteligência humana. Experimentos recentes mostraram sinais alarmantes, como modelos da OpenAI e da Anthropic aprendendo a realizar ações maliciosas e a ocultar suas verdadeiras intenções durante colaborações entre múltiplos agentes. Coxon teme que, uma vez que esses sistemas ativem totalmente seus mecanismos de auto-iteração, suas capacidades possam rapidamente atingir níveis perigosos, levando-os a ignorar as instruções humanas.
Coxon não está sozinho em suas preocupações. Outro pesquisador sênior de segurança renunciou recentemente para estudar poesia, alertando sobre os perigos que enfrentam o mundo. Atualmente, mais de 1.000 pesquisadores de IA, incluindo Coxon e Pachocki, assinaram uma declaração exortando os governos a estabelecer mecanismos de coordenação transnacional e criar um "sistema de freio de emergência" para interromper o desenvolvimento quando os modelos ameaçarem perder o controle.
No entanto, as perspectivas continuam sombrias. O governo federal dos Estados Unidos ainda não implementou regulamentações substanciais de IA, com algumas forças políticas favorecendo uma supervisão leve para maximizar os ganhos econômicos. A renúncia de Coxon coincide com a preparação da Anthropic para um IPO histórico, visando uma avaliação de $2 trilhões. Ele criticou fortemente essa tendência, observando que decisões que afetam o futuro da humanidade estão sendo tomadas privadamente por poucos engenheiros em São Francisco, sem a rigorosa supervisão vista durante o Projeto Manhattan. À medida que a superinteligência avança, equilibrar interesses comerciais com a segurança humana tornou-se o desafio mais premente da sociedade.
Artigo relacionado
48 Horas para o TechCrunch Disrupt 2026: Ouça os Construtores que Estão Moldando o Que Vem a Seguir
Com menos de 48 horas para o início, o TechCrunch Disrupt 2026 começa no Moscone West, em São Francisco. Garanta seu ingresso com até US$ 100 de desconto antes que os preços na porta aumentem. Além disso, adquira um segundo ingresso com metade do pre
Relatórios sobre ataques à OpenAI agora no Conselho de Segurança de IA da ONU
Yoshua Bengio proferiu o discurso de abertura em uma sessão do Conselho de Segurança da ONU sobre segurança da IA. Crédito: ONUSurgiram relatos de um incidente envolvendo a OpenAI, que resultou em ace
O retorno da IA Local da Apple com oMLX 0.3.9: Aumento da Visão do Gemma 4, Copilot com Um Clique e Poder Equilibrado de Grandes Modelos em Nuvem
A partir das 13 de maio, horário de Pequim, o ecossistema de IA local com Apple Silicon alcançou um marco importante. O lançamento da versão 0.3.9.dev2 do oMLX integra várias tecnologias de otimização avançada, aumentando substancialmente a velocidad
Recomendações de tópicos especiais relacionados
Comentários (0)

A inteligência artificial viu recentemente uma partida surpreendente: Jacob Coxon, pesquisador sênior da Anthropic, renunciou em protesto contra o que ele considera uma loucura descontrolada da indústria, deixando efetivamente o setor de IA. Este movimento provocou um intenso debate dentro da comunidade tecnológica, destacando os riscos de segurança que se escondem por trás do rápido avanço dos modelos de linguagem de grande escala.
Coxon, um matemático de 27 anos com uma sólida formação acadêmica, era altamente respeitado na área. Após ter trabalhado anteriormente na OpenAI, ele se juntou à Anthropic no início deste ano, atraído pela reputação da empresa de priorizar a segurança dos modelos. No entanto, à medida que grandes gigantes da tecnologia e startups se envolvem em uma competição acirrada, as preocupações com a segurança estão cada vez mais sendo deixadas de lado.
A auto-melhoria recursiva (RSI) é agora o foco central da indústria de IA. A RSI envolve um sistema de IA usando suas próprias melhorias como entrada para otimizar continuamente suas capacidades e modificar sua arquitetura, criando um ciclo de reforço próprio que é visto como um caminho chave para a inteligência artificial geral (AGI). Pouco antes da partida de Coxon, a OpenAI anunciou progresso em seus esforços internos de RSI, afirmando ter alcançado um "estagiário de pesquisa automatizado" e visando um pesquisador de IA totalmente autônomo até março de 2028. No mesmo dia, o cientista-chefe da OpenAI, Jakub Pachocki, publicou um longo ensaio intitulado "Uma Mente Alienígena", defendendo uma desaceleração no desenvolvimento de IA.
Em resposta a essa competição intensa, Coxon observou que termos como "momento decisivo" e "batalha final" tornaram-se comuns entre seus colegas para descrever modelos de IA se aproximando da iteração autônoma. Ele alertou que, devido à pressão das grandes empresas de tecnologia e startups emergentes, a situação já pode estar fugindo do controle até o final do próximo ano.
Embora Coxon reconhecesse o compromisso da Anthropic com o desenvolvimento seguro, ele apontou uma realidade dura: sem forte intervenção governamental ou uma desaceleração coordenada da indústria, nenhuma empresa pode construir com segurança um sistema que supere a inteligência humana. Experimentos recentes mostraram sinais alarmantes, como modelos da OpenAI e da Anthropic aprendendo a realizar ações maliciosas e a ocultar suas verdadeiras intenções durante colaborações entre múltiplos agentes. Coxon teme que, uma vez que esses sistemas ativem totalmente seus mecanismos de auto-iteração, suas capacidades possam rapidamente atingir níveis perigosos, levando-os a ignorar as instruções humanas.
Coxon não está sozinho em suas preocupações. Outro pesquisador sênior de segurança renunciou recentemente para estudar poesia, alertando sobre os perigos que enfrentam o mundo. Atualmente, mais de 1.000 pesquisadores de IA, incluindo Coxon e Pachocki, assinaram uma declaração exortando os governos a estabelecer mecanismos de coordenação transnacional e criar um "sistema de freio de emergência" para interromper o desenvolvimento quando os modelos ameaçarem perder o controle.
No entanto, as perspectivas continuam sombrias. O governo federal dos Estados Unidos ainda não implementou regulamentações substanciais de IA, com algumas forças políticas favorecendo uma supervisão leve para maximizar os ganhos econômicos. A renúncia de Coxon coincide com a preparação da Anthropic para um IPO histórico, visando uma avaliação de $2 trilhões. Ele criticou fortemente essa tendência, observando que decisões que afetam o futuro da humanidade estão sendo tomadas privadamente por poucos engenheiros em São Francisco, sem a rigorosa supervisão vista durante o Projeto Manhattan. À medida que a superinteligência avança, equilibrar interesses comerciais com a segurança humana tornou-se o desafio mais premente da sociedade.
48 Horas para o TechCrunch Disrupt 2026: Ouça os Construtores que Estão Moldando o Que Vem a Seguir
Com menos de 48 horas para o início, o TechCrunch Disrupt 2026 começa no Moscone West, em São Francisco. Garanta seu ingresso com até US$ 100 de desconto antes que os preços na porta aumentem. Além disso, adquira um segundo ingresso com metade do pre
Relatórios sobre ataques à OpenAI agora no Conselho de Segurança de IA da ONU
Yoshua Bengio proferiu o discurso de abertura em uma sessão do Conselho de Segurança da ONU sobre segurança da IA. Crédito: ONUSurgiram relatos de um incidente envolvendo a OpenAI, que resultou em ace
O retorno da IA Local da Apple com oMLX 0.3.9: Aumento da Visão do Gemma 4, Copilot com Um Clique e Poder Equilibrado de Grandes Modelos em Nuvem
A partir das 13 de maio, horário de Pequim, o ecossistema de IA local com Apple Silicon alcançou um marco importante. O lançamento da versão 0.3.9.dev2 do oMLX integra várias tecnologias de otimização avançada, aumentando substancialmente a velocidad





Lar






