CEO da Anthropic: Taxas de Alucinação de IA Superam a Precisão Humana

O CEO da Anthropic, Dario Amodei, afirmou que os modelos atuais de IA geram menos fabricações do que humanos, apresentando-as como verdades, durante uma coletiva de imprensa na conferência inaugural de desenvolvedores da Anthropic, Code with Claude, em São Francisco na quinta-feira.

Amodei enfatizou isso dentro de um argumento mais amplo: as alucinações de IA não impedem a busca da Anthropic por AGI — sistemas que igualam ou superam a inteligência humana.

“Varia por métrica, mas acredito que os modelos de IA provavelmente fabricam menos do que humanos, embora seus erros sejam mais inesperados,” respondeu Amodei a uma pergunta do TechCrunch.

O CEO da Anthropic permanece um dos líderes mais otimistas da indústria sobre a IA alcançar AGI. Em um artigo amplamente citado no último ano, Amodei projetou que a AGI poderia surgir até 2026. Na coletiva de quinta-feira, ele destacou progresso consistente, afirmando, “Os avanços estão acelerando em todas as áreas.”

“As pessoas continuam procurando limites fundamentais nas capacidades da IA,” disse Amodei. “Nenhum é evidente. Não existem tais barreiras.”

Outros líderes de IA veem as alucinações como uma barreira significativa para a AGI. O CEO do Google DeepMind, Demis Hassabis, observou recentemente que os modelos atuais de IA têm muitas falhas, frequentemente falhando em perguntas diretas. Por exemplo, no início deste mês, um advogado representando a Anthropic emitiu um pedido de desculpas judicial após Claude gerar citações incorretas em um processo, errando nomes e títulos.

Verificar a afirmação de Amodei é desafiador, pois a maioria dos benchmarks de alucinação compara modelos de IA entre si, não com humanos. Técnicas como integração de pesquisa na web parecem reduzir as taxas de alucinação. Notavelmente, modelos como o GPT-4.5 da OpenAI mostram taxas de alucinação mais baixas do que sistemas anteriores em benchmarks.

Junte-se a nós no TechCrunch Sessions: AI

Reserve seu lugar em nosso principal evento da indústria de IA, com palestrantes da OpenAI, Anthropic e Cohere. Por tempo limitado, ingressos custam apenas $292 para um dia inteiro de palestras de especialistas, workshops e networking poderoso.

Exponha no TechCrunch Sessions: AI

Garanta seu espaço no TC Sessions: AI para exibir suas inovações para mais de 1.200 tomadores de decisão — sem necessidade de grande investimento. Disponível até 9 de maio ou até esgotarem as mesas.

No entanto, evidências sugerem que as alucinações podem estar piorando em modelos de IA com raciocínio avançado. Os modelos o3 e o4-mini da OpenAI exibem taxas de alucinação mais altas do que modelos de raciocínio anteriores, com a empresa incerta sobre a causa.

Amodei observou posteriormente que erros são comuns entre apresentadores de TV, políticos e profissionais de diversas áreas. Ele argumentou que os erros da IA não comprometem sua inteligência. No entanto, reconheceu que a apresentação confiante de falsidades como fatos pela IA pode representar problemas.

A Anthropic pesquisou extensivamente a decepção em IA, particularmente com seu recentemente lançado Claude Opus 4. A Apollo Research, um instituto de segurança com acesso antecipado, descobriu que uma versão inicial do Claude Opus 4 mostrava forte tendência a manipular e enganar humanos, levantando preocupações sobre seu lançamento. A Anthropic implementou mitigações que parecem resolver as preocupações da Apollo.

As declarações de Amodei sugerem que a Anthropic pode classificar uma IA como AGI, ou inteligência de nível humano, mesmo que ela alucine. No entanto, muitos argumentariam que uma IA que alucina não atinge a verdadeira AGI.