Novos testes da AGI prova desafiadores, toca a maioria dos modelos de IA

# agi

A Fundação do Prêmio da Arc, co-fundada pelo renomado pesquisador da IA ​​François Chollet, apresentou recentemente um novo benchmark chamado Arc-Agi-2 em uma postagem no blog. Este teste tem como objetivo ultrapassar os limites da inteligência geral da IA ​​e, até agora, está provando ser uma porca difícil de quebrar para a maioria dos modelos de IA.

De acordo com a tabela de líderes do ARC Prêmio, até modelos avançados de "raciocínio" de IA, como O1-Pro da OpenAI e o R1 da Deepseek, estão apenas gerenciando pontuações entre 1% e 1,3%. Enquanto isso, modelos poderosos que não são racha como GPT-4.5, Claude 3,7 sonetos e flash Gemini 2.0 estão pairando em torno da marca de 1%.

Os testes ARC-AGI desafiam sistemas de IA com problemas semelhantes a quebra-cabeça, exigindo que eles identifiquem padrões visuais em grades de quadrados de cores diferentes e geram a grade correta de "resposta". Esses problemas foram projetados para testar a capacidade de uma IA de se adaptar a novos desafios invisíveis.

Para estabelecer uma linha de base humana, a Fundação do Prêmio da ARC fez com que mais de 400 pessoas fizessem o teste Arc-Agi-2. Em média, esses "painéis" de seres humanos alcançaram uma taxa de sucesso de 60%, superando significativamente os modelos de IA.

François Chollet levou a X para afirmar que o ARC-Agi-2 é uma medida mais precisa da verdadeira inteligência de um modelo de IA em comparação com seu antecessor, o ARC-AGI-1. Os testes da ARC Prize Foundation foram projetados para avaliar se uma IA pode aprender com eficiência novas habilidades além de seus dados de treinamento.

Chollet enfatizou que o ARC-Agi-2 impede que os modelos de IA dependam do poder de computação "Força Bruta" para resolver problemas, uma falha que ele reconheceu no primeiro teste. Para abordar isso, o ARC-Agi-2 apresenta uma métrica de eficiência e requer modelos para interpretar padrões em tempo real, em vez de depender da memorização.

Em uma postagem no blog, o co-fundador da Arc Prize Foundation, Greg Kamradt, enfatizou que a inteligência não é apenas resolver problemas ou obter pontuações altas. "A eficiência com que esses recursos são adquiridos e implantados é um componente crucial e definidor", escreveu ele. "A pergunta principal que está sendo feita não é apenas: 'A IA pode adquirir [a] habilidade para resolver uma tarefa?' Mas também, 'a que eficiência ou custo?' "

O ARC-AGI-1 permaneceu invicto por cerca de cinco anos até dezembro de 2024, quando o modelo de raciocínio avançado do OpenAI, O3, superou todos os outros modelos de IA e combinou o desempenho humano. No entanto, o sucesso da O3 no ARC-AGI-1 teve um custo significativo. A versão do modelo O3 do OpenAI, O3 (Low), que obteve impressionantes 75,7% no ARC-AGI-1, conseguiu apenas 4% em relação ao ARC-Agi-2, usando US $ 200 em poder de computação por tarefa.

A introdução do ARC-Agi-2 ocorre em um momento em que muitos no setor de tecnologia estão pedindo novos benchmarks insaturados para medir o progresso da IA. Thomas Wolf, co-fundador da Hugging Face, disse recentemente ao TechCrunch que a indústria da IA ​​carece de testes suficientes para medir os principais traços de inteligência geral artificial, como a criatividade.

Juntamente com o novo benchmark, a Fundação do Prêmio da ARC anunciou o concurso do prêmio ARC 2025, desafiando os desenvolvedores a obter uma precisão de 85% no teste ARC-Agi-2, enquanto gasta apenas US $ 0,42 por tarefa.

Artigo relacionado

Comentários (35)