A IA da DeepMind supera os medalhistas de ouro da IMO

A mais recente IA do Google DeepMind, AlphaGeometry2, superou o medalhista de ouro médio ao resolver problemas de geometria na Olimpíada Internacional de Matemática (IMO). Esta versão avançada do AlphaGeometry, lançado em janeiro passado, resolveu 84% dos problemas de geometria das últimas 25 edições do IMO.

Você pode se perguntar por que a DeepMind foca em um concurso de matemática do ensino médio. Eles acreditam que resolver esses desafiadores problemas de geometria euclidiana pode ser um passo para desenvolver IA mais avançada. Resolver esses problemas exige raciocínio lógico e navegação por várias caminhos de solução, habilidades cruciais para futuros sistemas de IA de propósito geral.

Neste verão, a DeepMind apresentou um sistema que combina AlphaGeometry2 com AlphaProof, outro modelo de IA para raciocínio matemático formal. Juntos, eles resolveram quatro dos seis problemas do IMO 2024. Essa abordagem pode se estender além da geometria para outras áreas da matemática e ciência, como cálculos complexos de engenharia.

AlphaGeometry2 é alimentado por componentes-chave, incluindo um modelo de linguagem da família Gemini do Google e um "motor simbólico". O modelo Gemini auxilia o motor simbólico, que aplica regras matemáticas para encontrar soluções, na criação de provas viáveis para teoremas geométricos.

No IMO, os problemas de geometria frequentemente exigem adicionar "construções" como pontos, linhas ou círculos aos diagramas antes de resolvê-los. O modelo Gemini do AlphaGeometry2 prevê quais construções podem ser úteis, guiando o motor simbólico para fazer deduções.

Funciona assim: o modelo Gemini sugere passos e construções em uma linguagem matemática formal, que o motor verifica quanto à consistência lógica. O AlphaGeometry2 usa um algoritmo de busca para explorar múltiplos caminhos de solução simultaneamente e armazena descobertas potencialmente úteis em uma base de conhecimento compartilhada.

Um problema é considerado "resolvido" quando o AlphaGeometry2 combina as sugestões do modelo Gemini com os princípios conhecidos do motor simbólico para formar uma prova completa.

Devido à escassez de dados de treinamento geométrico utilizáveis, a DeepMind criou dados sintéticos para treinar o modelo de linguagem do AlphaGeometry2, gerando mais de 300 milhões de teoremas e provas de complexidade variada.

A equipe da DeepMind testou o AlphaGeometry2 em 45 problemas de geometria de competições do IMO de 2000 a 2024, expandidos para 50 problemas. O AlphaGeometry2 resolveu 42 deles, superando a pontuação média de medalhistas de ouro de 40,9.

No entanto, o AlphaGeometry2 tem limitações. Ele enfrenta dificuldades com problemas envolvendo um número variável de pontos, equações não lineares e desigualdades. Embora não seja a primeira IA a atingir desempenho de nível de medalha de ouro em geometria, é a primeira a fazê-lo com um conjunto tão grande de problemas.

Quando confrontado com um conjunto mais difícil de 29 problemas indicados para o IMO que ainda não apareceram em competições, o AlphaGeometry2 resolveu apenas 20.

Os resultados do estudo provavelmente gerarão mais debates sobre a melhor abordagem para construir sistemas de IA. Devemos focar na manipulação de símbolos, onde a IA usa regras para manipular símbolos que representam conhecimento, ou em redes neurais, que imitam a estrutura do cérebro humano e aprendem com dados?

O AlphaGeometry2 adota uma abordagem híbrida, combinando a arquitetura de rede neural do modelo Gemini com o motor simbólico baseado em regras.

Defensores das redes neurais argumentam que comportamentos inteligentes podem surgir de grandes quantidades de dados e poder computacional. Em contraste, proponentes da IA simbólica acreditam que ela é melhor para codificar conhecimento, raciocinar em Facade em cenários complexos e explicar soluções.

Vince Conitzer, professor de ciência da computação da Carnegie Mellon University especializado em IA, comentou sobre o contraste entre o impressionante progresso em benchmarks como o IMO e as dificuldades contínuas dos modelos de linguagem com problemas simples de senso comum. Ele enfatizou a necessidade de entender melhor esses sistemas e os risks que eles representam.

O AlphaGeometry2 sugere que combinar manipulação de símbolos e redes neurais pode ser um caminho promissor para a busca por IA generalizável. Curiosamente, a equipe da DeepMind descobriu que o modelo de linguagem do AlphaGeometry2 pode gerar soluções parciais para problemas sem a ajuda do motor simbólico, sugerindo o potencial para modelos de linguagem se tornarem autossuficientes no futuro.

No entanto, a equipe observou que, até que a velocidade dos modelos de linguagem melhore e as alucinações sejam resolvidas, ferramentas como motores simbólicos continuarão sendo essenciais para aplicações matemáticas.