A IA da DeepMind supera os medalhistas de ouro da IMO

A IA mais recente do Google DeepMind, Alpageometria2, fez ondas superando o medalhista de ouro médio na solução de problemas de geometria na Olimpíada Matemática Internacional (IMO). Esta versão avançada da alfageometria lançada anteriormente, introduzida apenas em janeiro passado, supostamente resolveu 84% dos problemas de geometria nos últimos 25 anos de competições da IMO.

Você pode se perguntar por que o DeepMind está se concentrando em um concurso de matemática do ensino médio. Bem, eles acreditam que quebrar esses problemas de geometria euclidiana desafiadora pode ser um trampolim para desenvolver IA mais avançada. A solução desses problemas requer raciocínio lógico e a capacidade de navegar por vários caminhos de solução, habilidades que podem ser cruciais para futuros sistemas de IA de uso geral.

Neste verão, o DeepMind exibiu um sistema que combinou alfagometria2 com o AlphaProof, outro modelo de IA projetado para o raciocínio formal de matemática. Juntos, eles enfrentaram quatro em cada seis problemas da IMO de 2024. Essa abordagem pode potencialmente se estender além da geometria a outras áreas de matemática e ciências, como cálculos complexos de engenharia.

O alfageometria2 é alimentado por alguns componentes -chave, incluindo um modelo de idioma da família Gemini do Google e um "mecanismo simbólico". O modelo Gemini auxilia o mecanismo simbólico, que aplica regras matemáticas para encontrar soluções, na criação de provas viáveis ​​para os teoremas de geometria.

Na IMO, os problemas de geometria geralmente exigem adicionar "construções" como pontos, linhas ou círculos para diagramas antes de resolvê -los. O modelo Gemini do Alpageometria2 prevê que as construções podem ser úteis, orientando o motor simbólico a fazer deduções.

Eis como funciona: o modelo Gemini sugere etapas e construções em uma linguagem matemática formal, que o mecanismo verifica a consistência lógica. O Alphageometria2 usa um algoritmo de pesquisa para explorar vários caminhos de solução simultaneamente e armazena achados potencialmente úteis em uma base de conhecimento compartilhada.

Um problema é considerado "resolvido" quando o alfageometria2 combina as sugestões do modelo Gemini com os princípios conhecidos do motor simbólico para formar uma prova completa.

Devido à escassez de dados utilizáveis ​​de treinamento em geometria, o DeepMind criou dados sintéticos para treinar o modelo de linguagem do alfageometria2, gerando mais de 300 milhões de teoremas e provas de complexidade variável.

A equipe DeepMind testou o alfageometria2 em 45 problemas de geometria de competições de IMO que abrangem de 2000 a 2024, que elas expandiram em 50 problemas. Alpageometria2 resolveu 42 destes, superando a pontuação média do medalhista de ouro de 40,9.

No entanto, o alfageometria2 tem suas limitações. Ele luta com problemas que envolvem um número variável de pontos, equações não lineares e desigualdades. Embora não seja a primeira IA a atingir o desempenho no nível da medalha de ouro na geometria, é o primeiro a fazê-lo com um conjunto de problemas tão grande.

Quando confrontado com um conjunto mais difícil de 29 problemas indicados pela IMO que ainda não apareceram em competições, o alfageometria2 só poderia resolver 20.

É provável que os resultados do estudo desencadearão ainda mais a melhor abordagem para a construção de sistemas de IA. Devemos nos concentrar na manipulação de símbolos, onde a IA usa regras para manipular símbolos que representam o conhecimento ou em redes neurais, que imitam a estrutura do cérebro humano e aprendem com os dados?

O alfageometria2 adota uma abordagem híbrida, combinando a arquitetura de rede neural do modelo Gemini com o motor simbólico baseado em regras.

Os defensores das redes neurais argumentam que o comportamento inteligente pode emergir de grandes quantidades de dados e poder de computação. Por outro lado, os proponentes simbólicos da IA ​​acreditam que é mais adequado para codificar conhecimento, raciocínio por meio de cenários complexos e explicar soluções.

Vince Conitzer, professor de Ciência da Computação da Universidade Carnegie Mellon especializado em IA, comentou o contraste entre o progresso impressionante em benchmarks como a IMO e as lutas em andamento dos modelos de idiomas com problemas de senso comum. Ele enfatizou a necessidade de entender melhor esses sistemas e os riscos que eles representam.

Alphageometria2 sugere que a combinação de manipulação de símbolos e redes neurais pode ser um caminho promissor na busca pela IA generalizável. Curiosamente, a equipe DeepMind descobriu que o modelo de linguagem do Alpageometria2 poderia gerar soluções parciais para problemas sem a ajuda do mecanismo simbólico, sugerindo o potencial de modelos de idiomas se tornarem auto-suficientes no futuro.

No entanto, a equipe observou que até que a velocidade do modelo de idioma melhore e as alucinações sejam resolvidas, ferramentas como motores simbólicos permanecerão essenciais para aplicações de matemática.