Deepmind's AI supera a los medallistas de oro de la OMI

La última IA de Google Deepmind, Alphageometry2, ha realizado olas al superar al medallista de oro promedio para resolver problemas de geometría en la Olimpiada Matemática Internacional (IMO). Esta versión avanzada de la Alfageometría publicada anteriormente, presentada solo en enero pasado, según los informes, resolvió el 84% de los problemas de geometría de los últimos 25 años de competiciones de Imo.

Quizás se pregunte por qué DeepMind se está centrando en un concurso de matemáticas de la escuela secundaria. Bueno, creen que descifrar estos desafiantes problemas de geometría euclidiana podría ser un trampolín para desarrollar una IA más avanzada. Resolver estos problemas requiere un razonamiento lógico y la capacidad de navegar a través de diversas rutas de solución, habilidades que podrían ser cruciales para los futuros sistemas de IA de uso general.

Este verano, DeepMind mostró un sistema que combinó Alphageometry2 con Alphaproof, otro modelo de IA diseñado para un razonamiento matemático formal. Juntos, abordaron cuatro de seis problemas de la OMI de 2024. Este enfoque podría extenderse más allá de la geometría a otras áreas de matemáticas y ciencias, como los cálculos de ingeniería complejos.

Alphageometry2 funciona con algunos componentes clave, incluido un modelo de idioma de la familia Gemini de Google y un "motor simbólico". El modelo Gemini ayuda al motor simbólico, que aplica reglas matemáticas para encontrar soluciones, en la creación de pruebas factibles para los teoremas de geometría.

En la OMI, los problemas de geometría a menudo requieren agregar "construcciones" como puntos, líneas o círculos a diagramas antes de resolverlos. El modelo Gemini de Alphageometry2 predice qué construcciones podría ser útil, guiando el motor simbólico para hacer deducciones.

Así es como funciona: el modelo Gemini sugiere pasos y construcciones en un lenguaje matemático formal, que el motor luego verifica la consistencia lógica. Alphageometry2 utiliza un algoritmo de búsqueda para explorar múltiples rutas de solución simultáneamente y almacena hallazgos potencialmente útiles en una base de conocimiento compartida.

Un problema se considera "resuelto" cuando Alphageometry2 combina las sugerencias del modelo Gemini con los principios conocidos del motor simbólico para formar una prueba completa.

Debido a la escasez de datos de entrenamiento de geometría utilizable, DeepMind creó datos sintéticos para entrenar el modelo de lenguaje de Alphageometry2, generando más de 300 millones de teoremas y pruebas de complejidad variable.

El equipo de DeepMind probó Alphageometry2 en 45 problemas de geometría de competencias de la OMI que abarcan 2000 a 2024, que se expandieron a 50 problemas. Alphageometry2 resolvió 42 de estos, superando la puntuación medalista de oro promedio de 40.9.

Sin embargo, Alphageometry2 tiene sus limitaciones. Lucha con problemas que involucran un número variable de puntos, ecuaciones no lineales y desigualdades. Si bien no es la primera IA en alcanzar el rendimiento de nivel de oro en la geometría, es el primero en hacerlo con un conjunto de problemas tan grande.

Cuando se enfrenta a un conjunto más difícil de 29 problemas nominados a IMO que aún no han aparecido en las competiciones, Alphageometry2 solo pudo resolver 20.

Es probable que los resultados del estudio generen un mayor debate sobre el mejor enfoque para construir sistemas de IA. ¿Deberíamos centrarnos en la manipulación de los símbolos, donde la IA usa reglas para manipular los símbolos que representan el conocimiento, o en las redes neuronales, que imitan la estructura del cerebro humano y aprenden de los datos?

Alphageometry2 adopta un enfoque híbrido, que combina la arquitectura de la red neuronal del modelo Gemini con el motor simbólico basado en reglas.

Los partidarios de las redes neuronales argumentan que el comportamiento inteligente puede surgir de grandes cantidades de datos y energía informática. En contraste, los defensores simbólicos de IA creen que es más adecuado para codificar el conocimiento, el razonamiento a través de escenarios complejos y explicar soluciones.

Vince Conitzer, profesor de informática de la Universidad Carnegie Mellon especializado en IA, comentó sobre el contraste entre el impresionante progreso en puntos de referencia como el IMO y las luchas continuas de los modelos de idiomas con simples problemas de sentido común. Hizo hincapié en la necesidad de comprender mejor estos sistemas y los riesgos que plantean.

Alphageometry2 sugiere que combinar la manipulación de símbolos y las redes neuronales podría ser un camino prometedor a seguir en la búsqueda de IA generalizable. Curiosamente, el equipo de DeepMind descubrió que el modelo de lenguaje de Alphageometry2 podría generar soluciones parciales a los problemas sin la ayuda del motor simbólico, insinuando el potencial de que los modelos de idiomas se vuelvan autosuficientes en el futuro.

Sin embargo, el equipo señaló que hasta que mejore la velocidad del modelo de idioma y las alucinaciones se resuelven, herramientas como motores simbólicos seguirán siendo esenciales para las aplicaciones de matemáticas.