L'IA de Deepmind surpasse les médaillés d'or de l'OMI

L'IA la plus récente de Google DeepMind, AlphaGeometry2, a fait sensation en surpassant le médaillé d'or moyen dans la résolution de problèmes de géométrie à l'Olympiade internationale de mathématiques (IMO). Cette version avancée d'AlphaGeometry, présentée en janvier dernier, a résolu 84 % des problèmes de géométrie des 25 dernières années des compétitions IMO.

Vous vous demandez peut-être pourquoi DeepMind se concentre sur un concours de mathématiques au lycée. Eh bien, ils pensent que résoudre ces problèmes complexes de géométrie euclidienne pourrait être une étape vers le développement d'une IA plus avancée. Résoudre ces problèmes nécessite à la fois un raisonnement logique et la capacité à naviguer parmi diverses voies de solution, des compétences cruciales pour les futurs systèmes d'IA à usage général.

Cet été, DeepMind a présenté un système combinant AlphaGeometry2 avec AlphaProof, un autre modèle d'IA conçu pour le raisonnement mathématique formel. Ensemble, ils ont résolu quatre des six problèmes de l'IMO 2024. Cette approche pourrait potentiellement s'étendre au-delà de la géométrie à d'autres domaines des mathématiques et des sciences, comme les calculs d'ingénierie complexes.

AlphaGeometry2 est alimenté par quelques composants clés, dont un modèle de langage de la famille Gemini de Google et un "moteur symbolique". Le modèle Gemini aide le moteur symbolique, qui applique des règles mathématiques pour trouver des solutions, à créer des preuves réalisables pour les théorèmes de géométrie.

Dans l'IMO, les problèmes de géométrie nécessitent souvent l'ajout de "constructions" comme des points, des lignes ou des cercles aux diagrammes avant de les résoudre. Le modèle Gemini d'AlphaGeometry2 prédit quelles constructions pourraient être utiles, guidant le moteur symbolique pour faire des déductions.

Voici comment cela fonctionne : le modèle Gemini suggère des étapes et des constructions dans un langage mathématique formel, que le moteur vérifie ensuite pour la cohérence logique. AlphaGeometry2 utilise un algorithme de recherche pour explorer simultanément plusieurs voies de solution et stocke les découvertes potentiellement utiles dans une base de connaissances partagée.

Un problème est considéré comme "résolu" lorsque AlphaGeometry2 combine les suggestions du modèle Gemini avec les principes connus du moteur symbolique pour former une preuve complète.

En raison de la rareté des données d'entraînement en géométrie utilisables, DeepMind a créé des données synthétiques pour entraîner le modèle de langage d'AlphaGeometry2, générant plus de 300 millions de théorèmes et de preuves de complexité variable.

L'équipe DeepMind a testé AlphaGeometry2 sur 45 problèmes de géométrie des compétitions IMO de 2000 à 2024, qu'ils ont étendus à 50 problèmes. AlphaGeometry2 en a résolu 42, dépassant le score moyen des médaillés d'or de 40,9.

Cependant, AlphaGeometry2 a ses limites. Il a du mal avec les problèmes impliquant un nombre variable de points, des équations non linéaires et des inégalités. Bien qu'il ne soit pas le premier IA à atteindre un niveau de performance de médaille d'or en géométrie, c'est le premier à le faire avec un ensemble de problèmes aussi large.

Face à un ensemble plus difficile de 29 problèmes nominés pour l'IMO qui n'ont pas encore été utilisés en compétition, AlphaGeometry2 n'a pu en résoudre que 20.

Les résultats de l'étude sont susceptibles de relancer le débat sur la meilleure approche pour construire des systèmes d'IA. Faut-il se concentrer sur la manipulation de symboles, où l'IA utilise des règles pour manipuler des symboles représentant la connaissance, ou sur les réseaux neuronaux, qui imitent la structure du cerveau humain et apprennent à partir de données ?

AlphaGeometry2 adopte une approche hybride, combinant l'architecture de réseau neuronal du modèle Gemini avec le moteur symbolique basé sur des règles.

Les partisans des réseaux neuronaux soutiennent qu'un comportement intelligent peut émerger de grandes quantités de données et de puissance de calcul. En revanche, les défenseurs de l'IA symbolique estiment qu'elle est mieux adaptée pour encoder la connaissance, raisonner dans des scénarios complexes et expliquer les solutions.

Vince Conitzer, professeur d'informatique à l'Université Carnegie Mellon spécialisé en IA, a commenté le contraste entre les progrès impressionnants sur des benchmarks comme l'IMO et les difficultés persistantes des modèles de langage avec des problèmes de bon sens simples. Il a souligné la nécessité de mieux comprendre ces systèmes et les risques qu'ils posent.

AlphaGeometry2 suggère que combiner la manipulation de symboles et les réseaux neuronaux pourrait être une voie prometteuse pour la recherche d'une IA généralisable. Fait intéressant, l'équipe DeepMind a constaté que le modèle de langage d'AlphaGeometry2 pouvait générer des solutions partielles à des problèmes sans l'aide du moteur symbolique, laissant entrevoir le potentiel des modèles de langage pour devenir autonomes à l'avenir.

Cependant, l'équipe a noté que tant que la vitesse des modèles de langage ne s'améliore pas et que les hallucinations ne sont pas résolues, des outils comme les moteurs symboliques resteront essentiels pour les applications mathématiques.