Le nouveau test AGI s'avère difficile, les souches majorité des modèles d'IA

# agi

L'Arc Prize Foundation, co-fondé par le célèbre chercheur de l'IA, François Chollet, a récemment dévoilé une nouvelle référence appelée Arc-AGI-2 dans un article de blog. Ce test vise à repousser les limites de l'intelligence générale de l'IA, et jusqu'à présent, il s'avère être un écrou difficile à casser pour la plupart des modèles d'IA.

Selon le classement des prix ARC, même les modèles avancés de "raisonnement" comme O1-Pro d'Openai et R1 de Deepseek ne gèrent que des scores entre 1% et 1,3%. Pendant ce temps, de puissants modèles non relâchés tels que GPT-4.5, Claude 3.7 Sonnet et Gemini 2.0 Flash oscillent autour de la marque de 1%.

Les tests ARC-AGI remettent en question les systèmes d'IA avec des problèmes de puzzle, les obligeant à identifier les modèles visuels dans les grilles de différentes carrés de couleur et à générer la grille de "réponse" correcte. Ces problèmes sont conçus pour tester la capacité d'une IA à s'adapter à de nouveaux défis invisibles.

Pour établir une base de référence humaine, l'Arc Prize Foundation a demandé à plus de 400 personnes de passer le test ARC-AGI-2. En moyenne, ces «panneaux» des humains ont atteint un taux de réussite de 60%, surpassant considérablement les modèles d'IA.

François Chollet est allé chez X pour affirmer que Arc-AGI-2 est une mesure plus précise de la véritable intelligence d'un modèle d'IA par rapport à son prédécesseur, ARC-AGI-1. Les tests de la Fondation ARC Prize sont conçus pour évaluer si une IA peut acquérir efficacement de nouvelles compétences au-delà de ses données de formation.

Chollet a souligné qu'ARC-AGI-2 empêche les modèles d'IA de s'appuyer sur le pouvoir de calcul de la "force brute" pour résoudre les problèmes, un défaut qu'il a reconnu lors du premier test. Pour y remédier, ARC-AGI-2 introduit une métrique d'efficacité et nécessite des modèles pour interpréter les modèles à la volée plutôt que de compter sur la mémorisation.

Dans un article de blog, le co-fondateur de la Fondation Arc Prize, Greg Kamradt, a souligné que l'intelligence ne concerne pas seulement la résolution des problèmes ou la réalisation de scores élevés. "L'efficacité avec laquelle ces capacités sont acquises et déployées est une composante cruciale et déterminante", a-t-il écrit. "La question principale posée n'est pas seulement:" L'IA peut-elle acquérir [la] compétence pour résoudre une tâche? " mais aussi, "à quelle efficacité ou quelle coût?" "

ARC-AGI-1 est resté invaincu pendant environ cinq ans jusqu'en décembre 2024, lorsque le modèle de raisonnement avancé d'OpenAI, O3, a dépassé tous les autres modèles d'IA et correspondait aux performances humaines. Cependant, le succès d'O3 sur ARC-AGI-1 a atteint un coût important. La version du modèle O3 d'OpenAI, O3 (bas), qui a obtenu un impressionnant 75,7% sur ARC-AGI-1, n'a géré que 4% sur ARC-AGI-2, en utilisant 200 $ de puissance de calcul par tâche.

L'introduction d'Arc-AGI-2 survient à un moment où de nombreux membres de l'industrie technologique appellent de nouveaux repères insaturés pour mesurer les progrès de l'IA. Thomas Wolf, co-fondateur de Hugging Face, a récemment déclaré à TechCrunch que l'industrie de l'IA n'avait pas suffisamment de tests pour mesurer les traits clés de l'intelligence générale artificielle, comme la créativité.

Parallèlement à la nouvelle référence, l'Arc Prize Foundation a annoncé le concours ARC Prize 2025, mettant les développeurs au défi d'atteindre une précision de 85% sur le test ARC-AGI-2 tout en dépensant seulement 0,42 $ par tâche.

Article connexe

commentaires (35)