Les débats sur l'analyse comparative de l'IA ont atteint Pokémon

Même le monde adoré de Pokémon n'est pas à l'abri du drame entourant les benchmarks d'IA. Un récent post viral sur X a suscité un vif engouement, affirmant que le dernier modèle Gemini de Google avait surpassé le modèle Claude d'Anthropic dans la trilogie classique des jeux vidéo Pokémon. Selon le post, Gemini avait impressionnamment atteint Lavande dans un stream Twitch d'un développeur, tandis que Claude était à la traîne à la Mont Sélénite fin février.

Gemini est littéralement devant Claude en ce moment dans Pokémon après avoir atteint Lavande

119 vues en direct seulement d'ailleurs, stream incroyablement sous-estimé pic.twitter.com/8AvSovAI4x

— Jush (@Jush21e8) 10 avril 2025

Cependant, ce que ce post a commodément omis, c'est le fait que Gemini avait un léger avantage injuste. Des utilisateurs avisés sur Reddit ont rapidement souligné que le développeur derrière le stream Gemini avait créé une minimap personnalisée. Cet outil astucieux aide le modèle à reconnaître les "tuiles" dans le jeu, comme les arbres coupables, ce qui réduit considérablement le temps dont Gemini a besoin pour analyser les captures d'écran avant de décider de son prochain mouvement.

Maintenant, bien que Pokémon ne soit pas le benchmark d'IA le plus sérieux qui soit, il constitue un exemple amusant mais révélateur de la manière dont différentes configurations peuvent fausser les résultats de ces tests. Prenons par exemple le récent modèle d'Anthropic, Anthropic 3.7 Sonnet. Sur le benchmark SWE-bench Verified, destiné à tester les compétences en codage, il a obtenu une précision de 62,3 %. Mais, avec un "échafaudage personnalisé" qu'Anthropic a conçu, ce score a bondi à 70,3 %.

Et cela ne s'arrête pas là. Meta a pris l'un de ses nouveaux modèles, Llama 4 Maverick, et l'a affiné spécifiquement pour le benchmark LM Arena. La version de base du modèle n'a pas obtenu de résultats aussi bons sur le même test.

Étant donné que les benchmarks d'IA, y compris notre sympathique exemple Pokémon, sont déjà quelque peu aléatoires, ces ajustements personnalisés et ces approches non standardisées rendent encore plus difficile la comparaison significative entre les modèles lorsqu'ils arrivent sur le marché. Il semble que comparer des pommes avec des pommes devient de plus en plus compliqué chaque jour.