Les élèves du secondaire crée un site Web pour les défis de construction de l'AI Minecraft

Benchmarking de l'IA créative avec Minecraft

Alors que les méthodes traditionnelles de benchmarking de l'IA montrent leurs limites, les développeurs explorent des approches innovantes pour évaluer les capacités des modèles d'IA générative. L'une de ces méthodes créatives consiste à utiliser Minecraft, le jeu sandbox populaire appartenant à Microsoft. Un groupe de développeurs a lancé Minecraft Benchmark, ou MC-Bench, une plateforme où les modèles d'IA s'affrontent en créant des constructions Minecraft basées sur des prompts donnés.

Sur MC-Bench, les utilisateurs peuvent voter pour la création de modèle d'IA qu'ils préfèrent, et ce n'est qu'après avoir voté qu'ils découvrent quel modèle a réalisé chaque construction. Cette approche interactive engage non seulement la communauté, mais offre également une manière unique d'évaluer les capacités de l'IA.

Adi Singh, lycéen en terminale et initiateur de MC-Bench, estime que la reconnaissance mondiale de Minecraft est essentielle. En tant que jeu vidéo le plus vendu de tous les temps, il est familier à beaucoup, ce qui facilite l'évaluation de la qualité des constructions générées par l'IA, même pour ceux qui n'ont jamais joué au jeu. « Minecraft permet aux gens de voir les progrès [du développement de l'IA] beaucoup plus facilement », a expliqué Singh à TechCrunch. « Les gens sont habitués à Minecraft, à son apparence et à son ambiance. »

MC-Bench est soutenu par une équipe de huit contributeurs bénévoles. Des entreprises comme Anthropic, Google, OpenAI et Alibaba ont fourni leurs produits pour exécuter des prompts de benchmarking, bien qu'elles ne soient pas autrement impliquées dans le projet.

Singh envisage d'élargir MC-Bench au-delà des constructions simples pour inclure des tâches plus complexes et orientées vers des objectifs. « Les jeux pourraient être un moyen de tester le raisonnement agentique, plus sûr qu'en conditions réelles et plus contrôlable à des fins de test, ce qui le rend plus idéal à mes yeux », a-t-il déclaré.

Autres jeux comme benchmarks pour l'IA

Outre Minecraft, d'autres jeux comme Pokémon Red, Street Fighter et Pictionary ont été utilisés comme benchmarks expérimentaux pour l'IA. Le défi du benchmarking de l'IA réside dans sa complexité, car les tests standardisés traditionnels favorisent souvent les modèles d'IA en raison de leurs méthodes d'entraînement, qui excellent dans des domaines de résolution de problèmes spécifiques comme la mémorisation par cœur ou l'extrapolation de base.

Par exemple, alors que GPT-4 d'OpenAI peut atteindre le 88e centile au LSAT, il a du mal avec des tâches plus simples comme compter le nombre de R dans « strawberry ». De même, Claude 3.7 Sonnet d'Anthropic a obtenu une précision de 62,3 % sur un benchmark d'ingénierie logicielle, mais est moins performant que la plupart des enfants de cinq ans pour jouer à Pokémon.

MC-Bench : Plus qu'un simple benchmark de programmation

Techniquement, MC-Bench est un benchmark de programmation, car il exige que les modèles d'IA écrivent du code pour créer des constructions comme « Frosty le bonhomme de neige » ou « une charmante cabane de plage tropicale sur une côte de sable immaculée ». Cependant, l'attrait de la plateforme réside dans son accessibilité. Il est plus facile pour les utilisateurs d'évaluer la qualité visuelle d'une construction que d'analyser du code, ce qui élargit la portée du projet et son potentiel pour la collecte de données sur les performances des modèles.

Le débat se poursuit sur la question de savoir si ces scores reflètent véritablement l'utilité de l'IA. Singh, cependant, pense qu'ils sont un indicateur solide. « Le classement actuel reflète assez fidèlement ma propre expérience d'utilisation de ces modèles, ce qui est différent de nombreux benchmarks purement textuels », a-t-il déclaré. « Peut-être que [MC-Bench] pourrait être utile aux entreprises pour savoir si elles vont dans la bonne direction. »