Schüler schafft eine Website für AI Minecraft Build-Off-Herausforderungen

Kreatives KI -Benchmarking mit Minecraft

Da die traditionellen KI -Benchmarking -Methoden zu kurz kommen, untersuchen Entwickler innovative Ansätze, um die Fähigkeiten generativer KI -Modelle zu bewerten. Eine solche kreative Methode besteht darin, Minecraft, das beliebte Sandbox -Spiel von Microsoft, zu verwenden. Eine Gruppe von Entwicklern hat Minecraft Benchmark oder MC-Bench auf den Markt gebracht, einer Plattform, auf der KI-Modelle mit der Erstellung von Minecraft-Builds basierend auf bestimmten Eingaben konkurrieren.

Auf MC-Bench können Benutzer darüber abstimmen, welche KI-Model-Erstellung sie bevorzugen, und erst nach dem Abgeben ihrer Stimme stellen sie fest, welches Modell jedes Build gemacht hat. Dieser interaktive Ansatz engagiert nicht nur die Community, sondern bietet auch eine einzigartige Möglichkeit, KI -Fähigkeiten zu bewerten.

Adi Singh, ein 12. Klässler und Initiator von MC-Bench, ist der Ansicht, dass Minecrafts weit verbreitete Anerkennung der Schlüssel ist. Als das meistverkaufte Videospiel aller Zeiten ist es vielen bekannt und erleichtert es den Menschen, die Qualität von AI-generierten Builds zu beurteilen, auch wenn sie das Spiel selbst nicht gespielt haben. "Minecraft ermöglicht es den Menschen, den Fortschritt der KI -Entwicklung viel leichter zu sehen", erklärte Singh TechCrunch. "Die Leute sind an Minecraft gewöhnt, die an das Aussehen und die Stimmung gewöhnt sind."

MC-Bench wird von einem Team von acht freiwilligen Mitwirkenden unterstützt. Unternehmen wie Anthropic, Google, OpenAI und Alibaba haben ihre Produkte für die Ausführung von Benchmark -Eingaben zur Verfügung gestellt, obwohl sie sonst nicht an dem Projekt beteiligt sind.

Singh stellt vor, MC-Bench über einfache Gebäude hinaus auf komplexere, zielorientierte Aufgaben zu erweitern. "Spiele sind vielleicht ein Medium für Tests, das sicherer ist als im wirklichen Leben und kontrollierbarer für Testzwecke, was es in meinen Augen idealer macht", sagte er.

Andere Spiele als KI -Benchmarks

Neben Minecraft wurden andere Spiele wie Pokémon Red, Street Fighter und Pictionary als experimentelle Benchmarks für KI verwendet. Die Herausforderung des Benchmarking-KI liegt in ihrer Komplexität, da traditionelle standardisierte Tests aufgrund ihrer Trainingsmethoden häufig KI-Modelle bevorzugen, die sich in engen Problemen zur Problemlösung wie Rote-Auswendigungen oder grundlegende Extrapolation hervorheben.

Zum Beispiel, während OpenAIs GPT-4 im 88. Perzentil auf dem LSAT punkten kann, kämpft es mit einfacheren Aufgaben wie der Anzahl der Rs in "Strawberry". In ähnlicher Weise erreichte das Claude 3.7-Sonett von Anthropic bei einem Software-Engineering-Benchmark eine Genauigkeit von 62,3%, ist jedoch im Vergleich zu den meisten fünfjährigen Pokémon zu kurz.

MC-Bench: Mehr als nur ein Programmierbenchmark

Technisch gesehen ist MC-Bench ein Programmier-Benchmark, da KI-Modelle Code schreiben müssen, um Builds wie "Frosty the Snowman" oder "eine charmante tropische Strandhütte an einem unberührten Sandufer" zu erstellen. Die Attraktivität der Plattform liegt jedoch in seiner Zugänglichkeit. Für Benutzer ist es einfacher, die visuelle Qualität eines Builds zu bewerten, als Code zu analysieren, wodurch die Reichweite und das Potenzial für die Datenerfassung für die Modellleistung erweitert werden.

Die Debatte fährt fort, ob diese Ergebnisse wirklich die Nützlichkeit der KI widerspiegeln. Singh glaubt jedoch, dass sie ein starker Indikator sind. "Die aktuelle Rangliste reflektiert meine eigene Erfahrung, diese Modelle zu verwenden, ganz genau, was anders ist als viele reine Text -Benchmarks", sagte er. "Vielleicht könnte [MC-Bench] für Unternehmen nützlich sein, um zu wissen, ob sie in die richtige Richtung gehen."