Schüler schafft eine Website für AI Minecraft Build-Off-Herausforderungen

Kreatives KI-Benchmarking mit Minecraft

Da traditionelle KI-Benchmarking-Methoden nicht ausreichen, erkunden Entwickler innovative Ansätze, um die Leistungsfähigkeit generativer KI-Modelle zu bewerten. Eine solche kreative Methode nutzt Minecraft, das beliebte Sandbox-Spiel von Microsoft. Eine Gruppe von Entwicklern hat Minecraft Benchmark, oder MC-Bench, ins Leben gerufen, eine Plattform, auf der KI-Modelle in Wettbewerben antreten, um Minecraft-Bauten basierend auf vorgegebenen Aufgaben zu erstellen.

Auf MC-Bench können Nutzer abstimmen, welche Kreation eines KI-Modells ihnen besser gefällt, und erst nach ihrer Abstimmung erfahren sie, welches Modell welchen Bau erstellt hat. Dieser interaktive Ansatz bindet nicht nur die Gemeinschaft ein, sondern bietet auch eine einzigartige Möglichkeit, KI-Fähigkeiten zu bewerten.

Adi Singh, ein Schüler der 12. Klasse und Initiator von MC-Bench, glaubt, dass die weitreichende Bekanntheit von Minecraft entscheidend ist. Als meistverkauftes Videospiel aller Zeiten ist es vielen vertraut, was es Menschen erleichtert, die Qualität von KI-generierten Bauten zu beurteilen, selbst wenn sie das Spiel nicht selbst gespielt haben. „Minecraft ermöglicht es den Menschen, den Fortschritt [der KI-Entwicklung] viel einfacher zu sehen“, erklärte Singh gegenüber TechCrunch. „Die Menschen sind an Minecraft gewöhnt, an das Aussehen und die Atmosphäre.“

MC-Bench wird von einem Team aus acht freiwilligen Mitwirkenden unterstützt. Unternehmen wie Anthropic, Google, OpenAI und Alibaba haben ihre Produkte für die Durchführung von Benchmark-Aufgaben bereitgestellt, sind aber ansonsten nicht am Projekt beteiligt.

Singh plant, MC-Bench über einfache Bauten hinaus auf komplexere, zielorientierte Aufgaben auszuweiten. „Spiele könnten ein Medium sein, um agentisches Denken zu testen, das sicherer ist als im echten Leben und besser kontrollierbar für Testzwecke, was es in meinen Augen idealer macht“, sagte er.

Weitere Spiele als KI-Benchmarks

Neben Minecraft wurden auch andere Spiele wie Pokémon Red, Street Fighter und Pictionary als experimentelle Benchmarks für KI genutzt. Die Herausforderung beim Benchmarking von KI liegt in ihrer Komplexität, da traditionelle standardisierte Tests oft KI-Modelle begünstigen, die aufgrund ihrer Trainingsmethoden in engen Problemlösungsbereichen wie Auswendiglernen oder einfacher Extrapolation glänzen.

Zum Beispiel kann OpenAI's GPT-4 im LSAT in der 88. Perzentile punkten, hat aber Schwierigkeiten mit einfacheren Aufgaben wie dem Zählen der Rs in „strawberry“. Ähnlich erreichte Anthropic's Claude 3.7 Sonnet eine Genauigkeit von 62,3 % bei einem Software-Engineering-Benchmark, scheitert aber beim Spielen von Pokémon im Vergleich zu den meisten Fünfjährigen.

MC-Bench: Mehr als nur ein Programmier-Benchmark

Technisch gesehen ist MC-Bench ein Programmier-Benchmark, da es von KI-Modellen verlangt, Code zu schreiben, um Bauten wie „Frosty der Schneemann“ oder „eine charmante tropische Strandhütte an einem unberührten Sandstrand“ zu erstellen. Der Reiz der Plattform liegt jedoch in ihrer Zugänglichkeit. Es ist für Nutzer einfacher, die visuelle Qualität eines Baus zu bewerten, als Code zu analysieren, was die Reichweite des Projekts und das Potenzial für die Datensammlung zur Modellleistung erweitert.

Die Debatte darüber, ob diese Bewertungen die tatsächliche Nützlichkeit von KI widerspiegeln, geht weiter. Singh glaubt jedoch, dass sie ein starker Indikator sind. „Die aktuelle Rangliste spiegelt meine eigene Erfahrung mit der Nutzung dieser Modelle ziemlich genau wider, was bei vielen reinen Text-Benchmarks nicht der Fall ist“, sagte er. „Vielleicht könnte [MC-Bench] für Unternehmen nützlich sein, um zu wissen, ob sie in die richtige Richtung gehen.“