Debatten über AI -Benchmarking haben Pokémon erreicht

Selbst die geliebte Welt von Pokémon ist nicht immun gegen das Drama rund um KI-Benchmarks. Ein kürzlich viral gegangener Beitrag auf X sorgte für ziemlichen Aufruhr und behauptete, dass Googles neuestes Gemini-Modell das führende Claude-Modell von Anthropic in der klassischen Pokémon-Videospiel-Trilogie überholt habe. Laut dem Beitrag hatte Gemini beeindruckend Lavendelstadt in einem Entwickler-Twitch-Stream erreicht, während Claude Ende Februar noch am Mondberg hinterherhinkte.

Gemini ist derzeit in Pokémon vor Claude, nachdem es Lavendelstadt erreicht hat

Nur 119 Live-Zuschauer übrigens, unglaublich unterschätzter Stream pic.twitter.com/8AvSovAI4x

— Jush (@Jush21e8) 10. April 2025

Was dieser Beitrag jedoch bequem ausließ, war die Tatsache, dass Gemini einen kleinen unfairen Vorteil hatte. Schlaue Nutzer auf Reddit wiesen schnell darauf hin, dass der Entwickler hinter dem Gemini-Stream eine benutzerdefinierte Minikarte erstellt hatte. Dieses praktische Werkzeug hilft dem Modell, „Kacheln“ im Spiel, wie z. B. schneidbare Bäume, zu erkennen, was die Zeit, die Gemini für die Analyse von Screenshots benötigt, bevor es den nächsten Zug entscheidet, erheblich verkürzt.

Nun, Pokémon mag nicht der ernsthafteste KI-Benchmark sein, aber es dient als unterhaltsames und dennoch aufschlussreiches Beispiel dafür, wie unterschiedliche Setups die Ergebnisse dieser Tests verzerren können. Nehmen wir zum Beispiel das neueste Modell von Anthropic, Anthropic 3.7 Sonnet. Auf dem SWE-bench Verified Benchmark, der Programmierfähigkeiten testen soll, erzielte es eine Genauigkeit von 62,3 %. Mit einem „benutzerdefinierten Gerüst“, das Anthropic entwickelt hat, sprang dieser Wert auf 70,3 %.

Und damit nicht genug. Meta nahm eines seiner neueren Modelle, Llama 4 Maverick, und optimierte es speziell für den LM Arena Benchmark. Die Standardversion des Modells schnitt bei demselben Test bei weitem nicht so gut ab.

Angesichts der Tatsache, dass KI-Benchmarks, einschließlich unseres freundlichen Pokémon-Beispiels, bereits etwas unzuverlässig sind, machen diese benutzerdefinierten Anpassungen und nicht standardisierten Ansätze den Vergleich zwischen Modellen, die auf den Markt kommen, noch schwieriger. Es scheint, als würde es immer schwieriger, Äpfel mit Äpfeln zu vergleichen.