Debatten über AI -Benchmarking haben Pokémon erreicht

Sogar die geliebte Welt von Pokémon ist nicht immun gegen das Drama, das KI -Benchmarks umgibt. Ein aktueller viraler Beitrag auf X war ein wesentlicher Bestand, und behauptete, dass Googles neuestes Gemini -Modell das führende Claude -Modell von Anthropic in der klassischen Pokémon -Videospiel -Trilogie übertroffen habe. Laut dem Posten hatte Gemini es beeindruckend in Lavender Town in einem Entwickler -Twitch -Bach geschafft, während Claude Ende Februar auf dem Mount Moon zurückgeblieben war.

Gemini ist buchstäblich vor Claude ATM in Pokemon, nachdem er Lavendelstadt erreicht hatte

119 Live -Aufrufe nur übrigens, unglaublich unterschätzte Stream pic.twitter.com/8avsovai4x

- JUSH (@JUSH21E8) 10. April 2025

Was dieser Beitrag jedoch bequem ausgelassen hat, war die Tatsache, dass Gemini einen etwas unfairen Vorteil hatte. Savvy -Benutzer bei Reddit wiesen schnell darauf hin, dass der Entwickler hinter dem Gemini -Stream eine benutzerdefinierte Minimap erstellt habe. Dieses raffinierte Tool fördert das Modell bei der Erkennung von "Fliesen" im Spiel, wie z. B. Cuttable -Bäume, was die Zeit, die Gemini benötigt, um Screenshots zu analysieren, erheblich verkürzt, bevor er sich für den nächsten Schritt entscheidet.

Während Pokémon vielleicht nicht der schwerwiegendste KI -Benchmark da draußen ist, dient es als lustiges, aber aussagekräftiges Beispiel dafür, wie unterschiedliche Setups die Ergebnisse dieser Tests verzerren können. Nehmen Sie beispielsweise Anthropics aktuelles Modell Anthropic 3.7 Sonett. Auf dem verifizierten Benchmark der SWE-Bench, der Codierungskenntnisse testen soll, erzielte sie eine Genauigkeit von 62,3%. Aber mit einem "benutzerdefinierten Gerüst", das anthropisch aufpeitschte, stieg diese Punktzahl auf 70,3%.

Und es hört hier nicht auf. Meta nahm eines seiner neueren Models, Lama 4 Maverick, und fand es speziell für die LM Arena Benchmark. Die Vanilleversion des Modells färbte sich bei demselben Test nicht annähernd so gut.

Angesichts der Tatsache, dass KI-Benchmarks, einschließlich unseres freundlichen Pokémon-Beispiels, bereits ein bisschen Hit-or-Miss sind, machen diese benutzerdefinierten Optimierungen und nicht standardmäßigen Ansätze es einfach noch schwieriger, sinnvolle Vergleiche zwischen Modellen zu ziehen, wenn sie auf den Markt kommen. Es scheint, als würde der Vergleich von Äpfeln mit Äpfeln von Tag zu Tag schwieriger werden.