Los debates sobre la evaluación comparativa de IA han llegado a Pokémon

Incluso el amado mundo de Pokémon no es inmune al drama que rodea los puntos de referencia de IA. Una reciente publicación viral en X generó bastante revuelo, afirmando que el último modelo Gemini de Google había superado al modelo líder Claude de Anthropic en la clásica trilogía de videojuegos de Pokémon. Según la publicación, Gemini había llegado impresionantemente a Pueblo Lavanda en una transmisión de Twitch de un desarrollador, mientras que Claude se quedaba atrás en Monte Luna a finales de febrero.

Gemini está literalmente por delante de Claude en este momento en Pokémon tras llegar a Pueblo Lavanda

Solo 119 espectadores en vivo, por cierto, una transmisión increíblemente subestimada pic.twitter.com/8AvSovAI4x

— Jush (@Jush21e8) 10 de abril de 2025

Sin embargo, lo que esta publicación omitió convenientemente fue el hecho de que Gemini tenía una ventaja algo injusta. Usuarios astutos en Reddit señalaron rápidamente que el desarrollador detrás de la transmisión de Gemini había creado un minimapa personalizado. Esta ingeniosa herramienta ayuda al modelo a reconocer "tiles" en el juego, como árboles cortables, lo que reduce significativamente el tiempo que Gemini necesita para analizar capturas de pantalla antes de decidir su próximo movimiento.

Ahora, aunque Pokémon no sea el punto de referencia de IA más serio que existe, sirve como un ejemplo divertido pero revelador de cómo diferentes configuraciones pueden sesgar los resultados de estas pruebas. Tomemos, por ejemplo, el reciente modelo de Anthropic, Anthropic 3.7 Sonnet. En el punto de referencia SWE-bench Verified, que está destinado a probar la destreza en codificación, obtuvo una precisión del 62.3%. Pero, con un "andamiaje personalizado" que Anthropic diseñó, esa puntuación saltó al 70.3%.

Y no termina ahí. Meta tomó uno de sus modelos más nuevos, Llama 4 Maverick, y lo ajustó específicamente para el punto de referencia LM Arena. La versión básica del modelo no tuvo un desempeño tan bueno en la misma prueba.

Dado que los puntos de referencia de IA, incluyendo nuestro amigable ejemplo de Pokémon, ya son algo impredecibles, estos ajustes personalizados y enfoques no estándar solo hacen que sea aún más complicado realizar comparaciones significativas entre modelos a medida que llegan al mercado. Parece que comparar manzanas con manzanas se está volviendo más difícil cada día.