Debates sobre o benchmarking da IA ​​chegaram a Pokémon

Mesmo o amado mundo de Pokémon não está imune ao drama envolvendo benchmarks de IA. Um post viral recente no X causou bastante alvoroço, alegando que o mais recente modelo Gemini do Google superou o modelo Claude líder da Anthropic na trilogia clássica de videogame Pokémon. Segundo o post, o Gemini chegou impressionantemente a Lavender Town em uma transmissão na Twitch de um desenvolvedor, enquanto o Claude estava atrasado em Mount Moon até o final de fevereiro.

O Gemini está literalmente à frente do Claude no momento em Pokémon após chegar a Lavender Town

Apenas 119 visualizações ao vivo, por sinal, uma transmissão incrivelmente subestimada pic.twitter.com/8AvSovAI4x

— Jush (@Jush21e8) 10 de abril de 2025

No entanto, o que este post convenientemente omitiu foi o fato de que o Gemini tinha uma pequena vantagem injusta. Usuários atentos no Reddit rapidamente apontaram que o desenvolvedor por trás da transmissão do Gemini criou um minimapa personalizado. Essa ferramenta útil auxilia o modelo a reconhecer "tiles" no jogo, como árvores cortáveis, o que reduz significativamente o tempo que o Gemini precisa gastar analisando capturas de tela antes de decidir seu próximo movimento.

Agora, embora Pokémon possa não ser o benchmark de IA mais sério por aí, ele serve como um exemplo divertido, porém revelador, de como diferentes configurações podem distorcer os resultados desses testes. Tome como exemplo o recente modelo da Anthropic, Anthropic 3.7 Sonnet. No benchmark SWE-bench Verified, que testa habilidades de codificação, ele obteve 62,3% de precisão. Mas, com um "scaffold personalizado" que a Anthropic desenvolveu, essa pontuação subiu para 70,3%.

E não para por aí. A Meta pegou um de seus modelos mais novos, Llama 4 Maverick, e o ajustou especificamente para o benchmark LM Arena. A versão padrão do modelo não teve um desempenho tão bom no mesmo teste.

Dado que os benchmarks de IA, incluindo nosso amigável exemplo de Pokémon, já são um pouco incertos, esses ajustes personalizados e abordagens não padronizadas tornam ainda mais difícil fazer comparações significativas entre modelos à medida que chegam ao mercado. Parece que comparar maçãs com maçãs está ficando mais difícil a cada dia.