Benchmarks de modelo de AI da Meta: enganosos?

Então, a Meta lançou seu novo modelo de IA, Maverick, no fim de semana, e ele já está causando impacto ao conquistar o segundo lugar no LM Arena. Sabe, aquele é o lugar onde humanos podem atuar como juiz e júri, comparando diferentes modelos de IA e escolhendo seus favoritos. Mas, espera aí, tem uma reviravolta! Acontece que a versão do Maverick que está se exibindo no LM Arena não é exatamente a mesma que você pode baixar e experimentar como desenvolvedor.

Alguns pesquisadores de IA com olhos de águia no X (sim, a plataforma anteriormente conhecida como Twitter) notaram que a Meta chamou a versão do LM Arena de uma "versão experimental de chat". E se você der uma espiada no site do Llama, há um gráfico que revela tudo, dizendo que os testes foram feitos com "Llama 4 Maverick otimizado para conversação". Já falamos sobre isso antes, mas o LM Arena não é exatamente o padrão ouro para medir o desempenho de IA. A maioria das empresas de IA não mexe em seus modelos só para obter uma pontuação melhor nesse teste — ou pelo menos, elas não admitem isso.

O problema é que, quando você ajusta um modelo para arrasar em um benchmark, mas depois lança uma versão "vanilla" diferente para o público, é difícil para os desenvolvedores descobrirem como o modelo realmente se sairá em cenários do mundo real. Além disso, é meio enganador, né? Benchmarks, por mais falhos que sejam, deveriam nos dar uma imagem clara do que um modelo pode ou não fazer em diferentes tarefas.

Pesquisadores no X foram rápidos em notar algumas grandes diferenças entre o Maverick que você pode baixar e o que está no LM Arena. A versão do Arena aparentemente adora emojis e gosta de dar respostas longas e prolongadas.

Okay Llama 4 is def a littled cooked lol, what is this yap city pic.twitter.com/y3GvhbVz65

— Nathan Lambert (@natolambert) 6 de abril de 2025

por algum motivo, o modelo Llama 4 no Arena usa muito mais emojis

no together.ai, parece melhor: pic.twitter.com/f74ODX4zTt

— Tech Dev Notes (@techdevnotes) 6 de abril de 2025

Entramos em contato com a Meta e com as pessoas do Chatbot Arena, que administram o LM Arena, para ver o que eles têm a dizer sobre tudo isso. Fique ligado!