Benchmarks de modelo de AI da Meta: enganosos?

Então, a Meta lançou seu novo modelo de IA, Maverick, no fim de semana, e já está fazendo ondas conseguindo o segundo lugar na LM Arena. Você sabe, esse é o lugar onde os humanos interpretam o juiz e o júri, comparando diferentes modelos de IA e escolhendo seus favoritos. Mas, aguente, há uma reviravolta! Acontece que a versão do Maverick que se destaca na LM Arena não é exatamente a mesma daquele que você pode baixar e jogar como desenvolvedor.

Alguns pesquisadores de IA de olhos de águia sobre X (sim, a plataforma anteriormente conhecida como Twitter) avistaram que a Meta chamou a versão da LM Arena de "versão experimental de bate-papo". E se você espiar no site da LLAMA, há um gráfico que derrama o feijão, dizendo que o teste foi feito com "Llama 4 Maverick otimizado para conversacionalidade". Agora, já conversamos sobre isso antes, mas a LM Arena não é exatamente o padrão -ouro para medir o desempenho da IA. A maioria das empresas de IA não mexe com seus modelos apenas para marcar melhor neste teste - ou pelo menos, não admitem.

O problema é que, quando você ajusta um modelo para aceitar uma referência, mas, em seguida, libera uma versão diferente "Vanilla" para o público, é difícil para os desenvolvedores descobrirem bem o bem o modelo em cenários do mundo real. Além disso, é meio enganador, certo? Os benchmarks, por mais falhos que sejam, devem nos dar uma imagem clara do que um modelo pode e não pode fazer em diferentes tarefas.

Os pesquisadores do X foram rápidos em notar algumas grandes diferenças entre o Maverick que você pode baixar e o da LM Arena. Aparentemente, a versão da arena é sobre emojis e adora dar a você respostas longas e prolongadas.

Ok llama 4 é def um cozido lol, o que é essa cidade yap pic.twitter.com/y3gvhbvz65

- Nathan Lambert (@natolambert) 6 de abril de 2025

Por alguma razão, o modelo Llama 4 em arena usa muito mais emojis

juntos. Ai, parece melhor: pic.twitter.com/f74odx4ztt

- Tech Dev Notes (@techdevnotes) 6 de abril de 2025

Entramos em contato com a Meta e o pessoal da Chatbot Arena, que administra a LM Arena, para ver o que eles têm a dizer sobre tudo isso. Fique atento!