Nvidia domina os benchmarks da Gen AI, superando dois chips rivais da AI

Os chips GPU de uso geral da Nvidia dominaram mais uma vez um dos benchmarks mais reconhecidos para avaliar o desempenho de chips em inteligência artificial, desta vez com foco em aplicações de IA generativa, como modelos de linguagem de grande escala (LLMs). A competição foi relativamente unilateral.

Sistemas da SuperMicro, Hewlett Packard Enterprise, Lenovo e outras empresas, cada um equipado com até oito chips Nvidia, conquistaram a maioria das primeiras posições no teste de benchmark MLPerf organizado pelo MLCommons, um consórcio da indústria. Este teste, que mede a velocidade com que as máquinas podem produzir tokens, processar consultas ou gerar amostras de dados — conhecido como inferência de IA — foi o quinto em uma série de benchmarks de previsão realizados ao longo dos anos.

Esta última iteração do benchmark MLPerf incluiu novos testes adaptados a tarefas comuns de IA generativa. Um teste avaliou o desempenho dos chips no LLM de código aberto da Meta, Llama 3.1 405b, um modelo substancial amplamente utilizado no campo. Outro teste introduziu uma versão interativa do Llama 2 70b, menor, da Meta, projetada para simular interações de chatbot onde o tempo de resposta é crucial. Este teste mede especificamente quão rápido o sistema pode gerar o primeiro token de saída, refletindo a necessidade de respostas rápidas aos prompts dos usuários.

Um terceiro teste novo avaliou a velocidade de processamento de redes neurais de grafos, que lidam com relações complexas entre entidades, como em uma rede social. Essas redes tornaram-se cada vez mais vitais na IA generativa, exemplificadas pelo uso de redes de grafos pela unidade DeepMind do Google em seu modelo AlphaFold 2, que fez avanços significativos em previsões de dobramento de proteínas em 2021. Além disso, um quarto teste mediu a velocidade com que os dados de sensoriamento LiDAR podem ser compilados em um mapa rodoviário de um automóvel, usando uma rede neural personalizada desenvolvida pelo MLCommons a partir de tecnologias de código aberto existentes.

A competição MLPerf envolve computadores construídos por Lenovo, HPE e outros, aderindo a requisitos rigorosos para a precisão das saídas das redes neurais. Cada sistema relata sua velocidade máxima na produção de saída por segundo, com alguns benchmarks medindo a latência média, ou o tempo levado para uma resposta retornar do servidor.

Os GPUs da Nvidia se destacaram em quase todos os testes na divisão fechada, onde as regras de configuração de software são as mais rigorosas.

No entanto, a AMD, com seu GPU MI300X, conquistou a pontuação mais alta em dois testes do Llama 2 70b, alcançando 103.182 tokens por segundo, o que foi significativamente melhor do que o GPU Blackwell mais recente da Nvidia. Este sistema AMD vencedor foi montado pela MangoBoost, uma startup especializada em placas plug-in que aprimoram a transferência de dados entre racks de GPU, e LLMboost, seu software projetado para melhorar o desempenho da IA generativa.

A Nvidia contestou a comparação dos resultados da AMD com seus scores Blackwell, apontando a necessidade de ajustar pelo número de chips e "nós" de computador usados em cada sistema. Dave Salvator, diretor de produtos de computação acelerada da Nvidia, enfatizou em um e-mail para a ZDNET:

"Os resultados da MangoBoost não refletem uma comparação de desempenho precisa contra os resultados da NVIDIA. Os testes da AMD aplicaram 4X o número de GPUs – 32 MI300X GPUs – contra 8 NVIDIA B200s, mas ainda assim só alcançaram um resultado 3,83% maior do que a submissão da NVIDIA. A submissão 8x B200 da NVIDIA na verdade superou os x32 AMD MI300X GPUs da MangoBoost na submissão de servidor do Llama 2 70B."

O Google também participou da competição, exibindo seu chip Trillium, a sexta iteração de sua Unidade de Processamento de Tensores (TPU) interna. No entanto, ele ficou significativamente atrás do Blackwell da Nvidia em um teste que mediu a velocidade de resposta a consultas para o teste de geração de imagens Stable Diffusion.

Os últimos benchmarks MLPerf tiveram menos concorrentes desafiando a Nvidia em comparação com rodadas anteriores. Notavelmente ausentes estavam as submissões da unidade Habana da Intel e da Qualcomm, ambas participantes em anos anteriores.

Apesar disso, a Intel teve motivos para comemorar. Na divisão fechada de datacenter, o microprocessador Xeon da Intel alimentou sete dos 11 sistemas principais, superando o microprocessador de servidor EPYC da AMD, que obteve apenas três vitórias. Isso marca uma melhoria para a Intel em comparação com anos anteriores.

O 11º sistema de melhor desempenho, encarregado de processar o massivo Llama 3.1 405b da Meta, foi construído pela Nvidia sem usar um microprocessador Intel ou AMD. Em vez disso, utilizou o chip integrado Grace-Blackwell 200, combinando o GPU Blackwell da Nvidia com seu próprio microprocessador Grace em um único pacote.