Nvidia domina os benchmarks da Gen AI, superando dois chips rivais da AI

Os chips de GPU de uso geral da NVIDIA dominaram mais uma vez um dos benchmarks mais amplamente reconhecidos para avaliar o desempenho dos chips em inteligência artificial, desta vez focando aplicativos generativos de IA, como modelos de linguagem grandes (LLMs). A competição foi relativamente unilateral.

Sistemas da Supermicro, Hewlett Packard Enterprise, Lenovo e outras empresas, cada uma equipada com até oito chips da NVIDIA, garantiram a maioria dos principais pontos no teste de benchmark MLPerf organizado pelo MLCommons, um consórcio da indústria. Este teste, que mede a velocidade na qual as máquinas podem produzir tokens, processar consultas ou amostras de dados de saída-conhecidas como inferência de IA-foi a quinta em uma série de benchmarks de fabricação de previsão que foram realizados ao longo dos anos.

Essa última iteração do benchmark MLPerf incluiu novos testes adaptados a tarefas generativas comuns de IA. Um teste avaliou o desempenho dos chips no LLM de código aberto da Meta, LLAMA 3.1 405B, um modelo substancial amplamente utilizado no campo. Outro teste introduziu uma versão interativa da menor llama 2 70B da Meta, projetada para simular interações com chatbot, onde o tempo de resposta é crucial. Este teste mede especificamente a rapidez com que o sistema pode gerar o primeiro token da saída, refletindo a necessidade de respostas rápidas aos prompts do usuário.

Um terceiro novo teste avaliou a velocidade do processamento de redes neurais gráficas, que lidam com relacionamentos complexos entre entidades, como as de uma rede social. These networks have become increasingly vital in generative AI, exemplified by Google's DeepMind unit's use of graph nets in its AlphaFold 2 model, which made significant strides in protein-folding predictions in 2021. Additionally, a fourth test gauged the speed at which LiDAR sensing data can be compiled into an automobile's road map, using a custom neural net developed by MLCommons from existing open-source technologies.

A competição MLPerf envolve computadores construídos por Lenovo, HPE e outros, aderindo a requisitos rigorosos para a precisão das saídas da rede neural. Cada sistema relata sua velocidade máxima na produção de saída por segundo, com alguns benchmarks medindo a latência média ou o tempo necessário para que uma resposta volte do servidor.

As GPUs da NVIDIA se destacaram em quase todos os testes da divisão fechada, onde as regras de configuração do software são as mais rigorosas.

No entanto, a AMD, com sua GPU MI300X, reivindicou a pontuação máxima em dois testes LLAMA 2 70B, alcançando 103.182 tokens por segundo, o que foi significativamente melhor que o novo Blackwell GPU da Nvidia. Esse sistema AMD vencedor foi montado pelo Mangoboost, uma startup especializada em cartões de plug-in que aprimoram a transferência de dados entre os racks da GPU e o LLMBOOST, seu software projetado para melhorar o desempenho generativo da IA.

A NVIDIA contestou a comparação dos resultados da AMD com suas pontuações em Blackwell, apontando a necessidade de ajustar o número de chips e "nós" do computador usados ​​em cada sistema. Dave Salvator, diretor de produtos de computação acelerado da Nvidia, enfatizada em um email para o ZDNET:

"Os resultados de Mangoboost não refletem uma comparação precisa de desempenho com os resultados da NVIDIA. O teste da AMD aplicou 4x o número de GPUs - 32 mi300x GPUs - contra 8 nVidia B200S, mas ainda conseguiu um submissão de 3,83% mais alto do que o NVIDIMED. GPUs na lhama 2 70B Server Submission. "

O Google também entrou na competição, mostrando seu chip Trillium, a sexta iteração de sua unidade interna de processamento de tensores (TPU). No entanto, ficou significativamente para trás, para trás da Blackwell da Nvidia, em um teste, medindo a velocidade de resposta da consulta para o teste de geração de imagem estável de difusão.

Os últimos benchmarks do MLPERF viram menos concorrentes desafiando a NVIDIA em comparação com as rodadas anteriores. Notavelmente ausentes foram as submissões da Unidade Habana da Intel e da Qualcomm, ambas participaram dos últimos anos.

Apesar disso, a Intel tinha motivos para comemorar. Na divisão fechada do datacenter, o microprocessador Xeon da Intel foi alimentado sete dos 11 principais sistemas, superando o microprocessador do servidor EPYC da AMD, que garantiu apenas três vitórias. Isso marca uma melhoria para a Intel em comparação com os anos anteriores.

O 11º sistema de melhor desempenho, encarregado de processar o META da LLAMA 3.1 405B da Meta, foi construído pela NVIDIA sem usar um microprocessador Intel ou AMD. Em vez disso, utilizou o chip integrado Grace-Blackwell 200, combinando a GPU Blackwell da NVIDIA com seu próprio microprocessador GRACE em um único pacote.