Nvidia domina os benchmarks de IA, mas a Intel oferece uma competição significativa

A última rodada de benchmarks de velocidade de treinamento de redes neurais, lançada na terça-feira pelo consórcio da indústria MLCommons, coroou mais uma vez a Nvidia como a melhor desempenhadora em todas as categorias nos testes MLPerf. Com concorrentes importantes como Google, Graphcore e Advanced Micro Devices fora desta rodada, a vitória da Nvidia foi total e incontestada.

No entanto, a divisão Habana da Intel teve um desempenho significativo com seu chip Guadi2, sinalizando uma vantagem competitiva. A Intel prometeu ousadamente superar o GPU carro-chefe H100 da Nvidia até este outono.

O benchmark MLPerf Training versão 3.0 foca no tempo necessário para ajustar os "pesos" ou parâmetros de uma rede neural para alcançar um nível de precisão definido para uma tarefa específica, um processo conhecido como "treinamento". Esta versão do teste abrange oito tarefas diferentes, medindo a duração necessária para refinar uma rede neural por meio de múltiplos experimentos. Este é um aspecto do desempenho de redes neurais, sendo o outro a "inferência", onde a rede treinada faz previsões sobre novos dados. O desempenho de inferência é avaliado separadamente pela MLCommons.

Além do treinamento baseado em servidores, a MLCommons introduziu o benchmark MLPerf Tiny versão 1.1, que avalia o desempenho em dispositivos de ultra-baixa potência para realizar previsões.

A Nvidia liderou o grupo em todos os oito testes, alcançando os tempos de treinamento mais rápidos. Duas novas tarefas foram introduzidas, incluindo uma para o modelo de linguagem grande GPT-3 da OpenAI (LLM). A frenzy em torno da IA generativa, desencadeada pela popularidade do ChatGPT, tornou isso um ponto focal. A Nvidia, em colaboração com a CoreWeave, liderou na tarefa GPT-3, utilizando um sistema equipado com 896 processadores Intel Xeon e 3.584 GPUs Nvidia H100. Essa configuração, rodando no framework NeMO da Nvidia, conseguiu treinar usando o conjunto de dados Colossal Cleaned Common Crawl em pouco menos de onze minutos. O teste usou uma versão "grande" do GPT-3 com 175 bilhões de parâmetros, limitada a 0,4% do conjunto de treinamento completo para manter o tempo de execução gerenciável.

Outra novidade foi uma versão expandida do teste de motores de recomendação, agora usando um conjunto de dados maior, de quatro terabytes, chamado Criteo 4TB multi-hot, substituindo o conjunto de dados obsoleto de um terabyte. A MLCommons observou a crescente escala dos modelos de recomendação em produção em termos de tamanho, poder computacional e operações de memória.

O único outro concorrente no espaço de chips de IA foi a Habana da Intel, que apresentou cinco submissões usando seu acelerador Gaudi2 e uma da SuperMicro utilizando o mesmo chip. Essas entradas cobriram quatro das oito tarefas, mas ficaram significativamente atrás dos melhores sistemas da Nvidia. Por exemplo, no teste BERT Wikipedia, a Habana ficou em quinto lugar, levando dois minutos em comparação com os oito segundos da Nvidia-CoreWeave com uma configuração de 3.072 GPUs.

No entanto, Jordan Plawner, chefe de produtos de IA da Intel, destacou em uma entrevista ao ZDNET que, para sistemas de escala semelhante, a diferença de desempenho entre a Habana e a Nvidia pode não ser tão crítica para muitas empresas. Ele apontou que um sistema Habana de 8 dispositivos com dois processadores Intel Xeon completou a tarefa BERT Wikipedia em pouco mais de 14 minutos, superando várias submissões com mais GPUs Nvidia A100.

Plawner enfatizou a relação custo-benefício do Gaudi2, com preço comparável ao A100 da Nvidia, mas oferecendo melhor valor para o treinamento. Ele também mencionou que, enquanto a Nvidia usou um formato de dados FP-8 em suas submissões, a Habana usou um formato BF-16, que, apesar de sua maior precisão, desacelera ligeiramente o treinamento. Plawner prevê que a mudança para o FP-8 ainda este ano aumentará o desempenho do Gaudi2, potencialmente superando o H100 da Nvidia.

Ele destacou a necessidade de uma alternativa à Nvidia, especialmente diante das atuais restrições de fornecimento das GPUs da Nvidia. Clientes, frustrados com atrasos, estão cada vez mais abertos a alternativas como o Gaudi2, que poderiam permitir o lançamento de serviços sem esperar pelas peças da Nvidia.

A posição da Intel como o segundo maior fabricante de chips do mundo, depois da Taiwan Semiconductor, dá a ela uma vantagem estratégica no controle de sua cadeia de suprimentos. Plawner sugeriu os planos da Intel de construir um cluster de milhares de Gaudi2, indicando um potencial forte concorrente em futuros testes MLPerf.

Este é o segundo trimestre consecutivo em que nenhum outro fabricante de chips desafiou a posição de liderança da Nvidia nos testes de treinamento. Há um ano, o Google compartilhava o primeiro lugar com a Nvidia usando seu TPU, mas tanto o Google quanto a Graphcore estiveram ausentes da última rodada, focando em seus negócios em vez de competições de benchmark.

O diretor da MLCommons, David Kanter, expressou o desejo por mais participantes, observando que um maior envolvimento beneficia a indústria. Google e AMD não responderam a perguntas sobre sua ausência nesta rodada. Curiosamente, enquanto as CPUs da AMD foram usadas em sistemas concorrentes, todas as configurações vencedoras da Nvidia utilizaram CPUs Intel Xeon, sinalizando uma mudança em relação ao domínio do ano anterior pelas CPUs EPYC da AMD com o lançamento do Sapphire Rapids da Intel.

Apesar da falta de participação de alguns grandes nomes, os testes MLPerf continuam a atrair novos participantes, incluindo CoreWeave, IEI e Quanta Cloud Technology, mostrando o interesse contínuo e a competição no campo do desempenho de chips de IA.