Nvidia domina los puntos de referencia de IA, pero Intel ofrece una competencia significativa

La última ronda de pruebas de velocidad de entrenamiento de redes neuronales, publicada el martes por el consorcio industrial MLCommons, coronó una vez más a Nvidia como el mejor desempeño en todas las categorías de las pruebas MLPerf. Con competidores clave como Google, Graphcore y Advanced Micro Devices ausentes en esta ronda, el dominio de Nvidia fue total y sin desafío.

Sin embargo, la división Habana de Intel tuvo una actuación significativa con su chip Gaudi2, mostrando una ventaja competitiva. Intel ha prometido audazmente superar al GPU insignia de Nvidia, el H100, para este otoño.

La versión 3.0 del benchmark MLPerf Training se centra en el tiempo necesario para ajustar los "pesos" o parámetros de una red neuronal para alcanzar un nivel de precisión establecido para una tarea específica, un proceso conocido como "entrenamiento". Esta versión de la prueba abarca ocho tareas diferentes, midiendo la duración necesaria para refinar una red neuronal a través de múltiples experimentos. Este es un aspecto del rendimiento de las redes neuronales, siendo el otro la "inferencia", donde la red entrenada realiza predicciones sobre nuevos datos. El rendimiento de inferencia es evaluado por separado por MLCommons.

Además del entrenamiento basado en servidores, MLCommons introdujo la versión 1.1 del benchmark MLPerf Tiny, que evalúa el rendimiento en dispositivos de ultra bajo consumo para realizar predicciones.

Nvidia lideró en las ocho pruebas, logrando los tiempos de entrenamiento más rápidos. Se introdujeron dos nuevas tareas, incluyendo una para el modelo de lenguaje grande GPT-3 de OpenAI (LLM). El entusiasmo por la IA generativa, impulsado por la popularidad de ChatGPT, ha hecho de esto un punto focal. Nvidia, en colaboración con CoreWeave, tomó la delantera en la tarea GPT-3, utilizando un sistema impulsado por 896 procesadores Intel Xeon y 3,584 GPU Nvidia H100. Esta configuración, ejecutándose en el marco NeMO de Nvidia, logró entrenar usando el conjunto de datos Colossal Cleaned Common Crawl en poco menos de once minutos. La prueba utilizó una versión "grande" de GPT-3 con 175 mil millones de parámetros, limitada al 0.4% del conjunto de entrenamiento completo para mantener un tiempo de ejecución manejable.

Otra novedad fue una versión ampliada de la prueba de motores de recomendación, ahora usando un conjunto de datos más grande de cuatro terabytes llamado Criteo 4TB multi-hot, reemplazando el conjunto de datos obsoleto de un terabyte. MLCommons señaló la creciente escala de los modelos de recomendación en producción en términos de tamaño, potencia computacional y operaciones de memoria.

El único otro contendiente en el espacio de chips de IA fue Habana de Intel, que presentó cinco propuestas usando su acelerador Gaudi2 y una de SuperMicro utilizando el mismo chip. Estas entradas cubrieron cuatro de las ocho tareas, pero quedaron significativamente rezagadas respecto a los mejores sistemas de Nvidia. Por ejemplo, en la prueba BERT Wikipedia, Habana quedó en quinto lugar, tomando dos minutos en comparación con los ocho segundos de Nvidia-CoreWeave con una configuración de 3,072 GPU.

Sin embargo, Jordan Plawner, jefe de productos de IA de Intel, destacó en una entrevista con ZDNET que, para sistemas de escala similar, la brecha de rendimiento entre Habana y Nvidia podría no ser tan crítica para muchas empresas. Señaló que un sistema Habana de 8 dispositivos con dos procesadores Intel Xeon completó la tarea BERT Wikipedia en poco más de 14 minutos, superando a numerosas propuestas con más GPU Nvidia A100.

Plawner enfatizó la rentabilidad del Gaudi2, con un precio comparable al A100 de Nvidia pero ofreciendo un mejor valor por dinero en entrenamiento. También mencionó que, mientras Nvidia usó un formato de datos FP-8 en sus propuestas, Habana utilizó un formato BF-16, que, a pesar de su mayor precisión, ralentiza ligeramente el entrenamiento. Plawner anticipa que cambiar a FP-8 más adelante este año mejorará el rendimiento del Gaudi2, potencialmente superando al H100 de Nvidia.

Él subrayó la necesidad de una alternativa a Nvidia, especialmente dadas las actuales limitaciones de suministro de los GPU de Nvidia. Los clientes, frustrados por los retrasos, están cada vez más abiertos a alternativas como Gaudi2, que podrían permitirles lanzar servicios sin esperar por los componentes de Nvidia.

La posición de Intel como el segundo mayor fabricante de chips del mundo, después de Taiwan Semiconductor, le otorga una ventaja estratégica en el control de su cadena de suministro. Plawner insinuó los planes de Intel de construir un clúster de varios miles de Gaudi2, sugiriendo un contendiente fuerte en futuras pruebas MLPerf.

Este es el segundo trimestre consecutivo en el que ningún otro fabricante de chips ha desafiado la posición líder de Nvidia en las pruebas de entrenamiento. Hace un año, Google compartió el primer puesto con Nvidia usando su TPU, pero tanto Google como Graphcore estuvieron ausentes en la última ronda, enfocándose en sus negocios en lugar de competencias de benchmarks.

El director de MLCommons, David Kanter, expresó su deseo de contar con más participantes, señalando que una mayor participación beneficia a la industria. Google y AMD no respondieron a las consultas sobre su ausencia en esta ronda. Curiosamente, mientras que las CPU de AMD se usaron en sistemas competidores, todas las configuraciones ganadoras de Nvidia utilizaron CPU Intel Xeon, señalando un cambio respecto al dominio del año anterior por parte de los procesadores EPYC de AMD con el lanzamiento de Sapphire Rapids de Intel.

A pesar de la falta de participación de algunos grandes nombres, las pruebas MLPerf continúan atrayendo a nuevos participantes, incluidos CoreWeave, IEI y Quanta Cloud Technology, mostrando el interés y la competencia continuos en el campo del rendimiento de chips de IA.