Nvidia domina los puntos de referencia de Gen AI, superando a dos chips de IA rivales

Los chips GPU de uso general de Nvidia han dominado una vez más uno de los puntos de referencia más ampliamente reconocidos para evaluar el rendimiento de los chips en inteligencia artificial, esta vez centrándose en aplicaciones generativas de IA, como modelos de idiomas grandes (LLM). La competencia era relativamente unilateral.

Los sistemas de Supermicro, Hewlett Packard Enterprise, Lenovo y otras compañías, cada una equipada con hasta ocho chips Nvidia, aseguraron la mayoría de los mejores lugares en la prueba de referencia MLPERF organizada por los MlCommons, un consorcio de la industria. Esta prueba, que mide la velocidad a la que las máquinas pueden producir tokens, consultas de procesos o muestras de datos de salida, conocidas como inferencia de IA, fue el quinto en una serie de puntos de referencia de elaboración de predicciones que se han realizado a lo largo de los años.

Esta última iteración del punto de referencia MLPERF incluyó nuevas pruebas adaptadas a tareas generativas de IA generativas comunes. Una prueba evaluó el rendimiento de los chips en el LLM de código abierto de Meta, LLAMA 3.1 405B, un modelo sustancial ampliamente utilizado en el campo. Otra prueba introdujo una versión interactiva del Llama 2 70b más pequeño de Meta, diseñada para simular las interacciones de chatbot donde el tiempo de respuesta es crucial. Esta prueba mide específicamente la rapidez con que el sistema puede generar el primer token de salida, lo que refleja la necesidad de respuestas rápidas a las indicaciones del usuario.

Una tercera nueva prueba evaluó la velocidad del procesamiento de redes neuronales gráficas, que manejan relaciones complejas entre las entidades, como las de una red social. Estas redes se han vuelto cada vez más vitales en la IA generativa, ejemplificada por el uso de redes gráficas de la unidad DeepMind de Google en su modelo Alfafold 2, que realizó avances significativos en las predicciones de plegado de proteínas en 2021. Además, una cuarta prueba calificó la velocidad en la que los datos de detección de LiDAR se pueden comparar en la mapa de la carretera de un automóvil, utilizando una neta neuronal personalizada desarrollada por Mllcommons de Mllcomce.

La competencia MLPERF involucra a las computadoras construidas por Lenovo, HPE y otras, que se adhieren a requisitos estrictos para la precisión de las salidas de redes neuronales. Cada sistema informa su velocidad máxima en la producción de salida por segundo, con algunos puntos de referencia que miden la latencia promedio, o el tiempo necesario para que una respuesta regrese del servidor.

Las GPU de NVIDIA se destacaron en casi todas las pruebas dentro de la división cerrada, donde las reglas de configuración del software son las más estrictas.

Sin embargo, AMD, con su GPU MI300X, reclamó el puntaje superior en dos pruebas de LLAMA 2 70B, logrando 103,182 tokens por segundo, que fue significativamente mejor que la nueva GPU de Blackwell de NVIDIA. MangoBoost ensambló este sistema AMD ganador, una startup especializada en tarjetas enchufables que mejoran la transferencia de datos entre los bastidores de GPU, y LLMBoost, su software diseñado para mejorar el rendimiento generativo de la IA.

Nvidia impugnó la comparación de los resultados de AMD con sus puntajes de Blackwell, señalando la necesidad de ajustar el número de chips y los "nodos" de la computadora utilizados en cada sistema. Dave Salvator, director de productos informáticos acelerados de NVIDIA, enfatizado en un correo electrónico a ZDNET:

"Los resultados de Mangoboost no reflejan una comparación de rendimiento precisa con los resultados de NVIDIA. Las pruebas de AMD aplicaban 4X el número de GPU: 32 GPU MI300X - contra 8 NVIDIA B200S, pero solo alcanzó un resultado de 3.83% más alto que el envío NVIDIA. GPUS en el LLAMA 2 70B Servidor de servidor ".

Google también ingresó a la competencia, mostrando su chip Trillium, la sexta iteración de su unidad de procesamiento de tensor interno (TPU). Sin embargo, se retrasó significativamente detrás del Blackwell de Nvidia en una velocidad de respuesta de consulta de medición de prueba para la prueba de generación de imágenes de difusión estable.

Los últimos puntos de referencia de MLPERF vieron a menos competidores desafiando a NVIDIA en comparación con las rondas anteriores. En particular, ausentes fueron las presentaciones de la Unidad de Habana de Intel y Qualcomm, que habían participado en los últimos años.

A pesar de esto, Intel tenía razones para celebrar. En la división cerrada del centro de datos, el microprocesador Xeon de Intel impulsó a siete de los 11 principales sistemas, superando al microprocesador de servidor EPYC de AMD, que obtuvo solo tres victorias. Esto marca una mejora para Intel en comparación con años anteriores.

El undécimo sistema de alto rendimiento, encargado de procesar la Llama Masiva 3.1 405b de Meta, fue construido por NVIDIA sin usar un microprocesador Intel o AMD. En cambio, utilizó el chip integrado Grace-Blackwell 200, combinando la GPU Blackwell de Nvidia con su propio microprocesador Grace en un solo paquete.