Nvidia domina los puntos de referencia de Gen AI, superando a dos chips de IA rivales

Los chips GPU de propósito general de Nvidia han dominado una vez más uno de los puntos de referencia más reconocidos para evaluar el rendimiento de los chips en inteligencia artificial, esta vez centrándose en aplicaciones de IA generativa como modelos de lenguaje grandes (LLMs). La competencia fue relativamente unilateral.

Sistemas de SuperMicro, Hewlett Packard Enterprise, Lenovo y otras compañías, cada uno equipado con hasta ocho chips de Nvidia, aseguraron la mayoría de los primeros puestos en la prueba de referencia MLPerf organizada por el consorcio industrial MLCommons. Esta prueba, que mide la velocidad con la que las máquinas pueden producir tokens, procesar consultas o generar muestras de datos —conocido como inferencia de IA— fue la quinta en una serie de puntos de referencia para predicciones realizados a lo largo de los años.

Esta última iteración del punto de referencia MLPerf incluyó nuevas pruebas adaptadas a tareas comunes de IA generativa. Una prueba evaluó el rendimiento de los chips en el LLM de código abierto de Meta, Llama 3.1 405b, un modelo sustancial ampliamente utilizado en el campo. Otra prueba introdujo una versión interactiva del Llama 2 70b más pequeño de Meta, diseñada para simular interacciones de chatbot donde el tiempo de respuesta es crucial. Esta prueba mide específicamente qué tan rápido el sistema puede generar el primer token de salida, reflejando la necesidad de respuestas rápidas a las indicaciones de los usuarios.

Una tercera prueba nueva evaluó la velocidad de procesamiento de redes neuronales de grafos, que manejan relaciones complejas entre entidades, como las de una red social. Estas redes se han vuelto cada vez más vitales en la IA generativa, ejemplificado por el uso de redes de grafos por parte de la unidad DeepMind de Google en su modelo AlphaFold 2, que logró avances significativos en predicciones de plegamiento de proteínas en 2021. Además, una cuarta prueba midió la velocidad con la que los datos de detección LiDAR pueden compilarse en un mapa vial de un automóvil, utilizando una red neuronal personalizada desarrollada por MLCommons a partir de tecnologías de código abierto existentes.

La competencia MLPerf involucra computadoras construidas por Lenovo, HPE y otros, cumpliendo con requisitos estrictos para la precisión de las salidas de las redes neuronales. Cada sistema reporta su velocidad máxima en la producción de salida por segundo, con algunos puntos de referencia midiendo la latencia promedio, o el tiempo que tarda en regresar una respuesta desde el servidor.

Los GPUs de Nvidia destacaron en casi todas las pruebas dentro de la división cerrada, donde las reglas de configuración de software son las más estrictas.

Sin embargo, AMD, con su GPU MI300X, reclamó la puntuación más alta en dos pruebas de Llama 2 70b, logrando 103,182 tokens por segundo, lo que fue significativamente mejor que el GPU Blackwell más reciente de Nvidia. Este sistema ganador de AMD fue ensamblado por MangoBoost, una startup especializada en tarjetas enchufables que mejoran la transferencia de datos entre racks de GPU, y LLMboost, su software diseñado para mejorar el rendimiento de la IA generativa.

Nvidia cuestionó la comparación de los resultados de AMD con sus puntajes de Blackwell, señalando la necesidad de ajustar según el número de chips y "nodos" de computadora utilizados en cada sistema. Dave Salvator, director de productos de computación acelerada de Nvidia, enfatizó en un correo electrónico a ZDNET:

"Los resultados de MangoBoost no reflejan una comparación de rendimiento precisa contra los resultados de NVIDIA. Las pruebas de AMD aplicaron 4 veces la cantidad de GPUs – 32 MI300X GPUs – contra 8 NVIDIA B200s, y aun así solo lograron un resultado 3.83% más alto que la presentación de NVIDIA. La presentación de 8x B200 de NVIDIA en realidad superó a los x32 AMD MI300X GPUs de MangoBoost en la presentación de servidor de Llama 2 70B."

Google también participó en la competencia, mostrando su chip Trillium, la sexta iteración de su Unidad de Procesamiento de Tensores (TPU) desarrollada internamente. Sin embargo, quedó significativamente rezagado respecto al Blackwell de Nvidia en una prueba que mide la velocidad de respuesta a consultas para la prueba de generación de imágenes Stable Diffusion.

Los últimos puntos de referencia MLPerf tuvieron menos competidores desafiando a Nvidia en comparación con rondas anteriores. Notablemente ausentes estuvieron las presentaciones de la unidad Habana de Intel y Qualcomm, ambas habían participado en años anteriores.

A pesar de esto, Intel tuvo razones para celebrar. En la división cerrada de centros de datos, el microprocesador Xeon de Intel impulsó siete de los 11 sistemas principales, superando al microprocesador de servidor EPYC de AMD, que logró solo tres victorias. Esto marca una mejora para Intel en comparación con años anteriores.

El undécimo sistema de mayor rendimiento, encargado de procesar el masivo Llama 3.1 405b de Meta, fue construido por Nvidia sin usar un microprocesador de Intel o AMD. En cambio, utilizó el chip integrado Grace-Blackwell 200, combinando el GPU Blackwell de Nvidia con su propio microprocesador Grace en un solo paquete.