Nvidia는 Gen AI 벤치 마크를 지배하여 두 라이벌 AI 칩을 능가합니다.

NVIDIA의 총재 GPU 칩은 인공 지능에서 칩 성능을 평가하기위한 가장 널리 알려진 벤치 마크 중 하나를 다시 한 번 지배했습니다. 경쟁은 비교적 일방적이었다.

Supermicro, Hewlett Packard Enterprise, Lenovo 및 기타 회사의 시스템은 각각 최대 8 개의 NVIDIA 칩을 갖추고 있으며 업계 컨소시엄 인 MLCOMMONS가 주최 한 MLPERF 벤치 마크 테스트에서 대부분의 최고점을 확보했습니다. 기계가 토큰, 프로세스 쿼리 또는 출력 데이터 샘플 (AI 추론으로 알려진)을 생성 할 수있는 속도를 측정하는이 테스트는 수년에 걸쳐 수행 된 일련의 예측 제작 벤치 마크에서 5 위였습니다.

이 MLPERF 벤치 마크의 최신 반복에는 일반적인 생성 AI 작업에 맞는 새로운 테스트가 포함되었습니다. 한 테스트는 현장에서 널리 사용되는 실질적인 모델 인 Meta의 오픈 소스 LLM, LLAMA 3.1 405B에서 칩의 성능을 평가했습니다. 또 다른 테스트는 응답 시간이 중요한 챗봇 상호 작용을 시뮬레이션하도록 설계된 메타의 작은 LLAMA 2 70B의 대화식 버전을 도입했습니다. 이 테스트는 시스템이 첫 번째 출력 토큰을 얼마나 빨리 생성 할 수 있는지를 측정하여 사용자 프롬프트에 대한 빠른 응답의 필요성을 반영합니다.

세 번째 새로운 테스트는 소셜 네트워크와 같은 엔터티 간의 복잡한 관계를 처리하는 그래프 신경망을 처리하는 속도를 평가했습니다. 이러한 네트워크는 Google의 Deepmind Unit의 Alphafold 2 모델에서 그래프 네트 사용에 의해 예시 된 생성 AI에서 점점 더 중요 해지고 있으며, 이는 2021 년에 단백질 폭식 예측을 상당히 발전 시켰습니다. 또한, 네 번째 테스트는 Lidar Sensing 데이터가 자동차로 도로를 사용하여 개발 된 조명 신경계에 의해 개발 될 수있는 속도를 측정했습니다.

MLPERF 경쟁은 Lenovo, HPE 등이 구축 한 컴퓨터와 관련이 있으며 신경 순 출력의 정확도에 대한 엄격한 요구 사항을 준수합니다. 각 시스템은 초당 출력을 생성하는 데 최고 속도를보고하며 일부 벤치 마크는 평균 대기 시간을 측정하거나 응답이 서버에서 돌아 오는 데 걸리는 시간을 측정합니다.

NVIDIA의 GPU는 소프트웨어 설정 규칙이 가장 엄격한 폐쇄 부서 내 거의 모든 테스트에서 뛰어났습니다.

그러나 MI300X GPU를 사용한 AMD는 2 개의 LLAMA 2 70B 테스트에서 최고 점수를 획득하여 초당 103,182 개의 토큰을 달성했으며 이는 NVIDIA의 새로운 Blackwell GPU보다 훨씬 우수했습니다. 이 우승 AMD 시스템은 GPU 랙 간의 데이터 전송을 향상시키는 플러그인 카드를 전문으로하는 스타트 업인 Mangoboost와 생성 AI 성능을 향상 시키도록 설계된 소프트웨어 인 LLMBoost에 의해 조립되었습니다.

NVIDIA는 AMD의 결과를 Blackwell 점수와 비교하여 각 시스템에 사용되는 칩 및 컴퓨터 "노드"를 조정해야 할 필요성을 지적했습니다. Nvidia의 Accelerated Computing Products 이사 인 Dave Salvator는 ZDNet에게 이메일로 강조했습니다.

"MangoBoost의 결과는 NVIDIA의 결과와 정확한 성능 비교를 반영하지 않습니다. AMD의 테스트는 GPU의 수를 4 배, 32 MI300X GPU - 8 NVIDIA B200에 적용했지만 NVIDIA의 8X B200은 실제로 3.83% 높은 결과를 얻었습니다. NVIDIA의 8X B200은 실제로 Mangost의 8x B200 제출을 달성했습니다. LLAMA 2 70B 서버 제출의 GPU. "

Google은 또한 사내 텐서 처리 장치 (TPU)의 여섯 번째 반복 인 Trillium 칩을 보여 주면서 경쟁에 참가했습니다. 그러나 안정적인 확산 이미지 생성 테스트를위한 쿼리 응답 속도 측정에서 Nvidia의 Blackwell보다 크게 지연되었습니다.

최신 MLPERF 벤치 마크는 이전 라운드에 비해 NVIDIA에 도전하는 경쟁자 수가 적었습니다. 특히 인텔의 Habana 유닛과 Qualcomm의 제출물이 없었으며,이 두 가지 모두 지난 몇 년간 참여했습니다.

그럼에도 불구하고 인텔은 축하 할 이유가있었습니다. Datacenter Closed Division에서 Intel의 Xeon Microprocessor는 상위 11 개 시스템 중 7 개를 전원하여 AMD의 EPYC 서버 마이크로 프로세서를 능가하여 3 번의 승리 만 확보했습니다. 이는 전년도에 비해 Intel의 개선을 의미합니다.

메타의 대규모 LLAMA 3.1 405B를 처리하는 11 번째 최고 성능 시스템은 인텔 또는 AMD 마이크로 프로세서를 사용하지 않고 NVIDIA에 의해 구축되었습니다. 대신, NVIDIA의 Blackwell GPU와 자체 Grace MicroProcessor를 단일 패키지의 Grace Microprocessor와 결합한 Integrated Grace-Blackwell 200 Chip을 사용했습니다.