Nvidia는 Gen AI 벤치 마크를 지배하여 두 라이벌 AI 칩을 능가합니다.

Nvidia의 범용 GPU 칩은 인공지능 칩 성능을 평가하는 가장 널리 인정받는 벤치마크 중 하나에서 다시 한 번 우위를 점했습니다. 이번에는 대형 언어 모델(LLM)과 같은 생성 AI 애플리케이션에 초점을 맞췄습니다. 경쟁은 비교적 일방적이었습니다.

SuperMicro, Hewlett Packard Enterprise, Lenovo 및 기타 회사들의 시스템은 각각 최대 8개의 Nvidia 칩을 장착하여, 산업 컨소시엄인 MLCommons가 주최한 MLPerf 벤치마크 테스트에서 상위권을 휩쓸었습니다. 이 테스트는 기계가 토큰을 생성하고, 질의를 처리하거나, 데이터 샘플을 출력하는 속도—즉, AI 추론—를 측정하며, 수년에 걸쳐 수행된 일련의 예측 벤치마크 중 다섯 번째였습니다.

이번 MLPerf 벤치마크의 최신 버전에는 일반적인 생성 AI 작업에 맞춘 새로운 테스트가 포함되었습니다. 한 테스트는 Meta의 오픈소스 LLM인 Llama 3.1 405b의 칩 성능을 평가했으며, 이는 해당 분야에서 널리 사용되는 상당한 규모의 모델입니다. 또 다른 테스트는 응답 시간이 중요한 챗봇 상호작용을 시뮬레이션하도록 설계된 Meta의 더 작은 Llama 2 70b의 인터랙티브 버전을 도입했습니다. 이 테스트는 시스템이 첫 번째 출력 토큰을 얼마나 빨리 생성할 수 있는지를 측정하여 사용자 프롬프트에 대한 빠른 응답의 필요성을 반영합니다.

세 번째 새로운 테스트는 소셜 네트워크와 같은 엔터티 간의 복잡한 관계를 처리하는 그래프 신경망의 처리 속도를 평가했습니다. 이러한 네트워크는 생성 AI에서 점점 더 중요해지고 있으며, Google의 DeepMind 부서가 2021년 단백질 접힘 예측에서 큰 진전을 이룬 AlphaFold 2 모델에서 그래프 네트워크를 사용한 사례가 대표적입니다. 또한, 네 번째 테스트는 기존 오픈소스 기술에서 MLCommons가 개발한 맞춤형 신경망을 사용하여 LiDAR 센싱 데이터를 자동차의 도로 지도로 컴파일하는 속도를 측정했습니다.

MLPerf 경쟁은 Lenovo, HPE 및 기타 회사들이 제작한 컴퓨터가 참여하며, 신경망 출력의 정확성에 대한 엄격한 요구사항을 준수했습니다. 각 시스템은 초당 출력 생성 속도를 보고하며, 일부 벤치마크는 평균 지연 시간, 즉 서버에서 응답이 돌아오는 데 걸리는 시간을 측정했습니다.

Nvidia의 GPU는 소프트웨어 설정 규칙이 가장 엄격한 클로즈드 디비전 내 거의 모든 테스트에서 탁월한 성능을 발휘했습니다.

그러나 AMD는 MI300X GPU로 두 개의 Llama 2 70b 테스트에서 최고 점수를 기록하며 초당 103,182 토큰을 달성했으며, 이는 Nvidia의 최신 Blackwell GPU보다 훨씬 우수했습니다. 이 우승 AMD 시스템은 GPU 랙 간 데이터 전송을 향상시키는 플러그인 카드를 전문으로 하는 스타트업 MangoBoost와 그들의 생성 AI 성능을 개선하도록 설계된 소프트웨어 LLMboost에 의해 조립되었습니다.

Nvidia는 AMD의 결과와 Blackwell 점수를 비교하는 것에 대해 이의를 제기하며, 각 시스템에 사용된 칩과 컴퓨터 "노드"의 수를 조정할 필요가 있다고 지적했습니다. Nvidia의 가속 컴퓨팅 제품 책임자인 Dave Salvator는 ZDNET에 보낸 이메일에서 다음과 같이 강조했습니다:

"MangoBoost의 결과는 NVIDIA의 결과와 정확한 성능 비교를 반영하지 않습니다. AMD의 테스트는 GPU 수를 4배—32개의 MI300X GPU—사용했음에도 불구하고 NVIDIA 제출물보다 3.83% 높은 결과만을 달성했습니다. NVIDIA의 8x B200 제출물은 Llama 2 70B 서버 제출에서 MangoBoost의 x32 AMD MI300X GPU를 실제로 능가했습니다."

Google도 자체 개발한 Tensor Processing Unit(TPU)의 여섯 번째 버전인 Trillium 칩을 선보이며 경쟁에 참여했으나, Stable Diffusion 이미지 생성 테스트의 질의 응답 속도 측정에서 Nvidia의 Blackwell에 크게 뒤처졌습니다.

최신 MLPerf 벤치마크는 이전 라운드에 비해 Nvidia에 도전하는 경쟁자가 적었습니다. 특히 Intel의 Habana 부서와 Qualcomm은 이전에 참여했던 적이 있음에도 불구하고 이번에는 제출물이 없었습니다.

그럼에도 불구하고 Intel은 축하할 이유가 있었습니다. 데이터센터 클로즈드 디비전에서 Intel의 Xeon 마이크로프로세서는 상위 11개 시스템 중 7개를 구동하며, AMD의 EPYC 서버 마이크로프로세서를 제치고 3승만을 기록했습니다. 이는 Intel에게 이전 연도에 비해 개선된 성과입니다.

Meta의 대규모 Llama 3.1 405b를 처리하는 11번째 상위 시스템은 Intel이나 AMD 마이크로프로세서를 사용하지 않고 Nvidia가 제작했습니다. 대신, Nvidia의 Blackwell GPU와 자체 Grace 마이크로프로세서를 단일 패키지에 결합한 통합 Grace-Blackwell 200 칩을 활용했습니다.