Nvidia thống trị điểm chuẩn Gen AI, vượt trội so với hai chip AI đối thủ

Các chip GPU có mục đích chung của NVIDIA một lần nữa đã thống trị một trong những điểm chuẩn được công nhận rộng rãi nhất để đánh giá hiệu suất chip trong trí tuệ nhân tạo, lần này tập trung vào các ứng dụng AI tổng quát như mô hình ngôn ngữ lớn (LLM). Cuộc thi tương đối một chiều.

Các hệ thống từ Supermicro, Hewlett Packard Enterprise, Lenovo và các công ty khác, mỗi công ty được trang bị tới tám chip NVIDIA, bảo đảm phần lớn các vị trí hàng đầu trong bài kiểm tra điểm chuẩn MLPERF do MLCommons, một tập đoàn công nghiệp tổ chức. Thử nghiệm này, đo lường tốc độ mà các máy có thể tạo ra mã thông báo, truy vấn xử lý hoặc mẫu dữ liệu đầu ra được biết đến như là AI Suy luận là thứ năm trong một loạt các điểm chuẩn thực hiện dự đoán đã được tiến hành trong nhiều năm.

Lặp lại mới nhất này của điểm chuẩn MLPERF bao gồm các bài kiểm tra mới phù hợp với các nhiệm vụ AI chung chung. Một thử nghiệm đã đánh giá hiệu suất của chip trên LLM nguồn mở của Meta, LLAMA 3.1 405B, một mô hình đáng kể được sử dụng rộng rãi trong lĩnh vực này. Một thử nghiệm khác đã giới thiệu một phiên bản tương tác của Llama 2 70B nhỏ hơn của Meta, được thiết kế để mô phỏng các tương tác chatbot trong đó thời gian phản hồi là rất quan trọng. Thử nghiệm này đặc biệt đo lường mức độ nhanh chóng của hệ thống có thể tạo ra mã thông báo đầu ra đầu tiên, phản ánh sự cần thiết phải trả lời nhanh chóng với lời nhắc của người dùng.

Một thử nghiệm mới thứ ba đã đánh giá tốc độ xử lý các mạng thần kinh biểu đồ, xử lý các mối quan hệ phức tạp giữa các thực thể, giống như trong một mạng xã hội. Các mạng này đã trở nên ngày càng quan trọng trong AI tổng quát, được minh họa bằng việc sử dụng lưới đồ thị của đơn vị DeepMind của Google trong mô hình Alphafold 2 của nó, điều này đã tạo ra những bước tiến đáng kể trong dự đoán gấp protein vào năm 2021.

Cuộc thi MLPERF liên quan đến các máy tính được xây dựng bởi Lenovo, HPE và những người khác, tuân thủ các yêu cầu nghiêm ngặt về tính chính xác của đầu ra ròng thần kinh. Mỗi hệ thống báo cáo tốc độ tối đa của nó trong việc tạo ra đầu ra mỗi giây, với một số điểm chuẩn đo độ trễ trung bình hoặc thời gian để phản hồi quay trở lại từ máy chủ.

GPU của NVIDIA đã xuất sắc trong gần như tất cả các thử nghiệm trong bộ phận đóng, trong đó các quy tắc thiết lập phần mềm là nghiêm ngặt nhất.

Tuy nhiên, AMD, với GPU Mi300X, đã tuyên bố điểm số cao nhất trong hai bài kiểm tra Llama 2 70B, đạt được 103.182 mã thông báo mỗi giây, tốt hơn đáng kể so với GPU Blackwell mới hơn của NVIDIA. Hệ thống AMD chiến thắng này đã được Mangoboost, một công ty khởi động chuyên về thẻ cắm điện nhằm tăng cường truyền dữ liệu giữa các giá đỡ GPU và LLMBOOST, phần mềm của họ được thiết kế để cải thiện hiệu suất AI thế hệ.

NVIDIA đã tranh luận về việc so sánh kết quả của AMD với điểm số Blackwell của họ, chỉ ra sự cần thiết phải điều chỉnh số lượng chip và "nút" máy tính được sử dụng trong mỗi hệ thống. Dave Salvator, giám đốc sản phẩm điện toán tăng tốc của NVIDIA, được nhấn mạnh trong một email tới ZDNet:

"Kết quả của Mangoboost không phản ánh so sánh hiệu suất chính xác với kết quả của NVIDIA. Thử nghiệm của AMD áp dụng 4 lần số GPU - 32 MI300X GPU - so với 8 NVIDIA B200, nhưng vẫn chỉ đạt được kết quả cao hơn 3,83% so với GPU MI300X trong đệ trình máy chủ LLAMA 2 70B. "

Google cũng tham gia cuộc thi, giới thiệu chip trillium của mình, lần lặp thứ sáu của đơn vị xử lý tenxơ nội bộ (TPU). Tuy nhiên, nó bị tụt lại đáng kể sau Blackwell của Nvidia trong một thử nghiệm đo tốc độ phản hồi truy vấn cho thử nghiệm tạo hình ảnh khuếch tán ổn định.

Điểm chuẩn mới nhất của MLPERF đã chứng kiến ​​ít đối thủ cạnh tranh thách thức NVIDIA so với các vòng trước. Sự vắng mặt đáng chú ý là những bài nộp từ đơn vị Habana của Intel và Qualcomm, cả hai đều tham gia vào những năm qua.

Mặc dù vậy, Intel đã có lý do để ăn mừng. Trong bộ phận đóng cửa dữ liệu, bộ vi xử lý Xeon của Intel đã cung cấp cho bảy trong số 11 hệ thống hàng đầu, vượt trội so với bộ vi xử lý EPYC Server của AMD, chỉ đảm bảo ba chiến thắng. Điều này đánh dấu sự cải thiện cho Intel so với các năm trước.

Hệ thống hoạt động hàng đầu thứ 11, được giao nhiệm vụ xử lý Llama 3.1 405B của Meta, được NVIDIA chế tạo mà không sử dụng bộ vi xử lý Intel hoặc AMD. Thay vào đó, nó đã sử dụng chip Grace-Blackwell 200 tích hợp, kết hợp GPU Blackwell của NVIDIA với bộ vi xử lý Grace của riêng mình trong một gói duy nhất.