Google的Gemma 3僅使用一個GPU實現了DeepSeek準確性的98％

人工智慧經濟最近成為焦點，特別是新創公司DeepSeek AI展示GPU晶片的大規模經濟效益。但Google不甘示弱。週三，這家科技巨頭推出最新開源大型語言模型Gemma 3，準確度幾乎與DeepSeek的R1模型匹敵，但使用的運算能力顯著較少。

Google使用"Elo"分數衡量性能，這是國際象棋和運動中常用的排名系統。Gemma 3得分1338，略低於R1的1363，意味R1技術上優於Gemma 3。然而，Google估計達到R1分數需32個Nvidia H100 GPU晶片，而Gemma 3僅需一個H100 GPU。Google稱這種運算與Elo分數的平衡為"最佳點"。

在部落格文章中，Google形容Gemma 3為"單一GPU或TPU上能運行的最強模型"，指的是其自家AI晶片"張量處理單元"。公司宣稱Gemma 3"以其規模提供頂尖性能"，在LMArena排行榜的人類偏好評估中超越Llama-405B、DeepSeek-V3和o3-mini等模型。此性能使在單一GPU或TPU主機上創造引人入勝的用戶體驗更為容易。

Google

Google的模型在Elo分數上也超越Meta的Llama 3，Google估計後者需16個GPU。值得注意的是，這些競爭模型的數據是Google的估計；DeepSeek AI僅透露R1使用1,814個效能較低的Nvidia H800 GPU。

更多深入資訊可在HuggingFace的開發者部落格文章中找到，Gemma 3儲存庫亦在那裡提供。Gemma 3設計用於設備端而非數據中心，與R1及其他開源模型相比，參數量顯著較少。Gemma 3的參數從10億到270億，相對現今標準頗為適中，而R1擁有6710億參數，雖可選擇性使用370億。

Gemma 3效率的關鍵是廣泛使用的AI技術"蒸餾"，將較大模型的訓練權重轉移到較小模型，提升其能力。此外，蒸餾模型經過三項品質控制措施：人類反饋強化學習（RLHF）、機器反饋強化學習（RLMF）和執行反饋強化學習（RLEF）。這些有助於優化模型輸出，使其更實用並提升數學與程式設計能力。

Google的開發者部落格詳細介紹這些方法，另一篇文章討論針對最小10億參數模型的優化技術，適用於行動裝置，包括量化、更新鍵值快取佈局、改善變數載入時間和GPU權重共享。

Google不僅以Elo分數比較Gemma 3，還與其前身Gemma 2及閉源Gemini模型在LiveCodeBench等基準上進行比較。雖然Gemma 3在準確度上通常不如Gemini 1.5和Gemini 2.0，Google指出其"與閉源Gemini模型相比具競爭力"，儘管參數較少。

Google

Gemma 3相較Gemma 2的重大升級是其更長的"上下文視窗"，從8,000擴展到128,000個令牌，使模型能處理整篇論文或書籍等大型文本。Gemma 3還具備多模態功能，可處理文本與圖像輸入，不同於其前身。此外，它支援超過140種語言，相較Gemma 2僅限英語的能力有顯著提升。

除了這些主要功能，Gemma 3還有其他有趣面向。大型語言模型的一個問題是可能記憶訓練數據部分，可能導致隱私洩露。Google的研究人員測試Gemma 3，發現其記憶長篇文本的比率低於前身，顯示隱私保護有所改善。

對技術細節有興趣者，Gemma 3技術論文提供了模型能力和開發的詳細分解。