Google的Gemma 3僅使用一個GPU實現了DeepSeek準確性的98%
人工智慧經濟最近成為焦點,特別是新創公司DeepSeek AI展示GPU晶片的大規模經濟效益。但Google不甘示弱。週三,這家科技巨頭推出最新開源大型語言模型Gemma 3,準確度幾乎與DeepSeek的R1模型匹敵,但使用的運算能力顯著較少。
Google使用"Elo"分數衡量性能,這是國際象棋和運動中常用的排名系統。Gemma 3得分1338,略低於R1的1363,意味R1技術上優於Gemma 3。然而,Google估計達到R1分數需32個Nvidia H100 GPU晶片,而Gemma 3僅需一個H100 GPU。Google稱這種運算與Elo分數的平衡為"最佳點"。
在部落格文章中,Google形容Gemma 3為"單一GPU或TPU上能運行的最強模型",指的是其自家AI晶片"張量處理單元"。公司宣稱Gemma 3"以其規模提供頂尖性能",在LMArena排行榜的人類偏好評估中超越Llama-405B、DeepSeek-V3和o3-mini等模型。此性能使在單一GPU或TPU主機上創造引人入勝的用戶體驗更為容易。
Google
Google的模型在Elo分數上也超越Meta的Llama 3,Google估計後者需16個GPU。值得注意的是,這些競爭模型的數據是Google的估計;DeepSeek AI僅透露R1使用1,814個效能較低的Nvidia H800 GPU。
更多深入資訊可在HuggingFace的開發者部落格文章中找到,Gemma 3儲存庫亦在那裡提供。Gemma 3設計用於設備端而非數據中心,與R1及其他開源模型相比,參數量顯著較少。Gemma 3的參數從10億到270億,相對現今標準頗為適中,而R1擁有6710億參數,雖可選擇性使用370億。
Gemma 3效率的關鍵是廣泛使用的AI技術"蒸餾",將較大模型的訓練權重轉移到較小模型,提升其能力。此外,蒸餾模型經過三項品質控制措施:人類反饋強化學習(RLHF)、機器反饋強化學習(RLMF)和執行反饋強化學習(RLEF)。這些有助於優化模型輸出,使其更實用並提升數學與程式設計能力。
Google的開發者部落格詳細介紹這些方法,另一篇文章討論針對最小10億參數模型的優化技術,適用於行動裝置,包括量化、更新鍵值快取佈局、改善變數載入時間和GPU權重共享。
Google不僅以Elo分數比較Gemma 3,還與其前身Gemma 2及閉源Gemini模型在LiveCodeBench等基準上進行比較。雖然Gemma 3在準確度上通常不如Gemini 1.5和Gemini 2.0,Google指出其"與閉源Gemini模型相比具競爭力",儘管參數較少。
Google
Gemma 3相較Gemma 2的重大升級是其更長的"上下文視窗",從8,000擴展到128,000個令牌,使模型能處理整篇論文或書籍等大型文本。Gemma 3還具備多模態功能,可處理文本與圖像輸入,不同於其前身。此外,它支援超過140種語言,相較Gemma 2僅限英語的能力有顯著提升。
除了這些主要功能,Gemma 3還有其他有趣面向。大型語言模型的一個問題是可能記憶訓練數據部分,可能導致隱私洩露。Google的研究人員測試Gemma 3,發現其記憶長篇文本的比率低於前身,顯示隱私保護有所改善。
對技術細節有興趣者,Gemma 3技術論文提供了模型能力和開發的詳細分解。
相關文章
內部細節曝光:下一代 Gemini 算力緊張,內部團隊在開發優先順序和資源分配上存在分歧
報告顯示,谷歌備受期待的下一代 Gemini 模型釋出已被推遲。由於內部在開發優先順序和資源分配上存在分歧,加上計算能力有限以及複雜的審批流程,導致釋出時間延後了兩個月。儘管谷歌擁有定製的 TPU 晶片,但由於模型訓練、Google Cloud 服務以及眾多消費和企業級 AI 應用對計算資源的需求相互競爭,谷歌仍面臨計算資源短缺的問題。目前,高層管理人員正透過組織結構調整來解決這些部門間的衝突。與此同時,領導層也發生了變化,聯合創始人謝爾蓋·布林越來越多地參與到核心模型訓練中,並倡導將資源專門用於
OpenAI 否認增長放緩擔憂,稱多個業務部門加速發展
針對外界對其銷售增長放緩及未達內部基準的質疑,人工智慧領域的領軍企業 OpenAI 於 4 月 28 日(星期二)發表了一份信心十足的宣告。該公司澄清稱,其消費產品和企業服務正在快速推進,直接駁斥了近期關於業務放緩的猜測。針對該公司“未達成多項內部目標”的說法,OpenAI 將這些報道斥為“典型的標題黨”。公司強調了企業對 AI 整合的強勁需求,並指出其廣告業務早期增長前景良好。據 OpenAI 內部人士透露,公司內部情緒依然樂觀。儘管市場競爭日益激烈,但公司正在向投資者傳遞信心,聲稱其商業
阿里巴巴超級盃:Qwen3.8-Max 重磅登場,程式碼與辦公工具能力全面升級
阿里巴巴正式釋出了Qwen3.8-Max,這是一款擁有2.4萬億引數的下一代基礎大模型。這一重大AI進展在編碼和專業辦公任務等核心領域帶來了顯著的效能提升,展現了強大的技術能力。在權威的Arena大模型排名中,Qwen3.8-Max取得了令人矚目的成績,僅次於Anthropic的Claude系列,位居行業前列。這一里程碑標誌著國內大模型在處理複雜任務方面取得了快速進展,為開發者和企業使用者提供了先進的智慧工具。該模型的API現已在Qwen AI平臺上上線,並整合到新推出的“Qwen Offic
相關專題推薦
評論 (12)
0/500
¡Estas mejoras en eficiencia son una locura! 🔥 Si Google logra casi el mismo rendimiento con solo una GPU, ¿esto cambiará por completo el acceso a la IA para pequeños desarrolladores? Aun así, me pregunto cómo manejarán temas como el consumo energético real en uso masivo... 😅
Google's Gemma 3 sounds like a game-changer! 98% of DeepSeek's accuracy with just one GPU? That's some serious efficiency. Curious how this'll shake up the AI startup scene. 🚀
Google's Gemma 3 sounds like a game-changer! 98% of DeepSeek's accuracy with just one GPU? That's some serious efficiency. Curious how this stacks up in real-world apps! 😎
Google's Gemma 3 sounds like a game-changer! Achieving 98% of DeepSeek's accuracy with just one GPU is wild. Makes me wonder how this’ll shake up the AI race—more power to the little guys? 🤔
人工智慧經濟最近成為焦點,特別是新創公司DeepSeek AI展示GPU晶片的大規模經濟效益。但Google不甘示弱。週三,這家科技巨頭推出最新開源大型語言模型Gemma 3,準確度幾乎與DeepSeek的R1模型匹敵,但使用的運算能力顯著較少。
Google使用"Elo"分數衡量性能,這是國際象棋和運動中常用的排名系統。Gemma 3得分1338,略低於R1的1363,意味R1技術上優於Gemma 3。然而,Google估計達到R1分數需32個Nvidia H100 GPU晶片,而Gemma 3僅需一個H100 GPU。Google稱這種運算與Elo分數的平衡為"最佳點"。
在部落格文章中,Google形容Gemma 3為"單一GPU或TPU上能運行的最強模型",指的是其自家AI晶片"張量處理單元"。公司宣稱Gemma 3"以其規模提供頂尖性能",在LMArena排行榜的人類偏好評估中超越Llama-405B、DeepSeek-V3和o3-mini等模型。此性能使在單一GPU或TPU主機上創造引人入勝的用戶體驗更為容易。
Google
Google的模型在Elo分數上也超越Meta的Llama 3,Google估計後者需16個GPU。值得注意的是,這些競爭模型的數據是Google的估計;DeepSeek AI僅透露R1使用1,814個效能較低的Nvidia H800 GPU。
更多深入資訊可在HuggingFace的開發者部落格文章中找到,Gemma 3儲存庫亦在那裡提供。Gemma 3設計用於設備端而非數據中心,與R1及其他開源模型相比,參數量顯著較少。Gemma 3的參數從10億到270億,相對現今標準頗為適中,而R1擁有6710億參數,雖可選擇性使用370億。
Gemma 3效率的關鍵是廣泛使用的AI技術"蒸餾",將較大模型的訓練權重轉移到較小模型,提升其能力。此外,蒸餾模型經過三項品質控制措施:人類反饋強化學習(RLHF)、機器反饋強化學習(RLMF)和執行反饋強化學習(RLEF)。這些有助於優化模型輸出,使其更實用並提升數學與程式設計能力。
Google的開發者部落格詳細介紹這些方法,另一篇文章討論針對最小10億參數模型的優化技術,適用於行動裝置,包括量化、更新鍵值快取佈局、改善變數載入時間和GPU權重共享。
Google不僅以Elo分數比較Gemma 3,還與其前身Gemma 2及閉源Gemini模型在LiveCodeBench等基準上進行比較。雖然Gemma 3在準確度上通常不如Gemini 1.5和Gemini 2.0,Google指出其"與閉源Gemini模型相比具競爭力",儘管參數較少。
Google
Gemma 3相較Gemma 2的重大升級是其更長的"上下文視窗",從8,000擴展到128,000個令牌,使模型能處理整篇論文或書籍等大型文本。Gemma 3還具備多模態功能,可處理文本與圖像輸入,不同於其前身。此外,它支援超過140種語言,相較Gemma 2僅限英語的能力有顯著提升。
除了這些主要功能,Gemma 3還有其他有趣面向。大型語言模型的一個問題是可能記憶訓練數據部分,可能導致隱私洩露。Google的研究人員測試Gemma 3,發現其記憶長篇文本的比率低於前身,顯示隱私保護有所改善。
對技術細節有興趣者,Gemma 3技術論文提供了模型能力和開發的詳細分解。
內部細節曝光:下一代 Gemini 算力緊張,內部團隊在開發優先順序和資源分配上存在分歧
報告顯示,谷歌備受期待的下一代 Gemini 模型釋出已被推遲。由於內部在開發優先順序和資源分配上存在分歧,加上計算能力有限以及複雜的審批流程,導致釋出時間延後了兩個月。儘管谷歌擁有定製的 TPU 晶片,但由於模型訓練、Google Cloud 服務以及眾多消費和企業級 AI 應用對計算資源的需求相互競爭,谷歌仍面臨計算資源短缺的問題。目前,高層管理人員正透過組織結構調整來解決這些部門間的衝突。與此同時,領導層也發生了變化,聯合創始人謝爾蓋·布林越來越多地參與到核心模型訓練中,並倡導將資源專門用於
OpenAI 否認增長放緩擔憂,稱多個業務部門加速發展
針對外界對其銷售增長放緩及未達內部基準的質疑,人工智慧領域的領軍企業 OpenAI 於 4 月 28 日(星期二)發表了一份信心十足的宣告。該公司澄清稱,其消費產品和企業服務正在快速推進,直接駁斥了近期關於業務放緩的猜測。針對該公司“未達成多項內部目標”的說法,OpenAI 將這些報道斥為“典型的標題黨”。公司強調了企業對 AI 整合的強勁需求,並指出其廣告業務早期增長前景良好。據 OpenAI 內部人士透露,公司內部情緒依然樂觀。儘管市場競爭日益激烈,但公司正在向投資者傳遞信心,聲稱其商業
阿里巴巴超級盃:Qwen3.8-Max 重磅登場,程式碼與辦公工具能力全面升級
阿里巴巴正式釋出了Qwen3.8-Max,這是一款擁有2.4萬億引數的下一代基礎大模型。這一重大AI進展在編碼和專業辦公任務等核心領域帶來了顯著的效能提升,展現了強大的技術能力。在權威的Arena大模型排名中,Qwen3.8-Max取得了令人矚目的成績,僅次於Anthropic的Claude系列,位居行業前列。這一里程碑標誌著國內大模型在處理複雜任務方面取得了快速進展,為開發者和企業使用者提供了先進的智慧工具。該模型的API現已在Qwen AI平臺上上線,並整合到新推出的“Qwen Offic
¡Estas mejoras en eficiencia son una locura! 🔥 Si Google logra casi el mismo rendimiento con solo una GPU, ¿esto cambiará por completo el acceso a la IA para pequeños desarrolladores? Aun así, me pregunto cómo manejarán temas como el consumo energético real en uso masivo... 😅
Google's Gemma 3 sounds like a game-changer! 98% of DeepSeek's accuracy with just one GPU? That's some serious efficiency. Curious how this'll shake up the AI startup scene. 🚀
Google's Gemma 3 sounds like a game-changer! 98% of DeepSeek's accuracy with just one GPU? That's some serious efficiency. Curious how this stacks up in real-world apps! 😎
Google's Gemma 3 sounds like a game-changer! Achieving 98% of DeepSeek's accuracy with just one GPU is wild. Makes me wonder how this’ll shake up the AI race—more power to the little guys? 🤔





首頁






