Google的Gemma 3仅使用一个GPU实现了DeepSeek准确性的98％

人工智能的经济学最近已成为主要重点，尤其是在使用GPU芯片时展示了令人印象深刻的规模经济的初创企业DeepSeek。但是Google不会被淘汰。周三，这家技术巨头推出了其最新的开源大型语言模型Gemma 3，Gemma 3几乎与DeepSeek R1型号的准确性相匹配，但使用了较少的计算能力。

Google使用“ ELO”分数（一种在国际象棋和运动中使用的系统来对竞争对手进行排名。 Gemma 3的得分为1338，比R1的1363差一点，这意味着R1在技术上优于Gemma 3。但是，Google估计，NVIDIA的H100 GPU芯片中的32个将达到R1的得分，而Gemma 3仅使用1 H100 GPU实现了结果。 Google将计算和ELO得分的这种平衡称为“最佳点”。

在博客文章中，Google将Gemma 3描述为“您可以在单个GPU或TPU上运行的最有能力的模型”，指的是其自己的自定义AI芯片，即“张量处理单元”。该公司声称，Gemma 3“为其尺寸提供最先进的性能”，淘汰了Llama-405B，DeepSeek-V3和O3-Mini等模型，以对LMARENA的排行榜进行人体偏好评估。这种性能使在单个GPU或TPU主机上创建引人入胜的用户体验变得更加容易。

谷歌

Google的模型还超过了Meta的Llama 3 ELO分数，Google估计这将需要16个GPU。值得注意的是，这些用于竞争模型的数字是Google的估计； DeepSeek AI仅使用NVIDIA不太能力的H800 GPU披露了R1。

可以在有关HuggingFace的开发人员博客文章中找到更多深入的信息，Gemma 3存储库可用。 Gemma 3专为设备使用而不是数据中心而设计，与R1和其他开源模型相比，参数数量的较少。由于参数计数从10亿到270亿不等，Gemma 3符合目前的标准非常适中，而R1具有6710亿个参数，尽管它只能有选择地使用370亿。

Gemma 3效率的关键是一种称为蒸馏的广泛使用的AI技术，其中较大模型的训练有素的模型权重转移到较小的模型，从而增强了其功能。此外，蒸馏模型采取了三种质量控制措施：从人类反馈中学习（RLHF），从机器反馈（RLMF）学习的增强措施以及从执行反馈（RLEF）学习的增强学习。这些有助于完善模型的输出，使它们更有帮助并提高其数学和编码能力。

Google的开发人员博客详细介绍了这些方法，另一篇文章讨论了针对移动设备的最小10亿参数模型的优化技术。其中包括量化，更新键值缓存布局，改善可变加载时间以及GPU重量共享。

Google不仅在ELO分数上，而且还与其前身Gemma 2及其封闭源的Gemini模型在LiveCodeBench等各种基准上进行了比较。尽管Gemma 3的准确性通常低于Gemini 1.5和Gemini 2.0，但Google指出，尽管参数较少，但它“与封闭的Gemini模型相比表现出了竞争性能”。

谷歌

Gemma 3对Gemma 2的重大升级是其更长的“上下文窗口”，从8,000个令牌扩展到128,000个令牌。这使模型可以处理诸如整个论文或书籍之类的较大文本。 Gemma 3也是多模式，能够处理文本和图像输入，与其前身不同。此外，它支持140多种语言，对Gemma 2的仅英语功能有了极大的改善。

除了这些主要功能外，Gemma 3还有其他一些有趣的方面。大型语言模型的一个问题是记住其培训数据的一部分，这可能导致隐私漏洞。 Google的研究人员为此对Gemma 3进行了测试，并发现它以比其前辈低的速度记住长篇文本，这表明保护了隐私保护。

对于那些对尼特（Nitty-Gritty）感兴趣的人，Gemma 3技术论文对模型的功能和开发提供了彻底的细分。