研究人员以低于50美元的价格开发了OpenAI $ 50“推理”模型的开源竞争对手

上周五，斯坦福大学和华盛顿大学的AI专家的一份开创性的研究论文袭击了现场，透露，他们设法开发了一种被称为S1的AI“推理”模型，以低于50美元的云计算学分。由于S1在应对数学和编码挑战方面，S1与Openai的O1和DeepSeek的R1等顶级模型保持着自己的态度。

S1模型以及其培训数据和代码的所有多汁细节现在都可以在GitHub上抢购。该团队用一台经过普通的基本模型开始了事情，然后用一种称为蒸馏的技术将其放在扭架上。此过程涉及通过培训其响应来从另一个AI模型中榨取“推理”果汁。在这种情况下，S1从Google的Gemini 2.0 Flash思维实验模型中获得了智能。这与伯克利研究人员所用来的AI推理模式的策略类似，上个月约为450美元。

对于某些人来说，一小群研究人员仍然可以在没有大规模预算的情况下在AI领域挥舞着这一想法令人兴奋。但是S1的出现也引发了有关AI模型开发未来的一些严重问题。如果可以在预算上复制具有数百万美元的模型，那么什么才能阻止每个人做同样的事情？

毫不奇怪，AI中的大型球员并不激动。例如，Openai将手指指向DeepSeek，指责他们使用其API数据来促进模型蒸馏。同时，S1团队专注于找到最直接的方法来实现扎实的推理性能和所谓的“测试时间扩展”，在该方法中，AI模型在回答之前有更多的时间思考。这些是Openai的O1模型带到餐桌上的创新，像DeepSeek这样的其他人试图模仿自己的方法。

S1论文建议您使用一种称为监督微调（SFT）的技术将推理模型蒸馏出相对较小的数据集。这涉及培训AI模型以复制数据集的特定行为，并且比DeepSeek用于其R1模型的大规模增强学习更便宜，该模型与OpenAI的O1竞争。

Google通过其Google AI Studio平台免费提供Gemini 2.0 Flash Thinking实验，尽管每日限制。但是有一个捕捉 - Google的术语不允许对其模型进行反向工程来创建竞争服务。我们正在等待从Google那里听到的。

S1模型本身是从阿里巴巴的Qwen实验室开始的一种谦虚，现成的AI模型，任何人都可以免费下载。为了培训S1，研究人员将仅1000个精心选择的问题的数据集以及每个人背后的“思考”过程组合在一起，由Google的Gemini 2.0提供。整个训练过程在16个NVIDIA H100 GPU上花费了不到30分钟。参与该项目的斯坦福大学研究人员Niklas Muennighoff表示，您今天可以以约20美元的计算成本来实现这一目标。

研究人员还采取了巧妙的举动，以使S1双重检查其工作并扩展其“思考”时间 - 他们只是告诉它“等待”。该论文说，在S1的推理过程中添加这个词有助于提出更准确的答案。

展望2025年，Meta，Google和Microsoft等科技巨头将倒入数亿美元的AI基础架构，其中大部分将用于培训下一波AI模型。虽然蒸馏被证明是一种以便宜的方式重新创建AI功能的有效方法，但它不会很快就可以创建全新的，开创性的AI模型。