研究人員以低於50美元的價格開發了OpenAI $ 50“推理”模型的開源競爭對手

上週五，來自史丹佛大學與華盛頓大學的AI專家發表了一篇突破性研究論文，揭示他們以不到50美元的雲端運算費用，成功開發出一款名為s1的AI「推理」模型。這一發現震撼了AI界，因為s1在應對數學和程式設計挑戰時，能與OpenAI的o1和DeepSeek的R1等頂尖模型匹敵。

s1模型及其訓練數據和程式碼的詳細內容現已在GitHub上公開。研究團隊從一個普通的基礎模型開始，採用一種名為蒸餾的技術進行強化。此過程涉及從另一個AI模型的回應中萃取「推理」能力進行訓練。在本例中，s1的智慧來自Google的Gemini 2.0 Flash Thinking Experimental模型。這與柏克萊研究人員上個月用大約450美元打造自家AI推理模型的策略類似。

對某些人來說，一個小型研究團隊能在無需巨額預算的情況下，在AI領域掀起波瀾，令人振奮。但s1的出現也引發了關於AI模型發展未來的嚴肅問題。如果一個能與耗資數百萬打造的模型媲美的模型，可以用極低的預算複製出來，還有什麼能阻止其他人做同樣的事呢？

不出所料，AI領域的大廠對此並不樂見。例如，OpenAI曾指責DeepSeek利用其API數據進行模型蒸餾。與此同時，s1團隊專注於尋找最直接的方法，以實現穩健的推理性能和所謂的「測試時擴展」（test-time scaling），即讓AI模型在回答前有更多思考時間。這與OpenAI的o1模型帶來的創新相同，而DeepSeek等其他團隊也試圖以自己的方式模仿。

s1論文指出，透過一種稱為監督微調（SFT）的技術，可以用相對較小的數據集來蒸餾推理模型。這涉及訓練AI模型從數據集中複製特定行為，成本比DeepSeek用於其R1模型的大規模強化學習低，後者與OpenAI的o1競爭。

Google透過其Google AI Studio平台免費提供Gemini 2.0 Flash Thinking Experimental，但有每日使用限制。然而，問題在於Google的條款不允許逆向工程其模型以創建競爭服務。我們正在等待Google的回應。

s1模型本身最初是來自阿里巴巴Qwen實驗室的普通現成AI模型，任何人都可以免費下載。為訓練s1，研究人員準備了一個僅包含1,000個精心挑選問題的數據集，連同答案及每個問題背後的「思考」過程，這些都來自Google的Gemini 2.0。整個訓練過程在16個Nvidia H100 GPU上耗時不到30分鐘。根據參與項目的史丹佛研究員Niklas Muennighoff表示，如今這項工作只需約20美元的運算成本即可完成。

研究人員還採取了一個巧妙的策略，讓s1檢查自己的工作並延長其「思考」時間——他們僅僅是告訴它「等待」。論文指出，在s1的推理過程中加入這個詞，有助於它給出略為更準確的答案。

展望2025年，像Meta、Google和Microsoft這樣的科技巨頭計劃投入數千億美元於AI基礎設施，其中大部分將用於訓練下一波AI模型。雖然蒸餾被證明是低成本重現AI能力的有效方式，但短期內不會催生全新、突破性的AI模型。