AI擴展突破由專家質疑

社交媒體上有些關於研究人員發現新AI「縮放法則」的討論，但專家們對此持保留態度。AI縮放三法則，更像是非正式指南，顯示AI模型在投入更多數據和計算能力時性能提升。直到大約一年前，主流趨勢是「預訓練」——基本上是使用更大數據集訓練更大模型。這仍然存在，但現在又多了兩種縮放法則：後訓練縮放，專注於調整模型行為；以及測試時縮放，涉及在推理時使用更多計算能力來提升模型的「推理」能力（例如R1模型）。

最近，來自Google和UC Berkeley的研究人員發表了一篇論文，網上一些人稱之為第四法則：「推理時搜索」。這種方法讓模型同時生成多個可能的答案，然後選出最佳答案。研究人員聲稱，這能提升舊模型（如Google的Gemini 1.5 Pro）的性能，在科學和數學基準測試中擊敗OpenAI的o1-preview「推理」模型。

Google博士研究員、論文共同作者之一Eric Zhao在X上分享，通過隨機採樣200個回答並讓模型自我驗證，Gemini 1.5——他開玩笑稱之為「古老的2024年初模型」——能超越o1-preview，甚至接近o1。他指出，隨著規模擴大，自我驗證變得更容易，這有些違反直覺但很酷。

但並非所有人都信服。阿爾伯塔大學AI研究員兼助理教授Matthew Guzdial告訴TechCrunch，這種方法在有可靠答案評判方式時效果最佳。但大多數問題並不簡單。他說：「如果我們無法編寫代碼來定義我們想要的，就無法使用[推理時]搜索。對於一般語言交互，我們做不到這一點……這通常不是解決大多數問題的好方法。」

Zhao回應說，他們的論文實際上探討了沒有明確評判方式的情況，模型必須自行解決。他認為，隨著規模擴大，有無明確評判方式之間的差距會縮小。

倫敦國王學院研究員Mike Cook支持Guzdial的觀點，認為推理時搜索並未真正提升模型的推理能力，更像是彌補模型自信錯誤的權宜之計。他指出，如果模型有5%的錯誤率，檢查200次嘗試應能更容易發現錯誤。

這對AI行業可能有些令人失望，該行業一直在尋找提升模型「推理」能力而不燒錢的方法。論文作者指出，推理模型解決一個數學問題可能花費數千美元的計算成本。

看來尋找新縮放技術的道路還遠未結束。

更新於3/20 太平洋時間上午5:12：新增了論文共同作者Eric Zhao的評論，他對一位獨立研究員的批評意見提出異議。