微軟研究發現更多 AI 代幣會增加推理錯誤

LLM 推理效率的新觀點

微軟的最新研究顯示，大型語言模型中的先進推理技術並不能在不同的人工智能系統中產生一致的改進。他們的突破性研究分析了九個領先的基礎模型在推理過程中對各種擴充方法的反應。

評估推理時間縮放方法

研究團隊針對三種不同的縮放技術實施了嚴格的測試方法：

• 傳統的思考鏈提示
• 並行答案產生與彙總
• 透過回饋迴圈進行順序精煉

八項綜合基準提供了跨學科的挑戰性測試情境，包括數學、科學推理、複雜問題解決和空間分析。有幾個評估的難度是分等級的，以檢視效能如何隨著問題複雜性而遞增。

推理能力的重要發現

對於人工智能實務人員而言，這項全面的評估產生了幾項重要的啟發：

• 模型架構和任務領域不同，縮放技術帶來的效能提升也有很大差異
• 較長的回應時間與較好的解決方案並不一致
• 即使是相同的查詢，計算成本也會出現不可預測的波動
• 傳統模型有時可以透過廣泛的擴充來匹配專門的推理模型
• 驗證機制有希望提高效率

對人工智能發展的實際影響

這些發現對企業的 AI 實作有重大影響：

成本的可預測性是一大挑戰，即使是正確的答案，代幣的使用量也顯示出很大的差異。"微軟研究人員 Besmira Nushi 指出：「開發人員需要具有一致計算模式的模型。

這項研究也指出回應長度是模型可信度的潛在指標，過長的回應通常代表超過特定臨界值的錯誤解決方案。

高效推理系統的未來

這項研究強調了未來發展的多個前景看好的方向：

Nushi 解釋說：「驗證機制可以改變我們處理推理問題的方式，」他建議將現有的企業驗證系統適用於 AI 應用。這種整合將允許自然語言介面利用專門的驗證邏輯。

這項研究強調，隨著人工智慧系統承接越來越複雜的現實世界任務，人們越來越需要能平衡推理準確性與可預測計算成本的解決方案。