研究人員提出「投機層疊」,將投機解碼與標準層疊合併,以改善 LLM 效率。此方法使用較小的模型來草擬輸出,並使用延遲規則來決定是否接受或傳遞任務給較大的模型。測試顯示,與獨立技術相比,它能達到更好的速度品質權衡,在總結、推理和編碼等任務中優化成本和效能。
評論 (0)
0/300





首頁
