研究人员提出了 "推测级联"，将推测解码与标准级联合并，以提高 LLM 效率。这种方法使用较小的模型来起草输出，并使用延迟规则来决定是否接受任务或将任务传递给较大的模型。测试表明，与独立的技术相比，它能实现更好的速度-质量权衡，在总结、推理和编码等任务中优化成本和性能。

评论 (0)