选项
首页
快讯
内容
DouglasScott
DouglasScott
2026-10-09

字节跳动的 Seed 团队将基于块的 KV 缓存压缩中的相位敏感性识别为大语言模型在处理超长文本时性能波动的根本原因。该机制引入了位置相位坐标,对检索精度产生巨大影响,部分开源模型中的差异高达 40 个百分点。研究结果揭示了被平均基准测试掩盖的隐藏周期性弱点,为优化模型架构和提升长上下文推理稳定性提供了理论依据。

字节跳动的 Seed 团队将基于块的 KV 缓存压缩中的相位敏感性识别为大语言模型在处理超长文本时性能波动的根本原因。该机制引入了位置相位坐标,对检索精度产生巨大影响,部分开源模型中的差异高达 40 个百分点。研究结果揭示了被平均基准测试掩盖的隐藏周期性弱点,为优化模型架构和提升长上下文推理稳定性提供了理论依据。
评论 (0)
0/300
OR