選項
首頁
快訊
內容
DouglasScott
DouglasScott
2026-10-09

位元組跳動的 Seed 團隊將基於塊的 KV 快取壓縮中的相位敏感性識別為大語言模型在處理超長文字時效能波動的根本原因。該機制引入了位置相位座標,對檢索精度產生巨大影響,部分開源模型中的差異高達 40 個百分點。研究結果揭示了被平均基準測試掩蓋的隱藏週期性弱點,為最佳化模型架構和提升長上下文推理穩定性提供了理論依據。

位元組跳動的 Seed 團隊將基於塊的 KV 快取壓縮中的相位敏感性識別為大語言模型在處理超長文字時效能波動的根本原因。該機制引入了位置相位座標,對檢索精度產生巨大影響,部分開源模型中的差異高達 40 個百分點。研究結果揭示了被平均基準測試掩蓋的隱藏週期性弱點,為最佳化模型架構和提升長上下文推理穩定性提供了理論依據。
評論 (0)
0/300
OR