选项
首页
快讯
内容
JohnYoung
JohnYoung
2026-07-17

小红书团队与北京大学、上海交通大学合作开发了HYPIC,这是首个为混合注意力大型模型提供位置无关缓存的系统。该系统对线性层的转换运算符进行缓存,利用接缝窗口实现全注意力机制,并支持片段级并行处理。 测试表明,与前缀缓存相比,该系统将首个令牌延迟降低了3.25倍,可持续QPS提高了1.66倍,且质量损失极小。

小红书团队与北京大学、上海交通大学合作开发了HYPIC,这是首个为混合注意力大型模型提供位置无关缓存的系统。该系统对线性层的转换运算符进行缓存,利用接缝窗口实现全注意力机制,并支持片段级并行处理。 测试表明,与前缀缓存相比,该系统将首个令牌延迟降低了3.25倍,可持续QPS提高了1.66倍,且质量损失极小。 小红书团队与北京大学、上海交通大学合作开发了HYPIC,这是首个为混合注意力大型模型提供位置无关缓存的系统。该系统对线性层的转换运算符进行缓存,利用接缝窗口实现全注意力机制,并支持片段级并行处理。 测试表明,与前缀缓存相比,该系统将首个令牌延迟降低了3.25倍,可持续QPS提高了1.66倍,且质量损失极小。
评论 (0)
0/300
OR