Xiaohongshuチームは、北京大学(PKU)および上海交通大学(SJTU)と共同で、ハイブリッドアテンション型大規模モデル向けに位置非依存のキャッシュ機能を提供する初のシステム「HYPIC」を開発しました。このシステムは、線形層の遷移演算子をキャッシュし、フルアテンションにはシームウィンドウを採用することで、セグメントレベルの並列処理を実現しています。 テストの結果、プレフィックスキャッシュと比較して、最初のトークンの遅延が3.25倍短縮され、持続可能なQPSが1.66倍向上し、品質の低下も最小限に抑えられたことが確認された。





家
