小紅書、北京大學、上海交通大學聯合釋出 HYPIC，可將混合注意力模型的首 Token 延遲降低 3.25 倍

大型模型服務的核心焦點正從單輪對話轉向檢索增強問答、多文件摘要以及長程智慧體。這些新興工作負載具有一個關鍵特徵：單個請求的提示詞通常由數十至數百個語義獨立的片段組成，包括檢索到的文件、技能描述、記憶檔案以及之前的對話輪次，所有片段被組裝成從數萬到數十萬詞元不等的超長上下文。在此規模下，預填充階段主導了每個請求的計算成本，成為服務提供商最顯著的支出。更關鍵的是，快取未命中可能導致首詞延遲（TTFT）飆升至數秒，嚴重損害使用者體驗。

業界採用了兩種降低成本策略。第一種是位置無關快取（PIC），它放寬了嚴格的字首約束，允許每個語義獨立的片段僅被快取一次，隨後可拼接至任意字首，完美契合 RAG 和智慧體的提示詞構成。其核心機制包括拼接，即沿詞元軸直接連線，以及校正，即重新計算少量詞元以恢復跨片段上下文。第二種方法是混合注意力模型，它用線性注意力替換大部分全注意力層，將二次複雜度降低為線性，並將無界歷史壓縮為固定大小的迴圈狀態。最近的量產模型如 MiniMax-M1、Ring-2.5、Qwen3.5 和 Kimi-Linear 對其超過 75% 的層進行了線性化處理，僅保留少數全注意力層，形成了主流的混合設計。例如，Qwen3.5-35B-A3B 在總共 40 層中包含 30 個線性層。

核心矛盾在於此：現有的 PIC 基於逐詞元鍵值（KV）快取執行，而線性注意力層僅暴露逐請求的迴圈狀態，缺乏用於拼接或校正的逐詞元掛鉤。因此，混合模型中的大多數層超出了現有 PIC 系統的能力範圍。迄今為止，沒有任何系統為混合注意力大型模型提供位置無關快取。

HYPIC 由小紅書大型模型推理團隊與北京大學、上海交通大學合作開發，是首個在混合注意力大型模型上實現 PIC 的服務系統。在四個量產級混合注意力模型和五個工作負載上的測試表明，HYPIC 將首詞延遲平均降低了 3.25 倍，並在相同 SLO 下將可持續 QPS 提高了 1.66 倍，任務質量與完全重新計算相比僅相差 1.71 分。該系統的核心思想是在混合模型中分別處理線性層和全注意力層，透過三個相互關聯的機制利用層級並行性加速冷請求。

對於線性層，HYPIC 快取“轉移運算元”，實現常數時間的狀態組合。最直接的 PIC 稻草人解決方案是直接相加兩個具有零初始值的片段的最終狀態——這在樸素線性注意力中有效，但在具有衰減、門控或 Delta 擦除的高階線性注意力（如 RetNet、Mamba2、GLA、DeltaNet、GDN、KDA）中失敗。缺失的關鍵量是片段的累積轉移運算元 T_C，即其中所有詞元轉移矩陣的乘積。實際最終狀態應為 S(C1·C2) = T(C2) · S(C1) + S(C2)，而簡單加法省略了 T(C2) 項，導致結構誤差。測試顯示，RetNet 中的慢衰減頭在 256 個詞元處表現出佔狀態範數 22% 的誤差。HYPIC 的關鍵見解是，T_C 和零初始狀態最終狀態 S(C|0) 僅由片段內部詞元決定，與字首無關。因此，在片段的首次預填充期間，HYPIC 快取對 (T_C, S(C|0))，並在重用時應用 T_C 的左乘及加法，幾乎精確地重建任意字首下的最終狀態，自然覆蓋整個線性注意力家族。在 Qwen3.5-35B-A3B 上的測試顯示，組合狀態與完全重新計算的差異僅為 6×10⁻⁵，在 FP16 噪聲範圍內。對於具有因果卷積或 RoPE 的變體，HYPIC 使用兩個補丁——卷積狀態預熱和狀態重旋轉——以實現嚴格對齊。

對於全注意力層，HYPIC 使用“接縫視窗”來修復跨片段注意力。儘管混合模型中仍有少量全注意力層需要 PIC，但之前的選擇性重新計算無法直接遷移，因為下游線性層僅保留最終狀態，使得非終端詞元無法透過全注意力層向上傳遞。由於儲存或計算限制，按詞元儲存迴圈狀態或從頭重新計算均不可行。團隊觀察到，KV 拼接後的偏差在每個重用片段的開頭高度集中，其餘部分幾乎不受影響，這與全注意力模型中的注意力匯現象一致，在混合注意力模型中也成立。基於此，HYPIC 在每個內部片段的開頭構建一個包含 w 個詞元的接縫視窗，將這些詞元排除在快取之外。重用時，它們在完整字首下重新計算以修復跨片段注意力，預設 w=8；由於實際片段長度通常大於 512 個詞元，接縫視窗占比非常小，使得重新計算成本可控。為了支援初始 KV 的重新計算，線性注意力層在重用時計算接縫視窗的 T 和 S，推進執行狀態，同時將每個接縫詞元的逐層輸出轉發至上層全注意力層。

第三個元件是片段級並行性，將“長冷請求”轉化為加速工作負載。由於持續的語料庫更新和低頻率文件移除，快取未命中是不可避免的，長冷請求是尾部延遲的主要原因。現有系統將整個提示詞視為單一實體，在單個例項上序列預填充所有冷片段，TTFT 隨 O(n·|C|) 增長；雖然張量並行和其他例項內並行性可以加速單個前向傳播，但其可擴充套件性有限，TP-8 上的 100k 詞元請求仍需 17.7 秒。然而，PIC 已使每個片段自包含——其預填充結果僅取決於其內部詞元。HYPIC 提出例項間片段級並行性：路由器檢測每個片段是否命中快取，然後將冷片段並行分發到多個散射工作器，合併工作器將每個片段的結果組裝為完整的執行狀態，將冷預填充時間從 O(n·|C|) 降低至 O(⌈n/m⌉·|C|+c)。為了充分利用此路徑，HYPIC 使用貪婪 LPT（最長處理時間）策略平衡工作器間的負載，並重疊每個片段的計算和傳輸，以避免合併工作器被同步傳輸突發所拖累；片段級並行性與例項內並行性（TP/DP/SP）在正交軸上執行，可以無縫結合。

該系統已在 SGLang 上實現，包含約 14,000 行 Python 和 Triton 程式碼。它在八個 H20 節點上使用四個量產級混合注意力模型（Ring-mini/flash-linear-2.0、Qwen3.5-35B-A3B/122B-A10B）、四個公共資料集（HotpotQA、TriviaQA、MultiNews、GovReport）和一個生產 RAG 追蹤進行了評估。完全預熱後，與 Prefix Cache 相比，HYPIC 將 p50 TTFT 平均降低了 3.25 倍（從 2.77× 到 4.05×），幾乎沒有質量損失——16 個“模型 × 資料集”單元平均僅落後於完全重新計算 1.71 分，甚至在 Qwen3.5-35B 上超出其 0.47 分。作為對比，不使用快取轉移運算元的樸素加法損失了 66.9% 的分數，證實了 T_C 的必要性。在生產 RAG 追蹤中，在相同的 1 秒 TTFT SLO 下，HYPIC 將可持續 QPS 提高了 1.66 倍（從 1.49× 到 1.85×），每張卡的峰值吞吐量提高了約 1.3 至 1.5 倍。在純冷未命中路徑上，32k 詞元請求的 TTFT 從單個工作器的 2.83 秒降低到八個工作器的 0.49 秒，實現了 5.7× 的加速，幾乎所有增益都來自可擴充套件的散射階段。針對不均勻分片，LPT 將 TTFT 從 1.26 秒降低到 0.84 秒（3.6× 對比 2.4×）。開銷也是可控的：構建 (T_C, S(C|0)) 的一次性成本在最重的密集轉移模型中僅佔主前向傳播的 5.2% 至 6.7%，且該成本可透過多次重用進行攤銷。

HYPIC 首次將位置無關快取引入混合注意力大型模型：它使用快取的逐片段累積轉移運算元實現線性層的常數時間狀態組合，利用小接縫視窗修復全注意力層的跨片段對齊，並使用片段級並行性將長冷請求轉化為加速工作負載。這使得 RAG 和智慧體等長上下文服務能夠在擁抱高效混合架構的同時，享受片段級快取重用的好處。團隊表示，未來的工作將專注於探索分散式 PIC 管理和排程，以及多級快取層次結構管理，進一步推動大型模型推理朝著更快、更具成本效益和更具可擴充套件性的解決方案發展。