選項
首頁
新聞
Google DeepMind 推出 STATIC 框架,將大型語言模型(LLM)生成式檢索的速度提升 948 倍

Google DeepMind 推出 STATIC 框架,將大型語言模型(LLM)生成式檢索的速度提升 948 倍

2026-07-01
179

在現代工業級推薦系統中,基於大型語言模型(LLM)的生成式檢索(GR)正逐步取代傳統的嵌入式搜尋。然而,在實際應用中,此方法面臨一個關鍵問題:模型經常產生無效的產品 ID 或違反庫存限制的輸出結果,導致推薦內容毫無意義。

為解決此問題,Google DeepMind 與 YouTube 的研究人員共同提出了一種名為STATIC(Sparse Transition Matrix Accelerated Trie Index for Constrained Decoding)的新框架。這項技術運用創新的數學方法,將大型語言模型中的受限解碼速度提升達948 倍。

STATIC 受限解碼框架的示意圖

關鍵技術突破:

將「樹」轉化為「矩陣」:傳統的約束驗證依賴前綴樹(Trie),但在 GPU 和 TPU 等硬體上執行效率低下。STATIC 將複雜的樹結構轉換為靜態壓縮稀疏行(CSR)矩陣,將驗證過程轉化為向量化運算,使硬體能高效處理。

卓越的響應速度:在針對 30 億參數模型的測試中,STATIC 實現的單步驟延遲低至0.033 毫秒。這比傳統基於 CPU 的檢索快了近 1,000 倍,且比現有的硬體加速解決方案快了 40 多倍。

YouTube 的成功試用:STATIC 已部署於 YouTube 的影片推薦系統中,以確保推薦結果符合商業限制條件,例如影片必須為過去七天內發布的新內容。測試結果顯示,新影片的播放量增加了5.1%,點擊率 (CTR) 也有顯著提升。

此外,STATIC 還解決了生成式檢索在冷啟動階段的限制。透過實施精確的解碼約束,該模型在推薦從未遇見過的全新產品時,能實現顯著的準確度提升。

相關文章
OpenAI 的人工智慧解出了 722 道數學題,引發人類數學家的憂慮 OpenAI 的人工智慧解出了 722 道數學題,引發人類數學家的憂慮 人工智慧在數學領域的快速演進,正從根本上改變外界對該領域的認知。OpenAI 最近發布了涵蓋 17 個不同數學學科的 722 份證明手稿,展現出大幅降低的解題成本,這在數學界引發了相當大的爭議。儘管這些由人工智慧生成的證明成功通過了嚴格的機器驗證,但其實際應用卻暴露出關鍵的局限性。其中大部分證明難以轉化為人類可理解的知識,且現實情境已顯示,單一的符號錯誤便可能使多個相關結論失效。這項進展在學術界引
隨著安全漏洞與駭客威脅激增,人工智慧加速了漏洞偵測 隨著安全漏洞與駭客威脅激增,人工智慧加速了漏洞偵測 彭博社於7月28日報導,人工智慧正大幅加速軟體漏洞的發現進程。 根據當前趨勢,預計到2026年,熱門科技產品中發現的安全漏洞數量將較去年翻倍。人工智慧既成為了安全團隊的「放大鏡」,也成了駭客的「加速器」。從今年1月到本週一,美國國家漏洞資料庫(NVD)已記錄了45,207個漏洞,接近去年的總數——而2025年本身已創下該資料庫的紀錄。 所謂安全漏洞,是指可能被駭客利用的軟體缺陷,使攻擊者得以滲透電
如何改善「核心網站關鍵指標」,以提升 SEO 排名? 如何改善「核心網站關鍵指標」,以提升 SEO 排名? 介紹 Free Willy:開源語言模型的新時代目錄:Woody's AI 與 Carper AI Lab:戰略合作夥伴關係自然語言處理的關鍵作用認識 Free Willy 1 與 Free Willy 2它們與競爭對手的比較幕後揭秘:資料生成與訓練主要功能與公開存取性基準測試與效能分析對開源生態系統的影響總結後續測試與應用計畫社群參與與支援Woody's AI 攜手 Carp
相關專題推薦
設計與藝術 頂尖 AI 插畫工具:更快地創作編輯畫面與封面插圖
頂尖 AI 插畫工具:更快地創作編輯畫面與封面插圖

2026 年最新高評分 AI 插畫工具:我們精心挑選的清單收錄了功能強大、設計出色的工具,能助您快速創作出令人驚豔的編輯場景與吸睛的封面藝術。每項選項均經過嚴格的實際測試,並提供免費版與付費版的比較,協助您找到最適合您工作流程的工具。 立即嘗試這些不可錯過的解決方案,釋放您的人工智慧優勢,並提升您的創意生產力。現在就前往 XIX.AI 探索吧。

10 個工具
xix.ai
教育與學習 頂尖 AI 補習老師助您備考:練習數學、科學和英語
頂尖 AI 補習老師助您備考:練習數學、科學和英語

2026 年最新、評價最高的考試備考 AI 輔導工具,盡在 XIX.AI!我們精心挑選的清單收錄了多款強大且顛覆傳統的工具,提供免費與付費版本的比較、實際測試,以及每週更新的排行榜。這些工具能幫助您提升寫作效率、簡化複雜主題的學習,並釋放您的學術潛能。 立即探索,發掘最適合您的備考工具,並從今天開始創作,釋放您的 AI 優勢!

10 個工具
xix.ai
金融 用於個人財務管理的 AI 預算規劃工具
用於個人財務管理的 AI 預算規劃工具

2026 年最新最佳頂級評分 AI 預算規劃工具,專為個人財務管理打造,現已登陸 XIX.AI!本精選合集收錄了強大且具顛覆性的解決方案,助您開展實際測試、理解消費習慣,並制定個性化計劃以提升生產力。享受免費與付費版的對比及詳細排名。這些必試工具旨在簡化財務管理,助您釋放 AI 優勢。立即探索!

11 個工具
xix.ai
健康與養生 AI 睡眠追蹤助手:透過更佳的睡前習慣提升恢復效果
AI 睡眠追蹤助手:透過更佳的睡前習慣提升恢復效果

2026 年最新精選、評價最高的 AI 睡眠追蹤助手,助您獲得最佳恢復效果。這份全面更新的每週指南收錄了強大的工具,提供實際測試報告、免費與付費版本的比較,以及詳細排名,協助您找到必試的解決方案,以提升睡眠品質並培養更好的就寢習慣。 立即造訪 XIX.AI,解鎖您的 AI 優勢。

10 個工具
xix.ai
數據分析 用於產品與營收分析的 AI SQL 協作助手
用於產品與營收分析的 AI SQL 協作助手

2026 年最新最佳、評價最高的 AI SQL 輔助工具,專為產品與營收分析打造! XIX.AI 精心甄選了一系列強大且顛覆業界的必試工具,這些工具均經過實戰測試,並透過每週更新的排行榜進行評比。這些工具能透過加速資料分析、簡化複雜查詢,並產生精準洞察來推動更明智的商業決策,從而大幅提升使用者生產力。立即探索,發掘最適合您的工具,釋放您的 AI 優勢!

14 個工具
xix.ai
教育與學習 最佳的「教學型」AI 作業輔助工具:學習概念,而不僅是答案
最佳的「教學型」AI 作業輔助工具:學習概念,而不僅是答案

2026 年最新最佳高評價 AI 作業輔助工具:不僅提供答案,更教授核心概念。專為學生打造的強大工具,必試精選清單,每週更新,免費與付費版本比較,實際測試,精準排名,助您充分發揮學習潛能。立即探索,發掘最適合您的工具,讓學習更聰明。

10 個工具
xix.ai
評論 (1)
0/500
PaulSanchez
PaulSanchez 2026-07-21 00:00:16

948 times faster? That's insane. But I wonder if the quality of retrieval drops with such speed. Still, exciting progress for LLM applications. 🚀

OR