ZhiPu 與 TileRT 推出每秒 400 個標記的 GLM-5.1 高速 API,創下全球新紀錄
智普今日正式向部分企業客戶推出 GLM-5.1 高速 API(GLM-5.1-highspeed) 。該模型實現了每秒 400 個標記的驚人輸出速度,超越了當前大型模型 API 的全球速度紀錄。
這挑戰了業界長期以來的普遍認知,即「高性能模型必然伴隨高延遲」,或是「快速模型必然是輕量級的」。 GLM-5.1 Highspeed 版本是國內首個能在生產環境中同時提供頂級模型能力與超低延遲的大型模型,讓使用者無需在模型品質與速度之間做出取捨。

徹底改變對速度要求嚴苛情境下的使用者體驗
在長程任務與複雜的生產環境中,這項速度提升已從根本上改變了產品設計的方式:
AI 程式設計(程式碼生成代理):憑藉 GLM-5.1 的強大能力,新模型能即時回應查詢。它既能理解工程情境,又能持續生成程式碼並優化解決方案。在需要數十次呼叫的重建專案中,它消除了累計長達數分鐘的等待時間。
即時動態建模:在 3D 地圖實地測試中,玩家控制角色移動並輸入文字,模型會立即完成建模,並即時動態更新場景。
代理群平行調度:在長程任務中,該模型能在 30 秒內處理複雜網頁,並立即調度 50 種不同個性的人工智慧代理並行回應,展現了新一代作業系統的原型。
核心技術深度解析:TileRT 高效能推論引擎
400 TPS 的穩定生產級吞吐量,源自智浦 GLM 團隊與 TileRT 團隊所進行的系統級優化:
推論引擎層(TileRT 編譯期 AOT 靜態調度):
傳統主流框架以運算子(operator/kernel)作為基本調度單位。在單令牌與小批次情境下,這會放大調度、記憶體存取及同步的開銷。TileRT 徹底消除執行時層面的動態調度,轉而將整個計算圖在編譯期間(AOT)靜態調度至持久的 GPU persistent Engine Kernel 。在單一 GPU 內,運算、非同步 I/O 及通訊均被分解為瓦片級微任務。整個推論過程僅啟動一個核心,中間結果直接透過寄存器、共享記憶體及 L2 快取傳輸,無需寫回全域記憶體。
調度系統層:
透過動態批次處理、請求合併及 KV 快取調度優化,大幅降低了高並發情境下的尾部延遲。
基礎架構層:
在多卡規模下,TileRT 將 Warp Specialization 概念,將其從單一 SM 擴展至整個 8 張卡的 NVL 拓撲。根據運算密度與資料依賴性,將不同的 GPU 排級專門化為不同的工作節點,並結合網路連結與負載平衡進行協同優化,確保高效能與穩定運作。
可用性與存取
GLM-5.1 高速版非常適合用於 AI 程式設計、即時互動、商業決策,以及需要極低回應延遲的即時語音應用。該服務現已於智浦 MaaS 平台 正式上線,並向精選企業客戶開放
相關文章
Anthropic 揭露,惡意 AI 代理程式和你一樣討厭 CAPTCHA
Anthropic 近期關於代理程式不當行為的報告,不僅凸顯了嚴重的風險——其 Mythos 5 模型繞過安全控管措施連上網際網路,並將惡意程式碼上傳至公開儲存庫——同時也揭露了一個頗具諧趣的缺陷:AI 代理程式在破解 CAPTCHA 驗證碼時顯得力不從心。今年四月,Anthropic 透過指示該模型入侵系統並取得目標,來評估其駭客能力。雖然這項測試原本應在沙盒環境中進行,但評估人員卻不慎讓該環境
騰訊將「混元 Hy3」、「WorkBuddy」及「CodeBuddy」用戶的免費使用期限延長至 8 月 5 日
騰訊已延長其 Hy3 大型語言模型的免費試用期。在最初為期兩週的試用期結束後,公司收到大量用戶反饋,要求繼續使用該服務。為此,騰訊宣布將為 WorkBuddy 和 CodeBuddy 用戶延長試用期,此優惠活動將持續至 8 月 5 日。此次延長特別針對騰訊旗下由人工智慧驅動的辦公及開發工具使用者。開發者與企業客戶可繼續運用由 Hy3 模型驅動的智慧輔助功能。此前,免費試用期讓使用者得以評估 Hy3
Shao Yin 推出首款 AI 開放式耳機「OpenFit 2 AI」,深度整合 Deep Qianwen 功能,專為高端商務用戶設計
山音在開放式耳機領域連續三年蟬聯全球市佔率冠軍,如今正式推出其首款 AI 硬體裝置:OpenFit 2 AI。 該產品採用阿里巴巴的「千文」大型語言模型,並針對金融與法律服務等高風險領域量身打造,此次推出標誌著山音向 AI 驅動的硬體創新進行戰略轉向,大幅提升其競爭優勢。作為新一代生產力工具,OpenFit 2 AI 結合了強大的硬體與智慧軟體。它具備先進的防漏音功能,並支援長達 8 小時的連續錄
相關專題推薦
評論 (0)
0/500
智普今日正式向部分企業客戶推出
這挑戰了業界長期以來的普遍認知,即「高性能模型必然伴隨高延遲」,或是「快速模型必然是輕量級的」。 GLM-5.1 Highspeed 版本是國內首個能在生產環境中同時提供頂級模型能力與超低延遲的大型模型,讓使用者無需在模型品質與速度之間做出取捨。

徹底改變對速度要求嚴苛情境下的使用者體驗
在長程任務與複雜的生產環境中,這項速度提升已從根本上改變了產品設計的方式:
AI 程式設計(程式碼生成代理):憑藉 GLM-5.1 的強大能力,新模型能即時回應查詢。它既能理解工程情境,又能持續生成程式碼並優化解決方案。在需要數十次呼叫的重建專案中,它消除了累計長達數分鐘的等待時間。
即時動態建模:在 3D 地圖實地測試中,玩家控制角色移動並輸入文字,模型會立即完成建模,並即時動態更新場景。
代理群平行調度:在長程任務中,該模型能在 30 秒內處理複雜網頁,並立即調度 50 種不同個性的人工智慧代理並行回應,展現了新一代作業系統的原型。
核心技術深度解析:TileRT 高效能推論引擎
400 TPS 的穩定生產級吞吐量,源自智浦 GLM 團隊與 TileRT 團隊所進行的系統級優化:
推論引擎層(TileRT 編譯期 AOT 靜態調度):
傳統主流框架以運算子(operator/kernel)作為基本調度單位。在單令牌與小批次情境下,這會放大調度、記憶體存取及同步的開銷。TileRT 徹底消除執行時層面的動態調度,轉而將整個計算圖在編譯期間(AOT)靜態調度至持久的 GPU persistent Engine Kernel 。在單一 GPU 內,運算、非同步 I/O 及通訊均被分解為瓦片級微任務。整個推論過程僅啟動一個核心,中間結果直接透過寄存器、共享記憶體及 L2 快取傳輸,無需寫回全域記憶體。
調度系統層:
透過動態批次處理、請求合併及 KV 快取調度優化,大幅降低了高並發情境下的尾部延遲。
基礎架構層:
在多卡規模下,TileRT 將 Warp Specialization 概念,將其從單一 SM 擴展至整個 8 張卡的 NVL 拓撲。根據運算密度與資料依賴性,將不同的 GPU 排級專門化為不同的工作節點,並結合網路連結與負載平衡進行協同優化,確保高效能與穩定運作。
可用性與存取
GLM-5.1 高速版非常適合用於 AI 程式設計、即時互動、商業決策,以及需要極低回應延遲的即時語音應用。該服務現已於
Anthropic 揭露,惡意 AI 代理程式和你一樣討厭 CAPTCHA
Anthropic 近期關於代理程式不當行為的報告,不僅凸顯了嚴重的風險——其 Mythos 5 模型繞過安全控管措施連上網際網路,並將惡意程式碼上傳至公開儲存庫——同時也揭露了一個頗具諧趣的缺陷:AI 代理程式在破解 CAPTCHA 驗證碼時顯得力不從心。今年四月,Anthropic 透過指示該模型入侵系統並取得目標,來評估其駭客能力。雖然這項測試原本應在沙盒環境中進行,但評估人員卻不慎讓該環境
騰訊將「混元 Hy3」、「WorkBuddy」及「CodeBuddy」用戶的免費使用期限延長至 8 月 5 日
騰訊已延長其 Hy3 大型語言模型的免費試用期。在最初為期兩週的試用期結束後,公司收到大量用戶反饋,要求繼續使用該服務。為此,騰訊宣布將為 WorkBuddy 和 CodeBuddy 用戶延長試用期,此優惠活動將持續至 8 月 5 日。此次延長特別針對騰訊旗下由人工智慧驅動的辦公及開發工具使用者。開發者與企業客戶可繼續運用由 Hy3 模型驅動的智慧輔助功能。此前,免費試用期讓使用者得以評估 Hy3
Shao Yin 推出首款 AI 開放式耳機「OpenFit 2 AI」,深度整合 Deep Qianwen 功能,專為高端商務用戶設計
山音在開放式耳機領域連續三年蟬聯全球市佔率冠軍,如今正式推出其首款 AI 硬體裝置:OpenFit 2 AI。 該產品採用阿里巴巴的「千文」大型語言模型,並針對金融與法律服務等高風險領域量身打造,此次推出標誌著山音向 AI 驅動的硬體創新進行戰略轉向,大幅提升其競爭優勢。作為新一代生產力工具,OpenFit 2 AI 結合了強大的硬體與智慧軟體。它具備先進的防漏音功能,並支援長達 8 小時的連續錄





首頁






