智普憑藉GLM-5.1高速版本打破了全球AI速度記錄
中國著名的AI團隊智普今日正式宣佈,為部分企業客戶推出了全新的GLM-5.1高速API。這款被命名為“GLM-5.1-highspeed”的模型自發布以來便震撼了整個行業,其輸出速度高達每秒400個token。
這一數字直接超越了目前全球主要大型模型提供商設定的API速度基準,充分體現了其強大的技術實力。此前,AI行業普遍認為模型的速度與規模是相互矛盾的,即想要提高速度,往往就需要犧牲模型的功能。
以旗艦級效能打破行業常規
然而,GLM-5.1高速版本徹底打破了“速度快意味著模型規模小”這一長期存在的行業觀念。在國內大型模型中,這是首次將旗艦級的技術實力和超低的延遲能力應用到實際生產環境中。
據報道,這款模型是由智普的GLM團隊與TileRT團隊共同開發的。兩個團隊從三個層面進行了深入、全面的系統級最佳化:推理引擎、排程系統以及底層基礎設施,並摒棄了傳統的動態排程機制。
三層最佳化確保穩定輸出
在技術層面上,開發團隊不僅重新設計了模型架構的核心推理路徑,以提高單卡的處理能力,還透過動態批處理等技術,在高併發場景下有效降低了延遲。同時,圍繞基礎設施進行的協同最佳化也使得每秒400個token的輸出速度成為一種穩定且可實用的生產級能力。
這款高速模型具有廣泛的應用前景,尤其適用於那些對響應延遲有嚴格要求的場景。無論是用於AI程式設計、實時語音互動,還是輔助企業進行頻繁的業務決策,該模型都已經可以在智普的MaaS平臺上為部分企業提供服務了。
相關文章
ChatGPT 深度整合功能透過對話解鎖 30 萬部電影與電視節目
隨著串流服務以源源不絕的內容淹沒市場,如何協助使用者穿透資訊雜音、找到他們真正想要的內容,已成為業界面臨的一項關鍵挑戰。4月9日,各大串流服務商正式宣布整合ChatGPT應用生態系統。作為首個原生內建此項技術的平台,該服務旨在透過運用 AI 驅動的洞察力,徹底改變觀眾發現與消費影音內容的方式。核心體驗:摒棄關鍵字,以自然語感搜尋在整合ChatGPT 之後,該平台已超越傳統的類型篩選機制,提供更智慧
如何改善「核心網路指標」以提升 SEO 排名
透過 AI 驅動的字幕功能,徹底改變您的影片剪輯工作流程目錄:簡介自動轉錄的關鍵優勢確保準確性並優化輸出結果善用字幕中的搜尋功能無縫匯入現有檔案Transcript.com 介紹透過 Transcript.com 輕鬆編輯靈活的匯出格式全面的語言支援結論簡介Transcripted 是一款運用人工智慧生成自動轉錄文字的 Premiere 外掛程式。本指南將深入探討其核心功能,包括高準確度、進階搜尋
DingTalk 運用阿里AI的 MuleRun 重構架構,邁入全代理時代
丁談新任執行長暨悟空事業群負責人陳宇森,於今日下午發布的內部備忘錄中,揭露了一項重大的組織重整計畫。透過成立「核心平台事業部」並全面整合 AI 代理團隊,丁談正加速推動其企業協作生態系統的智慧轉型。此次重組的核心在於將 AI 技術深度整合至核心業務運作中。DingTalk 已正式將「悟空」與「MuleRun」團隊合併,組成統一的「悟空」團隊,現由前 MuleRun 首席技術長舒俊良領導。 Mule
相關專題推薦
評論 (0)
0/500
中國著名的AI團隊智普今日正式宣佈,為部分企業客戶推出了全新的GLM-5.1高速API。這款被命名為“GLM-5.1-highspeed”的模型自發布以來便震撼了整個行業,其輸出速度高達每秒400個token。
這一數字直接超越了目前全球主要大型模型提供商設定的API速度基準,充分體現了其強大的技術實力。此前,AI行業普遍認為模型的速度與規模是相互矛盾的,即想要提高速度,往往就需要犧牲模型的功能。
以旗艦級效能打破行業常規
然而,GLM-5.1高速版本徹底打破了“速度快意味著模型規模小”這一長期存在的行業觀念。在國內大型模型中,這是首次將旗艦級的技術實力和超低的延遲能力應用到實際生產環境中。
據報道,這款模型是由智普的GLM團隊與TileRT團隊共同開發的。兩個團隊從三個層面進行了深入、全面的系統級最佳化:推理引擎、排程系統以及底層基礎設施,並摒棄了傳統的動態排程機制。
三層最佳化確保穩定輸出
在技術層面上,開發團隊不僅重新設計了模型架構的核心推理路徑,以提高單卡的處理能力,還透過動態批處理等技術,在高併發場景下有效降低了延遲。同時,圍繞基礎設施進行的協同最佳化也使得每秒400個token的輸出速度成為一種穩定且可實用的生產級能力。
這款高速模型具有廣泛的應用前景,尤其適用於那些對響應延遲有嚴格要求的場景。無論是用於AI程式設計、實時語音互動,還是輔助企業進行頻繁的業務決策,該模型都已經可以在智普的MaaS平臺上為部分企業提供服務了。
ChatGPT 深度整合功能透過對話解鎖 30 萬部電影與電視節目
隨著串流服務以源源不絕的內容淹沒市場,如何協助使用者穿透資訊雜音、找到他們真正想要的內容,已成為業界面臨的一項關鍵挑戰。4月9日,各大串流服務商正式宣布整合ChatGPT應用生態系統。作為首個原生內建此項技術的平台,該服務旨在透過運用 AI 驅動的洞察力,徹底改變觀眾發現與消費影音內容的方式。核心體驗:摒棄關鍵字,以自然語感搜尋在整合ChatGPT 之後,該平台已超越傳統的類型篩選機制,提供更智慧
如何改善「核心網路指標」以提升 SEO 排名
透過 AI 驅動的字幕功能,徹底改變您的影片剪輯工作流程目錄:簡介自動轉錄的關鍵優勢確保準確性並優化輸出結果善用字幕中的搜尋功能無縫匯入現有檔案Transcript.com 介紹透過 Transcript.com 輕鬆編輯靈活的匯出格式全面的語言支援結論簡介Transcripted 是一款運用人工智慧生成自動轉錄文字的 Premiere 外掛程式。本指南將深入探討其核心功能,包括高準確度、進階搜尋
DingTalk 運用阿里AI的 MuleRun 重構架構,邁入全代理時代
丁談新任執行長暨悟空事業群負責人陳宇森,於今日下午發布的內部備忘錄中,揭露了一項重大的組織重整計畫。透過成立「核心平台事業部」並全面整合 AI 代理團隊,丁談正加速推動其企業協作生態系統的智慧轉型。此次重組的核心在於將 AI 技術深度整合至核心業務運作中。DingTalk 已正式將「悟空」與「MuleRun」團隊合併,組成統一的「悟空」團隊,現由前 MuleRun 首席技術長舒俊良領導。 Mule





首頁






