M6 Intelligence 與清華大學開源專案 BitCPM-CANN 攜手,讓大型模型能在行動裝置上運行
MBLab 近期與清華大學及 OpenBMB 開源社群合作,發布並開源了一項在低位元大型模型訓練領域的重大突破:BitCPM-CANN。 此項里程碑式成果原生開發於華為的 Ascend 平台,推動了邊緣端 AI 大型模型的輕量化與工程化部署。

六倍記憶體優勢突破硬體限制
現已開源的 BitCPM-CANN 提供 0.5B、1B、3B 和 8B 四種規格。與同等規模的全精度模型直接比較時,其表現卓越。 相較於傳統的 BF16 精度,其在推論過程中可節省約六倍的記憶體,大幅降低運行大型模型所需的硬體資源。
對於行動裝置而言,這六倍的記憶體優勢意味著,過去需要頂級硬體才能運行的 8B 參數大型模型,如今已能在主流旗艦智慧型手機上流暢運行。這項顯著的記憶體餘裕,將直接加速邊緣端 AI 技術在行動平台上的採用與商業部署。
高保留率驗證了工程可重現性
儘管模型大小有所縮減,BitCPM-CANN 仍保持著極高的性能,能力保留率介於 90% 至 97.2% 之間。 針對三種較大的模型尺寸,性能保留率介於 95.7% 至 97.2% 之間;即使是體積最小的 0.5B 變體,保留率也超過 90%。
這些令人印象深刻的成果系統性地證明,低位元訓練方法具備強大的可擴展性與工程可重現性。 MBLab 已運用這些核心技術建立起全面的低位元訓練基礎架構,涵蓋完整的工程堆疊——包括環境適應、32K 長序列支援以及融合運算子——從而為未來在 Ascend 平台上的低位元訓練工作提供堅實的公開基礎設施。
相關文章
蘋果就Siri人工智慧功能延期釋出達成2.5億美元和解
蘋果已同意支付2.5億美元,以解決一起關於其在iPhone 16釋出前對AI功能營銷的集體訴訟,該訊息由《金融時報》率先報道。訴訟聲稱,蘋果誇大了Apple Intelligence的功能,包括一項重大的Siri升級。原告認為,蘋果公司透過暗示高階AI工具將比實際更早可用,從而誤導了消費者,特別是關於Siri承諾的改進,這些改進至今尚未完全實現。根據投訴內容,iPhone 15和16的買家認為他們購買的是當時不可用的尖端AI工具。訴訟將此定性為虛假廣告,聲稱蘋果的營銷基於不完整或延遲的功能影
Ando 推出團隊訊息應用,連線人類與人工智慧協作
2025年,當Sara Du協助公司開發MCP伺服器時,一個反覆出現的問題浮出水面:團隊如何直接在Slack中利用AI智慧體?這條道路被顯著的技術障礙所阻礙,包括訊息同步的複雜性、上下文管理的難度以及耗盡令牌預算的風險。在調查這些挑戰時,Du發現了現代通訊平臺設計中的一個根本缺陷。“我深入得越深,就越覺得Slack和Teams是為一個正在離我們遠去的世界而構建的,”Du告訴TechCrunch。“智慧體被視為你需要安裝的應用程式,儘管它們正逐漸成為團隊的參與者。”她提出的解決方案涉及消除“肉
獲得紅杉資本投資的 Empirik 籌得 2,100 萬美元,用於在服務中斷發生前預先預測
在 2020 年加入紅杉資本(Sequoia Capital)擔任首席數位與資訊長之前,艾文·普里(Avon Puri)曾在 Rubrik 和 VMware 負責基礎架構管理長達十餘年。 三年前,當大型語言模型開始展現其真正潛力之際,普里與紅杉資本的另一位 IT 領導者蘇迪爾·杜爾賈蒂(Sudheer Dhurjati)共同意識到,人工智慧能夠協助自主解決基礎架構工程師面臨的一大挑戰——在技術中斷
相關專題推薦
評論 (0)
0/500
MBLab 近期與清華大學及 OpenBMB 開源社群合作,發布並開源了一項在低位元大型模型訓練領域的重大突破:BitCPM-CANN。 此項里程碑式成果原生開發於華為的 Ascend 平台,推動了邊緣端 AI 大型模型的輕量化與工程化部署。

六倍記憶體優勢突破硬體限制
現已開源的 BitCPM-CANN 提供 0.5B、1B、3B 和 8B 四種規格。與同等規模的全精度模型直接比較時,其表現卓越。 相較於傳統的 BF16 精度,其在推論過程中可節省約六倍的記憶體,大幅降低運行大型模型所需的硬體資源。
對於行動裝置而言,這六倍的記憶體優勢意味著,過去需要頂級硬體才能運行的 8B 參數大型模型,如今已能在主流旗艦智慧型手機上流暢運行。這項顯著的記憶體餘裕,將直接加速邊緣端 AI 技術在行動平台上的採用與商業部署。
高保留率驗證了工程可重現性
儘管模型大小有所縮減,BitCPM-CANN 仍保持著極高的性能,能力保留率介於 90% 至 97.2% 之間。 針對三種較大的模型尺寸,性能保留率介於 95.7% 至 97.2% 之間;即使是體積最小的 0.5B 變體,保留率也超過 90%。
這些令人印象深刻的成果系統性地證明,低位元訓練方法具備強大的可擴展性與工程可重現性。 MBLab 已運用這些核心技術建立起全面的低位元訓練基礎架構,涵蓋完整的工程堆疊——包括環境適應、32K 長序列支援以及融合運算子——從而為未來在 Ascend 平台上的低位元訓練工作提供堅實的公開基礎設施。
蘋果就Siri人工智慧功能延期釋出達成2.5億美元和解
蘋果已同意支付2.5億美元,以解決一起關於其在iPhone 16釋出前對AI功能營銷的集體訴訟,該訊息由《金融時報》率先報道。訴訟聲稱,蘋果誇大了Apple Intelligence的功能,包括一項重大的Siri升級。原告認為,蘋果公司透過暗示高階AI工具將比實際更早可用,從而誤導了消費者,特別是關於Siri承諾的改進,這些改進至今尚未完全實現。根據投訴內容,iPhone 15和16的買家認為他們購買的是當時不可用的尖端AI工具。訴訟將此定性為虛假廣告,聲稱蘋果的營銷基於不完整或延遲的功能影
Ando 推出團隊訊息應用,連線人類與人工智慧協作
2025年,當Sara Du協助公司開發MCP伺服器時,一個反覆出現的問題浮出水面:團隊如何直接在Slack中利用AI智慧體?這條道路被顯著的技術障礙所阻礙,包括訊息同步的複雜性、上下文管理的難度以及耗盡令牌預算的風險。在調查這些挑戰時,Du發現了現代通訊平臺設計中的一個根本缺陷。“我深入得越深,就越覺得Slack和Teams是為一個正在離我們遠去的世界而構建的,”Du告訴TechCrunch。“智慧體被視為你需要安裝的應用程式,儘管它們正逐漸成為團隊的參與者。”她提出的解決方案涉及消除“肉
獲得紅杉資本投資的 Empirik 籌得 2,100 萬美元,用於在服務中斷發生前預先預測
在 2020 年加入紅杉資本(Sequoia Capital)擔任首席數位與資訊長之前,艾文·普里(Avon Puri)曾在 Rubrik 和 VMware 負責基礎架構管理長達十餘年。 三年前,當大型語言模型開始展現其真正潛力之際,普里與紅杉資本的另一位 IT 領導者蘇迪爾·杜爾賈蒂(Sudheer Dhurjati)共同意識到,人工智慧能夠協助自主解決基礎架構工程師面臨的一大挑戰——在技術中斷





首頁






