M6 Intelligence 与清华大学开源项目 BitCPM-CANN 合作,旨在让移动设备运行大型模型
MBLab 近期与清华大学及 OpenBMB 开源社区合作,发布并开源了一项在低位数大型模型训练领域取得重大突破的成果:BitCPM-CANN。 该里程碑式成果原生开发于华为的Ascend平台,推动了边缘端AI大模型的轻量化和工程化部署。

六倍内存优势突破硬件瓶颈
现已开源的 BitCPM-CANN 提供 0.5B、1B、3B 和 8B 四种规格。与同等规模的全精度模型直接对比时,其表现极为出色。 与传统的 BF16 精度相比,它在推理过程中节省的内存约为其六倍,极大地降低了运行大型模型所需的硬件配置。
对于移动设备而言,这种六倍的内存优势意味着,曾经需要顶级硬件才能运行的 8B 参数大型模型,如今已能在主流旗舰智能手机上流畅运行。这一显著的内存余裕直接加速了边缘 AI 技术在移动平台上的采用和商业部署。
高保留率验证了工程可重复性
尽管模型规模有所缩减,BitCPM-CANN 仍保持着极高的性能,能力保留率在 90% 至 97.2% 之间。 对于三种较大规模的模型,性能保留率介于95.7%至97.2%之间;即便是最小的0.5B变体,保留率也超过了90%。
这些令人印象深刻的结果系统性地证明,低位训练方法具有强大的可扩展性和工程可重现性。 MBLab 利用这些核心技术建立了全面的低位训练基础,涵盖了完整的工程栈——包括环境适应、32K 长序列支持以及融合运算符——从而为未来在 Ascend 平台上的低位训练工作提供了强大的公共基础设施。
相关文章
苹果就Siri人工智能功能延期发布达成2.5亿美元和解
苹果已同意支付2.5亿美元,以解决一起关于其在iPhone 16发布前对AI功能营销的集体诉讼,该消息由《金融时报》率先报道。诉讼声称,苹果夸大了Apple Intelligence的功能,包括一项重大的Siri升级。原告认为,苹果公司通过暗示高级AI工具将比实际更早可用,从而误导了消费者,特别是关于Siri承诺的改进,这些改进至今尚未完全实现。根据投诉内容,iPhone 15和16的买家认为他们购买的是当时不可用的尖端AI工具。诉讼将此定性为虚假广告,声称苹果的营销基于不完整或延迟的功能影
Ando 推出团队消息应用,连接人类与人工智能协作
2025年,当Sara Du协助公司开发MCP服务器时,一个反复出现的问题浮出水面:团队如何直接在Slack中利用AI智能体?这条道路被显著的技术障碍所阻碍,包括消息同步的复杂性、上下文管理的难度以及耗尽令牌预算的风险。在调查这些挑战时,Du发现了现代通信平台设计中的一个根本缺陷。“我深入得越深,就越觉得Slack和Teams是为一个正在离我们远去的世界而构建的,”Du告诉TechCrunch。“智能体被视为你需要安装的应用程序,尽管它们正逐渐成为团队的参与者。”她提出的解决方案涉及消除“肉
红杉资本投资的Empirik筹集2100万美元,用于在故障发生前进行预测
在2020年加入红杉资本担任首席数字与信息官之前,阿文·普里曾在Rubrik和VMware负责基础设施管理工作长达十余年。 三年前,当大型语言模型开始展现其真正潜力时,普里与红杉资本的另一位IT负责人苏迪尔·杜尔贾蒂(Sudheer Dhurjati)意识到,人工智能能够帮助自主解决基础设施工程师面临的一大挑战——在技术故障发生前就加以预防。这两位技术界资深人士意识到,与其在系统故障发生后被动应对
相关专题推荐
评论 (0)
0/500
MBLab 近期与清华大学及 OpenBMB 开源社区合作,发布并开源了一项在低位数大型模型训练领域取得重大突破的成果:BitCPM-CANN。 该里程碑式成果原生开发于华为的Ascend平台,推动了边缘端AI大模型的轻量化和工程化部署。

六倍内存优势突破硬件瓶颈
现已开源的 BitCPM-CANN 提供 0.5B、1B、3B 和 8B 四种规格。与同等规模的全精度模型直接对比时,其表现极为出色。 与传统的 BF16 精度相比,它在推理过程中节省的内存约为其六倍,极大地降低了运行大型模型所需的硬件配置。
对于移动设备而言,这种六倍的内存优势意味着,曾经需要顶级硬件才能运行的 8B 参数大型模型,如今已能在主流旗舰智能手机上流畅运行。这一显著的内存余裕直接加速了边缘 AI 技术在移动平台上的采用和商业部署。
高保留率验证了工程可重复性
尽管模型规模有所缩减,BitCPM-CANN 仍保持着极高的性能,能力保留率在 90% 至 97.2% 之间。 对于三种较大规模的模型,性能保留率介于95.7%至97.2%之间;即便是最小的0.5B变体,保留率也超过了90%。
这些令人印象深刻的结果系统性地证明,低位训练方法具有强大的可扩展性和工程可重现性。 MBLab 利用这些核心技术建立了全面的低位训练基础,涵盖了完整的工程栈——包括环境适应、32K 长序列支持以及融合运算符——从而为未来在 Ascend 平台上的低位训练工作提供了强大的公共基础设施。
苹果就Siri人工智能功能延期发布达成2.5亿美元和解
苹果已同意支付2.5亿美元,以解决一起关于其在iPhone 16发布前对AI功能营销的集体诉讼,该消息由《金融时报》率先报道。诉讼声称,苹果夸大了Apple Intelligence的功能,包括一项重大的Siri升级。原告认为,苹果公司通过暗示高级AI工具将比实际更早可用,从而误导了消费者,特别是关于Siri承诺的改进,这些改进至今尚未完全实现。根据投诉内容,iPhone 15和16的买家认为他们购买的是当时不可用的尖端AI工具。诉讼将此定性为虚假广告,声称苹果的营销基于不完整或延迟的功能影
Ando 推出团队消息应用,连接人类与人工智能协作
2025年,当Sara Du协助公司开发MCP服务器时,一个反复出现的问题浮出水面:团队如何直接在Slack中利用AI智能体?这条道路被显著的技术障碍所阻碍,包括消息同步的复杂性、上下文管理的难度以及耗尽令牌预算的风险。在调查这些挑战时,Du发现了现代通信平台设计中的一个根本缺陷。“我深入得越深,就越觉得Slack和Teams是为一个正在离我们远去的世界而构建的,”Du告诉TechCrunch。“智能体被视为你需要安装的应用程序,尽管它们正逐渐成为团队的参与者。”她提出的解决方案涉及消除“肉
红杉资本投资的Empirik筹集2100万美元,用于在故障发生前进行预测
在2020年加入红杉资本担任首席数字与信息官之前,阿文·普里曾在Rubrik和VMware负责基础设施管理工作长达十余年。 三年前,当大型语言模型开始展现其真正潜力时,普里与红杉资本的另一位IT负责人苏迪尔·杜尔贾蒂(Sudheer Dhurjati)意识到,人工智能能够帮助自主解决基础设施工程师面临的一大挑战——在技术故障发生前就加以预防。这两位技术界资深人士意识到,与其在系统故障发生后被动应对





首页






