首页
小红书发布了其开源大模型系列 dots3-note 的首个版本，该模型总参数达 280B，激活参数达 16B，在文本、视觉和语音等多模态感知与理解方面表现出色，在推理 Agent 和多模态处理任务上的性能可与国际上更大规模的模型相媲美。 发布当天，华为宣布已针对该模型适配了Atlas800A3和Atlas900A3 SuperPoD节点，并通过vLLM Ascend开源推理引擎提供全面的部署和运维支持。 Ascend对整个管道（多模态处理增量解码框架）进行了优化，以消除性能瓶颈并提升MoE架构中的推理吞吐量。此外，它还原生集成了MTP投机解码技术，以减少解码的前向传播次数，从而确保模型高效稳定地运行，并支持复杂的长期任务执行。
评论 (0)
0/300
