首頁
小紅書發布了其開源大模型系列「dots3-note」的首個版本，該模型總參數達 280B，激活參數達 16B，具備橫跨文本、視覺與語音的強大多模態感知與理解能力，在推理、Agent 及多模態處理任務上的表現可與國際上規模更大的模型相媲美。 在發布當天，華為宣布已針對此模型優化其 Atlas800A3 和 Atlas900A3 SuperPoD 節點，並透過 vLLM Ascend 開源推論引擎提供完整的部署與運作支援。 Ascend 針對整個處理流程（多模態處理增量解碼框架）進行了優化，以消除性能瓶頸並提升 MoE 架構中的推理解讀吞吐量。此外，它還原生整合了 MTP 投機解碼技術，以減少解碼的前向傳遞次數，確保模型高效穩定的運作，並支援複雜的長期任務執行。
評論 (0)
0/300
