Xiaohongshuは、オープンソースの大規模モデルシリーズ「dots3-note」の最初のバージョンをリリースした。このモデルは、総パラメータ数280B、有効パラメータ数16Bを特徴とし、テキスト・画像・音声にわたる強力なマルチモーダル認識・理解能力を備え、推論エージェントやマルチモーダル処理タスクにおいて、より大規模な国際的なモデルに匹敵する性能を発揮する。 リリース当日、ファーウェイは同モデル向けに「Atlas800A3」および「Atlas900A3」のSuperPoDノードを最適化したことを発表し、vLLM Ascendオープンソース推論エンジンを通じて、完全な展開および運用サポートを提供するとした。 Ascendはパイプライン全体(マルチモーダル処理のインクリメンタルデコードフレームワーク)を最適化し、MoEアーキテクチャにおけるパフォーマンスのボトルネックを解消するとともに、推論スループットを向上させました。また、MTP(マルチモーダル推論)の投機的デコードをネイティブに統合することで、デコードのフォワードパスを削減し、効率的で安定したモデル動作を確保するとともに、複雑で長期にわたるタスクの実行をサポートしています。





家
