Ant Bailingは、合計124Bのパラメータ数を持ち、そのうち5.1Bがアクティベートされているハイブリッド推論モデルであるLing-3.0-Flashを発表しました。このモデルは、推論処理や長文処理の能力において、体積が2~3倍も大きなモデルに匹敵する、あるいはそれを上回る性能を誇ります。同モデルは、より高い効率性を実現するために5:1のハイブリッドアテンションアーキテクチャ(KDA線形層およびMLA層)と、1/64という専門家アクティベーション比率を採用しています。10,000以上のトレーニングシナリオに対応するエージェントアプリケーション向けに最適化されており、階層的キャッシングによって最初のトークンが出力されるまでの遅延を60~80%削減します。現在、OpenRouter上で1週間限定で無料で利用可能で、その後オープンソースとして公開されます。





家
