LFM2.5 DSparkのドラフトモデルが公開:推論速度が3.18倍に向上
Liquid AIとHugging Faceは、LFM2.5シリーズのDSparkドラフトモデルチェックポイントを正式にリリースしました。これには、LFM2.5-1.2B-Instruct、LFM2.5-2.6B、およびLFM2.5-8B-A1Bが含まれます。 この革新的な機能により、出力の品質を維持しつつ、推論スループットを大幅に向上させる新しい推測的デコードパスが導入されました。
主な性能向上と実運用での活用例
実環境でのテストにより、DSparkの驚異的な高速化が実証されました。GPUではスループットが最大3.18倍に向上し、エッジデバイスでは最大2.87倍の改善が見られました。
エッジエージェントの推論において、LFM2.5-2.6B は関数呼び出しのレイテンシを平均 57% 削減します。M4 Max MacBook Pro でのテストでは、1 秒あたり最大 139 トークンの速度を達成し、ローカルエージェントの導入障壁を下げ、独自のクラウドモデルに匹敵するユーザー体験を提供します。

DSparkのアーキテクチャと仕組みの理解
従来のLLM推論では、時間の大部分がDRAMからSRAMへの重みのストリーミングに費やされるため、メモリ帯域幅がボトルネックとなります。投機的デコードは、軽量なドラフトモデルを使用して候補トークンを生成し、それらをターゲットモデルによる単一のフォワードパスで検証することでこの問題を解決し、重みの読み込みコストを効果的に分散させます。
DSparkは、以下の3つのコアコンポーネントを通じて既存の手法を統合しています:
並列バックボーンネットワーク:DFlashと同様に、ターゲットモデルのコンテキスト特徴量に基づいて、1回のフォワードパスですべてのドラフトトークンの隠れ状態を生成します。シーケンシャルヘッド(マルコフヘッド): 隣接するトークン間のマルコフ連鎖をシミュレートすることで、依存関係を強化し、後続の位置における受け入れ率を向上させます。信頼度スケジューリングバリデータ:各トークンの生存確率を予測し、検証コストが節約効果を上回る場合、信頼度の低いサフィックスを自動的に破棄します。トレーニングにおいて、このドラフトモデルはSFT、チャット、コード、関数呼び出しなど、多様なデータセットを組み合わせて利用しています。厳密なアブレーション研究を経て、初期バージョンは5層9ブロックからなるアテンション専用アーキテクチャを採用し、パラメータ数を約3億に抑えています。

品質保証とエコシステムへの統合
推測的デコードのため、貪欲デコードはターゲットモデルの分布と完全に一致するドラフトトークンのみを受け入れます。拒否されたトークンはターゲットモデルの出力に置き換えられ、生成されたシーケンスがベースラインの貪欲デコード構造と一致し、ベンチマークにおいて精度の低下がないことが保証されます。
リリース時点で、DSparkは主要な推論フレームワークとの互換性を実現しました:
SGLang:専用の統合および起動設定により、アクセラレータ上での実行をサポートしています。llama.cpp:公式のビルドサポートを提供しており、ユーザーはコマンドラインから対応するGGUF重みとドラフトモデルファイルをロードできます。
関連記事
なぜAbnormal AIは『Daybreak』でOpenAIと提携したのか
OpenAIのサイバー部門プロダクト責任者、マイケル・アイエロ | 提供:マイケル・アイエロ/LinkedInアブノーマルAIがOpenAIの「Daybreak」プログラムに参加。マイク・アイエロ氏は、この提携により企業向けの実用的な防御策の導入が加速すると述べている最先端のAI企業であるOpenAIは、Abnormal AIと提携し、企業がビジネスおよび製品開発の全領域において、最高水準のAIモ
AIエージェント「エレメンツ・クロー」、超伝導材料の開発を完了
人工知能が科学探求の限界を押し広げる中、重要なマイルストーンが達成されました。7月3日、アリババDAMOアカデミーは、中国人民大学および中国科学院大学と提携し、超伝導材料の発見に特化した世界初の人工知能エージェント「Elements Claw」を発表しました。 この画期的な成果は、科学的発見における転換点を示しており、AIを単なる補助的な役割から独立した研究パートナーへと昇格させると同時に、新素材
日本におけるGoogleとYahoo!のSEOランキングを効果的に確認する方法
肖像写真をハリー・ポッター風のスケッチに変換する目次:はじめに写真からスケッチへの変換最小フィルターの使用肖像画変換の別の技法準備作業必要な画像をダウンロードレイヤーの準備画像の彩度削除彩度削除レイヤーの作成レイヤーの調整反転効果の適用レイヤーの反転色彩除外効果の追加画像のぼかし処理ガウスぼかしフィルターの適用ぼかし設定の調整スケッチの仕上げペンツールの使用ディテールの強化と不完全な部分の除去レイヤーの結合反転レイヤーと背景コピーレイヤーの結合長さと短
関連特集おすすめ
コメント (0)
0/500
Liquid AIとHugging Faceは、LFM2.5シリーズのDSparkドラフトモデルチェックポイントを正式にリリースしました。これには、LFM2.5-1.2B-Instruct、LFM2.5-2.6B、およびLFM2.5-8B-A1Bが含まれます。 この革新的な機能により、出力の品質を維持しつつ、推論スループットを大幅に向上させる新しい推測的デコードパスが導入されました。
主な性能向上と実運用での活用例
実環境でのテストにより、DSparkの驚異的な高速化が実証されました。GPUではスループットが最大3.18倍に向上し、エッジデバイスでは最大2.87倍の改善が見られました。
エッジエージェントの推論において、LFM2.5-2.6B は関数呼び出しのレイテンシを平均 57% 削減します。M4 Max MacBook Pro でのテストでは、1 秒あたり最大 139 トークンの速度を達成し、ローカルエージェントの導入障壁を下げ、独自のクラウドモデルに匹敵するユーザー体験を提供します。

DSparkのアーキテクチャと仕組みの理解
従来のLLM推論では、時間の大部分がDRAMからSRAMへの重みのストリーミングに費やされるため、メモリ帯域幅がボトルネックとなります。投機的デコードは、軽量なドラフトモデルを使用して候補トークンを生成し、それらをターゲットモデルによる単一のフォワードパスで検証することでこの問題を解決し、重みの読み込みコストを効果的に分散させます。
DSparkは、以下の3つのコアコンポーネントを通じて既存の手法を統合しています:
並列バックボーンネットワーク:DFlashと同様に、ターゲットモデルのコンテキスト特徴量に基づいて、1回のフォワードパスですべてのドラフトトークンの隠れ状態を生成します。シーケンシャルヘッド(マルコフヘッド): 隣接するトークン間のマルコフ連鎖をシミュレートすることで、依存関係を強化し、後続の位置における受け入れ率を向上させます。信頼度スケジューリングバリデータ:各トークンの生存確率を予測し、検証コストが節約効果を上回る場合、信頼度の低いサフィックスを自動的に破棄します。トレーニングにおいて、このドラフトモデルはSFT、チャット、コード、関数呼び出しなど、多様なデータセットを組み合わせて利用しています。厳密なアブレーション研究を経て、初期バージョンは5層9ブロックからなるアテンション専用アーキテクチャを採用し、パラメータ数を約3億に抑えています。

品質保証とエコシステムへの統合
推測的デコードのため、貪欲デコードはターゲットモデルの分布と完全に一致するドラフトトークンのみを受け入れます。拒否されたトークンはターゲットモデルの出力に置き換えられ、生成されたシーケンスがベースラインの貪欲デコード構造と一致し、ベンチマークにおいて精度の低下がないことが保証されます。
リリース時点で、DSparkは主要な推論フレームワークとの互換性を実現しました:
SGLang:専用の統合および起動設定により、アクセラレータ上での実行をサポートしています。llama.cpp:公式のビルドサポートを提供しており、ユーザーはコマンドラインから対応するGGUF重みとドラフトモデルファイルをロードできます。
なぜAbnormal AIは『Daybreak』でOpenAIと提携したのか
OpenAIのサイバー部門プロダクト責任者、マイケル・アイエロ | 提供:マイケル・アイエロ/LinkedInアブノーマルAIがOpenAIの「Daybreak」プログラムに参加。マイク・アイエロ氏は、この提携により企業向けの実用的な防御策の導入が加速すると述べている最先端のAI企業であるOpenAIは、Abnormal AIと提携し、企業がビジネスおよび製品開発の全領域において、最高水準のAIモ
AIエージェント「エレメンツ・クロー」、超伝導材料の開発を完了
人工知能が科学探求の限界を押し広げる中、重要なマイルストーンが達成されました。7月3日、アリババDAMOアカデミーは、中国人民大学および中国科学院大学と提携し、超伝導材料の発見に特化した世界初の人工知能エージェント「Elements Claw」を発表しました。 この画期的な成果は、科学的発見における転換点を示しており、AIを単なる補助的な役割から独立した研究パートナーへと昇格させると同時に、新素材
日本におけるGoogleとYahoo!のSEOランキングを効果的に確認する方法
肖像写真をハリー・ポッター風のスケッチに変換する目次:はじめに写真からスケッチへの変換最小フィルターの使用肖像画変換の別の技法準備作業必要な画像をダウンロードレイヤーの準備画像の彩度削除彩度削除レイヤーの作成レイヤーの調整反転効果の適用レイヤーの反転色彩除外効果の追加画像のぼかし処理ガウスぼかしフィルターの適用ぼかし設定の調整スケッチの仕上げペンツールの使用ディテールの強化と不完全な部分の除去レイヤーの結合反転レイヤーと背景コピーレイヤーの結合長さと短





家






