NVIDIA、Nemotron-Labs-Audex-30B-A3B 統合音声知能モデルを公開

マルチモーダル大規模モデルが急速に進化する中、音声処理能力がしばしば犠牲になっている—多くのモデルはテキストの論理を犠牲にして音声理解を向上させている。この課題に対処するため、NVIDIAの研究者たちはNemotron-Labs-Audex-30B-A3B(Audex)を発表した。これは、このギャップを埋めるために設計された統一された音声・テキスト大規模言語モデルである。
Audexは、堅牢な純粋テキストベースのMixture of Experts(MoE)アーキテクチャを基盤とした、簡潔で効率的な設計を採用している。単一のTransformerデコーダを使用することで、テキストと量子化された音声トークンを同時に処理する。このアプローチは、音声入力をテキスト埋め込み空間に投影し、既存のマルチモーダルタスク用LLMインフラストラクチャとのシームレスな統合を確保し、真の深い統合を実現する。
トレーニングには、1,574億の音声トークンと3,205億のテキストトークンからなる大規模なデータセットが使用された。マルチステージの教師ありトレーニング、純粋テキストベースのカスケード強化学習、およびマルチドメインのインポリシー知識蒸留を通じて、Audexは音声理解、音声認識、翻訳、生成において業界をリードするパフォーマンスを達成している。重要なのは、推論、アライメント、知識検索、長文処理における元のLLMの中核能力を、最小限の劣化で維持していることである。
オープンソースモデルとして、Audexは音声技術分野において重要なマイルストーンとなる。理論研究を超えて、開発者が直接評価およびデプロイできる成熟したソリューションを提供する。複雑な音声インタラクションを管理する者にとって、Audexはパフォーマンスを向上させながら、マルチモーダル知能研究の新たな道を開くバランスの取れた選択肢を提供する。
関連記事
Fireworks AI、Opus搭載のFireRouterを発表:精度の大幅な低下を抑えつつ、エンコーディングコストを57%削減
Fireworks AIは、Claude Opusシリーズ向けに設計された業界初のキャッシュ対応ルーティングシステム「FireRouter with Opus」を発表しました。サーバーレスエンドポイントを通じて利用可能となったこの独立型ルーティングモデルは、1ヶ月以上の内部A/Bテストを経て、エンコーディングタスクにおいて98.1%の精度を達成し、Opus単独使用と比較してコストを57%削減しました。FireRouterは、各ユーザーインタラクション中に現在のタスクに対する各モデルの適合性を評価
モバイルSEOのためのコアウェブバイタルの修正方法
ローカルSEOを強化する:Googleエンティティクラウドドライブスタックを構築する目次:はじめにGoogleエンティティクラウドスタッキングの理解Googleエンティティクラウドスタッキングの主な利点Googleエンティティクラウドスタックの始め方 4.1. オプション1:古参Gmailアカウントの取得 4.2. オプション2:新規アカウントの作成エンティティスタック用のGoogle Driveの設定 5.1. フォルダタイプの理解 5.2. パブリックフォルダの作成 5.3. ア
Moonshot AIのKimiがシリーズFで35億ドル以上を調達し、評価額は350億ドルに達した
Moonshot AIのKimiは、Sci-Tech Dailyの報道によると、シリーズF資金調達ラウンドを成功裡に完了し、35億ドル以上を調達して、資金調達後の企業価値を350億ドルとしました。サブスクリプション需要が目標を3倍以上上回ったことが後押しとなり、この資金調達ラウンドは予定より早く完了しました。さらに、以前計画されていたシリーズG(IPO前)ラウンドも前倒しされ、資金調達前の企業価値は現在500億ドルに達しています。中国を代表するAI大規模モデル企業であるMoonshot AI
関連特集おすすめ
コメント (0)
0/500

マルチモーダル大規模モデルが急速に進化する中、音声処理能力がしばしば犠牲になっている—多くのモデルはテキストの論理を犠牲にして音声理解を向上させている。この課題に対処するため、NVIDIAの研究者たちはNemotron-Labs-Audex-30B-A3B(Audex)を発表した。これは、このギャップを埋めるために設計された統一された音声・テキスト大規模言語モデルである。
Audexは、堅牢な純粋テキストベースのMixture of Experts(MoE)アーキテクチャを基盤とした、簡潔で効率的な設計を採用している。単一のTransformerデコーダを使用することで、テキストと量子化された音声トークンを同時に処理する。このアプローチは、音声入力をテキスト埋め込み空間に投影し、既存のマルチモーダルタスク用LLMインフラストラクチャとのシームレスな統合を確保し、真の深い統合を実現する。
トレーニングには、1,574億の音声トークンと3,205億のテキストトークンからなる大規模なデータセットが使用された。マルチステージの教師ありトレーニング、純粋テキストベースのカスケード強化学習、およびマルチドメインのインポリシー知識蒸留を通じて、Audexは音声理解、音声認識、翻訳、生成において業界をリードするパフォーマンスを達成している。重要なのは、推論、アライメント、知識検索、長文処理における元のLLMの中核能力を、最小限の劣化で維持していることである。
オープンソースモデルとして、Audexは音声技術分野において重要なマイルストーンとなる。理論研究を超えて、開発者が直接評価およびデプロイできる成熟したソリューションを提供する。複雑な音声インタラクションを管理する者にとって、Audexはパフォーマンスを向上させながら、マルチモーダル知能研究の新たな道を開くバランスの取れた選択肢を提供する。
Fireworks AI、Opus搭載のFireRouterを発表:精度の大幅な低下を抑えつつ、エンコーディングコストを57%削減
Fireworks AIは、Claude Opusシリーズ向けに設計された業界初のキャッシュ対応ルーティングシステム「FireRouter with Opus」を発表しました。サーバーレスエンドポイントを通じて利用可能となったこの独立型ルーティングモデルは、1ヶ月以上の内部A/Bテストを経て、エンコーディングタスクにおいて98.1%の精度を達成し、Opus単独使用と比較してコストを57%削減しました。FireRouterは、各ユーザーインタラクション中に現在のタスクに対する各モデルの適合性を評価
モバイルSEOのためのコアウェブバイタルの修正方法
ローカルSEOを強化する:Googleエンティティクラウドドライブスタックを構築する目次:はじめにGoogleエンティティクラウドスタッキングの理解Googleエンティティクラウドスタッキングの主な利点Googleエンティティクラウドスタックの始め方 4.1. オプション1:古参Gmailアカウントの取得 4.2. オプション2:新規アカウントの作成エンティティスタック用のGoogle Driveの設定 5.1. フォルダタイプの理解 5.2. パブリックフォルダの作成 5.3. ア
Moonshot AIのKimiがシリーズFで35億ドル以上を調達し、評価額は350億ドルに達した
Moonshot AIのKimiは、Sci-Tech Dailyの報道によると、シリーズF資金調達ラウンドを成功裡に完了し、35億ドル以上を調達して、資金調達後の企業価値を350億ドルとしました。サブスクリプション需要が目標を3倍以上上回ったことが後押しとなり、この資金調達ラウンドは予定より早く完了しました。さらに、以前計画されていたシリーズG(IPO前)ラウンドも前倒しされ、資金調達前の企業価値は現在500億ドルに達しています。中国を代表するAI大規模モデル企業であるMoonshot AI





家






