オプション
家
ニュース
Tongyi Lab、双方向の音声・映像分離を実現する「PrismAudio」を発表

Tongyi Lab、双方向の音声・映像分離を実現する「PrismAudio」を発表

2026年10月5日
6

AIによる動画生成が急速に拡大している現代において、映像と音声のズレ(多くの場合、無音や音声の不一致として現れる)は、視聴者の没入感を妨げる大きな障壁となっています。 この課題に対処するため、アリババのTongyi Labは、革新的な動画から音声への変換フレームワーク「PrismAudio」を発表した。AI分野のトップカンファレンスであるICLR 2026で採択されたこの研究は、動画コンテンツと精密な環境音効果を自動的に同期させることに焦点を当てている。

image.png

生成前の推論:「思考の連鎖」による音声の制御

従来の音声生成モデルは、一般的に「直感的な」処理に基づいており、馬の蹄音が小鳥のさえずりのように聞こえたり、音声が映像の動作に遅れをとったりするなど、不自然な結果を生み出すことが頻繁にあります。PrismAudioは、「まず計画を立て、それから生成する」というアプローチを採用することで、他とは一線を画しています。

思考の連鎖の分解:オーディオを生成する前に、モデルは動画をフレームごとに分析します。具体的には、シーンの要素を特定し、音の発生タイミングを決定し、オーディオの特性(例えば、鮮明さや奥行き)を評価し、空間的に音源の位置を特定します。

多次元評価:高品質な出力を確保するため、開発チームは強化学習を統合し、4つの「仮想評価者」を用いて、意味的一貫性、時間的同期、美的品質、空間的精度の観点から結果を評価しました。この多面的なフィードバックループにより、従来のモデルが特定の側面を最適化する一方で他の側面を軽視していたという一般的な問題が解決されました。

軽量かつ高効率:9秒の動画を0.6秒で処理

精度だけでなく、PrismAudioは卓越した処理速度も実現しています。独自のFast-GRPO学習アルゴリズムを活用することで、運用効率を維持しつつ、大幅なパフォーマンス向上を達成しています:

コンパクトなアーキテクチャ、高いインパクト:パラメータ数はわずか5億1800万で、数十億のパラメータを必要とする同種のシステムに比べて、このモデルは大幅に小型化されています。

高速応答:9秒の動画クリップに対する高品質な音声生成に要する時間はわずか0.63秒で、リアルタイムに近い性能を実現しています。

業界の展望:リアルな環境音の台頭

PrismAudioの登場は、映画のポストプロダクションやショート動画制作のための堅牢な自動化ツールを提供するだけでなく、マルチオブジェクト生成に対する新たなアプローチを喚起するものです。AIが音声の質感と空間的な位置関係のバランスをとる能力を向上させるにつれ、将来の動画制作では、真の「目に見えるものがそのまま聞こえる(What You See Is What You Hear)」という忠実度がますます実現されていくでしょう。

論文リンク:arXiv:2511.18833

オープンソースリンク:https://prismaudio-project.github.io/

関連記事
ネロス・テクノロジーズ、2026年までに防衛用ドローン配備のため2億5000万ドルの資金調達を完了 ネロス・テクノロジーズ、2026年までに防衛用ドローン配備のため2億5000万ドルの資金調達を完了 Neros Archer:モジュール式ペイロードと堅牢な通信リンクを備えて設計されたFPVドローン。| 出典:NerosNeros Inc.は、シリーズCラウンドで2億5000万ドルの資金調達を完了し、国防用ドローンメーカーの評価額を25億ドルに引き上げた。「今回の追加資金により、Nerosは多機能ドローンメーカーへの移行が加速します」と、共同創業者兼CEOのソレン・モンロー・アンダーソンは語った。「年間100万機のドローン生産という目標は変わっていませんが、サポートできるプラットフォームの幅と
宇樹科技、A株市場初の人間型ロボット銘柄、8月19日上場、評価額約610億元 宇樹科技、A株市場初の人間型ロボット銘柄、8月19日上場、評価額約610億元 8月19日に科学技術革新板での上場が予定されている越樹科技は、1株あたり150.80元でデビューし、発行後の時価総額を約609億9300万元に設定する。219.23という株価収益率(P/E比)により、その評価は業界平均を大幅に上回っている。同社は4,044万6,400株の新株を発行する計画であり、これは発行後の総株式数の10%を占め、予想調達額は約60億9900万元である。オンラインでの抽選当選率はわずか0.01809759%であり、同板の歴史上でも最も競争が激しいIPOの一つと見なされている
Ali Zhenwu M890 Ultra ノード、Qwen3.8 との互換性を確立。百煉プラットフォームで推論利用可能。 Ali Zhenwu M890 Ultra ノード、Qwen3.8 との互換性を確立。百煉プラットフォームで推論利用可能。 Alibaba Cloudは7月23日、Zhenwu M890スーパーノードが最新フラッグシップ大規模言語モデル「Qwen3.8」との統合に成功し、Alibaba Cloud BaiLianプラットフォーム上でモデル推論サービスを提供可能になったと発表した。このマイルストーンにより、Zhenwu M890は2兆パラメータを超える大規模モデルの安定した運用をサポートする中国初のスーパーノードシステムとなり、国内の大規模モデル計算スケジューリングにおけるソフトウェアとハードウェアの連携において重要な
関連特集おすすめ
オートメーション n8nのAI自動化ツール:社内運用、データ同期、および多段階のエージェントフロー向け
n8nのAI自動化ツール:社内運用、データ同期、および多段階のエージェントフロー向け

2026年版、社内運用、データ同期、多段階エージェントフローに最適な最新のn8n AI自動化ツールが登場!XIX.AIは、あらゆる業務の生産性を飛躍的に向上させる、画期的な高評価ツールを厳選してリストアップしました。 各ツールは信頼性を確保するため、実環境での厳格なテストを経ており、無料版と有料版の詳細な比較や、毎週更新されるランキングも掲載されています。ぜひ試してみたいこれらのツールで、AIの真価を引き出し、ワークフローをスムーズに効率化しましょう。今すぐチェックして、あなたにぴったりのツールを見つけましょう!

11 ツール
xix.ai
プロンプト マルチモデルチームに最適なプロンプト管理ツール
マルチモデルチームに最適なプロンプト管理ツール

2026年版:マルチモデルチーム向け、最新・最高評価のプロンプト管理ツール! XIX.AIは、無料版と有料版の比較、実環境でのテスト、詳細なランキングを掲載した、強力で画期的な「必試ツール」のコレクションを厳選しました。これらの高評価ソリューションは、ワークフローを効率化し、反復作業を排除し、チームのあらゆるプロジェクトにおいて創造性を引き出すことで、生産性を大幅に向上させます。今すぐチェックして、あなたにぴったりのツールを見つけ、今日から創作を始めましょう!

9 ツール
xix.ai
ミーティングアシスタント リモートチーム向けのAI会議要約ツール
リモートチーム向けのAI会議要約ツール

2026年版:リモートチーム向け、最新・最高評価のAI会議要約ツール!XIX.AIは、実環境でのテストを経て、正確な文字起こしと実用的な洞察を提供する、強力で画期的な「必試」ツールを厳選しました。 無料版と有料版の比較データや詳細なランキングを参考に、生産性を高め、チームコミュニケーションを効率化する最適なツールをお選びください。今すぐチェックして、AIの力を最大限に活用しましょう!

13 ツール
xix.ai
ソフトウェア開発 最高のAI DevOpsサポートツール:デプロイメント、ログ、インシデントの監視
最高のAI DevOpsサポートツール:デプロイメント、ログ、インシデントの監視

2026年最新かつ最も優れた高評価AI DevOpsツールを厳選し、デプロイメントの監視、ログ管理、インシデント対応に活用できます。XIX.AIは、実際の運用環境でのテストや厳格な評価基準に基づき、生産性を大幅に向上させる強力で革新的なツールを提供しています。無料版と有料版の比較情報を確認し、ご自身のワークフローに最適なソリューションを見つけてみましょう。今すぐ詳細を確認し、AIによる競争優位性を手に入れてください。

7 ツール
xix.ai
画像編集 商品写真用のAI背景除去ツール
商品写真用のAI背景除去ツール

2026年最新・最高評価の商品写真用AI背景除去ツールが、XIX.AIに登場!厳選されたこのリストには、実地テストを経てプロ並みの仕上がりを実現する、強力で画期的なソリューションが揃っています。 無料版と有料版の比較、毎週更新されるランキング、そして生産性を向上させ、手間なく完璧な商品写真を撮影するための「必試」ツールをご紹介しています。今すぐチェックして、AIの力を最大限に活用しましょう!

11 ツール
xix.ai
コード GitHubリポジトリ用のAIプルリクエストレビューツール
GitHubリポジトリ用のAIプルリクエストレビューツール

2026年最新のベストな高評価のAIプルリクエストレビューツールがXIX.AIでGitHubリポジトリ向けに提供されています!当社の厳選リストには、チームがコードレビューを効率化し、エラーをより早く発見し、実際のテストで生産性を向上させることができる強力なゲームチェンジャーなソリューションが含まれています。無料版と有料版の比較を行い、ワークフローに最適なツールを見つけてください。今すぐ探索して、あなたのAIによる優位性を解き放ちましょう!

10 ツール
xix.ai
コメント (0)
0/500
OR