Tongyi Lab、双方向の音声・映像分離を実現する「PrismAudio」を発表
AIによる動画生成が急速に拡大している現代において、映像と音声のズレ(多くの場合、無音や音声の不一致として現れる)は、視聴者の没入感を妨げる大きな障壁となっています。 この課題に対処するため、アリババのTongyi Labは、革新的な動画から音声への変換フレームワーク「PrismAudio」を発表した。AI分野のトップカンファレンスであるICLR 2026で採択されたこの研究は、動画コンテンツと精密な環境音効果を自動的に同期させることに焦点を当てている。

生成前の推論:「思考の連鎖」による音声の制御
従来の音声生成モデルは、一般的に「直感的な」処理に基づいており、馬の蹄音が小鳥のさえずりのように聞こえたり、音声が映像の動作に遅れをとったりするなど、不自然な結果を生み出すことが頻繁にあります。PrismAudioは、「まず計画を立て、それから生成する」というアプローチを採用することで、他とは一線を画しています。
思考の連鎖の分解:オーディオを生成する前に、モデルは動画をフレームごとに分析します。具体的には、シーンの要素を特定し、音の発生タイミングを決定し、オーディオの特性(例えば、鮮明さや奥行き)を評価し、空間的に音源の位置を特定します。
多次元評価:高品質な出力を確保するため、開発チームは強化学習を統合し、4つの「仮想評価者」を用いて、意味的一貫性、時間的同期、美的品質、空間的精度の観点から結果を評価しました。この多面的なフィードバックループにより、従来のモデルが特定の側面を最適化する一方で他の側面を軽視していたという一般的な問題が解決されました。
軽量かつ高効率:9秒の動画を0.6秒で処理
精度だけでなく、PrismAudioは卓越した処理速度も実現しています。独自のFast-GRPO学習アルゴリズムを活用することで、運用効率を維持しつつ、大幅なパフォーマンス向上を達成しています:
コンパクトなアーキテクチャ、高いインパクト:パラメータ数はわずか5億1800万で、数十億のパラメータを必要とする同種のシステムに比べて、このモデルは大幅に小型化されています。
高速応答:9秒の動画クリップに対する高品質な音声生成に要する時間はわずか0.63秒で、リアルタイムに近い性能を実現しています。
業界の展望:リアルな環境音の台頭
PrismAudioの登場は、映画のポストプロダクションやショート動画制作のための堅牢な自動化ツールを提供するだけでなく、マルチオブジェクト生成に対する新たなアプローチを喚起するものです。AIが音声の質感と空間的な位置関係のバランスをとる能力を向上させるにつれ、将来の動画制作では、真の「目に見えるものがそのまま聞こえる(What You See Is What You Hear)」という忠実度がますます実現されていくでしょう。
論文リンク:arXiv:2511.18833
オープンソースリンク:https://prismaudio-project.github.io/
関連記事
ネロス・テクノロジーズ、2026年までに防衛用ドローン配備のため2億5000万ドルの資金調達を完了
Neros Archer:モジュール式ペイロードと堅牢な通信リンクを備えて設計されたFPVドローン。| 出典:NerosNeros Inc.は、シリーズCラウンドで2億5000万ドルの資金調達を完了し、国防用ドローンメーカーの評価額を25億ドルに引き上げた。「今回の追加資金により、Nerosは多機能ドローンメーカーへの移行が加速します」と、共同創業者兼CEOのソレン・モンロー・アンダーソンは語った。「年間100万機のドローン生産という目標は変わっていませんが、サポートできるプラットフォームの幅と
宇樹科技、A株市場初の人間型ロボット銘柄、8月19日上場、評価額約610億元
8月19日に科学技術革新板での上場が予定されている越樹科技は、1株あたり150.80元でデビューし、発行後の時価総額を約609億9300万元に設定する。219.23という株価収益率(P/E比)により、その評価は業界平均を大幅に上回っている。同社は4,044万6,400株の新株を発行する計画であり、これは発行後の総株式数の10%を占め、予想調達額は約60億9900万元である。オンラインでの抽選当選率はわずか0.01809759%であり、同板の歴史上でも最も競争が激しいIPOの一つと見なされている
Ali Zhenwu M890 Ultra ノード、Qwen3.8 との互換性を確立。百煉プラットフォームで推論利用可能。
Alibaba Cloudは7月23日、Zhenwu M890スーパーノードが最新フラッグシップ大規模言語モデル「Qwen3.8」との統合に成功し、Alibaba Cloud BaiLianプラットフォーム上でモデル推論サービスを提供可能になったと発表した。このマイルストーンにより、Zhenwu M890は2兆パラメータを超える大規模モデルの安定した運用をサポートする中国初のスーパーノードシステムとなり、国内の大規模モデル計算スケジューリングにおけるソフトウェアとハードウェアの連携において重要な
関連特集おすすめ
コメント (0)
0/500
AIによる動画生成が急速に拡大している現代において、映像と音声のズレ(多くの場合、無音や音声の不一致として現れる)は、視聴者の没入感を妨げる大きな障壁となっています。 この課題に対処するため、アリババのTongyi Labは、革新的な動画から音声への変換フレームワーク「PrismAudio」を発表した。AI分野のトップカンファレンスであるICLR 2026で採択されたこの研究は、動画コンテンツと精密な環境音効果を自動的に同期させることに焦点を当てている。

生成前の推論:「思考の連鎖」による音声の制御
従来の音声生成モデルは、一般的に「直感的な」処理に基づいており、馬の蹄音が小鳥のさえずりのように聞こえたり、音声が映像の動作に遅れをとったりするなど、不自然な結果を生み出すことが頻繁にあります。PrismAudioは、「まず計画を立て、それから生成する」というアプローチを採用することで、他とは一線を画しています。
思考の連鎖の分解:オーディオを生成する前に、モデルは動画をフレームごとに分析します。具体的には、シーンの要素を特定し、音の発生タイミングを決定し、オーディオの特性(例えば、鮮明さや奥行き)を評価し、空間的に音源の位置を特定します。
多次元評価:高品質な出力を確保するため、開発チームは強化学習を統合し、4つの「仮想評価者」を用いて、意味的一貫性、時間的同期、美的品質、空間的精度の観点から結果を評価しました。この多面的なフィードバックループにより、従来のモデルが特定の側面を最適化する一方で他の側面を軽視していたという一般的な問題が解決されました。
軽量かつ高効率:9秒の動画を0.6秒で処理
精度だけでなく、PrismAudioは卓越した処理速度も実現しています。独自のFast-GRPO学習アルゴリズムを活用することで、運用効率を維持しつつ、大幅なパフォーマンス向上を達成しています:
コンパクトなアーキテクチャ、高いインパクト:パラメータ数はわずか5億1800万で、数十億のパラメータを必要とする同種のシステムに比べて、このモデルは大幅に小型化されています。
高速応答:9秒の動画クリップに対する高品質な音声生成に要する時間はわずか0.63秒で、リアルタイムに近い性能を実現しています。
業界の展望:リアルな環境音の台頭
PrismAudioの登場は、映画のポストプロダクションやショート動画制作のための堅牢な自動化ツールを提供するだけでなく、マルチオブジェクト生成に対する新たなアプローチを喚起するものです。AIが音声の質感と空間的な位置関係のバランスをとる能力を向上させるにつれ、将来の動画制作では、真の「目に見えるものがそのまま聞こえる(What You See Is What You Hear)」という忠実度がますます実現されていくでしょう。
論文リンク:arXiv:2511.18833
オープンソースリンク:https://prismaudio-project.github.io/
宇樹科技、A株市場初の人間型ロボット銘柄、8月19日上場、評価額約610億元
8月19日に科学技術革新板での上場が予定されている越樹科技は、1株あたり150.80元でデビューし、発行後の時価総額を約609億9300万元に設定する。219.23という株価収益率(P/E比)により、その評価は業界平均を大幅に上回っている。同社は4,044万6,400株の新株を発行する計画であり、これは発行後の総株式数の10%を占め、予想調達額は約60億9900万元である。オンラインでの抽選当選率はわずか0.01809759%であり、同板の歴史上でも最も競争が激しいIPOの一つと見なされている
Ali Zhenwu M890 Ultra ノード、Qwen3.8 との互換性を確立。百煉プラットフォームで推論利用可能。
Alibaba Cloudは7月23日、Zhenwu M890スーパーノードが最新フラッグシップ大規模言語モデル「Qwen3.8」との統合に成功し、Alibaba Cloud BaiLianプラットフォーム上でモデル推論サービスを提供可能になったと発表した。このマイルストーンにより、Zhenwu M890は2兆パラメータを超える大規模モデルの安定した運用をサポートする中国初のスーパーノードシステムとなり、国内の大規模モデル計算スケジューリングにおけるソフトウェアとハードウェアの連携において重要な





家






