アリババのAliyun、Fun-CineForgeを発表:映画品質の吹き替えモデルとデータセットをオープンソース化
最近、アリババ・トンイー・ラボの音声チームが中国科学技術大学と共同で開発した「Fun-CineForge」プロジェクトが、正式にオープンソース化されました。この取り組みは、包括的なエンドツーエンドの制作ワークフローと大規模モデルソリューションを導入することで、リップシンク、声のスタイル転移、感情表現など、映画・テレビの吹き替えにおける中核的な課題に取り組んでいます。

中核的なブレークスルー:映画吹き替えにおける「リップシンク不一致」問題の解決
従来のAI吹き替えでは、口の動きのズレ、感情表現の機械的さ、そして台詞や複数人の音響が絡む複雑な映画シーンへの適応の難しさといった問題にしばしば直面してきました。Fun-CineForgeは、2つの重要な革新を通じて大きなブレークスルーを達成しています:
MLLM吹き替えモデル:単純な口元領域の音声・映像同期にとどまらず、シーン内のキャラクターのアイデンティティや感情のニュアンスを深く理解できるマルチモーダル大規模言語モデル(MLLM)アーキテクチャを採用しています。
CineDub大規模データセット:本プロジェクトでは、自動化されたパイプラインを通じて、モノローグ、ナレーション、対話、複数人の会話など多様なシナリオを網羅した、中国語テレビ番組の吹き替えデータセットを初めて作成しました。
プロジェクトの最新情報とオープンソースのロードマップ
本プロジェクトは最近頻繁に更新されており、エンジニアリング面での成熟度の高さがうかがえます:
2026年1月~3月:中国語(CineDub-CN)および英語(CineDub-EN)の両方について、サンプルデータセットとデモを公開しました。
2026年3月16日: 推論コードとモデル重み(チェックポイント)を正式にオープンソース化し、開発者がGitHub上でこれらのリソースにアクセスできるようにしました。
データセットへのアクセス:中国のドラマ『紅楼夢』や英国のドラマ『ダウントン・アビー』など、いくつかの古典的なドラマのデータセットが研究用に利用可能になりました。
技術的応用:「対話」から「演技」へ
公式デモでは、本モデルが『三国志演義』などの名作シリーズのリメイクにおいて、印象的な成果を上げていることが示されています。特定の「感情の手がかり」を入力することで、モデルは恐怖から反抗へと至るキャラクターの感情の変化を正確に捉え、高精細な声のクローン化と自然なリップシンクを実現します。
Fun-CineForgeの登場は、映画・テレビのAI吹き替えが、単なる「テキスト読み上げ」から、芸術的理解力を備えた「自動ポストプロダクション」ツールへと移行したことを示している。この進歩により、吹き替え映画やテレビコンテンツの制作コストを大幅に削減できる見込みだ。
プロジェクト:https://funcineforge.github.io/
関連記事
MIIT、AIモデルコンテキストプロトコルを含む121の業界標準について一般の意見を求める
中国工業情報化省は、「人工知能セキュリティガバナンスモデルコンテキストプロトコルのアプリケーションセキュリティ要求」を含む121件の産業標準化プロジェクトについて、一般からの意見を求める通知を正式に発表しました。この公告は、中国がAIの基盤となる標準や安全監督枠組みを確立する取り組みにおいて重要なマイルストーンとなります。一般からの意見募集期間中は、モデルコンテキストプロトコルのアプリケーションセキュリティに焦点を当て、標準化された技術仕様を通じて、マルチモーダルインタラクション、長文処理、クロ
オープンAI、米国防総省と提携 ChatGPTのアンインストール件数が295%増加
公衆の怒り:OpenAIの軍事提携が「アンインストールブーム」を引き起こす最近、AI分野のリーダーであるOpenAIは、米国国防総省との深い協力関係を発表し、自社のAIモデルを極秘の軍事ネットワークに統合するとした。このニュースは米国内で広範なユーザーからの反発を招き、「ChatGPTボイコット」運動が盛り上がっている。市場分析会社Sensor Towerによると、2026年2月28日にOpenAIが正式にこの協力関係を発表した当日、米国市場におけるChatGPTモバイルアプリのアンインスト
OpenAIが「Sites」機能をリリース、テキストベースのウェブサイトにより「ノーコード」時代の幕を閉じる
OpenAIは、ソフトウェアエンジニアリング向けAI「Codex」の新機能「Sites」を発表しました。現在プレビュー版として提供されており、有料のBusinessおよびEnterpriseプランの加入者のみが利用可能です。この機能は、Webおよびアプリケーション開発における従来の障壁を取り除くことを目的としています。Sitesの本質は、抽象的なアイデアを実際に使えるツールへと変換するプラットフォ
関連特集おすすめ
コメント (0)
0/500
最近、アリババ・トンイー・ラボの音声チームが中国科学技術大学と共同で開発した「Fun-CineForge」プロジェクトが、正式にオープンソース化されました。この取り組みは、包括的なエンドツーエンドの制作ワークフローと大規模モデルソリューションを導入することで、リップシンク、声のスタイル転移、感情表現など、映画・テレビの吹き替えにおける中核的な課題に取り組んでいます。

中核的なブレークスルー:映画吹き替えにおける「リップシンク不一致」問題の解決
従来のAI吹き替えでは、口の動きのズレ、感情表現の機械的さ、そして台詞や複数人の音響が絡む複雑な映画シーンへの適応の難しさといった問題にしばしば直面してきました。Fun-CineForgeは、2つの重要な革新を通じて大きなブレークスルーを達成しています:
MLLM吹き替えモデル:単純な口元領域の音声・映像同期にとどまらず、シーン内のキャラクターのアイデンティティや感情のニュアンスを深く理解できるマルチモーダル大規模言語モデル(MLLM)アーキテクチャを採用しています。
CineDub大規模データセット:本プロジェクトでは、自動化されたパイプラインを通じて、モノローグ、ナレーション、対話、複数人の会話など多様なシナリオを網羅した、中国語テレビ番組の吹き替えデータセットを初めて作成しました。
プロジェクトの最新情報とオープンソースのロードマップ
本プロジェクトは最近頻繁に更新されており、エンジニアリング面での成熟度の高さがうかがえます:
2026年1月~3月:中国語(CineDub-CN)および英語(CineDub-EN)の両方について、サンプルデータセットとデモを公開しました。
2026年3月16日: 推論コードとモデル重み(チェックポイント)を正式にオープンソース化し、開発者がGitHub上でこれらのリソースにアクセスできるようにしました。
データセットへのアクセス:中国のドラマ『紅楼夢』や英国のドラマ『ダウントン・アビー』など、いくつかの古典的なドラマのデータセットが研究用に利用可能になりました。
技術的応用:「対話」から「演技」へ
公式デモでは、本モデルが『三国志演義』などの名作シリーズのリメイクにおいて、印象的な成果を上げていることが示されています。特定の「感情の手がかり」を入力することで、モデルは恐怖から反抗へと至るキャラクターの感情の変化を正確に捉え、高精細な声のクローン化と自然なリップシンクを実現します。
Fun-CineForgeの登場は、映画・テレビのAI吹き替えが、単なる「テキスト読み上げ」から、芸術的理解力を備えた「自動ポストプロダクション」ツールへと移行したことを示している。この進歩により、吹き替え映画やテレビコンテンツの制作コストを大幅に削減できる見込みだ。
プロジェクト:https://funcineforge.github.io/
MIIT、AIモデルコンテキストプロトコルを含む121の業界標準について一般の意見を求める
中国工業情報化省は、「人工知能セキュリティガバナンスモデルコンテキストプロトコルのアプリケーションセキュリティ要求」を含む121件の産業標準化プロジェクトについて、一般からの意見を求める通知を正式に発表しました。この公告は、中国がAIの基盤となる標準や安全監督枠組みを確立する取り組みにおいて重要なマイルストーンとなります。一般からの意見募集期間中は、モデルコンテキストプロトコルのアプリケーションセキュリティに焦点を当て、標準化された技術仕様を通じて、マルチモーダルインタラクション、長文処理、クロ
オープンAI、米国防総省と提携 ChatGPTのアンインストール件数が295%増加
公衆の怒り:OpenAIの軍事提携が「アンインストールブーム」を引き起こす最近、AI分野のリーダーであるOpenAIは、米国国防総省との深い協力関係を発表し、自社のAIモデルを極秘の軍事ネットワークに統合するとした。このニュースは米国内で広範なユーザーからの反発を招き、「ChatGPTボイコット」運動が盛り上がっている。市場分析会社Sensor Towerによると、2026年2月28日にOpenAIが正式にこの協力関係を発表した当日、米国市場におけるChatGPTモバイルアプリのアンインスト
OpenAIが「Sites」機能をリリース、テキストベースのウェブサイトにより「ノーコード」時代の幕を閉じる
OpenAIは、ソフトウェアエンジニアリング向けAI「Codex」の新機能「Sites」を発表しました。現在プレビュー版として提供されており、有料のBusinessおよびEnterpriseプランの加入者のみが利用可能です。この機能は、Webおよびアプリケーション開発における従来の障壁を取り除くことを目的としています。Sitesの本質は、抽象的なアイデアを実際に使えるツールへと変換するプラットフォ





家






