オプション
ニュース
アリババのAliyun、Fun-CineForgeを発表:映画品質の吹き替えモデルとデータセットをオープンソース化

アリババのAliyun、Fun-CineForgeを発表:映画品質の吹き替えモデルとデータセットをオープンソース化

2026年5月7日
79

最近、アリババ・トンイー・ラボの音声チームが中国科学技術大学と共同で開発した「Fun-CineForge」プロジェクトが、正式にオープンソース化されました。この取り組みは、包括的なエンドツーエンドの制作ワークフローと大規模モデルソリューションを導入することで、リップシンク、声のスタイル転移、感情表現など、映画・テレビの吹き替えにおける中核的な課題に取り組んでいます。

image.png

中核的なブレークスルー:映画吹き替えにおける「リップシンク不一致」問題の解決

従来のAI吹き替えでは、口の動きのズレ、感情表現の機械的さ、そして台詞や複数人の音響が絡む複雑な映画シーンへの適応の難しさといった問題にしばしば直面してきました。Fun-CineForgeは、2つの重要な革新を通じて大きなブレークスルーを達成しています:

MLLM吹き替えモデル:単純な口元領域の音声・映像同期にとどまらず、シーン内のキャラクターのアイデンティティや感情のニュアンスを深く理解できるマルチモーダル大規模言語モデル(MLLM)アーキテクチャを採用しています。

CineDub大規模データセット:本プロジェクトでは、自動化されたパイプラインを通じて、モノローグ、ナレーション、対話、複数人の会話など多様なシナリオを網羅した、中国語テレビ番組の吹き替えデータセットを初めて作成しました。

プロジェクトの最新情報とオープンソースのロードマップ

本プロジェクトは最近頻繁に更新されており、エンジニアリング面での成熟度の高さがうかがえます:

2026年1月~3月:中国語(CineDub-CN)および英語(CineDub-EN)の両方について、サンプルデータセットとデモを公開しました。

2026年3月16日: 推論コードとモデル重み(チェックポイント)を正式にオープンソース化し、開発者がGitHub上でこれらのリソースにアクセスできるようにしました。

データセットへのアクセス:中国のドラマ『紅楼夢』や英国のドラマ『ダウントン・アビー』など、いくつかの古典的なドラマのデータセットが研究用に利用可能になりました。

技術的応用:「対話」から「演技」へ

公式デモでは、本モデルが『三国志演義』などの名作シリーズのリメイクにおいて、印象的な成果を上げていることが示されています。特定の「感情の手がかり」を入力することで、モデルは恐怖から反抗へと至るキャラクターの感情の変化を正確に捉え、高精細な声のクローン化と自然なリップシンクを実現します。

Fun-CineForgeの登場は、映画・テレビのAI吹き替えが、単なる「テキスト読み上げ」から、芸術的理解力を備えた「自動ポストプロダクション」ツールへと移行したことを示している。この進歩により、吹き替え映画やテレビコンテンツの制作コストを大幅に削減できる見込みだ。

プロジェクト:https://funcineforge.github.io/

関連記事
MIIT、AIモデルコンテキストプロトコルを含む121の業界標準について一般の意見を求める MIIT、AIモデルコンテキストプロトコルを含む121の業界標準について一般の意見を求める 中国工業情報化省は、「人工知能セキュリティガバナンスモデルコンテキストプロトコルのアプリケーションセキュリティ要求」を含む121件の産業標準化プロジェクトについて、一般からの意見を求める通知を正式に発表しました。この公告は、中国がAIの基盤となる標準や安全監督枠組みを確立する取り組みにおいて重要なマイルストーンとなります。一般からの意見募集期間中は、モデルコンテキストプロトコルのアプリケーションセキュリティに焦点を当て、標準化された技術仕様を通じて、マルチモーダルインタラクション、長文処理、クロ
オープンAI、米国防総省と提携 ChatGPTのアンインストール件数が295%増加 オープンAI、米国防総省と提携 ChatGPTのアンインストール件数が295%増加 公衆の怒り:OpenAIの軍事提携が「アンインストールブーム」を引き起こす最近、AI分野のリーダーであるOpenAIは、米国国防総省との深い協力関係を発表し、自社のAIモデルを極秘の軍事ネットワークに統合するとした。このニュースは米国内で広範なユーザーからの反発を招き、「ChatGPTボイコット」運動が盛り上がっている。市場分析会社Sensor Towerによると、2026年2月28日にOpenAIが正式にこの協力関係を発表した当日、米国市場におけるChatGPTモバイルアプリのアンインスト
OpenAIが「Sites」機能をリリース、テキストベースのウェブサイトにより「ノーコード」時代の幕を閉じる OpenAIが「Sites」機能をリリース、テキストベースのウェブサイトにより「ノーコード」時代の幕を閉じる OpenAIは、ソフトウェアエンジニアリング向けAI「Codex」の新機能「Sites」を発表しました。現在プレビュー版として提供されており、有料のBusinessおよびEnterpriseプランの加入者のみが利用可能です。この機能は、Webおよびアプリケーション開発における従来の障壁を取り除くことを目的としています。Sitesの本質は、抽象的なアイデアを実際に使えるツールへと変換するプラットフォ
関連特集おすすめ
動画作成 脚本作成とビジュアルストーリーテリングに最適なAIテキスト・トゥ・ビデオ・プラットフォーム
脚本作成とビジュアルストーリーテリングに最適なAIテキスト・トゥ・ビデオ・プラットフォーム

2026年最新・最高のAIテキストから動画生成プラットフォーム:脚本作成やビジュアルストーリーテリングに最適なツールをご紹介。テキストを魅力的な動画に変える、画期的なソリューションをご覧ください。毎週更新されるランキングと実地テストに基づき、無料版と有料版の比較も可能です。創造性と生産性を高める、あなたにぴったりのプラットフォームを見つけましょう。XIX.AIで厳選されたラインナップをご覧ください。

10 ツール
xix.ai
チャットボット AIマルチエージェントオーケストレーター:自然言語を通じて複雑な自動化ワークフローを設計する
AIマルチエージェントオーケストレーター:自然言語を通じて複雑な自動化ワークフローを設計する

2026年最新情報:自然言語を通じて複雑な自動化ワークフローを設計するための最適なAIマルチエージェントオーケストレーターを発見しましょう。当社が厳選したリストには、タスクのシームレスな自動化とインテリジェントなプロセス管理に最適な高評価の強力なプラットフォームが掲載されています。無料オプションと有料オプションを実際の使用例を交えて比較しましょう。XIX.AIが毎週更新する専門的なランキングを活用して、AIの力を最大限に引き出しましょう。

10 ツール
xix.ai
画像編集 最高のAIノイズリダクションソフトウェア:低照度の夜間撮影で発生する粒状ノイズやアーチファクトを除去する
最高のAIノイズリダクションソフトウェア:低照度の夜間撮影で発生する粒状ノイズやアーチファクトを除去する

2026年に最も優れたAIノイズリダクションソフトウェアを探そう。低照度の夜間撮影に最適なこれらのツールは、無料版と有料版を比較しており、実際のテスト結果や毎週更新されるランキングも掲載されている。粒状ノイズや不要なアーティファクトを簡単に除去できる。XIX.AIでAIの力を最大限に活用しよう。

10 ツール
xix.ai
チャットボット おすすめのAIガールフレンド生成ツール:個性や趣味、バックストーリーを自由にデザイン
おすすめのAIガールフレンド生成ツール:個性や趣味、バックストーリーを自由にデザイン

XIX.AIで、2026年最高のカスタムAIガールフレンド生成ツールを発見しましょう。ユニークな性格、趣味、そして深いバックストーリーをデザインするための、厳選された高評価リストをご覧ください。実際の利用体験に基づく情報を参考に、無料版と有料版の比較も可能です。今すぐ、あなたにぴったりのクリエイティブなパートナーを手に入れましょう。

10 ツール
xix.ai
生産性 AIアーキテクチャ設計者:自然言語を用いてスケーラブルなシステムアーキテクチャを構築する
AIアーキテクチャ設計者:自然言語を用いてスケーラブルなシステムアーキテクチャを構築する

XIX.AIで、2026年最高のAIアーキテクチャ設計ツールをご覧ください。厳選された高評価のリストには、自然言語を用いてスケーラブルなシステムアーキテクチャを構築するための、強力で革新的なソリューションが揃っています。実際の事例に基づく知見をもとに、無料版と有料版の機能を比較しましょう。今すぐAI開発の競争力を高め、開発プロセスを効率化しましょう。

10 ツール
xix.ai
漫画制作 AIキャラクタープロフィール作成ツール:漫画の主人公たちに詳細な背景設定やビジュアル参考資料を生成する
AIキャラクタープロフィール作成ツール:漫画の主人公たちに詳細な背景設定やビジュアル参考資料を生成する

2026年最新の最高のAIキャラクタープロフィール作成ツール:マンガの主人公たちに詳細な背景設定や視覚的参考資料を生成するための高評価ツールを発見しましょう。当社が厳選し、毎週更新しているこのリストでは、実際のテスト結果に基づいて無料版と有料版を比較しています。強力で革新的なソリューションを使って魅力的なキャラクターを創造し、創作作業の効率を高めましょう。XIX.AIでランキングを確認し、今日すぐに完璧なストーリーテリングの助けとなるツールを手に入れてください。

10 ツール
xix.ai
コメント (0)
0/500
OR