バイトダンス、動画の生成と編集を統合する「Bernini」フレームワークをオープンソース化
ByteDanceの商用化技術チームは、Berniniという名称の動画生成・編集フレームワークをオープンソースとして正式に公開しました。このフレームワークは、その中核に「まず理解し、その後生成する」という協調メカニズムを採用しており、従来のモデルが複雑な指示を正確に解釈できないことに起因する、画像の不安定さやフレームのちらつきといった業界共通の課題に対処するように設計されています。
ByteDance社内の評価において、「Bernini」はトップクラスの成果を達成しました。現在、その推論コードと第2段階モデルである「Bernini-R」が公開されており、全機能を備えたバージョンの完全なオープンソース化も近い将来に予定されています。

意味論とレンダリングの分離
Berniniのワークフローは、「セマンティックプランニング」と「ビジュアルレンダリング」の間に新たな分離を導入しています。このプロセスは、入力素材を徹底的に分析して「セマンティックスケッチ」を生成するマルチモーダル大規模モデルプランナーから始まり、それがレンダラーによって安定した一貫性のある動画フレームに変換されます。
この明確な役割分担により、本フレームワークは制御可能な編集において特に有用です。ユーザーは、簡単なコマンドを通じて天候、季節、ビジュアルスタイルなどのシーン属性を調整できるほか、カメラアングル、フォーカス、被写体の動きについても精密な制御が可能になります。
豊富な視覚的参照機能
従来のテキストベースの制御に加え、Berniniは画像や動画を視覚的参照として使用することをサポートしており、クリエイティブの一貫性を大幅に向上させます。動画編集においては、境界のアーティファクトや遠近法の歪みを生じさせることなく、特定の素材やポスターをターゲット領域に正確に配置することができます。
新しい動画の生成において、本モデルは単一画像および多アングルの参照入力を処理し、キーフレームを連続したシーケンスへと発展させることができます。複数の視覚的セグメントを接続する際の混乱を避けるため、チームは参照素材と出力対象を明確に区別する専用の位置エンコーディングメカニズムを導入しました。
プロジェクトページ: https://bernini-ai.github.io/
関連記事
ユーザーからの反発を受け、MetaはAI写真編集機能を削除
Meta、ソーシャルメディアの巨人は、人工知能とユーザープライバシーの微妙なバランスをめぐる公的な論争に再び巻き込まれている。TechCrunch によると、Meta の Superintelligence Labs は今週初めに新しい AI 画像ジェネレーター「Muse Image」を導入した。しかし、ユーザーが「@」記号でタグ付けすることで、公開されている Instagram アカウントから画像を修正・生成できるという、高い評価を受けた主要機能は、適切な通知メカニズムの欠如により、ユーザー
DeepMindのCEOハサビス氏:1日6時間睡眠し、通常午前1時頃に活力を感じます。
フォーチュンは最近、Google DeepMindのCEOであるデミス・ハサビスへのインタビューを掲載し、彼の休息と生産性に対する非伝統的なアプローチを明らかにした。ハサビスは、睡眠時間が非常に短いことを明かし、覚醒時間を2つの明確な作業ブロックに構造化していると語った。彼の睡眠習慣について、ハサビスは「6時間の睡眠を目標としているが、私の習慣は典型的ではない。一日中効果的に機能できる」と述べた。彼は、6時間未満の睡眠は脳の健康に悪影響を及ぼすことを強調した。2010年にDeepMindを共
OpenAIとAnthropic、収益の伸び悩みにもかかわらず市場シェア争いを繰り広げる
OpenAIが収益目標を達成できなかったとする最近の報道を受け、今週火曜日にハイテク株に売り圧力が生じたにもかかわらず、AI研究機関への民間投資家は依然として堅調だ。経験豊富な出資者たちは、メディアによる否定的な報道にもかかわらず、投資額を減らすつもりはないことを明らかにしている。アナリストらは、現在のAI競争はまだ初期段階にあると見ており、「勝者総取り」という結末はあり得ないと見ている。高いコン
関連特集おすすめ
コメント (0)
0/500
ByteDanceの商用化技術チームは、Berniniという名称の動画生成・編集フレームワークをオープンソースとして正式に公開しました。このフレームワークは、その中核に「まず理解し、その後生成する」という協調メカニズムを採用しており、従来のモデルが複雑な指示を正確に解釈できないことに起因する、画像の不安定さやフレームのちらつきといった業界共通の課題に対処するように設計されています。
ByteDance社内の評価において、「Bernini」はトップクラスの成果を達成しました。現在、その推論コードと第2段階モデルである「Bernini-R」が公開されており、全機能を備えたバージョンの完全なオープンソース化も近い将来に予定されています。

意味論とレンダリングの分離
Berniniのワークフローは、「セマンティックプランニング」と「ビジュアルレンダリング」の間に新たな分離を導入しています。このプロセスは、入力素材を徹底的に分析して「セマンティックスケッチ」を生成するマルチモーダル大規模モデルプランナーから始まり、それがレンダラーによって安定した一貫性のある動画フレームに変換されます。
この明確な役割分担により、本フレームワークは制御可能な編集において特に有用です。ユーザーは、簡単なコマンドを通じて天候、季節、ビジュアルスタイルなどのシーン属性を調整できるほか、カメラアングル、フォーカス、被写体の動きについても精密な制御が可能になります。
豊富な視覚的参照機能
従来のテキストベースの制御に加え、Berniniは画像や動画を視覚的参照として使用することをサポートしており、クリエイティブの一貫性を大幅に向上させます。動画編集においては、境界のアーティファクトや遠近法の歪みを生じさせることなく、特定の素材やポスターをターゲット領域に正確に配置することができます。
新しい動画の生成において、本モデルは単一画像および多アングルの参照入力を処理し、キーフレームを連続したシーケンスへと発展させることができます。複数の視覚的セグメントを接続する際の混乱を避けるため、チームは参照素材と出力対象を明確に区別する専用の位置エンコーディングメカニズムを導入しました。
プロジェクトページ: https://bernini-ai.github.io/
ユーザーからの反発を受け、MetaはAI写真編集機能を削除
Meta、ソーシャルメディアの巨人は、人工知能とユーザープライバシーの微妙なバランスをめぐる公的な論争に再び巻き込まれている。TechCrunch によると、Meta の Superintelligence Labs は今週初めに新しい AI 画像ジェネレーター「Muse Image」を導入した。しかし、ユーザーが「@」記号でタグ付けすることで、公開されている Instagram アカウントから画像を修正・生成できるという、高い評価を受けた主要機能は、適切な通知メカニズムの欠如により、ユーザー
DeepMindのCEOハサビス氏:1日6時間睡眠し、通常午前1時頃に活力を感じます。
フォーチュンは最近、Google DeepMindのCEOであるデミス・ハサビスへのインタビューを掲載し、彼の休息と生産性に対する非伝統的なアプローチを明らかにした。ハサビスは、睡眠時間が非常に短いことを明かし、覚醒時間を2つの明確な作業ブロックに構造化していると語った。彼の睡眠習慣について、ハサビスは「6時間の睡眠を目標としているが、私の習慣は典型的ではない。一日中効果的に機能できる」と述べた。彼は、6時間未満の睡眠は脳の健康に悪影響を及ぼすことを強調した。2010年にDeepMindを共
OpenAIとAnthropic、収益の伸び悩みにもかかわらず市場シェア争いを繰り広げる
OpenAIが収益目標を達成できなかったとする最近の報道を受け、今週火曜日にハイテク株に売り圧力が生じたにもかかわらず、AI研究機関への民間投資家は依然として堅調だ。経験豊富な出資者たちは、メディアによる否定的な報道にもかかわらず、投資額を減らすつもりはないことを明らかにしている。アナリストらは、現在のAI競争はまだ初期段階にあると見ており、「勝者総取り」という結末はあり得ないと見ている。高いコン





家






