집알리바바의 통이 랩(Tongyi Lab), ‘Fun-CineForge’ 오픈소스 공개… 다중 화자 더빙 과제 해결
영화나 애니메이션과 같이 성공 여부가 중요한 제작물에서는 미묘한 감정적 절정을 포착하고 입모양을 완벽하게 동기화하는 것이 무엇보다 중요하지만, 기존의 AI 음성 더빙 기술은 종종 이러한 요구를 충족시키지 못합니다. 이러한 업계의 핵심 과제를 해결하기 위해 Tongyi Lab은 획기적인 영화급 다중 시나리오 다중 모달 더빙 모델인 ‘Fun-CineForge’를 공식 출시하고 오픈소스로 공개했습니다.
시청각적 격차 해소: 매끄러운 싱크를 위한 4대 기둥 프레임워크
Fun-CineForge는 단순한 텍스트 음성 변환(TTS)에 의존하는 대신, 전문 더빙의 네 가지 핵심 요소를 완벽히 구현하도록 설계되었습니다:
립싱크: 합성된 음성이 화면 속 캐릭터의 입 모양과 탁월한 정밀도로 일치하도록 보장합니다.
감정 표현: 얼굴 표정과 문맥적 지시를 분석하여 목소리에 진정한 인간적인 감정을 불어넣습니다.
음성 일관성: 복잡한 다중 화자 대화 장면에서도 특정 캐릭터에 대해 안정적이고 식별 가능한 음성 정체성을 유지합니다.
시간 정렬: 화면에 등장하지 않거나 부분적으로 가려진 화자의 대사도 밀리초 단위의 정확도로 삽입할 수 있습니다.
핵심 혁신: 선구적인 "시간 모달리티(Time Modality)"와 고품질 데이터셋
Fun-CineForge의 기술적 도약은 독특한 "데이터 + 모델" 공동 설계 철학에서 비롯됩니다:
CineDub 고품질 데이터셋: Tongyi Lab은 자동화된 CineDub 데이터셋 구축 파이프라인도 오픈소스로 공개했습니다. 이 파이프라인은 사고 연쇄(chain-of-thought) 오류 수정 메커니즘을 활용하여 중국어 및 영어 텍스트의 전사 오류율을 약 1%~2%로 낮추고, 화자 식별 오류를 1.2%까지 대폭 줄였습니다.
4모달리티 융합 아키텍처: 이 모델은 "시간 모달리티"를 통합하여 시각적 입력(입 모양 및 표정), 텍스트(대화 및 감정적 맥락), 오디오(음성 참조)를 공동으로 모델링하는 선구적인 방식을 도입했습니다. 이러한 융합을 통해 얼굴이 보이지 않는 장면을 포함한 까다로운 장면에서도 정확한 동기화가 가능합니다.
입증된 우수성: 혁신적인 사실적인 다인물 대화 더빙
벤치마크 결과에 따르면 Fun-CineForge는 단어 오류율(WER/CER), 입술 동기화(LSE-C/D), 음성 유사도 등 주요 지표에서 DeepDubber-V1과 같은 기준 모델보다 현저히 우수한 성능을 보입니다. 특히 듀엣 및 다인 대화도 정밀하게 처리할 수 있는 업계 최초의 기능을 구현하여, 최대 30초 분량의 영상 클립에서도 뛰어난 견고성을 보여줍니다.
GitHub: https://github.com/FunAudioLLM/FunCineForge
HuggingFace: https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope: https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
관련 기사
전 OpenAI 수석 과학자 일리아의 SSI가 첫 모델을 공개하다
AI는 또 다른 주요 이정표를 달성했습니다. 오픈AI를 떠난 전 수석 과학자 일야 수트케버는 세이프 슈퍼인텔리전스 인크.(SSI)를 설립했으며, 이 회사는 최근 첫 번째 모델에 대한 세부 사항을 공개했습니다. 해외 소셜 미디어의 보도에 따르면, 이 팀은 안전한 슈퍼인텔리전스 추구를 위한 중요한 진전인 TTT(테스트 중 학습)를 활용한 컴팩트한 추론 엔진을 개발하고 있습니다.이 새로운 아키텍처는 모델이 '학습 방법을 학습'할 수 있도록 하는 데
Lovable Leads Atech's Seed Round as AI Ambient Coding Officially Enters the Hardware Field
2026년 5월 14일, AI 애플리케이션 개발 플랫폼 라블러블(Lovable)은 덴마크 하드웨어 스타트업 Atech의 80만 달러 시드 투자 라운드 참여를 발표했습니다. 라블러블이 주도한 이번 투자에는 a16z 스카우트 펀드, 시에리야 스카우트 펀드, 노르딕 메이커스(Nordic Makers) 등 최상위 벤처캐피탈 기업들이 참여했습니다. 이번 투자는 라블러블이 순수 소프트웨어 개발을 넘어 하드웨어 엔지니어링 영역으로 '바이브 코딩(Vibe C
Anthropic, 클로드 AI 코딩 도구를 일본으로 확장하여 해외 성장 추진
미국의 대표적인 인공지능 기업인 앤트로픽(Anthropic)이 글로벌 마케팅을 강화하고 있다. 수요일, 이 회사는 도쿄에서 약 500명의 소프트웨어 엔지니어가 참석한 대규모 개발자 행사인 '클로드로 코딩(Code with Claude)'을 개최했다. 이번 행사는 자율적 코딩 기능의 핵심 이점을 강조하며, 클로도 AI 도구와 관련 제품을 일본 시장에 적극적으로 도입하여 기업의 생산성을 높이는 것을 목표로 한다.자동 코드 생성 강조행사 동안 앤
관련 특별 주제 추천
디자인과 예술
창의적인 실험을 위한 최고의 AI 스타일 변환 도구
2026년 최신, 최고 평점을 받은 창의적 실험을 위한 AI 스타일 변환 도구! XIX.AI는 실제 테스트와 엄격한 평가를 통해 탁월한 결과를 보여주는, 강력하고 판도를 바꿀 만한 ‘꼭 사용해 봐야 할’ 도구들을 엄선했습니다. 이 최고의 솔루션들은 콘텐츠 제작 속도를 높이고 무한한 창의적 가능성을 열어줌으로써 크리에이터들의 생산성을 크게 높여줍니다. 지금 바로 탐색하여 나에게 딱 맞는 도구를 찾아보고, 오늘 바로 창작을 시작해 보세요!
9 도구
xix.ai
만화 창작
시각적 스토리텔링을 위한 최고의 AI 대화 풍선 도구
2026년 시각적 스토리텔링을 위한 최신 최고 평점의 AI 대화 풍선 도구가 XIX.AI에 소개됩니다! 이 엄선된 모음집에는 크리에이터들이 생산성을 높이고 창의적인 난관을 극복하는 데 도움을 주는, 강력하고 획기적인 도구들이 포함되어 있습니다. 무료 버전과 유료 버전의 비교 정보를 확인하고, 실제 테스트 결과를 살펴보며, 최신 순위를 통해 매력적인 시각적 이야기를 만드는 데 꼭 필요한 솔루션을 찾아보세요. 지금 바로 탐색하여 여러분에게 딱 맞는 도구를 발견해 보세요!
10 도구
xix.ai
회의 도우미
최고의 AI 회의 요약 도구: 의사 결정 사항과 후속 조치를 명확하게 추적하세요
2026년 최신 최고 평점을 받은 최고의 AI 회의 요약 도구로, 명확한 의사 결정 추적과 손쉬운 후속 조치를 실현하세요. 이 엄선된 목록은 회의록 자동화, 핵심 실행 과제 파악, 모든 프로젝트에 걸친 팀 협업 효율화를 통해 생산성을 획기적으로 높여주는 강력하고 혁신적인 솔루션을 소개합니다. 무료 버전과 유료 버전의 비교 정보, 실제 사용 후기, 매주 업데이트되는 순위 정보를 통해 여러분에게 딱 맞는 도구를 찾아보세요. 지금 바로 살펴보고 AI의 힘을 경험해 보세요!
9 도구
xix.ai
데이터 분석
최고의 AI 데이터 정제 도구: 누락된 값과 중복 데이터를 신속하게 수정하기
2026년 최신의 우수하고 높은 평가를 받는 AI 데이터 정제 도구들로, 누락된 값과 중복 데이터를 신속하게 수정할 수 있습니다. 이 선별된 목록에는 생산성을 획기적으로 향상시켜 주는 강력한 솔루션이 포함되어 있습니다. 각 도구는 신뢰성을 보장하기 위해 엄격한 실제 환경 테스트를 거쳤습니다. 무료 버전과 유료 버전의 비교 정보를 확인하고, 귀하의 요구사항에 가장 적합한 도구를 발견해 보세요. 지금 바로 XIX.AI에서 자세히 알아보시고 AI 분야에서의 경쟁 우위를 확보하세요.
11 도구
xix.ai
디자인과 예술
아티스트를 위한 최고의 AI 창의적 아이디어 도구: 시각적 블록을 돌파하라
2026년 최신 최고 인기 AI 창의적 아이디어 도구들은 XIX.AI가 선별한 것으로, 창작자들이 시각적 장벽을 돌파하고 즉각적으로 창의성을 높일 수 있도록 지원합니다. 이러한 강력한 혁신적 도구들은 실제 테스트 결과, 무료와 유료 버전의 상세 비교, 그리고 매주 업데이트되는 순위표를 제공합니다. 콘텐츠 제작을 가속화하고 AI 경쟁력을 발휘할 수 있는 완벽한 도구를 발견하세요. 지금 바로 탐색하세요!
14 도구
xix.ai
음악 작곡
틱톡 배경 음악, 릴스 오디오, 크리에이터 홍보용 음악을 위한 AI 비트 메이커
2026년 틱톡 배경 음악, 릴스 오디오, 크리에이터 홍보용 음악을 위한 최신 최고의 AI 비트 메이커! XIX.AI는 모든 콘텐츠 요구 사항에 맞는 완벽한 음악을 제공하기 위해 실제 테스트를 거친, 업계에 혁신을 일으킬 만한 강력한 도구들의 최고 평점 목록을 엄선했습니다. 창의성과 생산성을 높이는 데 도움이 될 상세한 무료 vs 유료 비교 자료, 매주 업데이트되는 순위, 그리고 꼭 시도해 봐야 할 추천 옵션을 확인하실 수 있습니다. 지금 바로 탐색하여 여러분에게 딱 맞는 도구를 찾아보세요!
11 도구
xix.ai
의견 (0)
0/500
영화나 애니메이션과 같이 성공 여부가 중요한 제작물에서는 미묘한 감정적 절정을 포착하고 입모양을 완벽하게 동기화하는 것이 무엇보다 중요하지만, 기존의 AI 음성 더빙 기술은 종종 이러한 요구를 충족시키지 못합니다. 이러한 업계의 핵심 과제를 해결하기 위해 Tongyi Lab은 획기적인 영화급 다중 시나리오 다중 모달 더빙 모델인
시청각적 격차 해소: 매끄러운 싱크를 위한 4대 기둥 프레임워크
Fun-CineForge는 단순한 텍스트 음성 변환(TTS)에 의존하는 대신, 전문 더빙의 네 가지 핵심 요소를 완벽히 구현하도록 설계되었습니다:
립싱크: 합성된 음성이 화면 속 캐릭터의 입 모양과 탁월한 정밀도로 일치하도록 보장합니다.
감정 표현: 얼굴 표정과 문맥적 지시를 분석하여 목소리에 진정한 인간적인 감정을 불어넣습니다.
음성 일관성: 복잡한 다중 화자 대화 장면에서도 특정 캐릭터에 대해 안정적이고 식별 가능한 음성 정체성을 유지합니다.
시간 정렬: 화면에 등장하지 않거나 부분적으로 가려진 화자의 대사도 밀리초 단위의 정확도로 삽입할 수 있습니다.
핵심 혁신: 선구적인 "시간 모달리티(Time Modality)"와 고품질 데이터셋
Fun-CineForge의 기술적 도약은 독특한 "데이터 + 모델" 공동 설계 철학에서 비롯됩니다:
CineDub 고품질 데이터셋: Tongyi Lab은 자동화된 CineDub 데이터셋 구축 파이프라인도 오픈소스로 공개했습니다. 이 파이프라인은 사고 연쇄(chain-of-thought) 오류 수정 메커니즘을 활용하여 중국어 및 영어 텍스트의 전사 오류율을 약 1%~2%로 낮추고, 화자 식별 오류를 1.2%까지 대폭 줄였습니다.
4모달리티 융합 아키텍처: 이 모델은 "시간 모달리티"를 통합하여 시각적 입력(입 모양 및 표정), 텍스트(대화 및 감정적 맥락), 오디오(음성 참조)를 공동으로 모델링하는 선구적인 방식을 도입했습니다. 이러한 융합을 통해 얼굴이 보이지 않는 장면을 포함한 까다로운 장면에서도 정확한 동기화가 가능합니다.
입증된 우수성: 혁신적인 사실적인 다인물 대화 더빙
벤치마크 결과에 따르면 Fun-CineForge는 단어 오류율(WER/CER), 입술 동기화(LSE-C/D), 음성 유사도 등 주요 지표에서 DeepDubber-V1과 같은 기준 모델보다 현저히 우수한 성능을 보입니다. 특히 듀엣 및 다인 대화도 정밀하게 처리할 수 있는 업계 최초의 기능을 구현하여, 최대 30초 분량의 영상 클립에서도 뛰어난 견고성을 보여줍니다.
GitHub: https://github.com/FunAudioLLM/FunCineForge
HuggingFace: https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope: https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
전 OpenAI 수석 과학자 일리아의 SSI가 첫 모델을 공개하다
AI는 또 다른 주요 이정표를 달성했습니다. 오픈AI를 떠난 전 수석 과학자 일야 수트케버는 세이프 슈퍼인텔리전스 인크.(SSI)를 설립했으며, 이 회사는 최근 첫 번째 모델에 대한 세부 사항을 공개했습니다. 해외 소셜 미디어의 보도에 따르면, 이 팀은 안전한 슈퍼인텔리전스 추구를 위한 중요한 진전인 TTT(테스트 중 학습)를 활용한 컴팩트한 추론 엔진을 개발하고 있습니다.이 새로운 아키텍처는 모델이 '학습 방법을 학습'할 수 있도록 하는 데
Lovable Leads Atech's Seed Round as AI Ambient Coding Officially Enters the Hardware Field
2026년 5월 14일, AI 애플리케이션 개발 플랫폼 라블러블(Lovable)은 덴마크 하드웨어 스타트업 Atech의 80만 달러 시드 투자 라운드 참여를 발표했습니다. 라블러블이 주도한 이번 투자에는 a16z 스카우트 펀드, 시에리야 스카우트 펀드, 노르딕 메이커스(Nordic Makers) 등 최상위 벤처캐피탈 기업들이 참여했습니다. 이번 투자는 라블러블이 순수 소프트웨어 개발을 넘어 하드웨어 엔지니어링 영역으로 '바이브 코딩(Vibe C
Anthropic, 클로드 AI 코딩 도구를 일본으로 확장하여 해외 성장 추진
미국의 대표적인 인공지능 기업인 앤트로픽(Anthropic)이 글로벌 마케팅을 강화하고 있다. 수요일, 이 회사는 도쿄에서 약 500명의 소프트웨어 엔지니어가 참석한 대규모 개발자 행사인 '클로드로 코딩(Code with Claude)'을 개최했다. 이번 행사는 자율적 코딩 기능의 핵심 이점을 강조하며, 클로도 AI 도구와 관련 제품을 일본 시장에 적극적으로 도입하여 기업의 생산성을 높이는 것을 목표로 한다.자동 코드 생성 강조행사 동안 앤
2026년 최신, 최고 평점을 받은 창의적 실험을 위한 AI 스타일 변환 도구! XIX.AI는 실제 테스트와 엄격한 평가를 통해 탁월한 결과를 보여주는, 강력하고 판도를 바꿀 만한 ‘꼭 사용해 봐야 할’ 도구들을 엄선했습니다. 이 최고의 솔루션들은 콘텐츠 제작 속도를 높이고 무한한 창의적 가능성을 열어줌으로써 크리에이터들의 생산성을 크게 높여줍니다. 지금 바로 탐색하여 나에게 딱 맞는 도구를 찾아보고, 오늘 바로 창작을 시작해 보세요!
9 도구
xix.ai
2026년 시각적 스토리텔링을 위한 최신 최고 평점의 AI 대화 풍선 도구가 XIX.AI에 소개됩니다! 이 엄선된 모음집에는 크리에이터들이 생산성을 높이고 창의적인 난관을 극복하는 데 도움을 주는, 강력하고 획기적인 도구들이 포함되어 있습니다. 무료 버전과 유료 버전의 비교 정보를 확인하고, 실제 테스트 결과를 살펴보며, 최신 순위를 통해 매력적인 시각적 이야기를 만드는 데 꼭 필요한 솔루션을 찾아보세요. 지금 바로 탐색하여 여러분에게 딱 맞는 도구를 발견해 보세요!
10 도구
xix.ai
2026년 최신 최고 평점을 받은 최고의 AI 회의 요약 도구로, 명확한 의사 결정 추적과 손쉬운 후속 조치를 실현하세요. 이 엄선된 목록은 회의록 자동화, 핵심 실행 과제 파악, 모든 프로젝트에 걸친 팀 협업 효율화를 통해 생산성을 획기적으로 높여주는 강력하고 혁신적인 솔루션을 소개합니다. 무료 버전과 유료 버전의 비교 정보, 실제 사용 후기, 매주 업데이트되는 순위 정보를 통해 여러분에게 딱 맞는 도구를 찾아보세요. 지금 바로 살펴보고 AI의 힘을 경험해 보세요!
9 도구
xix.ai
2026년 최신의 우수하고 높은 평가를 받는 AI 데이터 정제 도구들로, 누락된 값과 중복 데이터를 신속하게 수정할 수 있습니다. 이 선별된 목록에는 생산성을 획기적으로 향상시켜 주는 강력한 솔루션이 포함되어 있습니다. 각 도구는 신뢰성을 보장하기 위해 엄격한 실제 환경 테스트를 거쳤습니다. 무료 버전과 유료 버전의 비교 정보를 확인하고, 귀하의 요구사항에 가장 적합한 도구를 발견해 보세요. 지금 바로 XIX.AI에서 자세히 알아보시고 AI 분야에서의 경쟁 우위를 확보하세요.
11 도구
xix.ai
2026년 최신 최고 인기 AI 창의적 아이디어 도구들은 XIX.AI가 선별한 것으로, 창작자들이 시각적 장벽을 돌파하고 즉각적으로 창의성을 높일 수 있도록 지원합니다. 이러한 강력한 혁신적 도구들은 실제 테스트 결과, 무료와 유료 버전의 상세 비교, 그리고 매주 업데이트되는 순위표를 제공합니다. 콘텐츠 제작을 가속화하고 AI 경쟁력을 발휘할 수 있는 완벽한 도구를 발견하세요. 지금 바로 탐색하세요!
14 도구
xix.ai
2026년 틱톡 배경 음악, 릴스 오디오, 크리에이터 홍보용 음악을 위한 최신 최고의 AI 비트 메이커! XIX.AI는 모든 콘텐츠 요구 사항에 맞는 완벽한 음악을 제공하기 위해 실제 테스트를 거친, 업계에 혁신을 일으킬 만한 강력한 도구들의 최고 평점 목록을 엄선했습니다. 창의성과 생산성을 높이는 데 도움이 될 상세한 무료 vs 유료 비교 자료, 매주 업데이트되는 순위, 그리고 꼭 시도해 봐야 할 추천 옵션을 확인하실 수 있습니다. 지금 바로 탐색하여 여러분에게 딱 맞는 도구를 찾아보세요!
11 도구
xix.ai
