집알리바바의 통이(Tongyi), ‘Fun-CineForge’ 공개: 영화급 음성 합성을 구현한 오픈소스 AI 모델
알리바바 통이 랩(Alibaba Tongyi Lab)은 3월 16일, 영화급 품질의 다중 시나리오 음성 합성 다중 모달 모델인 ‘Fun-CineForge’를 공식 출시하고 오픈소스로 공개했다. 이 모델은 입모양 동기화 불일치, 감정 표현 부족, 여러 캐릭터 간 음성 특성 불일치 등 AI 더빙의 핵심 과제를 해결한다. 또한 고품질 데이터셋 구축 방법도 제시한다.
기술적으로 Fun-CineForge는 '시간적 모달리티(temporal modality)' 개념을 최초로 도입했다. 텍스트나 영상 중 하나에만 집중하는 기존 모델과 달리, 이 모델은 정확한 타임스탬프 제어를 통해 음성 합성이 정밀한 시간 간격 내에서 이루어지도록 보장한다. 캐릭터가 가려지거나, 카메라 컷이 잦거나, 얼굴이 흐릿한 복잡한 영화 장면에서도 이 모델은 높은 수준의 영상-음성 동기화와 지시 사항 준수를 유지한다.
함께 공개된 오픈소스 CineDub 데이터셋 구축 파이프라인은 또 다른 핵심 혁신입니다. Tongyi Lab은 대규모 언어 모델의 연쇄적 사고 추론(chain-of-thought reasoning)을 활용하여 원본 영화 영상을 구조화된 데이터로 자동 변환함으로써, 수동 주석 작업의 필요성을 대폭 줄였습니다. 이 프로세스는 약 1%의 단어 오류율과 1.20%에 불과한 화자 식별 오류율을 달성하여, 대규모 모델을 위한 매우 경쟁력 있는 훈련 기반을 제공합니다.
Fun-CineForge는 현재 GitHub, HuggingFace 및 ModelScope 커뮤니티에서 이용 가능하며, 최대 30초 길이의 동영상 클립에 대한 추론을 지원합니다. 이 모델은 단일 화자의 독백뿐만 아니라 듀엣 및 다중 화자 대화 시나리오에 대해서도 전문가 수준의 지원을 제공합니다. 이러한 발전은 AI 음성 기술이 기본적인 고객 서비스 및 비서 역할에서 고품질의 애니메이션 및 영화 후반 제작 분야로 진화하고 있음을 시사합니다.
GitHub: https://github.com/FunAudioLLM/FunCineForge
HuggingFace: https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope: https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
관련 기사
펜티엄 4 리바이벌: 20년 된 CPU로 메타 라마 3 대형 모델을 실행하다
최근 유튜브의 기술 채널 Fully Buffered에서 인상적이고 대담한 실험을 진행했습니다. 2006년에 출시된 펜티엄 4 641 프로세서에서 메타의 최신 대형 모델인 Llama 3.2 3B를 성공적으로 실행한 것입니다.이 실험은 현대 인공지능을 20년 전의 하드웨어와 맞닿게 했으며, LLM의 기본적인 호환성 한계를 드러내는 동시에 많은 시청자들로 하여금 AI 시대에 무어의 법칙이 어떻게 이런 특이한 방식으로 세대 간의 교류를 이루었는지 생
항저우 상성구, 절강성 최초의 AIGC 시청각 ‘황금 십조치’ 도입 및 50억 원 규모 산업 펀드 조성 발표
16일, AIGC 오디오-비주얼 산업 혁신 생태계 컨퍼런스가 항저우 상성구에서 열렸습니다. 이 행사에서 해당 지방은 AIGC 오디오-비주얼 산업을 위한 첫 번째 전용 정책인 “골든 텐”을 발표했습니다. 이 정책은 기술 혁신, 비용 절감, 콘텐츠 품질 향상, 인재 양성, 글로벌 확장 등 산업 성장의 모든 측면을 다루고 있습니다.이 정책에는 강력한 인센티브가 포함되어 있습니다. 기술 혁신 분야에서는 AIGC 도구, AI 가상 촬영, AI 대화형
중국 공과대학교(MIIT)가 AI 모델 컨텍스트 프로토콜을 포함한 121개 산업 표준에 대한 대중의 의견을 구하고 있습니다.
중국 산업정보기술부는 “인공지능 보안 거버넌스 모델 컨텍스트 프로토콜의 애플리케이션 보안 요구사항”을 포함한 121개 산업 표준화 프로젝트에 대한 대중의 의견을 구하는 공지를 공식적으로 발표했습니다. 이번 발표는 중국이 인공지능 분야에서 기초 표준과 안전 감독 체계를 수립하기 위한 노력에서 중요한 이정표입니다. 대중 의견 수렴 기간은 모델 컨텍스트 프로토콜의 애플리케이션 보안에 초점을 맞추고 있으며, 표준화된 기술 사양을 통해 다모달 상호작용,
관련 특별 주제 추천
챗봇
이 역할극 도구들로 나만의 AI 러브 스토리를 만들어 보세요
몰입감 넘치는 이야기를 만들어낼 수 있는 2026년 최신 최고 평점 AI 롤플레잉 도구를 만나보세요. XIX.AI가 엄선한 이 목록에는 창의적인 스토리텔링과 감성적 깊이를 이끌어내는 강력하고 혁신적인 어시스턴트들이 포함되어 있습니다. 실제 테스트를 통해 무료 버전과 유료 버전을 비교해 보세요. 지금 바로 나만의 특별한 여정을 시작해 보세요.
10 도구
xix.ai
텍스트 음성 변환
인디 게임 개발자를 위한 최고의 AI 음성 도구: RPG와 비주얼 노벨의 성우 작업 시간을 단축하세요
게임 개발자를 위한 2026년 최고의 AI 음성 도구를 만나보세요! XIX.AI가 엄선한 이 목록에는 RPG와 비주얼 노벨의 성우 작업에 드는 시간과 비용을 절약해 줄, 최고 평점을 받은 혁신적인 솔루션들이 포함되어 있습니다. 무료 버전과 유료 버전의 비교 분석, 실제 테스트 결과, 매주 업데이트되는 순위 정보를 확인해 보세요. 지금 바로 여러분에게 딱 맞는 음성 도구를 찾아보세요!
10 도구
xix.ai
교육 및 학습
최고의 AI 기반 반복 학습 도구들: 의학 및 법학 전공 학생들을 위한 학습 계획 최적화 방법
2026년 최고의 AI 반복 학습 도구들을 만나보세요. XIX.AI가 엄선하여 제공합니다. 우리가 추천하는 이 도구들은 의학 및 법학 전공 학생들이 학습 계획을 최적화하여 최대한의 학습 효과를 얻는 데 도움을 줍니다. 무료 옵션과 유료 옵션을 실제 사용 사례와 매주 업데이트되는 순위를 통해 비교해 보세요. 지금 바로 학습 효율을 높이세요.
10 도구
xix.ai
비디오 제작
대본 작성과 시각적 스토리텔링을 위한 최고의 AI 텍스트-비디오 변환 플랫폼
2026년 최신 최고의 AI 텍스트-비디오 변환 플랫폼: 시나리오 작성과 시각적 스토리텔링을 위한 최고 평점 도구들. 텍스트를 매력적인 영상으로 변환해 줄 강력하고 혁신적인 솔루션을 만나보세요. 매주 업데이트되는 순위와 실제 테스트 결과를 통해 무료 및 유료 옵션을 비교해 보세요. 창의성과 생산성을 높여줄 완벽한 플랫폼을 찾아보세요. XIX.AI에서 엄선된 플랫폼을 확인해 보세요.
10 도구
xix.ai
챗봇
AI 멀티 에이전트 오케스트레이터: 자연어를 통해 복잡한 자동화 워크플로우를 설계하기
2026 최신 정보: 자연어를 통해 복잡한 자동화 워크플로우를 설계할 수 있는 최고의 AI 멀티 에이전트 오케스트레이터들을 만나보세요. 저희가 엄선한 이 목록에는 태스크 자동화와 지능형 프로세스 관리에 탁월한 최고의 플랫폼들이 포함되어 있습니다. 무료 옵션과 유료 옵션을 실제 사용 사례를 바탕으로 비교해 보세요. XIX.AI가 매주 업데이트하는 전문적인 순위를 통해 AI의 이점을 최대한 활용해 보세요.
10 도구
xix.ai
이미지 편집
최고의 AI 노이즈 감소 소프트웨어: 저조도 야간 사진에서 노이즈와 왜곡을 제거하세요.
2026년 저조도 야간 촬영에 가장 적합한 AI 노이즈 감소 소프트웨어를 발견해 보세요. 저희가 엄선하여 제공하는 이 목록에서는 무료 및 유료 도구들을 비교하며, 실제 사용 테스트 결과와 매주 업데이트되는 순위를 제공합니다. 불필요한 요소들을 쉽게 제거하여 더 깨끗한 이미지를 얻으세요. XIX.AI에서 AI의 강력한 기능을 활용해 보세요.
10 도구
xix.ai
의견 (1)
0/500
![NicholasThomas]()
Just tried the demo and honestly blown away by how natural the lip-sync feels now! 😮 Always thought AI dubbing sounded a bit robotic, but this seems like a huge leap. Wonder if this will start being used in indie films or even gaming soon? The open-source move is pretty bold too—curious to see how other companies respond.
알리바바 통이 랩(Alibaba Tongyi Lab)은 3월 16일, 영화급 품질의 다중 시나리오 음성 합성 다중 모달 모델인 ‘Fun-CineForge’를 공식 출시하고 오픈소스로 공개했다. 이 모델은 입모양 동기화 불일치, 감정 표현 부족, 여러 캐릭터 간 음성 특성 불일치 등 AI 더빙의 핵심 과제를 해결한다. 또한 고품질 데이터셋 구축 방법도 제시한다.
기술적으로 Fun-CineForge는 '시간적 모달리티(temporal modality)' 개념을 최초로 도입했다. 텍스트나 영상 중 하나에만 집중하는 기존 모델과 달리, 이 모델은 정확한 타임스탬프 제어를 통해 음성 합성이 정밀한 시간 간격 내에서 이루어지도록 보장한다. 캐릭터가 가려지거나, 카메라 컷이 잦거나, 얼굴이 흐릿한 복잡한 영화 장면에서도 이 모델은 높은 수준의 영상-음성 동기화와 지시 사항 준수를 유지한다.
함께 공개된 오픈소스 CineDub 데이터셋 구축 파이프라인은 또 다른 핵심 혁신입니다. Tongyi Lab은 대규모 언어 모델의 연쇄적 사고 추론(chain-of-thought reasoning)을 활용하여 원본 영화 영상을 구조화된 데이터로 자동 변환함으로써, 수동 주석 작업의 필요성을 대폭 줄였습니다. 이 프로세스는 약 1%의 단어 오류율과 1.20%에 불과한 화자 식별 오류율을 달성하여, 대규모 모델을 위한 매우 경쟁력 있는 훈련 기반을 제공합니다.
Fun-CineForge는 현재 GitHub, HuggingFace 및 ModelScope 커뮤니티에서 이용 가능하며, 최대 30초 길이의 동영상 클립에 대한 추론을 지원합니다. 이 모델은 단일 화자의 독백뿐만 아니라 듀엣 및 다중 화자 대화 시나리오에 대해서도 전문가 수준의 지원을 제공합니다. 이러한 발전은 AI 음성 기술이 기본적인 고객 서비스 및 비서 역할에서 고품질의 애니메이션 및 영화 후반 제작 분야로 진화하고 있음을 시사합니다.
GitHub: https://github.com/FunAudioLLM/FunCineForge
HuggingFace: https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope: https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
펜티엄 4 리바이벌: 20년 된 CPU로 메타 라마 3 대형 모델을 실행하다
최근 유튜브의 기술 채널 Fully Buffered에서 인상적이고 대담한 실험을 진행했습니다. 2006년에 출시된 펜티엄 4 641 프로세서에서 메타의 최신 대형 모델인 Llama 3.2 3B를 성공적으로 실행한 것입니다.이 실험은 현대 인공지능을 20년 전의 하드웨어와 맞닿게 했으며, LLM의 기본적인 호환성 한계를 드러내는 동시에 많은 시청자들로 하여금 AI 시대에 무어의 법칙이 어떻게 이런 특이한 방식으로 세대 간의 교류를 이루었는지 생
항저우 상성구, 절강성 최초의 AIGC 시청각 ‘황금 십조치’ 도입 및 50억 원 규모 산업 펀드 조성 발표
16일, AIGC 오디오-비주얼 산업 혁신 생태계 컨퍼런스가 항저우 상성구에서 열렸습니다. 이 행사에서 해당 지방은 AIGC 오디오-비주얼 산업을 위한 첫 번째 전용 정책인 “골든 텐”을 발표했습니다. 이 정책은 기술 혁신, 비용 절감, 콘텐츠 품질 향상, 인재 양성, 글로벌 확장 등 산업 성장의 모든 측면을 다루고 있습니다.이 정책에는 강력한 인센티브가 포함되어 있습니다. 기술 혁신 분야에서는 AIGC 도구, AI 가상 촬영, AI 대화형
중국 공과대학교(MIIT)가 AI 모델 컨텍스트 프로토콜을 포함한 121개 산업 표준에 대한 대중의 의견을 구하고 있습니다.
중국 산업정보기술부는 “인공지능 보안 거버넌스 모델 컨텍스트 프로토콜의 애플리케이션 보안 요구사항”을 포함한 121개 산업 표준화 프로젝트에 대한 대중의 의견을 구하는 공지를 공식적으로 발표했습니다. 이번 발표는 중국이 인공지능 분야에서 기초 표준과 안전 감독 체계를 수립하기 위한 노력에서 중요한 이정표입니다. 대중 의견 수렴 기간은 모델 컨텍스트 프로토콜의 애플리케이션 보안에 초점을 맞추고 있으며, 표준화된 기술 사양을 통해 다모달 상호작용,
몰입감 넘치는 이야기를 만들어낼 수 있는 2026년 최신 최고 평점 AI 롤플레잉 도구를 만나보세요. XIX.AI가 엄선한 이 목록에는 창의적인 스토리텔링과 감성적 깊이를 이끌어내는 강력하고 혁신적인 어시스턴트들이 포함되어 있습니다. 실제 테스트를 통해 무료 버전과 유료 버전을 비교해 보세요. 지금 바로 나만의 특별한 여정을 시작해 보세요.
10 도구
xix.ai
게임 개발자를 위한 2026년 최고의 AI 음성 도구를 만나보세요! XIX.AI가 엄선한 이 목록에는 RPG와 비주얼 노벨의 성우 작업에 드는 시간과 비용을 절약해 줄, 최고 평점을 받은 혁신적인 솔루션들이 포함되어 있습니다. 무료 버전과 유료 버전의 비교 분석, 실제 테스트 결과, 매주 업데이트되는 순위 정보를 확인해 보세요. 지금 바로 여러분에게 딱 맞는 음성 도구를 찾아보세요!
10 도구
xix.ai
2026년 최고의 AI 반복 학습 도구들을 만나보세요. XIX.AI가 엄선하여 제공합니다. 우리가 추천하는 이 도구들은 의학 및 법학 전공 학생들이 학습 계획을 최적화하여 최대한의 학습 효과를 얻는 데 도움을 줍니다. 무료 옵션과 유료 옵션을 실제 사용 사례와 매주 업데이트되는 순위를 통해 비교해 보세요. 지금 바로 학습 효율을 높이세요.
10 도구
xix.ai
2026년 최신 최고의 AI 텍스트-비디오 변환 플랫폼: 시나리오 작성과 시각적 스토리텔링을 위한 최고 평점 도구들. 텍스트를 매력적인 영상으로 변환해 줄 강력하고 혁신적인 솔루션을 만나보세요. 매주 업데이트되는 순위와 실제 테스트 결과를 통해 무료 및 유료 옵션을 비교해 보세요. 창의성과 생산성을 높여줄 완벽한 플랫폼을 찾아보세요. XIX.AI에서 엄선된 플랫폼을 확인해 보세요.
10 도구
xix.ai
2026 최신 정보: 자연어를 통해 복잡한 자동화 워크플로우를 설계할 수 있는 최고의 AI 멀티 에이전트 오케스트레이터들을 만나보세요. 저희가 엄선한 이 목록에는 태스크 자동화와 지능형 프로세스 관리에 탁월한 최고의 플랫폼들이 포함되어 있습니다. 무료 옵션과 유료 옵션을 실제 사용 사례를 바탕으로 비교해 보세요. XIX.AI가 매주 업데이트하는 전문적인 순위를 통해 AI의 이점을 최대한 활용해 보세요.
10 도구
xix.ai
2026년 저조도 야간 촬영에 가장 적합한 AI 노이즈 감소 소프트웨어를 발견해 보세요. 저희가 엄선하여 제공하는 이 목록에서는 무료 및 유료 도구들을 비교하며, 실제 사용 테스트 결과와 매주 업데이트되는 순위를 제공합니다. 불필요한 요소들을 쉽게 제거하여 더 깨끗한 이미지를 얻으세요. XIX.AI에서 AI의 강력한 기능을 활용해 보세요.
10 도구
xix.ai
Just tried the demo and honestly blown away by how natural the lip-sync feels now! 😮 Always thought AI dubbing sounded a bit robotic, but this seems like a huge leap. Wonder if this will start being used in indie films or even gaming soon? The open-source move is pretty bold too—curious to see how other companies respond.
