텐센트 훈위안 및 협력사들이 MMAE 벤치마크를 출시하며, AI 음성 편집 기술의 정확도가 5% 미만임을 공개했습니다.

인공지능은 음성 생성 분야에서 큰 진전을 이루었지만, 기존 음성 파일의 편집은 여전히 심각한 과제로 남아 있습니다. 최근 텐센트 하이는 상하이교통대학교(SJTU), 난양공과대학교(NTU), 천진대학교(TJU), 베이징대학교(PKU), 푸단대학교(FDU)를 포함한 주요 연구기관들과 협력하여 MMAE(Massive Multitask Audio Editing Benchmark)를 선보였습니다. 이는 일반적인 지시 기반 음성 편집을 위해 설계된 최초의 대규모 다중 작업 벤치마크입니다. 이번 출시를 통해 AI 음성 편집 분야에 체계적인 평가 기준이 마련되었으며, 현재 기술이 정밀한 수정 작업을 수행하는 데 있어서의 명확한 한계들이 드러났습니다.
“생성”에서 “편집”으로: AI 음성 기술의 진정한 과제
기존의 음성 관련 AI는 텍스트나 프롬프트를 바탕으로 새로운 콘텐츠를 생성하는 데 중점을 두었습니다. 반면 MMAE 벤치마크의 핵심은 모델들이 기존 음성 클립을 이해하고 자연어 지시에 따라 정밀한 조정을 수행하도록 하는 데 있습니다. 즉, 변경이 필요한 부분만 수정하고 나머지는 그대로 유지해야 합니다. 이러한 “재구성이 아닌 편집” 방식은 더 높은 음성 충실도, 보다 우수한 지시 수행 능력, 그리고 심층적인 맥락 이해를 요구하므로 팟캐스트 후반 작업, 음악 믹싱, 음성 개인화와 같은 실제 활용 분야와 훨씬 더 잘 부합합니다.
테스트 결과 현재 주류 모델들의 전반적인 정확 일치율(EMR)은 5% 미만으로 나타나, 신뢰할 수 있는 음성 편집 기술에 있어서 상당한 격차가 존재함을 보여줍니다. 이는 AI가 실제 편집 작업을 수행할 때 과도하게 수정하거나 지시를 놓치거나 원본 음성의 품질을 저하시키는 경향이 있음을 의미합니다.
MMAE 벤치마크의 주요 특징: 실제 환경에 맞는 다차원적 평가
MMAE 벤치마크는 철저한 설계와 엄격한 기준을 바탕으로 구성되어 있으며, 다음과 같은 주요 요소들을 포함하고 있습니다.
2,000개의 고충실도 샘플: 모두 실제 환경에서 수집된 것으로, 실용적이고 다양한 평가가 가능합니다.17,741개의 세분화된 평가 지표: 객관적인 정량화를 위한 상세한 점수 체계를 제공합니다.7가지 모달 설정: 음성, 음악, 말소리 및 그 조합을 포함하여 복잡한 음성 환경에서의 테스트를 지원합니다.6단계의 작업 난이도: 기본적인 수정부터 다단계 추론 및 여러 차례에 걸친 편집까지 다양하게 구성되어 모델의 능력을 종합적으로 평가할 수 있습니다.8가지 유형의 작업: 로컬 및 글로벌 단위에서 서로 다른 세분화 수준의 편집 작업을 지원하며, 모델의 미세한 제어 능력을 시험합니다.
AIbase 코멘트: MMAE는 단순한 기술 평가 도구에 그치지 않고, 음성 AI를 “생성형”에서 “편집 가능형”으로 발전시키는 중요한 이정표입니다. 이는 연구자들과 개발자들을 위한 통일된 기준을 제공하며, 차세대 음성 편집 모델의 개발을 가속화할 것으로 기대됩니다.
향후 전망: 음성 편집, AI 멀티모달 시스템의 핵심 역량이 될 수 있을까
멀티모달 대형 모델들이 빠르게 발전함에 따라 정밀한 음성 편집은 콘텐츠 제작, 영화 후반 작업, 접근성 도구 등에서 매우 중요한 역할을 하게 될 것입니다. 최근 텐센트 하이와 여러 기관들 간의 협력은 중국이 음성 AI 연구 분야에서 선도적인 위치를 차지하고 있음을 보여줍니다. 업계는 이러한 기술적 격차를 메우기 위해 더 많은 오픈소스 자원과 후속 모델들이 등장할 것으로 기대하고 있습니다.
관련 기사
애플 iOS 27: 시리 대대적인 업그레이드, 새로운 규정에 따라 요약 웹 링크 차단
인공지능이 급속히 발전함에 따라, 애플은 최신 운영체제에서 개인정보 보호 및 생태계 전략을 한층 더 정교화했습니다. 최근 출시된 iOS 27 베타 2 업데이트는 애플 인텔리전스 사용 규정을 더욱 강화하여, 시리가 외부 웹 링크를 처리하는 기능을 직접적으로 제한하고 있습니다.업데이트된 시스템 안내문에 따르면, 사용자가 특정 URL을 입력하고 시리에게 해당 링
알리바바 클라우드, 원클릭 배포를 위한 오픈소스 도구 ‘Meeo CLI’ 출시
알리바바 클라우드는 로컬 AI 프로그래밍 프로젝트의 시작 과정을 간소화하기 위해 설계된 오픈소스 명령줄 도구인 ‘Meoo(Miao Wu)’를 선보였습니다. Meoo는 로컬 개발과 클라우드 배포 간의 격차를 해소함으로써, 개발자가 로컬 프로토타입을 실제 애플리케이션으로 신속하게 전환할 수 있게 하여 AI 네이티브 솔루션 배포의 장벽을 크게 낮춥니다.로컬 프로
구글, ‘Veo 3.1 Lite’ 동영상 모드 공개… ‘울트라’ 구독자에게 무제한 생성 기능 제공
구글은 창의적인 콘텐츠 제작과 비용 효율성을 높이기 위해 울트라(Ultra) 구독자 전용으로 새로운 동영상 생성 모드인 “Veo 3.1 - Lite [낮은 우선순위]”를 선보였습니다. 이 모드의 주요 장점은 추가 구독 크레딧을 소모하지 않고 작동하며, 기존의 ‘Veo 3.1 - Fast [Low Priority]’ 옵션과 함께 사용되어 고품질 AI 동영상
관련 특별 주제 추천
의견 (0)
0/500

인공지능은 음성 생성 분야에서 큰 진전을 이루었지만, 기존 음성 파일의 편집은 여전히 심각한 과제로 남아 있습니다. 최근 텐센트 하이는 상하이교통대학교(SJTU), 난양공과대학교(NTU), 천진대학교(TJU), 베이징대학교(PKU), 푸단대학교(FDU)를 포함한 주요 연구기관들과 협력하여 MMAE(Massive Multitask Audio Editing Benchmark)를 선보였습니다. 이는 일반적인 지시 기반 음성 편집을 위해 설계된 최초의 대규모 다중 작업 벤치마크입니다. 이번 출시를 통해 AI 음성 편집 분야에 체계적인 평가 기준이 마련되었으며, 현재 기술이 정밀한 수정 작업을 수행하는 데 있어서의 명확한 한계들이 드러났습니다.
“생성”에서 “편집”으로: AI 음성 기술의 진정한 과제
기존의 음성 관련 AI는 텍스트나 프롬프트를 바탕으로 새로운 콘텐츠를 생성하는 데 중점을 두었습니다. 반면 MMAE 벤치마크의 핵심은 모델들이 기존 음성 클립을 이해하고 자연어 지시에 따라 정밀한 조정을 수행하도록 하는 데 있습니다. 즉, 변경이 필요한 부분만 수정하고 나머지는 그대로 유지해야 합니다. 이러한 “재구성이 아닌 편집” 방식은 더 높은 음성 충실도, 보다 우수한 지시 수행 능력, 그리고 심층적인 맥락 이해를 요구하므로 팟캐스트 후반 작업, 음악 믹싱, 음성 개인화와 같은 실제 활용 분야와 훨씬 더 잘 부합합니다.
테스트 결과 현재 주류 모델들의 전반적인 정확 일치율(EMR)은 5% 미만으로 나타나, 신뢰할 수 있는 음성 편집 기술에 있어서 상당한 격차가 존재함을 보여줍니다. 이는 AI가 실제 편집 작업을 수행할 때 과도하게 수정하거나 지시를 놓치거나 원본 음성의 품질을 저하시키는 경향이 있음을 의미합니다.
MMAE 벤치마크의 주요 특징: 실제 환경에 맞는 다차원적 평가
MMAE 벤치마크는 철저한 설계와 엄격한 기준을 바탕으로 구성되어 있으며, 다음과 같은 주요 요소들을 포함하고 있습니다.
2,000개의 고충실도 샘플: 모두 실제 환경에서 수집된 것으로, 실용적이고 다양한 평가가 가능합니다.17,741개의 세분화된 평가 지표: 객관적인 정량화를 위한 상세한 점수 체계를 제공합니다.7가지 모달 설정: 음성, 음악, 말소리 및 그 조합을 포함하여 복잡한 음성 환경에서의 테스트를 지원합니다.6단계의 작업 난이도: 기본적인 수정부터 다단계 추론 및 여러 차례에 걸친 편집까지 다양하게 구성되어 모델의 능력을 종합적으로 평가할 수 있습니다.8가지 유형의 작업: 로컬 및 글로벌 단위에서 서로 다른 세분화 수준의 편집 작업을 지원하며, 모델의 미세한 제어 능력을 시험합니다.
AIbase 코멘트: MMAE는 단순한 기술 평가 도구에 그치지 않고, 음성 AI를 “생성형”에서 “편집 가능형”으로 발전시키는 중요한 이정표입니다. 이는 연구자들과 개발자들을 위한 통일된 기준을 제공하며, 차세대 음성 편집 모델의 개발을 가속화할 것으로 기대됩니다.
향후 전망: 음성 편집, AI 멀티모달 시스템의 핵심 역량이 될 수 있을까
멀티모달 대형 모델들이 빠르게 발전함에 따라 정밀한 음성 편집은 콘텐츠 제작, 영화 후반 작업, 접근성 도구 등에서 매우 중요한 역할을 하게 될 것입니다. 최근 텐센트 하이와 여러 기관들 간의 협력은 중국이 음성 AI 연구 분야에서 선도적인 위치를 차지하고 있음을 보여줍니다. 업계는 이러한 기술적 격차를 메우기 위해 더 많은 오픈소스 자원과 후속 모델들이 등장할 것으로 기대하고 있습니다.
애플 iOS 27: 시리 대대적인 업그레이드, 새로운 규정에 따라 요약 웹 링크 차단
인공지능이 급속히 발전함에 따라, 애플은 최신 운영체제에서 개인정보 보호 및 생태계 전략을 한층 더 정교화했습니다. 최근 출시된 iOS 27 베타 2 업데이트는 애플 인텔리전스 사용 규정을 더욱 강화하여, 시리가 외부 웹 링크를 처리하는 기능을 직접적으로 제한하고 있습니다.업데이트된 시스템 안내문에 따르면, 사용자가 특정 URL을 입력하고 시리에게 해당 링
알리바바 클라우드, 원클릭 배포를 위한 오픈소스 도구 ‘Meeo CLI’ 출시
알리바바 클라우드는 로컬 AI 프로그래밍 프로젝트의 시작 과정을 간소화하기 위해 설계된 오픈소스 명령줄 도구인 ‘Meoo(Miao Wu)’를 선보였습니다. Meoo는 로컬 개발과 클라우드 배포 간의 격차를 해소함으로써, 개발자가 로컬 프로토타입을 실제 애플리케이션으로 신속하게 전환할 수 있게 하여 AI 네이티브 솔루션 배포의 장벽을 크게 낮춥니다.로컬 프로
구글, ‘Veo 3.1 Lite’ 동영상 모드 공개… ‘울트라’ 구독자에게 무제한 생성 기능 제공
구글은 창의적인 콘텐츠 제작과 비용 효율성을 높이기 위해 울트라(Ultra) 구독자 전용으로 새로운 동영상 생성 모드인 “Veo 3.1 - Lite [낮은 우선순위]”를 선보였습니다. 이 모드의 주요 장점은 추가 구독 크레딧을 소모하지 않고 작동하며, 기존의 ‘Veo 3.1 - Fast [Low Priority]’ 옵션과 함께 사용되어 고품질 AI 동영상





집






