Hume AI, TADA 출시: 속도는 5배 빠르고 오류 없는 오픈소스 모바일 TTS

Hume AI는 최신 음성 생성 모델인 TADA(Text-Acoustic Dual Alignment)를 오픈소스로 공개했습니다. 대규모 언어 모델(LLM)을 기반으로 구축된 이 텍스트-투-스피치(TTS) 시스템은 텍스트와 음향 데이터를 위한 혁신적인 이중 정렬 아키텍처를 활용합니다. 이러한 접근 방식은 생성 효율성과 신뢰성을 크게 향상시키고, 실제 적용 범위를 확장합니다.
공식 발표에 따르면, TADA는 텍스트 토큰과 음향 표현 간에 엄격한 1:1 동기화를 확립합니다. 이 아키텍처는 기존 LLM 기반 TTS 시스템에서 흔히 발생하는 토큰 수준의 콘텐츠 환각 문제를 완전히 해결합니다. 1,000개 이상의 테스트 샘플을 대상으로 한 평가에서, 이 모델은 단 한 건의 콘텐츠 환각 사례도 나타나지 않았습니다.
성능 측면에서 TADA는 동급 LLM TTS 시스템보다 5배 이상 빠르게 오디오를 생성합니다. 또한 오디오 1초당 2~3프레임의 계산 자원만 필요로 하는 뛰어난 자원 효율성을 자랑합니다. 반면 기존 솔루션은 일반적으로 12.5~75프레임이 필요합니다. 이러한 효율성 덕분에 이 모델은 스마트폰이나 엣지 디바이스와 같은 저전력 하드웨어에서 로컬 추론을 수행할 수 있어 클라우드 서버가 필요하지 않습니다.
TADA는 Llama3.23B 파라미터 규모를 기반으로 한 다국어 버전을 통해 중국어를 포함한 다국어 지원을 제공합니다. 이번 릴리스에는 1B(주로 영어용) 및 3B 다국어 사전 훈련 모델이 포함되어 있습니다. 2048 토큰의 컨텍스트 윈도우를 갖춘 이 모델은 단일 패스로 약 700초 분량의 연속 오디오를 생성할 수 있습니다. 이는 동일한 토큰 제약 조건 하에서 대개 약 70초로 제한되는 기존 솔루션들을 훨씬 능가하는 성능입니다.
핵심 혁신은 동기식 전사 기능입니다. 모델은 음성을 생성하는 동시에 해당 텍스트 전사본을 출력합니다. 이 과정을 통해 별도의 자동 음성 인식(ASR) 단계가 필요 없어져 텍스트 출력에 추가 지연 시간이 전혀 발생하지 않습니다. 이 기능은 실시간 자막 생성, 음성 상호작용 시스템 및 콘텐츠 제작 도구에서 특히 유용합니다.
인간 주관 평가에서 TADA는 자연스러움과 음성 유사성 부문 모두에서 2위를 차지했습니다. 더 많은 매개변수와 방대한 훈련 데이터를 보유한 여러 시스템을 능가하며, 매우 경쟁력 있는 오디오 품질을 입증했습니다.
링크: https://huggingface.co/collections/HumeAI/tada
관련 기사
딥마인드 CEO 하사비스: 하루 6시간 수면, 보통 오후 1시경에 활력을 느낍니다
Fortune는 최근 Google DeepMind의 CEO인 데미스 하사비스와의 인터뷰를 소개하며, 그의 비전통적인 휴식 및 생산성 접근 방식을 공개했다. 하사비스는 자신이 매우 적게 잠을 자며, 깨어 있는 시간을 두 개의 명확한 업무 블록으로 구조화한다고 밝혔다.그의 수면 습관에 대해 하사비스는 "6시간을 목표로 하지만, 제 습관은 비정형적입니다. 하루 종일 효과적으로 기능할 수 있습니다."라고 언급했다. 그는 6시간 미만의 수면이 뇌 건강
OpenAI와 Anthropic, 매출 부진 속에서도 시장 점유율 확보 경쟁
최근 OpenAI가 매출 목표를 달성하지 못했다는 보도가 나오면서 이번 주 화요일 기술주에 압박이 가해졌음에도 불구하고, 민간 AI 연구소 투자자들은 여전히 탄탄한 모습을 보이고 있다. 노련한 투자자들은 부정적인 언론 보도에도 불구하고 투자 규모를 줄이지 않을 것이라고 밝혔다.분석가들은 현재의 AI 경쟁이 초기 단계에 불과하다고 보고, “승자 독식” 식의
캘리포니아 자율주행차 규정 준수: 과태료, 지오펜스, 100만 마일의 새로운 시대
Guident는 남부 플로리다에서 AuveTech 셔틀을 운영하며, 자사의 원격 모니터링 기술을 활용해 웨스트 팜비치에서 4마일 구간과 보카 라톤에서 1마일 구간의 노선을 관리하고 있다. | 출처: Guident캘리포니아주는 자율주행차에 대한 규제 환경을 재정의하며, 기술 업계의 “빠르게 움직이고 실패를 감수하라(move fast and break thin
관련 특별 주제 추천
의견 (1)
0/500

Hume AI는 최신 음성 생성 모델인 TADA(Text-Acoustic Dual Alignment)를 오픈소스로 공개했습니다. 대규모 언어 모델(LLM)을 기반으로 구축된 이 텍스트-투-스피치(TTS) 시스템은 텍스트와 음향 데이터를 위한 혁신적인 이중 정렬 아키텍처를 활용합니다. 이러한 접근 방식은 생성 효율성과 신뢰성을 크게 향상시키고, 실제 적용 범위를 확장합니다.
공식 발표에 따르면, TADA는 텍스트 토큰과 음향 표현 간에 엄격한 1:1 동기화를 확립합니다. 이 아키텍처는 기존 LLM 기반 TTS 시스템에서 흔히 발생하는 토큰 수준의 콘텐츠 환각 문제를 완전히 해결합니다. 1,000개 이상의 테스트 샘플을 대상으로 한 평가에서, 이 모델은 단 한 건의 콘텐츠 환각 사례도 나타나지 않았습니다.
성능 측면에서 TADA는 동급 LLM TTS 시스템보다 5배 이상 빠르게 오디오를 생성합니다. 또한 오디오 1초당 2~3프레임의 계산 자원만 필요로 하는 뛰어난 자원 효율성을 자랑합니다. 반면 기존 솔루션은 일반적으로 12.5~75프레임이 필요합니다. 이러한 효율성 덕분에 이 모델은 스마트폰이나 엣지 디바이스와 같은 저전력 하드웨어에서 로컬 추론을 수행할 수 있어 클라우드 서버가 필요하지 않습니다.
TADA는 Llama3.23B 파라미터 규모를 기반으로 한 다국어 버전을 통해 중국어를 포함한 다국어 지원을 제공합니다. 이번 릴리스에는 1B(주로 영어용) 및 3B 다국어 사전 훈련 모델이 포함되어 있습니다. 2048 토큰의 컨텍스트 윈도우를 갖춘 이 모델은 단일 패스로 약 700초 분량의 연속 오디오를 생성할 수 있습니다. 이는 동일한 토큰 제약 조건 하에서 대개 약 70초로 제한되는 기존 솔루션들을 훨씬 능가하는 성능입니다.
핵심 혁신은 동기식 전사 기능입니다. 모델은 음성을 생성하는 동시에 해당 텍스트 전사본을 출력합니다. 이 과정을 통해 별도의 자동 음성 인식(ASR) 단계가 필요 없어져 텍스트 출력에 추가 지연 시간이 전혀 발생하지 않습니다. 이 기능은 실시간 자막 생성, 음성 상호작용 시스템 및 콘텐츠 제작 도구에서 특히 유용합니다.
인간 주관 평가에서 TADA는 자연스러움과 음성 유사성 부문 모두에서 2위를 차지했습니다. 더 많은 매개변수와 방대한 훈련 데이터를 보유한 여러 시스템을 능가하며, 매우 경쟁력 있는 오디오 품질을 입증했습니다.
링크: https://huggingface.co/collections/HumeAI/tada
딥마인드 CEO 하사비스: 하루 6시간 수면, 보통 오후 1시경에 활력을 느낍니다
Fortune는 최근 Google DeepMind의 CEO인 데미스 하사비스와의 인터뷰를 소개하며, 그의 비전통적인 휴식 및 생산성 접근 방식을 공개했다. 하사비스는 자신이 매우 적게 잠을 자며, 깨어 있는 시간을 두 개의 명확한 업무 블록으로 구조화한다고 밝혔다.그의 수면 습관에 대해 하사비스는 "6시간을 목표로 하지만, 제 습관은 비정형적입니다. 하루 종일 효과적으로 기능할 수 있습니다."라고 언급했다. 그는 6시간 미만의 수면이 뇌 건강
OpenAI와 Anthropic, 매출 부진 속에서도 시장 점유율 확보 경쟁
최근 OpenAI가 매출 목표를 달성하지 못했다는 보도가 나오면서 이번 주 화요일 기술주에 압박이 가해졌음에도 불구하고, 민간 AI 연구소 투자자들은 여전히 탄탄한 모습을 보이고 있다. 노련한 투자자들은 부정적인 언론 보도에도 불구하고 투자 규모를 줄이지 않을 것이라고 밝혔다.분석가들은 현재의 AI 경쟁이 초기 단계에 불과하다고 보고, “승자 독식” 식의





집






