NVIDIA, Nemotron-Labs-Audex-30B-A3B 통합 오디오 지능 모델 공개

다중 모달 대규모 모델이 빠르게 진화함에 따라 오디오 처리 기능이 종종 희생되는데, 많은 모델이 텍스트 논리를 희생하면서 오디오 이해도를 향상시킵니다. 이를 해결하기 위해 NVIDIA 연구진은 Nemotron-Labs-Audex-30B-A3B(Audex)를 도입했으며, 이는 이 격차를 메우기 위해 설계된 통합 오디오-텍스트 대규모 언어 모델입니다.
Audex는 간소화되고 효율적인 설계를 채택했으며, 견고한 순수 텍스트 기반 전문가 혼합(MoE) 아키텍처를 기반으로 구축되었습니다. 단일 Transformer 디코더를 활용하여 텍스트와 양자화된 오디오 토큰을 동시에 처리합니다. 이 접근 방식은 오디오 입력을 텍스트 임베딩 공간으로 투영하여 다중 모달 작업을 위한 기존 LLM 인프라와의 원활한 통합을 보장하고 진정한 심층 통합을 달성합니다.
학습 과정에는 1,574억 개의 오디오 토큰과 3,205억 개의 텍스트 토큰으로 구성된 광범위한 데이터셋이 포함되었습니다. 다단계 지도 학습, 순수 텍스트 기반 사슬 강화 학습, 다중 도메인 인-폴리시 지식 증류 등을 통해 Audex는 오디오 이해, 음성 인식, 번역 및 생성 분야에서 업계 최고 수준의 성능을 달성합니다. 중요한 점은 최소한의 성능 저하로 추론, 정렬, 지식 검색, 장문 처리 등 기존 LLM의 핵심 기능을 유지한다는 것입니다.
오픈소스 모델인 Audex는 음성 기술 분야에서 중요한 이정표를 의미합니다. 이론적 연구를 넘어 개발자가 직접 평가하고 배포할 수 있는 성숙한 솔루션을 제공합니다. 복잡한 오디오 상호작용을 관리하는 사람들에게 Audex는 성능을 향상시키면서 다중 모달 지능 연구에 새로운 길을 열어주는 균형 잡힌 옵션을 제공합니다.
관련 기사
Fireworks AI가 Opus와 함께 FireRouter를 공개: 최소한의 정확도 하락으로 인코딩 비용을 57% 절감
Fireworks AI는 Claude Opus 시리즈를 위해 설계된 업계 최초의 캐시 인식 라우팅 시스템인 FireRouter with Opus를 출시했습니다. 이제 서버리스 엔드포인트를 통해 접근할 수 있는 이 독립적인 라우팅 모델은 한 달 이상 내부 A/B 테스트를 거쳤으며, 인코딩 작업에서 98.1%의 정확도를 달성하고 Opus 단독 사용 대비 비용을 57% 절감했습니다.FireRouter는 각 사용자 상호작용마다 현재 작업에 대한 각 모
모바일 SEO를 위한 코어 웹 바이탈 수정 방법
로컬 SEO 강화: Google 엔티티 클라우드 드라이브 스택 구축하기목차:서론Google 엔티티 클라우드 스택 이해하기Google 엔티티 클라우드 스택의 주요 이점Google 엔티티 클라우드 스택 시작하기 4.1. 옵션 1: 노후 Gmail 계정 구매 4.2. 옵션 2: 새 계정 생성엔티티 스택을 위한 Google Drive 구성하기 5.1. 폴더 유형 이해하기 5.2. 공개 폴더 만들기 5.3. 계정 간 폴더 공유하기엔티티 클라
Moonshot AI의 Kimi가 시리즈 F 라운드에서 35억 달러 이상을 조달하며 기업 가치 350억 달러를 달성했습니다.
Moonshot AI의 Kimi가 Sci-Tech Daily의 보도에 따르면 시리즈 F 자금 조달 라운드를 성공적으로 완료하여 35억 달러 이상을 확보하고 사후 가치 평가액 350억 달러를 달성했습니다.구독 수요가 목표치를 3배 이상 초과하면서 이 자금 조달 라운드가 예정보다 일찍 종료되었습니다. 또한 이전에 계획된 시리즈 G (상장 전) 라운드가 가속화되었으며, 사전 가치 평가액이 현재 500억 달러에 도달했습니다.중국 내 선도적인 AI
관련 특별 주제 추천
의견 (0)
0/500

다중 모달 대규모 모델이 빠르게 진화함에 따라 오디오 처리 기능이 종종 희생되는데, 많은 모델이 텍스트 논리를 희생하면서 오디오 이해도를 향상시킵니다. 이를 해결하기 위해 NVIDIA 연구진은 Nemotron-Labs-Audex-30B-A3B(Audex)를 도입했으며, 이는 이 격차를 메우기 위해 설계된 통합 오디오-텍스트 대규모 언어 모델입니다.
Audex는 간소화되고 효율적인 설계를 채택했으며, 견고한 순수 텍스트 기반 전문가 혼합(MoE) 아키텍처를 기반으로 구축되었습니다. 단일 Transformer 디코더를 활용하여 텍스트와 양자화된 오디오 토큰을 동시에 처리합니다. 이 접근 방식은 오디오 입력을 텍스트 임베딩 공간으로 투영하여 다중 모달 작업을 위한 기존 LLM 인프라와의 원활한 통합을 보장하고 진정한 심층 통합을 달성합니다.
학습 과정에는 1,574억 개의 오디오 토큰과 3,205억 개의 텍스트 토큰으로 구성된 광범위한 데이터셋이 포함되었습니다. 다단계 지도 학습, 순수 텍스트 기반 사슬 강화 학습, 다중 도메인 인-폴리시 지식 증류 등을 통해 Audex는 오디오 이해, 음성 인식, 번역 및 생성 분야에서 업계 최고 수준의 성능을 달성합니다. 중요한 점은 최소한의 성능 저하로 추론, 정렬, 지식 검색, 장문 처리 등 기존 LLM의 핵심 기능을 유지한다는 것입니다.
오픈소스 모델인 Audex는 음성 기술 분야에서 중요한 이정표를 의미합니다. 이론적 연구를 넘어 개발자가 직접 평가하고 배포할 수 있는 성숙한 솔루션을 제공합니다. 복잡한 오디오 상호작용을 관리하는 사람들에게 Audex는 성능을 향상시키면서 다중 모달 지능 연구에 새로운 길을 열어주는 균형 잡힌 옵션을 제공합니다.
Fireworks AI가 Opus와 함께 FireRouter를 공개: 최소한의 정확도 하락으로 인코딩 비용을 57% 절감
Fireworks AI는 Claude Opus 시리즈를 위해 설계된 업계 최초의 캐시 인식 라우팅 시스템인 FireRouter with Opus를 출시했습니다. 이제 서버리스 엔드포인트를 통해 접근할 수 있는 이 독립적인 라우팅 모델은 한 달 이상 내부 A/B 테스트를 거쳤으며, 인코딩 작업에서 98.1%의 정확도를 달성하고 Opus 단독 사용 대비 비용을 57% 절감했습니다.FireRouter는 각 사용자 상호작용마다 현재 작업에 대한 각 모
모바일 SEO를 위한 코어 웹 바이탈 수정 방법
로컬 SEO 강화: Google 엔티티 클라우드 드라이브 스택 구축하기목차:서론Google 엔티티 클라우드 스택 이해하기Google 엔티티 클라우드 스택의 주요 이점Google 엔티티 클라우드 스택 시작하기 4.1. 옵션 1: 노후 Gmail 계정 구매 4.2. 옵션 2: 새 계정 생성엔티티 스택을 위한 Google Drive 구성하기 5.1. 폴더 유형 이해하기 5.2. 공개 폴더 만들기 5.3. 계정 간 폴더 공유하기엔티티 클라
Moonshot AI의 Kimi가 시리즈 F 라운드에서 35억 달러 이상을 조달하며 기업 가치 350억 달러를 달성했습니다.
Moonshot AI의 Kimi가 Sci-Tech Daily의 보도에 따르면 시리즈 F 자금 조달 라운드를 성공적으로 완료하여 35억 달러 이상을 확보하고 사후 가치 평가액 350억 달러를 달성했습니다.구독 수요가 목표치를 3배 이상 초과하면서 이 자금 조달 라운드가 예정보다 일찍 종료되었습니다. 또한 이전에 계획된 시리즈 G (상장 전) 라운드가 가속화되었으며, 사전 가치 평가액이 현재 500억 달러에 도달했습니다.중국 내 선도적인 AI





집






