바이두, ‘어니 5.1’ 출시… 사전 훈련 비용 94% 절감, 세계 4위권 진입
바이두는 2026년 5월 11일 차세대 언어 모델인 ‘Ernie 5.1’을 공식 출시했다. 지난 1월에 공개된 2.4조 개의 파라미터를 가진 'Ernie 5.0' 사전 학습 모델을 기반으로 한 이 새로운 버전은 혁신적인 '원샷 탄력적 훈련 프레임워크(one-shot elastic training framework)'를 활용해 개발되었습니다. 이 접근 방식을 통해 바이두는 단일 훈련 주기 내에서 다양한 모델 크기를 최적화할 수 있었으며, 그 결과 Ernie 5.1의 사전 학습 비용을 동급 모델 대비 6% 수준으로 대폭 절감했습니다.

5월 9일 기준, Ernie 5.1은 1,223점을 기록하며 Arena Search 리더보드에서 전 세계 4위, 중국 모델 중 1위를 차지해 탁월한 효율성과 균형 잡힌 성능을 입증했습니다.
아키텍처 측면에서 Ernie 5.1은 깊이, 폭, 활성 전문가 수를 조정할 수 있는 서브 모델 설계를 특징으로 합니다. 총 파라미터 수는 이전 모델의 3분의 1에 불과하며, 쿼리당 활성화되는 유효 파라미터 수는 약 절반으로 줄었습니다. 다중 기술 훈련에서 흔히 발생하는 "시소 효과"를 해결하기 위해 바이두는 4단계 사후 훈련 프로세스를 구현했습니다. 이 방법은 병렬화된 전문 훈련 코드, 추론, 프록시 전문가 모델을 활용하며, 전략 증류 및 강화 학습과 결합되어 프로그래밍 능력과 창의적 추론의 균형을 맞추는 업계 전반의 과제를 효과적으로 해결합니다. 또한, 개선된 강화 학습 인프라는 모델 업데이트, 응답 생성, 평가를 분리합니다. 표준화된 저정밀도 연산 라이브러리와 결합될 경우, 이는 대규모 훈련의 안정성을 크게 향상시킵니다.

관련 기사
Wan-Streamer v0.2는 초저지연 AI 채팅을 제공합니다
현대 기술이 빠르게 발전함에 따라 인간과 AI 간의 상호작용이 더욱 일반화되고 있습니다. 기존의 화상 통화는 종종 지연, 딜레이, 그리고 오디오-비디오 비동기화 문제를 겪습니다. 퉁이 연구소(Tongyi Lab)의 최신 릴리스인 Wan-Streamer v0.2는 이러한 과제를 완전히 극복하여, 단 550밀리초의 응답 지연으로 진정한 의미의 '대면' 소통을 가능하게 합니다.Wan-Streamer v0.2는 새로운 엔드투엔드 멀티모달 이해 및 생성
메타, TSMC와 마이크론과 협력해 구형 메모리를 탑재한 신규 서버 구축에 참여
전 세계적으로 인공지능(AI) 도입 속도가 가속화됨에 따라 차세대 DDR5 메모리에서 심각한 공급 부족 현상이 발생하고 있습니다. AI 데이터 센터 구축 지연을 피하기 위해 메타(Meta)는 TSMC와 마이크론(Micron)과 같은 업계 리더들과 협력하여 돌파구 역할을 할 혁신적인 과도기적 솔루션을 개발했습니다.이 혁신 기술은 원래 DDR5 전용으로 설계된 고급 AI 서버가 기존 DDR4 모듈과 원활하게 작동할 수 있도록 합니다. '프랑켄슈타인
시계열 데이터베이스가 실시간 로봇 데이터에 어떻게 힘을 실어주는가
타이거 데이터의 더그 파그누티.파그누티는 타이거 데이터에서 산업용 개발자 대변인 역할을 하며, 실제 산업 시스템 구축을 위한 팀을 지원합니다.석유 및 가스, 제조 자동화 분야에서 12년 이상의 경력을 가진 그는 PLC, 로봇, SCADA 시스템에서 작업한 후 델 EMC와 VTScada에서 산업용 소프트웨어 개발로 전향했습니다.그는 대규모 IIoT 배포를 위한 시계열 데이터 인프라를 다루는 자동화 엔지니어들을 도와 OT/IT 간 격차를 해소합니다
관련 특별 주제 추천
의견 (0)
0/500
바이두는 2026년 5월 11일 차세대 언어 모델인 ‘Ernie 5.1’을 공식 출시했다. 지난 1월에 공개된 2.4조 개의 파라미터를 가진 'Ernie 5.0' 사전 학습 모델을 기반으로 한 이 새로운 버전은 혁신적인 '원샷 탄력적 훈련 프레임워크(one-shot elastic training framework)'를 활용해 개발되었습니다. 이 접근 방식을 통해 바이두는 단일 훈련 주기 내에서 다양한 모델 크기를 최적화할 수 있었으며, 그 결과 Ernie 5.1의 사전 학습 비용을 동급 모델 대비 6% 수준으로 대폭 절감했습니다.

5월 9일 기준, Ernie 5.1은 1,223점을 기록하며 Arena Search 리더보드에서 전 세계 4위, 중국 모델 중 1위를 차지해 탁월한 효율성과 균형 잡힌 성능을 입증했습니다.
아키텍처 측면에서 Ernie 5.1은 깊이, 폭, 활성 전문가 수를 조정할 수 있는 서브 모델 설계를 특징으로 합니다. 총 파라미터 수는 이전 모델의 3분의 1에 불과하며, 쿼리당 활성화되는 유효 파라미터 수는 약 절반으로 줄었습니다. 다중 기술 훈련에서 흔히 발생하는 "시소 효과"를 해결하기 위해 바이두는 4단계 사후 훈련 프로세스를 구현했습니다. 이 방법은 병렬화된 전문 훈련 코드, 추론, 프록시 전문가 모델을 활용하며, 전략 증류 및 강화 학습과 결합되어 프로그래밍 능력과 창의적 추론의 균형을 맞추는 업계 전반의 과제를 효과적으로 해결합니다. 또한, 개선된 강화 학습 인프라는 모델 업데이트, 응답 생성, 평가를 분리합니다. 표준화된 저정밀도 연산 라이브러리와 결합될 경우, 이는 대규모 훈련의 안정성을 크게 향상시킵니다.

Wan-Streamer v0.2는 초저지연 AI 채팅을 제공합니다
현대 기술이 빠르게 발전함에 따라 인간과 AI 간의 상호작용이 더욱 일반화되고 있습니다. 기존의 화상 통화는 종종 지연, 딜레이, 그리고 오디오-비디오 비동기화 문제를 겪습니다. 퉁이 연구소(Tongyi Lab)의 최신 릴리스인 Wan-Streamer v0.2는 이러한 과제를 완전히 극복하여, 단 550밀리초의 응답 지연으로 진정한 의미의 '대면' 소통을 가능하게 합니다.Wan-Streamer v0.2는 새로운 엔드투엔드 멀티모달 이해 및 생성
메타, TSMC와 마이크론과 협력해 구형 메모리를 탑재한 신규 서버 구축에 참여
전 세계적으로 인공지능(AI) 도입 속도가 가속화됨에 따라 차세대 DDR5 메모리에서 심각한 공급 부족 현상이 발생하고 있습니다. AI 데이터 센터 구축 지연을 피하기 위해 메타(Meta)는 TSMC와 마이크론(Micron)과 같은 업계 리더들과 협력하여 돌파구 역할을 할 혁신적인 과도기적 솔루션을 개발했습니다.이 혁신 기술은 원래 DDR5 전용으로 설계된 고급 AI 서버가 기존 DDR4 모듈과 원활하게 작동할 수 있도록 합니다. '프랑켄슈타인
시계열 데이터베이스가 실시간 로봇 데이터에 어떻게 힘을 실어주는가
타이거 데이터의 더그 파그누티.파그누티는 타이거 데이터에서 산업용 개발자 대변인 역할을 하며, 실제 산업 시스템 구축을 위한 팀을 지원합니다.석유 및 가스, 제조 자동화 분야에서 12년 이상의 경력을 가진 그는 PLC, 로봇, SCADA 시스템에서 작업한 후 델 EMC와 VTScada에서 산업용 소프트웨어 개발로 전향했습니다.그는 대규모 IIoT 배포를 위한 시계열 데이터 인프라를 다루는 자동화 엔지니어들을 도와 OT/IT 간 격차를 해소합니다





집






