M6 인텔리전스와 칭화대, 모바일 기기에서 대규모 모델 구동을 위한 오픈소스 BitCPM-CANN 공개
MBLab은 칭화대학교 및 OpenBMB 오픈소스 커뮤니티와 협력하여, 최근 저비트 대용량 모델 훈련 분야에서 획기적인 성과를 거둔 ‘BitCPM-CANN’을 공개하고 오픈소스로 배포했습니다. 화웨이의 Ascend 플랫폼에서 네이티브로 개발된 이 획기적인 기술은 엣지 측 AI 대규모 모델의 경량화 및 엔지니어링 배포를 한 단계 발전시켰습니다.

6배에 달하는 메모리 효율로 하드웨어의 한계를 극복
이제 오픈소스로 공개된 BitCPM-CANN은 0.5B, 1B, 3B, 8B의 네 가지 크기로 제공됩니다. 동등한 크기의 정밀도 모델과 직접 비교했을 때, 이 모델은 뛰어난 성능을 보여줍니다. 기존 BF16 정밀도에 비해 추론 시 메모리 사용량을 약 6배 절감하여, 대규모 모델 실행에 필요한 하드웨어 사양을 대폭 낮춥니다.
모바일 기기의 경우, 이러한 6배에 달하는 메모리 이점 덕분에 한때 최고급 하드웨어가 필요했던 8B 매개변수 규모의 대형 모델도 이제 주류 플래그십 스마트폰에서 원활하게 실행될 수 있습니다. 이러한 놀라운 메모리 여유 공간은 모바일 플랫폼에서 엣지 측 AI 기술의 도입과 상용화를 직접적으로 가속화합니다.
높은 성능 유지율로 엔지니어링 재현성 입증
모델 크기가 축소되었음에도 불구하고, BitCPM-CANN은 90%에서 97.2%에 이르는 능력 유지율을 보이며 매우 높은 성능을 유지합니다. 세 가지 대형 모델의 경우 성능 유지율이 95.7%에서 97.2% 사이이며, 가장 작은 0.5B 변형 모델조차 90%를 상회합니다.
이러한 인상적인 결과는 저비트 훈련 접근 방식이 강력한 확장성과 엔지니어링 재현성을 제공함을 체계적으로 입증합니다. MBLab은 이러한 핵심 기술을 활용하여 환경 적응, 32K 장문 시퀀스 지원, 융합 연산자 등을 포함한 전체 엔지니어링 스택을 아우르는 포괄적인 저비트 훈련 기반을 구축함으로써, Ascend 플랫폼에서 향후 진행될 저비트 훈련 연구를 위한 견고한 공개 인프라를 제공합니다.
관련 기사
애플은 시리 AI 출시 지연과 관련해 2억5000만 달러의 합의금을 지불하기로 동의했다
애플은 파이낸셜타임스가 처음 보도한 바와 같이, 아이폰 16 출시 전 AI 기능 마케팅과 관련된 집단소송을 해결하기 위해 2억 5천만 달러를 지급하기로 동의했다.이 소송은 애플이 시리 업그레이드를 포함한 애플 인텔리전스의 기능을 과장했다고 주장했다. 원고들은 회사가 실제 출시 시기보다 앞서 고급 AI 도구가 사용 가능할 것처럼 소비자를 기만했다고 주장했으며, 특히 시리의 개선 사항이 아직 완전히 실현되지 않은 점에 대해 문제제기를 했다.고발
Ando가 인간과 AI 협업을 연결하는 팀 메시징 앱을 출시하다
2025년, 사라 두(Sara Du)가 기업들의 MCP 서버 개발을 지원하던 중 반복적으로 제기되는 질문이 있었습니다. 팀들은 슬랙(Slack) 내에서 AI 에이전트를 직접 어떻게 활용할 수 있을까? 메시지 동기화, 컨텍스트 관리의 복잡성, 토큰 예산 고갈 위험 등 상당한 기술적 장벽이 그 길을 막고 있었습니다.이러한 과제를 조사하던 중 두는 현대 커뮤니케이션 플랫폼의 설계에 근본적인 결함이 있음을 파악했습니다. “깊이 파고들수록 슬랙과 팀즈
시쿼이아 벤처캐피탈의 지원을 받은 엔피릭이 2,100만 달러를 조달하여 정전 사태 발생 전에 예측하는 기술을 개발하고 있다.
2020년 시리우스 캐피탈에서 최고 디지털 및 정보 책임자(CDO)로 합류하기 전, 아본 푸리는 루브릭과 VMware에서 10년 이상 인프라 운영을 담당했습니다. 3년 전, 대규모 언어 모델이 진정한 잠재력을 드러하기 시작했을 때, 푸리는 시리우스 캐피탈의 또 다른 IT 리더인 수데르 두르자티와 함께 AI가 인프라 엔지니어들의 주요 과제를 자율적으로 해결하는 데 도움이 될 수 있다는 점을 파악했습니다. 그 과제는 기술 장애가 발생하기 전에 예방
관련 특별 주제 추천
의견 (0)
0/500
MBLab은 칭화대학교 및 OpenBMB 오픈소스 커뮤니티와 협력하여, 최근 저비트 대용량 모델 훈련 분야에서 획기적인 성과를 거둔 ‘BitCPM-CANN’을 공개하고 오픈소스로 배포했습니다. 화웨이의 Ascend 플랫폼에서 네이티브로 개발된 이 획기적인 기술은 엣지 측 AI 대규모 모델의 경량화 및 엔지니어링 배포를 한 단계 발전시켰습니다.

6배에 달하는 메모리 효율로 하드웨어의 한계를 극복
이제 오픈소스로 공개된 BitCPM-CANN은 0.5B, 1B, 3B, 8B의 네 가지 크기로 제공됩니다. 동등한 크기의 정밀도 모델과 직접 비교했을 때, 이 모델은 뛰어난 성능을 보여줍니다. 기존 BF16 정밀도에 비해 추론 시 메모리 사용량을 약 6배 절감하여, 대규모 모델 실행에 필요한 하드웨어 사양을 대폭 낮춥니다.
모바일 기기의 경우, 이러한 6배에 달하는 메모리 이점 덕분에 한때 최고급 하드웨어가 필요했던 8B 매개변수 규모의 대형 모델도 이제 주류 플래그십 스마트폰에서 원활하게 실행될 수 있습니다. 이러한 놀라운 메모리 여유 공간은 모바일 플랫폼에서 엣지 측 AI 기술의 도입과 상용화를 직접적으로 가속화합니다.
높은 성능 유지율로 엔지니어링 재현성 입증
모델 크기가 축소되었음에도 불구하고, BitCPM-CANN은 90%에서 97.2%에 이르는 능력 유지율을 보이며 매우 높은 성능을 유지합니다. 세 가지 대형 모델의 경우 성능 유지율이 95.7%에서 97.2% 사이이며, 가장 작은 0.5B 변형 모델조차 90%를 상회합니다.
이러한 인상적인 결과는 저비트 훈련 접근 방식이 강력한 확장성과 엔지니어링 재현성을 제공함을 체계적으로 입증합니다. MBLab은 이러한 핵심 기술을 활용하여 환경 적응, 32K 장문 시퀀스 지원, 융합 연산자 등을 포함한 전체 엔지니어링 스택을 아우르는 포괄적인 저비트 훈련 기반을 구축함으로써, Ascend 플랫폼에서 향후 진행될 저비트 훈련 연구를 위한 견고한 공개 인프라를 제공합니다.
애플은 시리 AI 출시 지연과 관련해 2억5000만 달러의 합의금을 지불하기로 동의했다
애플은 파이낸셜타임스가 처음 보도한 바와 같이, 아이폰 16 출시 전 AI 기능 마케팅과 관련된 집단소송을 해결하기 위해 2억 5천만 달러를 지급하기로 동의했다.이 소송은 애플이 시리 업그레이드를 포함한 애플 인텔리전스의 기능을 과장했다고 주장했다. 원고들은 회사가 실제 출시 시기보다 앞서 고급 AI 도구가 사용 가능할 것처럼 소비자를 기만했다고 주장했으며, 특히 시리의 개선 사항이 아직 완전히 실현되지 않은 점에 대해 문제제기를 했다.고발
Ando가 인간과 AI 협업을 연결하는 팀 메시징 앱을 출시하다
2025년, 사라 두(Sara Du)가 기업들의 MCP 서버 개발을 지원하던 중 반복적으로 제기되는 질문이 있었습니다. 팀들은 슬랙(Slack) 내에서 AI 에이전트를 직접 어떻게 활용할 수 있을까? 메시지 동기화, 컨텍스트 관리의 복잡성, 토큰 예산 고갈 위험 등 상당한 기술적 장벽이 그 길을 막고 있었습니다.이러한 과제를 조사하던 중 두는 현대 커뮤니케이션 플랫폼의 설계에 근본적인 결함이 있음을 파악했습니다. “깊이 파고들수록 슬랙과 팀즈
시쿼이아 벤처캐피탈의 지원을 받은 엔피릭이 2,100만 달러를 조달하여 정전 사태 발생 전에 예측하는 기술을 개발하고 있다.
2020년 시리우스 캐피탈에서 최고 디지털 및 정보 책임자(CDO)로 합류하기 전, 아본 푸리는 루브릭과 VMware에서 10년 이상 인프라 운영을 담당했습니다. 3년 전, 대규모 언어 모델이 진정한 잠재력을 드러하기 시작했을 때, 푸리는 시리우스 캐피탈의 또 다른 IT 리더인 수데르 두르자티와 함께 AI가 인프라 엔지니어들의 주요 과제를 자율적으로 해결하는 데 도움이 될 수 있다는 점을 파악했습니다. 그 과제는 기술 장애가 발생하기 전에 예방





집






