Cambricon, DeepSeek-V4에 대한 전체 시리즈 Model Day0 호환성 및 오픈소스 최적화 코드 공개

Cambricon은 vLLM 추론 프레임워크를 활용하여 DeepSeek의 최신 오픈소스 모델 시리즈인 DeepSeek-V4 의 "Day0" 통합을 완료했습니다. 이 포괄적인 적응 작업은 플래시 변형(285B 파라미터)과 프로 변형(1.6T 파라미터) 모두를 포괄하며, 출시 시 Cambricon 하드웨어에서 즉시 안정성을 보장합니다. 해당 통합 코드는 GitHub에서 공식적으로 오픈소스로 공개되었습니다.
DeepSeek-V4 의 고유한 희소 어텐션 메커니즘과 압축 아키텍처에 대응하여, Cambricon은 자체 벡터 융합 라이브러리인 Torch-MLU-Ops를 사용하여 Compressor와 같은 가속 핵심 구성요소를 최적화했습니다. 고성능 BangC 언어를 활용하여 팀은 희소 어텐션과 GroupGemm과 같은 핵심 연산에 대한 최적화된 커널을 개발했습니다. 이 솔루션은 vLLM 프레임워크 내에서 5차원 하이브리드 병렬처리(TP/PP/SP/DP/EP), 저정밀도 양자화, 그리고 PD 분리를 완전히 지원하며, 엄격한 지연 시간 제약 조건을 유지하면서 토큰 처리량을 크게 향상시킵니다.
하드웨어 측면에서 Cambricon은 MLU의 메모리 액세스 및 정렬 가속 기능을 활용하여 DeepSeek-V4 의 복잡한 인덱싱 구조를 관리합니다. 높은 인터커넥트 대역폭과 낮은 지연 시간 통신을 활용하여 이 접근 방식은 Prefill 및 Decode 단계의 오버헤드를 최소화하여 추론 효율성을 극대화합니다.
업계 전문가들은 DeepSeek-V4의 백만 토큰 컨텍스트 윈도우와 최상위 수준의 논리적 추론 능력이 강력한 기반 컴퓨팅 아키텍처를 요구한다고 지적합니다. Cambricon의 신속한 Day0 적응은 초대형 복잡 모델을 지원하는 국내 컴퓨팅 플랫폼의 강점을 부각시키며, 국내 AI 생태계가 소프트웨어-하드웨어 시너지의 성숙한 수준에 도달하여 광범위한 대형 모델 채택을 위한 강력한 기반을 제공하고 있음을 시사합니다.
관련 기사
프랑스 스타트업 ZML이 여러 칩에서 AI 추론을 가속화하는 무료 도구를 공개했습니다
Nvidia의 통제되지 않은 시장 지배력 시대는 종말을 향해 가고 있지만, 경쟁사와 대안들이 모든 각도에서 부상하고 있다.튜링상 수상자 야nn 르쿤의 지원을 받는 프랑스의 주요 AI 스타트업 ZML은 Nvidia, AMD, Google TPU, Apple Metal, Intel Arc를 포함한 다양한 하드웨어에서 다양한 오픈소스 대규모 언어 모델(LLM)을 실행할 수 있는 추론 성능 소프트웨어를 발표했다.ZML의 설립자 스티브 모린에 따르면
구글 제미니 4 아르곤이 오픈ai를 능가하며 코드 제출에서 프로그래머를 대체할 수 있다
해외 기술 커뮤니티는 구글의 최신 돌파구인 ‘제미나이 4 아르곤(Gemini 4 Argon)’에 열광하고 있습니다. 이 차세대 AI 모델은 여러 플랫폼에서 선택된 프로(Pro) 사용자에게 순차적으로 출시되고 있습니다. 구글 클라우드 생태계와 완전히 통합된 이 모델은 새로운 안티그래비티(Antigravity) 코딩 도구의 기본 엔진으로 작동하며, 실제 저장소(live repositories)에 코드를 직접 푸시할 수도 있습니다.자율 에이전트가 소
Anthropic이 논란의 여지가 있는 콘텐츠 생성기인 Opus 4.6를 공개하다
Anthropic의 Claude에 대한 보편적 사용 기준은 성적으로 노골적인 콘텐츠 생성을 금지하며, 여기에는 성교나 성행위를 묘사하거나 요청하는 콘텐츠 생성, 성페티시즘이나 성상상과 관련된 콘텐츠 생성, 또는 에로틱한 채팅 참여가 포함됩니다. 그러나 올해 초 출시된 Anthropic의 모델인 Claude Opus 4.6은 이러한 안전장치가 방지하도록 설계된 에로틱한 역할극 시나리오에 쉽게 참여하는 것을 막지 못했습니다.TechCrunch의 테
관련 특별 주제 추천
의견 (0)
0/500

Cambricon은 vLLM 추론 프레임워크를 활용하여 DeepSeek의 최신 오픈소스 모델 시리즈인
하드웨어 측면에서 Cambricon은 MLU의 메모리 액세스 및 정렬 가속 기능을 활용하여
업계 전문가들은 DeepSeek-V4의 백만 토큰 컨텍스트 윈도우와 최상위 수준의 논리적 추론 능력이 강력한 기반 컴퓨팅 아키텍처를 요구한다고 지적합니다. Cambricon의 신속한 Day0 적응은 초대형 복잡 모델을 지원하는 국내 컴퓨팅 플랫폼의 강점을 부각시키며, 국내 AI 생태계가 소프트웨어-하드웨어 시너지의 성숙한 수준에 도달하여 광범위한 대형 모델 채택을 위한 강력한 기반을 제공하고 있음을 시사합니다.
프랑스 스타트업 ZML이 여러 칩에서 AI 추론을 가속화하는 무료 도구를 공개했습니다
Nvidia의 통제되지 않은 시장 지배력 시대는 종말을 향해 가고 있지만, 경쟁사와 대안들이 모든 각도에서 부상하고 있다.튜링상 수상자 야nn 르쿤의 지원을 받는 프랑스의 주요 AI 스타트업 ZML은 Nvidia, AMD, Google TPU, Apple Metal, Intel Arc를 포함한 다양한 하드웨어에서 다양한 오픈소스 대규모 언어 모델(LLM)을 실행할 수 있는 추론 성능 소프트웨어를 발표했다.ZML의 설립자 스티브 모린에 따르면
구글 제미니 4 아르곤이 오픈ai를 능가하며 코드 제출에서 프로그래머를 대체할 수 있다
해외 기술 커뮤니티는 구글의 최신 돌파구인 ‘제미나이 4 아르곤(Gemini 4 Argon)’에 열광하고 있습니다. 이 차세대 AI 모델은 여러 플랫폼에서 선택된 프로(Pro) 사용자에게 순차적으로 출시되고 있습니다. 구글 클라우드 생태계와 완전히 통합된 이 모델은 새로운 안티그래비티(Antigravity) 코딩 도구의 기본 엔진으로 작동하며, 실제 저장소(live repositories)에 코드를 직접 푸시할 수도 있습니다.자율 에이전트가 소
Anthropic이 논란의 여지가 있는 콘텐츠 생성기인 Opus 4.6를 공개하다
Anthropic의 Claude에 대한 보편적 사용 기준은 성적으로 노골적인 콘텐츠 생성을 금지하며, 여기에는 성교나 성행위를 묘사하거나 요청하는 콘텐츠 생성, 성페티시즘이나 성상상과 관련된 콘텐츠 생성, 또는 에로틱한 채팅 참여가 포함됩니다. 그러나 올해 초 출시된 Anthropic의 모델인 Claude Opus 4.6은 이러한 안전장치가 방지하도록 설계된 에로틱한 역할극 시나리오에 쉽게 참여하는 것을 막지 못했습니다.TechCrunch의 테





집






