집알리의 블랙 테크: 0.6B 모델이 5%의 활성 매개변수를 갖춘 17B MoE로 업그레이드되었으며, CPU에서 초당 30 토큰의 속도로 실행 중
알리 인터내셔널 디지털 커머스 팀은 ‘Marco-MoE’ 시리즈의 최신 모델인 ‘Marco-Mini-Instruct’를 공개하며, “작은 규모로도 큰 성과를 낼 수 있다”는 점을 보여주었습니다. 총 173억 개의 파라미터 중 활성 파라미터는 8억 6천만 개(약 5%)에 불과하여, 표준 CPU에서도 원활하게 작동할 수 있는 탁월한 추론 속도를 자랑합니다.
초경량: CPU 성능에 최적화
공식 데이터에 따르면, 8비트 양자화와 4개의 DDR4 2400 메모리 모듈을 사용했을 때 이 모델은 초당 약 30 토큰의 추론 속도를 달성합니다. 이러한 효율성 덕분에 Mixture-of-Experts(MoE) 아키텍처가 주류로 자리 잡을 가능성이 높아졌으며, 온프레미스 배포에 대한 장벽이 크게 낮아졌습니다.
핵심 혁신: 업사이클링 기술이 잠재력을 실현하다
Marco-Mini-Instruct의 가장 두드러진 특징은 크기와 속도가 아니라 독특한 생성 방식입니다. 이 모델은 처음부터 훈련된 것이 아니라, 업사이클링 기술을 활용해 Qwen3-0.6B-Base 모델에서 진화시킨 것입니다.
이 과정에는 덴스(Dense) 소형 모델의 구성 요소를 여러 전문가로 분할하거나 복사하고, 라우팅 메커니즘을 도입하는 것이 포함됩니다. 또한, 세분화된 부분 행렬 분할과 드롭-업사이클링(Drop-Upcycling) 전략을 통합하여, 훈련 중에 특정 전문가나 라우팅 경로를 무작위로 제거함으로써 정규화를 추가하고 견고성을 향상시킵니다. 이러한 접근 방식을 통해 순수한 Dense 모델을 MoE 아키텍처로 성공적으로 업그레이드함으로써, 업계에 MoE 훈련을 위한 새롭고 비용 효율적이며 효과적인 경로를 제시합니다.
컨텍스트 길이 및 훈련 설정
모델 구성에서는 max_position_embeddings를 32K로 확장하지만, 감독형 미세 조정(SFT) 단계에서는 8192 토큰의 컨텍스트를 사용합니다. 따라서 기본 컨텍스트 길이는 대부분의 실제 적용 시나리오에 적합합니다.
훈련 후의 획기적인 발전: 계단식 온-폴리시 증류
훈련 후 단계 역시 인상적입니다. 이 단계는 SFT 예열로 시작하여, 이어서 계단식 온-폴리시 증류(On-Policy Distillation ) 전략을 적용합니다. 초기 증류 단계에서는 Qwen3-30B-A3B-Instruct를 티처 모델로 사용하다가, 이후 더 강력한 Qwen3-Next-80B-A3B-Instruct로 전환합니다. 증류 데이터는 지시 사항 이행, 복잡한 추론, 정렬 보안 및 수학적 능력을 아우르며, 모델이 효율성을 유지하면서 전반적인 지능을 크게 향상시킬 수 있도록 보장합니다.
벤치마크 결과: 0.86B 활성 매개변수로 4B 밀집형 모델을 제치다
최종 Marco-Mini-Instruct 모델은 대부분의 주류 벤치마크에서 Qwen3-4B와 같은 많은 고밀도 모델보다 우수한 성능을 보입니다. 활성 매개변수가 8억 6천만 개에 불과함에도 불구하고, 이 모델은 “작지만 강력한” 성능을 제공하는 MoE 아키텍처의 막대한 잠재력을 완전히 입증합니다.
업계에 미치는 영향: 새로운 오픈소스 MoE 훈련 패러다임
AIbase는 이번 성과가 개발자들에게 새로운 기회를 열어준다는 점에 가장 큰 가치가 있다고 믿습니다. 이제 대규모 MoE 모델을 처음부터 훈련시킬 필요가 없으며, 대신 팀들은 적합한 소형 Dense 모델을 선택하고 논문에서 제시한 업사이클링(upcycling) 및 드롭-업사이클링(Drop-Upcycling) 과정을 엄격히 재현하기만 하면 됩니다. 전체 훈련 비용은 관리 가능한 수준을 유지합니다. SFT 단계에는 64개의 GPU가 24시간 동안 필요하고, 증류 단계에는 64개의 GPU가 110시간 동안 필요하므로, 중소 규모 팀이 MoE를 실험해 볼 수 있는 진입 장벽이 크게 낮아집니다.
알리바바의 이번 최신 “개량”은 모델 효율성에서의 획기적인 발전이 반드시 매개변수 스태킹에 의존하는 것은 아니며, 혁신적인 훈련 패러다임 또한 질적 도약을 이끌 수 있음을 다시 한번 입증합니다. Marco-Mini-Instruct의 출시는 의심할 여지 없이 엣지 디바이스 및 개인 개발자 시나리오에서 MoE 기술의 도입을 가속화할 것이며, 이는 업계 전체가 주목해야 할 핵심 발전이 될 것입니다.
관련 기사
딥마인드 CEO 하사비스: 하루 6시간 수면, 보통 오후 1시경에 활력을 느낍니다
Fortune는 최근 Google DeepMind의 CEO인 데미스 하사비스와의 인터뷰를 소개하며, 그의 비전통적인 휴식 및 생산성 접근 방식을 공개했다. 하사비스는 자신이 매우 적게 잠을 자며, 깨어 있는 시간을 두 개의 명확한 업무 블록으로 구조화한다고 밝혔다.그의 수면 습관에 대해 하사비스는 "6시간을 목표로 하지만, 제 습관은 비정형적입니다. 하루 종일 효과적으로 기능할 수 있습니다."라고 언급했다. 그는 6시간 미만의 수면이 뇌 건강
OpenAI와 Anthropic, 매출 부진 속에서도 시장 점유율 확보 경쟁
최근 OpenAI가 매출 목표를 달성하지 못했다는 보도가 나오면서 이번 주 화요일 기술주에 압박이 가해졌음에도 불구하고, 민간 AI 연구소 투자자들은 여전히 탄탄한 모습을 보이고 있다. 노련한 투자자들은 부정적인 언론 보도에도 불구하고 투자 규모를 줄이지 않을 것이라고 밝혔다.분석가들은 현재의 AI 경쟁이 초기 단계에 불과하다고 보고, “승자 독식” 식의
캘리포니아 자율주행차 규정 준수: 과태료, 지오펜스, 100만 마일의 새로운 시대
Guident는 남부 플로리다에서 AuveTech 셔틀을 운영하며, 자사의 원격 모니터링 기술을 활용해 웨스트 팜비치에서 4마일 구간과 보카 라톤에서 1마일 구간의 노선을 관리하고 있다. | 출처: Guident캘리포니아주는 자율주행차에 대한 규제 환경을 재정의하며, 기술 업계의 “빠르게 움직이고 실패를 감수하라(move fast and break thin
관련 특별 주제 추천
챗봇
언어 연습, 면접 준비 및 일상 유창성을 위한 최고의 AI 역할극 채팅 앱
2026년 최신 최고 인기 AI 역할극 채팅 앱: 언어 연습, 면접 준비 및 일상 유창성을 위한 최고의 선택! XIX.AI는 무료와 유료 비교, 실제 테스트, 매주 업데이트되는 순위 등을 제공하는 강력한 혁신적인 컬렉션을 엄선합니다. 이 필수 도구들은 글쓰기 실력을 향상시키고, 유창성 관련 어려움을 극복하며, 모든 일상 상황에서 의사소통 효율성을 높이는 데 도움을 줍니다. 지금 바로 탐색하여 언어 성장을 위한 완벽한 도구를 발견하세요!
10 도구
xix.ai
음악 작곡
리믹스 제작, 샘플링 준비, 카라오케 마스터 파일 제작을 위한 AI 스템 분리 도구
2026년 최신형으로 선정된 최고 평점의 AI 스템 분리 도구들은 리믹스 제작, 샘플링 준비, 카라오케 녹음에 특화되어 있습니다. 이 강력하고 혁신적인 도구들은 실제 환경에서의 테스트를 거쳐 정밀한 오디오 분리 기능을 제공함으로써 작업 효율성을 크게 향상시켜 줍니다. XIX.AI는 매주 업데이트되는 무료 버전과 유료 버전의 비교 가이드를 제공하여 사용자의 니즈에 가장 적합한 도구를 찾는 데 도움을 줍니다. 지금 바로 확인하여 AI 기술의 잠재력을 최대한 활용해 보세요.
8 도구
xix.ai
데이터 분석
수익 대시보드, 퍼널 분석, 그리고 제품 지표를 위한 AI SQL 코파일럿
2026년 최신 최고의 AI SQL 코파일럿들이 최상위 순위에 올랐습니다! XIX.AI는 매주 업데이트되는 실제 환경 테스트를 위해 강력하고 혁신적인 도구들을 선별하여 제공합니다. 반드시 사용해 보아야 할 이 도구들은 정확한 수익 대시보드를 생성하고, 판매 과정을 분석하며, 제품 관련 지표를 신속하게 추적할 수 있도록 도와 생산성을 크게 향상시켜 줍니다. 데이터 기반 의사결정을 위한 완벽한 도구를 찾아보세요! 238자
9 도구
xix.ai
음악 작곡
노래 초안을 위한 최고의 AI 멜로디 작곡 도구
2026년 최신 최고 인기 AI 멜로디 작곡 도구! XIX.AI는 엄격한 실전 테스트를 거쳐 최고의 작곡 경험을 제공하는 강력한 게임 체인저 컬렉션을 엄선했습니다. 무료와 유료 버전의 상세 비교, 정확한 순위, 그리고 놀라운 노래 초안을 손쉽게 만들고 창의적 생산성을 크게 높일 수 있는 필수 추천 옵션들을 확인할 수 있습니다. 지금 바로 탐색하여 완벽한 도구를 발견하세요!
8 도구
xix.ai
챗봇
면접 연습을 위한 최고의 AI 대화 트레이너 도구
2026년 최신 최고의 평점 높은 AI 대화 트레이너 도구들이 XIX.AI에서 만나보세요! 면접 연습을 위한 이 엄선된 컬렉션은 강력한, 게임 체인저 도구들을 포함하고 있으며, 엄격한 실제 세계 테스트를 거쳐 정확한 피드백을 제공합니다. 무료 대 유료 비교와 상세한 순위표를 찾을 수 있어 자신감과 기술을 향상시킬 수 있는 꼭 시도해봐야 할 옵션을 선택하는 데 도움이 됩니다. 지금 탐색하여 면접 성공을 위한 완벽한 도구를 발견하세요!
12 도구
xix.ai
디자인과 예술
창의적인 실험을 위한 최고의 AI 스타일 변환 도구
2026년 최신, 최고 평점을 받은 창의적 실험을 위한 AI 스타일 변환 도구! XIX.AI는 실제 테스트와 엄격한 평가를 통해 탁월한 결과를 보여주는, 강력하고 판도를 바꿀 만한 ‘꼭 사용해 봐야 할’ 도구들을 엄선했습니다. 이 최고의 솔루션들은 콘텐츠 제작 속도를 높이고 무한한 창의적 가능성을 열어줌으로써 크리에이터들의 생산성을 크게 높여줍니다. 지금 바로 탐색하여 나에게 딱 맞는 도구를 찾아보고, 오늘 바로 창작을 시작해 보세요!
9 도구
xix.ai
의견 (0)
0/500
알리 인터내셔널 디지털 커머스 팀은 ‘Marco-MoE’ 시리즈의 최신 모델인 ‘Marco-Mini-Instruct’를 공개하며, “작은 규모로도 큰 성과를 낼 수 있다”는 점을 보여주었습니다. 총 173억 개의 파라미터 중 활성 파라미터는 8억 6천만 개(약 5%)에 불과하여, 표준 CPU에서도 원활하게 작동할 수 있는 탁월한 추론 속도를 자랑합니다.
초경량: CPU 성능에 최적화
공식 데이터에 따르면, 8비트 양자화와 4개의 DDR4 2400 메모리 모듈을 사용했을 때 이 모델은 초당 약 30 토큰의 추론 속도를 달성합니다. 이러한 효율성 덕분에 Mixture-of-Experts(MoE) 아키텍처가 주류로 자리 잡을 가능성이 높아졌으며, 온프레미스 배포에 대한 장벽이 크게 낮아졌습니다.
핵심 혁신: 업사이클링 기술이 잠재력을 실현하다
Marco-Mini-Instruct의 가장 두드러진 특징은 크기와 속도가 아니라 독특한 생성 방식입니다. 이 모델은 처음부터 훈련된 것이 아니라, 업사이클링 기술을 활용해 Qwen3-0.6B-Base 모델에서 진화시킨 것입니다.
이 과정에는 덴스(Dense) 소형 모델의 구성 요소를 여러 전문가로 분할하거나 복사하고, 라우팅 메커니즘을 도입하는 것이 포함됩니다. 또한, 세분화된 부분 행렬 분할과 드롭-업사이클링(Drop-Upcycling) 전략을 통합하여, 훈련 중에 특정 전문가나 라우팅 경로를 무작위로 제거함으로써 정규화를 추가하고 견고성을 향상시킵니다. 이러한 접근 방식을 통해 순수한 Dense 모델을 MoE 아키텍처로 성공적으로 업그레이드함으로써, 업계에 MoE 훈련을 위한 새롭고 비용 효율적이며 효과적인 경로를 제시합니다.
컨텍스트 길이 및 훈련 설정
모델 구성에서는 max_position_embeddings를 32K로 확장하지만, 감독형 미세 조정(SFT) 단계에서는 8192 토큰의 컨텍스트를 사용합니다. 따라서 기본 컨텍스트 길이는 대부분의 실제 적용 시나리오에 적합합니다.
훈련 후의 획기적인 발전: 계단식 온-폴리시 증류
훈련 후 단계 역시 인상적입니다. 이 단계는 SFT 예열로 시작하여, 이어서 계단식 온-폴리시 증류(On-Policy Distillation ) 전략을 적용합니다. 초기 증류 단계에서는 Qwen3-30B-A3B-Instruct를 티처 모델로 사용하다가, 이후 더 강력한 Qwen3-Next-80B-A3B-Instruct로 전환합니다. 증류 데이터는 지시 사항 이행, 복잡한 추론, 정렬 보안 및 수학적 능력을 아우르며, 모델이 효율성을 유지하면서 전반적인 지능을 크게 향상시킬 수 있도록 보장합니다.
벤치마크 결과: 0.86B 활성 매개변수로 4B 밀집형 모델을 제치다
최종 Marco-Mini-Instruct 모델은 대부분의 주류 벤치마크에서 Qwen3-4B와 같은 많은 고밀도 모델보다 우수한 성능을 보입니다. 활성 매개변수가 8억 6천만 개에 불과함에도 불구하고, 이 모델은 “작지만 강력한” 성능을 제공하는 MoE 아키텍처의 막대한 잠재력을 완전히 입증합니다.
업계에 미치는 영향: 새로운 오픈소스 MoE 훈련 패러다임
AIbase는 이번 성과가 개발자들에게 새로운 기회를 열어준다는 점에 가장 큰 가치가 있다고 믿습니다. 이제 대규모 MoE 모델을 처음부터 훈련시킬 필요가 없으며, 대신 팀들은 적합한 소형 Dense 모델을 선택하고 논문에서 제시한 업사이클링(upcycling) 및 드롭-업사이클링(Drop-Upcycling) 과정을 엄격히 재현하기만 하면 됩니다. 전체 훈련 비용은 관리 가능한 수준을 유지합니다. SFT 단계에는 64개의 GPU가 24시간 동안 필요하고, 증류 단계에는 64개의 GPU가 110시간 동안 필요하므로, 중소 규모 팀이 MoE를 실험해 볼 수 있는 진입 장벽이 크게 낮아집니다.
알리바바의 이번 최신 “개량”은 모델 효율성에서의 획기적인 발전이 반드시 매개변수 스태킹에 의존하는 것은 아니며, 혁신적인 훈련 패러다임 또한 질적 도약을 이끌 수 있음을 다시 한번 입증합니다. Marco-Mini-Instruct의 출시는 의심할 여지 없이 엣지 디바이스 및 개인 개발자 시나리오에서 MoE 기술의 도입을 가속화할 것이며, 이는 업계 전체가 주목해야 할 핵심 발전이 될 것입니다.
딥마인드 CEO 하사비스: 하루 6시간 수면, 보통 오후 1시경에 활력을 느낍니다
Fortune는 최근 Google DeepMind의 CEO인 데미스 하사비스와의 인터뷰를 소개하며, 그의 비전통적인 휴식 및 생산성 접근 방식을 공개했다. 하사비스는 자신이 매우 적게 잠을 자며, 깨어 있는 시간을 두 개의 명확한 업무 블록으로 구조화한다고 밝혔다.그의 수면 습관에 대해 하사비스는 "6시간을 목표로 하지만, 제 습관은 비정형적입니다. 하루 종일 효과적으로 기능할 수 있습니다."라고 언급했다. 그는 6시간 미만의 수면이 뇌 건강
OpenAI와 Anthropic, 매출 부진 속에서도 시장 점유율 확보 경쟁
최근 OpenAI가 매출 목표를 달성하지 못했다는 보도가 나오면서 이번 주 화요일 기술주에 압박이 가해졌음에도 불구하고, 민간 AI 연구소 투자자들은 여전히 탄탄한 모습을 보이고 있다. 노련한 투자자들은 부정적인 언론 보도에도 불구하고 투자 규모를 줄이지 않을 것이라고 밝혔다.분석가들은 현재의 AI 경쟁이 초기 단계에 불과하다고 보고, “승자 독식” 식의
캘리포니아 자율주행차 규정 준수: 과태료, 지오펜스, 100만 마일의 새로운 시대
Guident는 남부 플로리다에서 AuveTech 셔틀을 운영하며, 자사의 원격 모니터링 기술을 활용해 웨스트 팜비치에서 4마일 구간과 보카 라톤에서 1마일 구간의 노선을 관리하고 있다. | 출처: Guident캘리포니아주는 자율주행차에 대한 규제 환경을 재정의하며, 기술 업계의 “빠르게 움직이고 실패를 감수하라(move fast and break thin
2026년 최신 최고 인기 AI 역할극 채팅 앱: 언어 연습, 면접 준비 및 일상 유창성을 위한 최고의 선택! XIX.AI는 무료와 유료 비교, 실제 테스트, 매주 업데이트되는 순위 등을 제공하는 강력한 혁신적인 컬렉션을 엄선합니다. 이 필수 도구들은 글쓰기 실력을 향상시키고, 유창성 관련 어려움을 극복하며, 모든 일상 상황에서 의사소통 효율성을 높이는 데 도움을 줍니다. 지금 바로 탐색하여 언어 성장을 위한 완벽한 도구를 발견하세요!
10 도구
xix.ai
2026년 최신형으로 선정된 최고 평점의 AI 스템 분리 도구들은 리믹스 제작, 샘플링 준비, 카라오케 녹음에 특화되어 있습니다. 이 강력하고 혁신적인 도구들은 실제 환경에서의 테스트를 거쳐 정밀한 오디오 분리 기능을 제공함으로써 작업 효율성을 크게 향상시켜 줍니다. XIX.AI는 매주 업데이트되는 무료 버전과 유료 버전의 비교 가이드를 제공하여 사용자의 니즈에 가장 적합한 도구를 찾는 데 도움을 줍니다. 지금 바로 확인하여 AI 기술의 잠재력을 최대한 활용해 보세요.
8 도구
xix.ai
2026년 최신 최고의 AI SQL 코파일럿들이 최상위 순위에 올랐습니다! XIX.AI는 매주 업데이트되는 실제 환경 테스트를 위해 강력하고 혁신적인 도구들을 선별하여 제공합니다. 반드시 사용해 보아야 할 이 도구들은 정확한 수익 대시보드를 생성하고, 판매 과정을 분석하며, 제품 관련 지표를 신속하게 추적할 수 있도록 도와 생산성을 크게 향상시켜 줍니다. 데이터 기반 의사결정을 위한 완벽한 도구를 찾아보세요! 238자
9 도구
xix.ai
2026년 최신 최고 인기 AI 멜로디 작곡 도구! XIX.AI는 엄격한 실전 테스트를 거쳐 최고의 작곡 경험을 제공하는 강력한 게임 체인저 컬렉션을 엄선했습니다. 무료와 유료 버전의 상세 비교, 정확한 순위, 그리고 놀라운 노래 초안을 손쉽게 만들고 창의적 생산성을 크게 높일 수 있는 필수 추천 옵션들을 확인할 수 있습니다. 지금 바로 탐색하여 완벽한 도구를 발견하세요!
8 도구
xix.ai
2026년 최신 최고의 평점 높은 AI 대화 트레이너 도구들이 XIX.AI에서 만나보세요! 면접 연습을 위한 이 엄선된 컬렉션은 강력한, 게임 체인저 도구들을 포함하고 있으며, 엄격한 실제 세계 테스트를 거쳐 정확한 피드백을 제공합니다. 무료 대 유료 비교와 상세한 순위표를 찾을 수 있어 자신감과 기술을 향상시킬 수 있는 꼭 시도해봐야 할 옵션을 선택하는 데 도움이 됩니다. 지금 탐색하여 면접 성공을 위한 완벽한 도구를 발견하세요!
12 도구
xix.ai
2026년 최신, 최고 평점을 받은 창의적 실험을 위한 AI 스타일 변환 도구! XIX.AI는 실제 테스트와 엄격한 평가를 통해 탁월한 결과를 보여주는, 강력하고 판도를 바꿀 만한 ‘꼭 사용해 봐야 할’ 도구들을 엄선했습니다. 이 최고의 솔루션들은 콘텐츠 제작 속도를 높이고 무한한 창의적 가능성을 열어줌으로써 크리에이터들의 생산성을 크게 높여줍니다. 지금 바로 탐색하여 나에게 딱 맞는 도구를 찾아보고, 오늘 바로 창작을 시작해 보세요!
9 도구
xix.ai
