상하이 AI 연구소와 상하이교통대학교(SJTU)가 ‘Next Concept Prediction’ 기술을 적용한 최초의 89억 토큰 규모 기반 모델인 ‘NCP-ArchPreview’를 공개했다. 5.73T 토큰으로 사전 훈련된 이 모델은 OLMo-3-7B의 손실 값을 달성하는 데 토큰 예산의 51.3%만 사용하며, 수렴 속도를 1.95배, 계산 효율을 1.74배 향상시켰습니다. 이러한 잠재 공간 접근 방식은 GSM8K에서 6포인트 상승을 포함해 다운스트림 성능을 향상시킵니다. 미세 조정에는 단 17M개의 매개변수만 필요하며, 포겟팅(forgetting) 없이 LoRA를 능가하는 성능을 보여줍니다. 또한, 추측 디코딩을 통해 코드 작업에서 수용 길이가 최대 7.59% 증가하여 추론 가속화를 위한 새로운 길을 제시합니다.