首页
上海人工智能实验室与上海交通大学联合发布了NCP-ArchPreview——首个采用“下一概念预测”（Next Concept Prediction）技术的89亿参数基础模型。 该模型在5.73T个令牌上预训练，仅使用51.3%的令牌预算便达到了与OLMo-3-7B相当的损失水平，收敛速度提升1.95倍，计算效率提升1.74倍。 这种潜空间方法提升了下游任务的性能，其中在GSM8K任务中得分提高了6分。微调仅需17M个参数，在无需遗忘机制的情况下表现优于LoRA；而在代码任务中，推测性解码使接受长度最高提升了7.59%，为推理加速开辟了新路径。
评论 (0)
0/300
