首頁
上海人工智慧實驗室與上海交通大學共同推出 NCP-ArchPreview，這是首個採用「下一個概念預測」（Next Concept Prediction）技術的 89 億 token 基礎模型。 該模型在 5.73T 個標記上進行預訓練，僅使用 51.3% 的標記預算即達到與 OLMo-3-7B 相同的損失水準，收斂速度提升 1.95 倍，運算效率提升 1.74 倍。 此潛在空間方法提升了下游任務的表現，其中在 GSM8K 任務中分數提升了 6 分。微調僅需 1700 萬個參數，在無遺忘的情況下表現優於 LoRA；而推測解碼在編碼任務中使接受長度最高增加 7.59%，為推論加速開闢了新途徑。
評論 (0)
0/300
