上海AIラボと上海交通大学は、「Next Concept Prediction」を採用した初の89億パラメータのベースモデル「NCP-ArchPreview」を発表しました。 5.73Tトークンで事前学習されたこのモデルは、トークン予算のわずか51.3%しか使用せずにOLMo-3-7Bと同等の損失を達成し、収束速度を1.95倍、計算効率を1.74倍向上させた。 この潜在空間アプローチにより、GSM8Kで6ポイントのスコア向上を含むダウンストリーム性能が向上した。微調整に必要なパラメータはわずか17Mで、フォゲッティングなしのLoRAを上回る性能を発揮する。また、推測デコードにより、コードタスクにおける受容長が最大7.59%増加し、推論高速化に向けた新たな道筋を示している。