Das Shanghai AI Lab und die SJTU stellen NCP-ArchPreview vor, das erste Basismodell mit 8,9 Milliarden Parametern, das auf Next Concept Prediction basiert. Das Modell wurde mit 5,73 T Token vortrainiert und benötigt nur 51,3 % des Token-Budgets, um den Verlust von OLMo-3-7B zu erreichen, wodurch die Konvergenz um das 1,95-Fache und die Recheneffizienz um das 1,74-Fache gesteigert werden. Dieser Latent-Space-Ansatz verbessert die nachgelagerte Leistung, einschließlich eines Zuwachses von 6 Punkten bei GSM8K. Das Fine-Tuning erfordert lediglich 17 Millionen Parameter und übertrifft damit LoRA ohne Vergessensprozess, während die spekulative Dekodierung bei Code-Aufgaben zu einer Erhöhung der Akzeptanzlängen um bis zu 7,59 % führt und damit einen neuen Weg zur Beschleunigung der Inferenz eröffnet.