Le Shanghai AI Lab et l'Université Jiaotong de Shanghai (SJTU) dévoilent NCP-ArchPreview, le premier modèle de base de 8,9 milliards de paramètres utilisant la technologie « Next Concept Prediction ». Pré-entraîné sur 5,73 T de tokens, il n'utilise que 51,3 % du budget de tokens pour égaler la perte de l'OLMo-3-7B, multipliant ainsi la convergence par 1,95 et l'efficacité de calcul par 1,74. Cette approche par espace latent améliore les performances en aval, avec notamment un gain de 6 points au test GSM8K. Le réglage fin ne nécessite que 17 millions de paramètres, surpassant LoRA sans perte de mémoire, tandis que le décodage spéculatif permet d’augmenter les longueurs d’acceptation jusqu’à 7,59 % dans les tâches de codage, ouvrant ainsi une nouvelle voie pour l’accélération de l’inférence.