El Laboratorio de IA de Shanghái y la SJTU presentan NCP-ArchPreview, el primer modelo base de 8.9B que utiliza la técnica de predicción del siguiente concepto (Next Concept Prediction). Entrenado previamente con 5,73 T de tokens, utiliza solo el 51,3 % del presupuesto de tokens para igualar la pérdida de OLMo-3-7B, lo que multiplica por 1,95 la convergencia y por 1,74 la eficiencia computacional. Este enfoque basado en el espacio latente mejora el rendimiento en las tareas posteriores, incluyendo una mejora de 6 puntos en GSM8K. El ajuste fino requiere tan solo 17 millones de parámetros, superando a LoRA sin pérdida de información, mientras que la decodificación especulativa aumenta la longitud de aceptación hasta un 7,59 % en tareas de código, lo que ofrece una nueva vía para la aceleración de la inferencia.