O Shanghai AI Lab e a SJTU apresentam o NCP-ArchPreview, o primeiro modelo base de 8,9 bilhões de tokens que utiliza a técnica Next Concept Prediction. Pré-treinado com 5,73 T de tokens, ele utiliza apenas 51,3% do orçamento de tokens para igualar a perda do OLMo-3-7B, aumentando a convergência em 1,95 vez e a eficiência computacional em 1,74 vez. Essa abordagem de espaço latente melhora o desempenho em tarefas posteriores, incluindo um ganho de 6 pontos no GSM8K. O ajuste fino requer apenas 17 milhões de parâmetros, superando o LoRA sem perda de informação, enquanto a decodificação especulativa aumenta os comprimentos de aceitação em até 7,59% em tarefas de código, oferecendo um novo caminho para a aceleração da inferência.