Шанхайская лаборатория искусственного интеллекта и Шанхайский технический университет представили NCP-ArchPreview — первую базовую модель объемом 8,9 млрд токенов, использующую технологию Next Concept Prediction. Модель, предварительно обученная на 5,73 Т токенов, использует всего 51,3 % бюджета токенов, чтобы достичь уровня потерь OLMo-3-7B, что повышает скорость сходимости в 1,95 раза, а вычислительную эффективность — в 1,74 раза. Этот подход, основанный на латентном пространстве, улучшает производительность в последующих задачах, в том числе обеспечивая прирост на 6 баллов в тесте GSM8K. Для тонкой настройки требуется всего 17 млн параметров, что превосходит LoRA без забывания, а спекулятивное декодирование позволяет увеличить длину принимаемых кодов в задачах кодирования до 7,59%, открывая новый путь для ускорения инференции.