Дом
JD.com представляет модель JoyAI-LLM-Flash для ускорения развития искусственного интеллекта

14 февраля компания JD.com открыла доступ к своей новейшей большой языковой модели JoyAI-LLM-Flash на платформе Hugging Face. Модель насчитывает в общей сложности 4,8 миллиарда параметров, из которых 3 миллиарда активируются во время инференции. Она была предварительно обучена на 20 триллионах текстовых токенов и демонстрирует высокую эффективность в понимании современных знаний, логическом мышлении и решении задач программирования.
JoyAI-LLM-Flash использует новую оптимизационную структуру FiberPO, которая внедряет теорию пучков волокон в обучение с подкреплением. В сочетании с оптимизатором Muon и технологией плотного многотокенного прогнозирования (MTP) этот подход эффективно решает проблемы нестабильности, характерные для масштабирования традиционных моделей. По сравнению с версиями без MTP ее пропускная способность увеличилась в 1,3–1,7 раза, что значительно повысило как эффективность обучения, так и потенциал практического применения.
Модель построена на архитектуре «смеси экспертов» (MoE) и состоит из 40 слоев. Она поддерживает длину контекста в 128 тысяч токенов и имеет словарный запас в 129 тысяч токенов, что представляет собой существенный шаг вперед для JD.com в области искусственного интеллекта.
Связанная статья
Внутри раскрыты подробности о Gemini следующего поколения: ограниченные вычислительные мощности, внутренние команды не сошлись в вопросах приоритетов разработки и распределения ресурсов
В отчётах указывается, что запуск долгожданной модели Gemini следующего поколения от Google был перенесён. Внутренние разногласия по вопросам приоритетов разработки и распределения ресурсов, в сочетании с ограниченной вычислительной мощностью и сложн
OpenAI отклоняет опасения по поводу замедления роста, заявляя о ускорении работы нескольких бизнес-подразделений
В ответ на внешнюю критику, связанную с замедлением роста продаж и невыполнением внутренних плановых показателей, лидер в области искусственного интеллекта компания OpenAI опубликовала во вторник, 28 апреля, уверенное заявление. Компания уточнила, чт
Кубок Суперкубок Alibaba: Qwen3.8-Max дебютирует с улучшенными инструментами для программирования и офисными приложениями
Alibaba официально представила Qwen3.8-Max — новую базовую большую модель с 2,4 триллиона параметров. Это значимое достижение в области искусственного интеллекта обеспечивает существенное улучшение производительности в ключевых областях, таких как пр
Рекомендации по связанным специальным темам
Комментарии (1)

14 февраля компания JD.com открыла доступ к своей новейшей большой языковой модели JoyAI-LLM-Flash на платформе Hugging Face. Модель насчитывает в общей сложности 4,8 миллиарда параметров, из которых 3 миллиарда активируются во время инференции. Она была предварительно обучена на 20 триллионах текстовых токенов и демонстрирует высокую эффективность в понимании современных знаний, логическом мышлении и решении задач программирования.
JoyAI-LLM-Flash использует новую оптимизационную структуру FiberPO, которая внедряет теорию пучков волокон в обучение с подкреплением. В сочетании с оптимизатором Muon и технологией плотного многотокенного прогнозирования (MTP) этот подход эффективно решает проблемы нестабильности, характерные для масштабирования традиционных моделей. По сравнению с версиями без MTP ее пропускная способность увеличилась в 1,3–1,7 раза, что значительно повысило как эффективность обучения, так и потенциал практического применения.
Модель построена на архитектуре «смеси экспертов» (MoE) и состоит из 40 слоев. Она поддерживает длину контекста в 128 тысяч токенов и имеет словарный запас в 129 тысяч токенов, что представляет собой существенный шаг вперед для JD.com в области искусственного интеллекта.
Внутри раскрыты подробности о Gemini следующего поколения: ограниченные вычислительные мощности, внутренние команды не сошлись в вопросах приоритетов разработки и распределения ресурсов
В отчётах указывается, что запуск долгожданной модели Gemini следующего поколения от Google был перенесён. Внутренние разногласия по вопросам приоритетов разработки и распределения ресурсов, в сочетании с ограниченной вычислительной мощностью и сложн
OpenAI отклоняет опасения по поводу замедления роста, заявляя о ускорении работы нескольких бизнес-подразделений
В ответ на внешнюю критику, связанную с замедлением роста продаж и невыполнением внутренних плановых показателей, лидер в области искусственного интеллекта компания OpenAI опубликовала во вторник, 28 апреля, уверенное заявление. Компания уточнила, чт
Кубок Суперкубок Alibaba: Qwen3.8-Max дебютирует с улучшенными инструментами для программирования и офисными приложениями
Alibaba официально представила Qwen3.8-Max — новую базовую большую модель с 2,4 триллиона параметров. Это значимое достижение в области искусственного интеллекта обеспечивает существенное улучшение производительности в ключевых областях, таких как пр











