JD.com dévoile le modèle JoyAI-LLM-Flash pour faire progresser l'IA

Le 14 février, JD.com a mis à la disposition du public son dernier grand modèle linguistique, JoyAI-LLM-Flash, sur la plateforme Hugging Face. Ce modèle compte au total 4,8 milliards de paramètres, dont 3 milliards sont activés lors de l'inférence. Pré-entraîné sur 20 000 milliards de tokens textuels, il fait preuve d'une grande maîtrise dans la compréhension des connaissances contemporaines, le raisonnement logique et les tâches de programmation.
JoyAI-LLM-Flash utilise un nouveau cadre d'optimisation FiberPO, qui intègre la théorie des faisceaux de fibres dans l'apprentissage par renforcement. Associée à l'optimiseur Muon et à la technologie de prédiction multi-tokens dense (MTP), cette approche résout efficacement les problèmes d'instabilité courants lors de la mise à l'échelle des modèles traditionnels. Par rapport aux versions sans MTP, son débit a été multiplié par 1,3 à 1,7, ce qui améliore considérablement à la fois l'efficacité de l'entraînement et le potentiel d'application pratique.
Le modèle repose sur une architecture de type « mixture-of-experts » (MoE) et comporte 40 couches. Il prend en charge une longueur de contexte de 128 000 tokens et dispose d'un vocabulaire de 129 000 mots, ce qui représente une avancée considérable pour JD.com dans le domaine de l'intelligence artificielle.
Article connexe
La première série dramatique AIGC de Yaoke Media, « Le mystère du bronze dans le Qinling », sort aujourd'hui avec des rôles principaux interprétés par des personnages générés par l'IA
C'est aujourd'hui que sort officiellement la mini-série fantastique et policière en IA générée (AIGC) de Yaoke Media, intitulée « L'histoire secrète du bronze de Qinling ». Mettant en s
Satya Nadella est prêt à tirer parti du nouvel accord avec OpenAI
Mercredi, un analyste de Wall Street a demandé directement au PDG de Microsoft, Satya Nadella, en quoi le nouveau partenariat avec OpenAI affecterait les résultats financiers de l’entreprise.Nadella a décrit ce nouvel accord comme une victoire pour
WordPress.com permet désormais à des agents IA de rédiger et de publier des articles, et bien plus encore
WordPress.com, la célèbre plateforme d'hébergement et de publication Web, se tourne désormais vers les agents IA, une initiative qui pourrait bien redéfinir l'apparence et l'ergonomie du Web. La socié
Recommandations de sujets spéciaux liés
commentaires (1)

Le 14 février, JD.com a mis à la disposition du public son dernier grand modèle linguistique, JoyAI-LLM-Flash, sur la plateforme Hugging Face. Ce modèle compte au total 4,8 milliards de paramètres, dont 3 milliards sont activés lors de l'inférence. Pré-entraîné sur 20 000 milliards de tokens textuels, il fait preuve d'une grande maîtrise dans la compréhension des connaissances contemporaines, le raisonnement logique et les tâches de programmation.
JoyAI-LLM-Flash utilise un nouveau cadre d'optimisation FiberPO, qui intègre la théorie des faisceaux de fibres dans l'apprentissage par renforcement. Associée à l'optimiseur Muon et à la technologie de prédiction multi-tokens dense (MTP), cette approche résout efficacement les problèmes d'instabilité courants lors de la mise à l'échelle des modèles traditionnels. Par rapport aux versions sans MTP, son débit a été multiplié par 1,3 à 1,7, ce qui améliore considérablement à la fois l'efficacité de l'entraînement et le potentiel d'application pratique.
Le modèle repose sur une architecture de type « mixture-of-experts » (MoE) et comporte 40 couches. Il prend en charge une longueur de contexte de 128 000 tokens et dispose d'un vocabulaire de 129 000 mots, ce qui représente une avancée considérable pour JD.com dans le domaine de l'intelligence artificielle.
La première série dramatique AIGC de Yaoke Media, « Le mystère du bronze dans le Qinling », sort aujourd'hui avec des rôles principaux interprétés par des personnages générés par l'IA
C'est aujourd'hui que sort officiellement la mini-série fantastique et policière en IA générée (AIGC) de Yaoke Media, intitulée « L'histoire secrète du bronze de Qinling ». Mettant en s
Satya Nadella est prêt à tirer parti du nouvel accord avec OpenAI
Mercredi, un analyste de Wall Street a demandé directement au PDG de Microsoft, Satya Nadella, en quoi le nouveau partenariat avec OpenAI affecterait les résultats financiers de l’entreprise.Nadella a décrit ce nouvel accord comme une victoire pour
WordPress.com permet désormais à des agents IA de rédiger et de publier des articles, et bien plus encore
WordPress.com, la célèbre plateforme d'hébergement et de publication Web, se tourne désormais vers les agents IA, une initiative qui pourrait bien redéfinir l'apparence et l'ergonomie du Web. La socié





Maison






