JD.com dévoile le modèle JoyAI-LLM-Flash pour faire progresser l'IA

Le 14 février, JD.com a mis à la disposition du public son dernier grand modèle linguistique, JoyAI-LLM-Flash, sur la plateforme Hugging Face. Ce modèle compte au total 4,8 milliards de paramètres, dont 3 milliards sont activés lors de l'inférence. Pré-entraîné sur 20 000 milliards de tokens textuels, il fait preuve d'une grande maîtrise dans la compréhension des connaissances contemporaines, le raisonnement logique et les tâches de programmation.
JoyAI-LLM-Flash utilise un nouveau cadre d'optimisation FiberPO, qui intègre la théorie des faisceaux de fibres dans l'apprentissage par renforcement. Associée à l'optimiseur Muon et à la technologie de prédiction multi-tokens dense (MTP), cette approche résout efficacement les problèmes d'instabilité courants lors de la mise à l'échelle des modèles traditionnels. Par rapport aux versions sans MTP, son débit a été multiplié par 1,3 à 1,7, ce qui améliore considérablement à la fois l'efficacité de l'entraînement et le potentiel d'application pratique.
Le modèle repose sur une architecture de type « mixture-of-experts » (MoE) et comporte 40 couches. Il prend en charge une longueur de contexte de 128 000 tokens et dispose d'un vocabulaire de 129 000 mots, ce qui représente une avancée considérable pour JD.com dans le domaine de l'intelligence artificielle.
Article connexe
Stripe va acquérir OpenRouter alors que le routage basé sur des modèles d'IA prend de l'ampleur
Stripe a conclu un accord en vue d’acquérir OpenRouter, une plateforme de routage de modèles d’IA qui permet aux développeurs d’accéder à des centaines de modèles via une interface unique. Cette acqui
Barrett Zoph, ancien chercheur chez OpenAI, revient chez Google pour contribuer au développement de Gemini
Barret Zoph, qui avait auparavant quitté brusquement l’entreprise pour rejoindre OpenAI en raison d’un désaccord avec Miriam Mularati, PDG de Thinking Machines Lab, a une nouvelle fois changé d’employ
Comment Recursive Intelligence a levé 335 millions de dollars en 4 mois, avec une valorisation de 4 milliards de dollars
Les cofondatrices de la start-up Ricursive Intelligence semblaient destinées à devenir cofondatrices.Anna Goldie, PDG, et Azalia Mirhoseini, directrice technique, sont si connues dans le milieu de l’I
Recommandations de sujets spéciaux liés
commentaires (1)

Le 14 février, JD.com a mis à la disposition du public son dernier grand modèle linguistique, JoyAI-LLM-Flash, sur la plateforme Hugging Face. Ce modèle compte au total 4,8 milliards de paramètres, dont 3 milliards sont activés lors de l'inférence. Pré-entraîné sur 20 000 milliards de tokens textuels, il fait preuve d'une grande maîtrise dans la compréhension des connaissances contemporaines, le raisonnement logique et les tâches de programmation.
JoyAI-LLM-Flash utilise un nouveau cadre d'optimisation FiberPO, qui intègre la théorie des faisceaux de fibres dans l'apprentissage par renforcement. Associée à l'optimiseur Muon et à la technologie de prédiction multi-tokens dense (MTP), cette approche résout efficacement les problèmes d'instabilité courants lors de la mise à l'échelle des modèles traditionnels. Par rapport aux versions sans MTP, son débit a été multiplié par 1,3 à 1,7, ce qui améliore considérablement à la fois l'efficacité de l'entraînement et le potentiel d'application pratique.
Le modèle repose sur une architecture de type « mixture-of-experts » (MoE) et comporte 40 couches. Il prend en charge une longueur de contexte de 128 000 tokens et dispose d'un vocabulaire de 129 000 mots, ce qui représente une avancée considérable pour JD.com dans le domaine de l'intelligence artificielle.
Stripe va acquérir OpenRouter alors que le routage basé sur des modèles d'IA prend de l'ampleur
Stripe a conclu un accord en vue d’acquérir OpenRouter, une plateforme de routage de modèles d’IA qui permet aux développeurs d’accéder à des centaines de modèles via une interface unique. Cette acqui
Barrett Zoph, ancien chercheur chez OpenAI, revient chez Google pour contribuer au développement de Gemini
Barret Zoph, qui avait auparavant quitté brusquement l’entreprise pour rejoindre OpenAI en raison d’un désaccord avec Miriam Mularati, PDG de Thinking Machines Lab, a une nouvelle fois changé d’employ
Comment Recursive Intelligence a levé 335 millions de dollars en 4 mois, avec une valorisation de 4 milliards de dollars
Les cofondatrices de la start-up Ricursive Intelligence semblaient destinées à devenir cofondatrices.Anna Goldie, PDG, et Azalia Mirhoseini, directrice technique, sont si connues dans le milieu de l’I





Maison






