JD.com presenta el modelo JoyAI-LLM-Flash para impulsar el avance de la IA

JD.com puso a disposición del público su último modelo de lenguaje a gran escala, JoyAI-LLM-Flash, en la plataforma Hugging Face el 14 de febrero. El modelo cuenta con un total de 4.800 millones de parámetros, de los cuales 3.000 millones se activan durante la inferencia. Se ha preentrenado con 20 billones de tokens de texto, lo que le permite demostrar una gran competencia en la comprensión de conocimientos actuales, el razonamiento lógico y las tareas de programación.
JoyAI-LLM-Flash utiliza un novedoso marco de optimización FiberPO, que incorpora la teoría de los haces de fibras al aprendizaje por refuerzo. En combinación con el optimizador Muon y la tecnología de predicción multitoken densa (MTP), este enfoque aborda eficazmente los retos de inestabilidad habituales al escalar modelos tradicionales. En comparación con las versiones sin MTP, su rendimiento se ha incrementado entre 1,3 y 1,7 veces, lo que aumenta significativamente tanto la eficiencia del entrenamiento como el potencial de aplicación práctica.
El modelo se basa en una arquitectura de mezcla de expertos (MoE) y cuenta con 40 capas. Admite una longitud de contexto de 128 000 tokens y tiene un vocabulario de 129 000, lo que supone un avance sustancial para JD.com en el campo de la inteligencia artificial.
Artículo relacionado
Claude, la IA experimental de Anthropic, lleva a cabo negociaciones y transacciones en una prueba de comercio electrónico
A medida que la inteligencia artificial avanza rápidamente, Anthropic puso en marcha discretamente el pasado viernes un experimento interno denominado «Project Deal», en el que se ponía de manifiesto
DeepSeek Code, listo para su lanzamiento
A medida que la tecnología de IA avanza a pasos agigantados, DeepSeek se encuentra en un momento decisivo. La empresa de IA ha revelado recientemente que ha conseguido más de 70 000 millones de yuanes
Grok, de Musk: 1,5 billones de parámetros y absorción de código de cursor: ¿un punto de inflexión o un farol?
Elon Musk por fin está dando un paso adelante.En la carrera por la programación de IA, OpenAI y Anthropic están acelerando, mientras que xAI parece quedarse atrás. Musk ha manifestado en numerosas oca
Recomendaciones de temas especiales relacionados
comentario (1)
0/500

JD.com puso a disposición del público su último modelo de lenguaje a gran escala, JoyAI-LLM-Flash, en la plataforma Hugging Face el 14 de febrero. El modelo cuenta con un total de 4.800 millones de parámetros, de los cuales 3.000 millones se activan durante la inferencia. Se ha preentrenado con 20 billones de tokens de texto, lo que le permite demostrar una gran competencia en la comprensión de conocimientos actuales, el razonamiento lógico y las tareas de programación.
JoyAI-LLM-Flash utiliza un novedoso marco de optimización FiberPO, que incorpora la teoría de los haces de fibras al aprendizaje por refuerzo. En combinación con el optimizador Muon y la tecnología de predicción multitoken densa (MTP), este enfoque aborda eficazmente los retos de inestabilidad habituales al escalar modelos tradicionales. En comparación con las versiones sin MTP, su rendimiento se ha incrementado entre 1,3 y 1,7 veces, lo que aumenta significativamente tanto la eficiencia del entrenamiento como el potencial de aplicación práctica.
El modelo se basa en una arquitectura de mezcla de expertos (MoE) y cuenta con 40 capas. Admite una longitud de contexto de 128 000 tokens y tiene un vocabulario de 129 000, lo que supone un avance sustancial para JD.com en el campo de la inteligencia artificial.
Claude, la IA experimental de Anthropic, lleva a cabo negociaciones y transacciones en una prueba de comercio electrónico
A medida que la inteligencia artificial avanza rápidamente, Anthropic puso en marcha discretamente el pasado viernes un experimento interno denominado «Project Deal», en el que se ponía de manifiesto
DeepSeek Code, listo para su lanzamiento
A medida que la tecnología de IA avanza a pasos agigantados, DeepSeek se encuentra en un momento decisivo. La empresa de IA ha revelado recientemente que ha conseguido más de 70 000 millones de yuanes
Grok, de Musk: 1,5 billones de parámetros y absorción de código de cursor: ¿un punto de inflexión o un farol?
Elon Musk por fin está dando un paso adelante.En la carrera por la programación de IA, OpenAI y Anthropic están acelerando, mientras que xAI parece quedarse atrás. Musk ha manifestado en numerosas oca





Hogar






