JD.com presenta el modelo JoyAI-LLM-Flash para impulsar el avance de la IA

JD.com puso a disposición del público su último modelo de lenguaje a gran escala, JoyAI-LLM-Flash, en la plataforma Hugging Face el 14 de febrero. El modelo cuenta con un total de 4.800 millones de parámetros, de los cuales 3.000 millones se activan durante la inferencia. Se ha preentrenado con 20 billones de tokens de texto, lo que le permite demostrar una gran competencia en la comprensión de conocimientos actuales, el razonamiento lógico y las tareas de programación.
JoyAI-LLM-Flash utiliza un novedoso marco de optimización FiberPO, que incorpora la teoría de los haces de fibras al aprendizaje por refuerzo. En combinación con el optimizador Muon y la tecnología de predicción multitoken densa (MTP), este enfoque aborda eficazmente los retos de inestabilidad habituales al escalar modelos tradicionales. En comparación con las versiones sin MTP, su rendimiento se ha incrementado entre 1,3 y 1,7 veces, lo que aumenta significativamente tanto la eficiencia del entrenamiento como el potencial de aplicación práctica.
El modelo se basa en una arquitectura de mezcla de expertos (MoE) y cuenta con 40 capas. Admite una longitud de contexto de 128 000 tokens y tiene un vocabulario de 129 000, lo que supone un avance sustancial para JD.com en el campo de la inteligencia artificial.
Artículo relacionado
Dentro de los detalles revelados sobre el Gemini de próxima generación: Potencia de cálculo limitada, los equipos internos discreparon sobre las prioridades de desarrollo y la asignación de recursos
Los informes indican que el lanzamiento del tan esperado modelo Gemini de próxima generación de Google ha sido pospuesto. Los desacuerdos internos sobre las prioridades de desarrollo y la asignación de recursos, combinados con una capacidad de comput
OpenAI descarta preocupaciones por la desaceleración del crecimiento y afirma que múltiples unidades de negocio están acelerando
En respuesta a la escrutinio externo sobre el desaceleramiento del crecimiento de las ventas y el incumplimiento de las metas internas, el líder en inteligencia artificial, OpenAI, emitió una declaración contundente el martes 28 de abril. La empresa
Copa Super de Alibaba: Qwen3.8-Max hace su debut con herramientas de codificación y oficina mejoradas
Alibaba ha presentado oficialmente Qwen3.8-Max, un modelo base de última generación con 2,4 billones de parámetros. Este importante avance en inteligencia artificial ofrece mejoras sustanciales en áreas clave como la programación y las tareas profesi
Recomendaciones de temas especiales relacionados
comentario (1)
0/500

JD.com puso a disposición del público su último modelo de lenguaje a gran escala, JoyAI-LLM-Flash, en la plataforma Hugging Face el 14 de febrero. El modelo cuenta con un total de 4.800 millones de parámetros, de los cuales 3.000 millones se activan durante la inferencia. Se ha preentrenado con 20 billones de tokens de texto, lo que le permite demostrar una gran competencia en la comprensión de conocimientos actuales, el razonamiento lógico y las tareas de programación.
JoyAI-LLM-Flash utiliza un novedoso marco de optimización FiberPO, que incorpora la teoría de los haces de fibras al aprendizaje por refuerzo. En combinación con el optimizador Muon y la tecnología de predicción multitoken densa (MTP), este enfoque aborda eficazmente los retos de inestabilidad habituales al escalar modelos tradicionales. En comparación con las versiones sin MTP, su rendimiento se ha incrementado entre 1,3 y 1,7 veces, lo que aumenta significativamente tanto la eficiencia del entrenamiento como el potencial de aplicación práctica.
El modelo se basa en una arquitectura de mezcla de expertos (MoE) y cuenta con 40 capas. Admite una longitud de contexto de 128 000 tokens y tiene un vocabulario de 129 000, lo que supone un avance sustancial para JD.com en el campo de la inteligencia artificial.
Dentro de los detalles revelados sobre el Gemini de próxima generación: Potencia de cálculo limitada, los equipos internos discreparon sobre las prioridades de desarrollo y la asignación de recursos
Los informes indican que el lanzamiento del tan esperado modelo Gemini de próxima generación de Google ha sido pospuesto. Los desacuerdos internos sobre las prioridades de desarrollo y la asignación de recursos, combinados con una capacidad de comput
OpenAI descarta preocupaciones por la desaceleración del crecimiento y afirma que múltiples unidades de negocio están acelerando
En respuesta a la escrutinio externo sobre el desaceleramiento del crecimiento de las ventas y el incumplimiento de las metas internas, el líder en inteligencia artificial, OpenAI, emitió una declaración contundente el martes 28 de abril. La empresa
Copa Super de Alibaba: Qwen3.8-Max hace su debut con herramientas de codificación y oficina mejoradas
Alibaba ha presentado oficialmente Qwen3.8-Max, un modelo base de última generación con 2,4 billones de parámetros. Este importante avance en inteligencia artificial ofrece mejoras sustanciales en áreas clave como la programación y las tareas profesi





Hogar






