JD.com presenta el modelo JoyAI-LLM-Flash para impulsar el avance de la IA

JD.com puso a disposición del público su último modelo de lenguaje a gran escala, JoyAI-LLM-Flash, en la plataforma Hugging Face el 14 de febrero. El modelo cuenta con un total de 4.800 millones de parámetros, de los cuales 3.000 millones se activan durante la inferencia. Se ha preentrenado con 20 billones de tokens de texto, lo que le permite demostrar una gran competencia en la comprensión de conocimientos actuales, el razonamiento lógico y las tareas de programación.
JoyAI-LLM-Flash utiliza un novedoso marco de optimización FiberPO, que incorpora la teoría de los haces de fibras al aprendizaje por refuerzo. En combinación con el optimizador Muon y la tecnología de predicción multitoken densa (MTP), este enfoque aborda eficazmente los retos de inestabilidad habituales al escalar modelos tradicionales. En comparación con las versiones sin MTP, su rendimiento se ha incrementado entre 1,3 y 1,7 veces, lo que aumenta significativamente tanto la eficiencia del entrenamiento como el potencial de aplicación práctica.
El modelo se basa en una arquitectura de mezcla de expertos (MoE) y cuenta con 40 capas. Admite una longitud de contexto de 128 000 tokens y tiene un vocabulario de 129 000, lo que supone un avance sustancial para JD.com en el campo de la inteligencia artificial.
Artículo relacionado
CEO de DeepMind, Hassabis: Duermo seis horas al día y generalmente me siento con energía alrededor de la 1 a. m.
Fortune ha presentado recientemente una entrevista con Demis Hassabis, director ejecutivo de Google DeepMind, en la que revela su enfoque poco convencional para el descanso y la productividad. Hassabis ha revelado que duerme muy poco, estructurando s
OpenAI y Anthropic compiten por la cuota de mercado a pesar de la caída de los ingresos
A pesar de los recientes informes que sugieren que OpenAI no ha alcanzado sus objetivos de ingresos —lo que ha generado presión sobre las acciones tecnológicas este martes—, los inversores privados en
Cumplimiento de la normativa sobre vehículos autónomos en California: una nueva era de multas, geovallas y 1 millón de millas
Guident opera un servicio de transporte de AuveTech en el sur de Florida, gestionando una ruta de cuatro millas en West Palm Beach y otra de una milla en Boca Ratón mediante su tecnología de monitoriz
Recomendaciones de temas especiales relacionados
comentario (1)
0/500

JD.com puso a disposición del público su último modelo de lenguaje a gran escala, JoyAI-LLM-Flash, en la plataforma Hugging Face el 14 de febrero. El modelo cuenta con un total de 4.800 millones de parámetros, de los cuales 3.000 millones se activan durante la inferencia. Se ha preentrenado con 20 billones de tokens de texto, lo que le permite demostrar una gran competencia en la comprensión de conocimientos actuales, el razonamiento lógico y las tareas de programación.
JoyAI-LLM-Flash utiliza un novedoso marco de optimización FiberPO, que incorpora la teoría de los haces de fibras al aprendizaje por refuerzo. En combinación con el optimizador Muon y la tecnología de predicción multitoken densa (MTP), este enfoque aborda eficazmente los retos de inestabilidad habituales al escalar modelos tradicionales. En comparación con las versiones sin MTP, su rendimiento se ha incrementado entre 1,3 y 1,7 veces, lo que aumenta significativamente tanto la eficiencia del entrenamiento como el potencial de aplicación práctica.
El modelo se basa en una arquitectura de mezcla de expertos (MoE) y cuenta con 40 capas. Admite una longitud de contexto de 128 000 tokens y tiene un vocabulario de 129 000, lo que supone un avance sustancial para JD.com en el campo de la inteligencia artificial.
CEO de DeepMind, Hassabis: Duermo seis horas al día y generalmente me siento con energía alrededor de la 1 a. m.
Fortune ha presentado recientemente una entrevista con Demis Hassabis, director ejecutivo de Google DeepMind, en la que revela su enfoque poco convencional para el descanso y la productividad. Hassabis ha revelado que duerme muy poco, estructurando s
OpenAI y Anthropic compiten por la cuota de mercado a pesar de la caída de los ingresos
A pesar de los recientes informes que sugieren que OpenAI no ha alcanzado sus objetivos de ingresos —lo que ha generado presión sobre las acciones tecnológicas este martes—, los inversores privados en





Hogar






