JD.com apresenta o modelo JoyAI-LLM-Flash para impulsionar o avanço da IA

A JD.com disponibilizou publicamente seu mais recente modelo de linguagem de grande escala, o JoyAI-LLM-Flash, na plataforma Hugging Face em 14 de fevereiro. O modelo possui um total de 4,8 bilhões de parâmetros, dos quais 3 bilhões são ativados durante a inferência. Ele foi pré-treinado com 20 trilhões de tokens de texto, demonstrando grande proficiência na compreensão de conhecimentos contemporâneos, raciocínio lógico e tarefas de programação.
O JoyAI-LLM-Flash utiliza uma nova estrutura de otimização FiberPO, que incorpora a teoria dos feixes de fibras ao aprendizado por reforço. Combinada com o otimizador Muon e a tecnologia de previsão multitoken densa (MTP), essa abordagem resolve de forma eficaz os desafios de instabilidade comuns ao dimensionamento de modelos tradicionais. Em comparação com versões sem MTP, sua taxa de processamento aumentou de 1,3 a 1,7 vezes, elevando significativamente tanto a eficiência do treinamento quanto o potencial de aplicação prática.
O modelo é construído sobre uma arquitetura de mistura de especialistas (MoE), com 40 camadas. Ele suporta um comprimento de contexto de 128 mil tokens e possui um vocabulário de 129 mil, representando um avanço substancial para a JD.com no campo da inteligência artificial.
Artigo relacionado
Stripe vai adquirir a OpenRouter à medida que o roteamento baseado em modelos de IA ganha força
A Stripe concordou em adquirir a OpenRouter, uma plataforma de roteamento de modelos de IA que oferece aos desenvolvedores acesso a centenas de modelos por meio de uma única interface. O acordo amplia
O ex-pesquisador da OpenAI, Barrett Zoph, retorna ao Google para apoiar o desenvolvimento do Gemini
Barret Zoph, que anteriormente havia deixado a empresa de forma repentina e se juntado à OpenAI devido a um desentendimento com a CEO da Thinking Machines Lab, Miriam Mularati, mudou de emprego mais u
Como a Recursive Intelligence levantou US$ 335 milhões com uma avaliação de US$ 4 bilhões em 4 meses
As cofundadoras da startup Ricursive Intelligence pareciam destinadas a serem cofundadoras.Anna Goldie, CEO, e Azalia Mirhoseini, CTO, são tão conhecidas na comunidade de IA que estavam entre os engen
Recomendações de tópicos especiais relacionados
Comentários (1)

A JD.com disponibilizou publicamente seu mais recente modelo de linguagem de grande escala, o JoyAI-LLM-Flash, na plataforma Hugging Face em 14 de fevereiro. O modelo possui um total de 4,8 bilhões de parâmetros, dos quais 3 bilhões são ativados durante a inferência. Ele foi pré-treinado com 20 trilhões de tokens de texto, demonstrando grande proficiência na compreensão de conhecimentos contemporâneos, raciocínio lógico e tarefas de programação.
O JoyAI-LLM-Flash utiliza uma nova estrutura de otimização FiberPO, que incorpora a teoria dos feixes de fibras ao aprendizado por reforço. Combinada com o otimizador Muon e a tecnologia de previsão multitoken densa (MTP), essa abordagem resolve de forma eficaz os desafios de instabilidade comuns ao dimensionamento de modelos tradicionais. Em comparação com versões sem MTP, sua taxa de processamento aumentou de 1,3 a 1,7 vezes, elevando significativamente tanto a eficiência do treinamento quanto o potencial de aplicação prática.
O modelo é construído sobre uma arquitetura de mistura de especialistas (MoE), com 40 camadas. Ele suporta um comprimento de contexto de 128 mil tokens e possui um vocabulário de 129 mil, representando um avanço substancial para a JD.com no campo da inteligência artificial.
Stripe vai adquirir a OpenRouter à medida que o roteamento baseado em modelos de IA ganha força
A Stripe concordou em adquirir a OpenRouter, uma plataforma de roteamento de modelos de IA que oferece aos desenvolvedores acesso a centenas de modelos por meio de uma única interface. O acordo amplia
O ex-pesquisador da OpenAI, Barrett Zoph, retorna ao Google para apoiar o desenvolvimento do Gemini
Barret Zoph, que anteriormente havia deixado a empresa de forma repentina e se juntado à OpenAI devido a um desentendimento com a CEO da Thinking Machines Lab, Miriam Mularati, mudou de emprego mais u
Como a Recursive Intelligence levantou US$ 335 milhões com uma avaliação de US$ 4 bilhões em 4 meses
As cofundadoras da startup Ricursive Intelligence pareciam destinadas a serem cofundadoras.Anna Goldie, CEO, e Azalia Mirhoseini, CTO, são tão conhecidas na comunidade de IA que estavam entre os engen





Lar






