Introdução ao modelo
DBRX-Instruct é um modelo MoE treinado do zero pela DataBricks, utilizando um esquema de seleção de 16 especialistas escolhendo 4, com um número de parâmetros ativos de 36B. Ele foi pré-treinado em 12T tokens, suportando um contexto de 32K.
Capacidade de compreensão de idiomas
Muitas vezes, faz mal julgamentos semânticos, levando a óbvias desconexões lógicas nas respostas.
3.8
Escopo de cobertura do conhecimento
Possui pontos cegos significativos, geralmente mostrando erros factuais e repetindo informações desatualizadas.
5.9
Capacidade de raciocínio
Incapaz de manter cadeias de raciocínio coerentes, geralmente causando causalidade invertida ou erros de cálculo.
2.6