Introducción al modelo
DBRX-Instruct es un modelo MoE entrenado desde cero por DataBricks, utilizando un esquema de selección de 16 expertos eligiendo 4, con una cantidad de parámetros activos de 36B. Se preentrenó en 12T tokens, con soporte para un contexto de 32K.
Capacidad de comprensión del lenguaje
A menudo hace juicios mal semánticos, lo que lleva a obvias desconexiones lógicas en las respuestas.
2.5
Alcance de cobertura de conocimiento
Tiene puntos ciegos de conocimiento significativo, a menudo que muestran errores objetivos y repitiendo información obsoleta.
6.6
Capacidad de razonamiento
Incapaz de mantener cadenas de razonamiento coherentes, a menudo causando causalidad invertida o errores de cálculo.
2.0