Introduction du modèle
DBRX-Instruct est un modèle MoE entraîné depuis zéro par DataBricks, utilisant un mécanisme de sélection de 16 experts choisissant 4, avec un compteur de paramètres actifs de 36B. Il est pré-entraîné sur 12T de tokens, avec un contexte de 32K.
Capacité de compréhension du langage
Fait souvent des erreurs de jugement sémantique, conduisant à des déconnexions logiques évidentes dans les réponses.
2.5
Portée de la couverture des connaissances
A des angles morts de connaissances importantes, montrant souvent des erreurs factuelles et répétant des informations obsolètes.
6.6
Capacité de raisonnement
Incapable de maintenir des chaînes de raisonnement cohérentes, provoquant souvent une causalité inversée ou des erreurs de calcul.
2.0