Modelleinführung
DBRX-Instruct ist ein von DataBricks von Grund auf neu trainiertes MoE-Modell, das ein Auswahlschema von 16 Experten verwendet, die 4 auswählen, mit einem aktiven Parameter-Zähler von 36B. Es wurde auf 12T Tokens vortrainiert und unterstützt einen Kontext von 32K.