Modelleinführung
MiniMax-Text-01 ist ein leistungsstarkes Sprachmodell mit insgesamt 456 Milliarden Parametern, von denen 45,9 Milliarden pro Token aktiviert werden. Um die Langkontextfähigkeiten des Modells besser zu nutzen, verwendet MiniMax-Text-01 eine hybride Architektur, die Lightning Attention, Softmax Attention und Mixture-of-Experts (MoE) kombiniert.