Introduction du modèle
DeepSeek-V2 est un modèle de langue robuste de type Mixture-of-Experts (MoE), caractérisé par un coût d'entraînement économique et une inférence efficace. Il comprend un total de 236 milliards de paramètres, dont 21 milliards sont activés pour chaque jeton. Comparé à DeepSeek 67B, DeepSeek-V2 offre des performances supérieures tout en économisant 42,5 % des coûts d'entraînement, réduisant la mémoire de cache KV de 93,3 % et augmentant la capacité maximale de génération jusqu'à 5,76 fois.