Introduction du modèle
DeepSeek-V2 est un modèle linguistique robuste du type Mixture-of-Experts (MoE), caractérisé par un entraînement économique et une inférence efficace. Il comporte 236 milliards de paramètres au total, dont 21 milliards sont activés pour chaque jeton. Comparé à DeepSeek 67B, DeepSeek-V2 offre des performances supérieures tout en économisant 42.5 % des coûts d'entraînement, réduisant la mémoire cache KV de 93.3 % et augmentant le débit maximal de génération de 5.76 fois.