모델 소개
DeepSeek-V2는 경제적인 훈련과 효율적인 추론이 특징인 강력한 혼합 전문가(Mixture-of-Experts) 언어 모델입니다. 총 2360억 개의 파라미터를 가지고 있으며, 각 토큰마다 210억 개의 파라미터가 활성화됩니다. DeepSeek 67B와 비교했을 때, DeepSeek-V2는 더 나은 성능을 제공하면서도 42.5%의 훈련 비용을 절감하고, KV 캐시를 93.3% 줄이며, 최대 생성 스루풋을 5.76배 증가시킵니다.