Введение модели
DeepSeek-V2 — мощная модель языка в формате Mixture-of-Experts (MoE), характеризующаяся экономичным обучением и эффективной инференсом. Она состоит из 236 миллиардов общих параметров, из которых 21 миллиард активируется для каждого токена. В сравнении с DeepSeek 67B, DeepSeek-V2 показывает более высокую производительность, при этом экономит 42.5% затрат на обучение, снижает размер KV-кэша на 93.3% и увеличивает максимальную пропускную способность генерации в 5.76 раза.