Введение модели
Qwen1.5 является бета-версией Qwen2, сохраняя архитектуру декодера-только с активацией SwiGLU, RoPE и механизмом многозадачного внимания. Она предлагает девять размеров моделей и имеет усиленные возможности многоязычных и чат-моделей, поддерживающих длину контекста до 32,768 токенов. Все модели имеют включенные системные подсказки для ролевых игр, и код поддерживает нативную реализацию в transformers.