Введение модели
Qwen1.5 является бета-версией Qwen2, сохраняя архитектуру только декодера с активацией SwiGLU, RoPE и механизмом внимания с множественными головами. Он предлагает девять размеров моделей и имеет усиленные возможности многоязычных и чат-моделей, поддерживающих контекст длиной до 32 768 токенов. Все модели имеют включенные системные подсказки для ролевых игр, а код поддерживает нативную реализацию в transformers.