Введение модели
Qwen1.5 — это бета-версия Qwen2, сохраняющая архитектуру decoder-only transformer-модели с активацией SwiGLU, RoPE и механизмом внимания с многими головами. Она предлагает девять размеров моделей и имеет усиленные возможности многоязычных и чат-моделей, поддерживающих контекст длиной до 32 768 токенов. Для всех моделей включена система подсказок для ролевых игр, и код поддерживает нативную реализацию в transformers.