Введение модели
Qwen1.5 — это бета-версия Qwen2, сохраняющая архитектуру только декодера с активацией SwiGLU, RoPE и механизмом внимания с многими головами. Она предлагает девять размеров моделей и улучшенные возможности многоязычных и чат-моделей, поддерживающих длину контекста до 32 768 токенов. Все модели имеют включенные системные подсказки для ролевых игр, а код поддерживает нативную реализацию в transformers.