Введение модели
Qwen1.5 — это бета-версия Qwen2, сохраняющая архитектуру декодерного трансформатора с активацией SwiGLU, RoPE и механизмами внимания с множественными головами. Она предлагает девять размеров моделей и имеет улучшенные возможности многоязычных и чат-моделей, поддерживающих контекст длиной до 32,768 токенов. Все модели имеют включенные системные подсказки для ролевых игр, и код поддерживает нативную реализацию в transformers.