Modelleinführung
Qwen1.5 ist die Beta-Version von Qwen2 und behält seine Architektur als Decoder-Only Transformer-Modell mit SwiGLU-Aktivierung, RoPE und Multi-Head-Attention-Mechanismen bei. Es bietet neun Modellgrößen und hat verbesserte Mehrsprachigkeits- und Chatmodell-Fähigkeiten, wobei eine Kontextlänge von 32.768 Tokens unterstützt wird. Alle Modelle haben System-Prompts für Rollenspiel aktiviert, und der Code unterstützt die native Implementierung in Transformers.