Modelleinführung
Qwen1.5 ist die Beta-Version von Qwen2 und behält die Architektur eines decoder-only Transformer-Modells mit SwiGLU-Aktivierung, RoPE und mehrköpfigen Aufmerksamkeitsmechanismen bei. Es bietet neun Modellgrößen und hat verbesserte Mehrsprachigkeits- und Chatmodell-Fähigkeiten, wobei eine Kontextlänge von 32.768 Tokens unterstützt wird. Alle Modelle haben System-Prompts für Rollenspiel aktiviert, und der Code unterstützt die native Implementierung in Transformers.