Modelleinführung
Qwen1.5 ist die Beta-Version von Qwen2 und behält die Architektur eines Decoder-Only-Transformers mit SwiGLU-Aktivierung, RoPE und Multi-Head-Attention-Mechanismen bei. Es bietet neun Modellgrößen und verbesserte Multilinguismus- und Chat-Modell-Fähigkeiten, wobei eine Kontextlänge von 32.768 Tokens unterstützt wird. Alle Modelle haben System-Prompts für Rollenspiele aktiviert, und der Code unterstützt eine native Implementierung in Transformers.