Modelleinführung
Qwen1.5 ist die Beta-Version von Qwen2 und behält seine Architektur als Decoder-only Transformer-Modell mit SwiGLU-Aktivierung, RoPE und Multi-Head-Attention-Mechanismen bei. Es bietet neun Modellgrößen und hat verbesserte multilinguale und Chat-Modell-Fähigkeiten, wobei eine Kontextlänge von 32.768 Tokens unterstützt wird. Alle Modelle haben System-Prompts für Rollenspiel aktiviert, und der Code unterstützt eine native Implementierung in Transformers.