Introduction du modèle
Qwen1.5 est la version bêta de Qwen2, conservant son architecture de modèle de transformation de type decoder-only avec l'activation SwiGLU, RoPE et les mécanismes d'attention multi-têtes. Elle propose neuf tailles de modèles et possède des capacités améliorées en matière de multilinguisme et de modèles de conversation, prenant en charge une longueur de contexte de 32 768 tokens. Tous les modèles disposent de prompts système pour le jeu de rôles, et le code supporte une implémentation native dans transformers.