Alibaba dévoile Qwen-UI-Agent, un modèle de base multimodal adapté au monde réel
Alibaba a officiellement présenté Qwen-UI-Agent, un modèle de base destiné aux agents d’interface graphique (GUI) et conçu pour fonctionner dans des environnements réels. Couvrant les environnements mobiles, de bureau, Web et de recherche approfondie, ce modèle va au-delà des tests de simulation traditionnels pour fonctionner de manière transparente sur des appareils physiques complexes.

Des performances qui surpassent celles des leaders du secteur
Qwen-UI-Agent a démontré des capacités exceptionnelles tant dans le cadre de benchmarks de référence que dans des environnements réels :
Performances sur mobile : il a obtenu un score impressionnant de 82,1 % dans MobileWorld, surpassant plusieurs grands modèles phares internationaux. Dans son benchmark personnalisé, MobileWorld-Real, qui implique plus de 100 appareils réels, le taux de réussite a atteint 92,2 %, avec des résultats quasi parfaits dans les tâches quotidiennes sous Android. Performances sur ordinateur de bureau : avec un score de 79,5 % dans OSWorld-Verified, le modèle a considérablement réduit le nombre d’étapes d’exécution sur plusieurs tâches par rapport aux modèles de référence.Capacités web et générales : il s’est classé premier au test WebArena parmi tous les modèles comparés. Ses capacités générales et agentiques dépassent celles du modèle d’entraînement de base, ce qui lui permet de traiter facilement les requêtes de longue traîne.Combler le fossé entre la simulation et la réalité
Pour combler le fossé entre la simulation et l’application dans le monde réel, Qwen-UI-Agent utilise un environnement mobile en temps réel comprenant plus de 100 téléphones physiques et plus de 150 applications. Cette configuration prend en charge la création de tâches, la collecte de trajectoires et l’entraînement des modèles. L’équipe a également lancé MobileWorld-Real, un benchmark sur appareils réels comprenant plus de 400 tâches, permettant une sélection précise des modèles en fonction des performances réelles des appareils.

Instructions simplifiées et sécurité renforcée
Au-delà des opérations standard de l’interface graphique, le modèle peut exécuter directement des commandes en ligne de commande. En générant des actions par lots en une seule décision, il raccourcit les trajectoires d’exécution et améliore l’efficacité. Un mécanisme de sécurité complet est intégré tout au long du processus : le modèle refuse et interrompt les tâches impliquant des requêtes illégales ou à haut risque. Pour les actions sensibles telles que les paiements, la suppression de données ou les autorisations relatives à la vie privée, il marque une pause aux étapes critiques pour attendre la confirmation de l’utilisateur.
De plus, le modèle prend en charge l’apprentissage par renforcement en ligne sur des trajectoires dépassant 100 étapes. Combiné à un apprentissage par programme adaptatif, il améliore en permanence sa capacité à mener à bien des tâches complexes à long terme.
Page d’accueil du projet : https://tongyi-mai.github.io/Qwen-UI-Agent/
Article connexe
Gecko Robotics s’associe à NVIDIA pour intégrer la sécurité et le contrôle des agents d’intelligence artificielle
Gecko Robotics exploite la dernière couche de sécurité des agents IA d’NVIDIA au sein de sa flotte de robots d’inspection. Source : Gecko RoboticsNVIDIA Corp. a dévoilé aujourd’hui sa Plateforme de sécurité des agents ouverte (Open Agent Safety Platf
Google Gemini améliore ses bulles flottantes pour promouvoir des assistants IA légers
Depuis le 6 septembre, Google a lancé le déploiement progressif du bouton d’action rapide « réduit » mis à jour, intégrant l’interface Gemini, pour les utilisateurs d’Android. Cette mise à jour permet
Google dévoile Dreambeans, son outil d'IA le plus excentrique à ce jour, pour transformer votre vie en dessin animé
Google Labs, la division chargée de la conception de produits expérimentaux, vient de lancer une nouvelle application basée sur l'intelligence artificielle pour iOS et Android, qui donne vie à vo
Recommandations de sujets spéciaux liés
commentaires (0)
Alibaba a officiellement présenté Qwen-UI-Agent, un modèle de base destiné aux agents d’interface graphique (GUI) et conçu pour fonctionner dans des environnements réels. Couvrant les environnements mobiles, de bureau, Web et de recherche approfondie, ce modèle va au-delà des tests de simulation traditionnels pour fonctionner de manière transparente sur des appareils physiques complexes.

Des performances qui surpassent celles des leaders du secteur
Qwen-UI-Agent a démontré des capacités exceptionnelles tant dans le cadre de benchmarks de référence que dans des environnements réels :
Performances sur mobile : il a obtenu un score impressionnant de 82,1 % dans MobileWorld, surpassant plusieurs grands modèles phares internationaux. Dans son benchmark personnalisé, MobileWorld-Real, qui implique plus de 100 appareils réels, le taux de réussite a atteint 92,2 %, avec des résultats quasi parfaits dans les tâches quotidiennes sous Android. Performances sur ordinateur de bureau : avec un score de 79,5 % dans OSWorld-Verified, le modèle a considérablement réduit le nombre d’étapes d’exécution sur plusieurs tâches par rapport aux modèles de référence.Capacités web et générales : il s’est classé premier au test WebArena parmi tous les modèles comparés. Ses capacités générales et agentiques dépassent celles du modèle d’entraînement de base, ce qui lui permet de traiter facilement les requêtes de longue traîne.Combler le fossé entre la simulation et la réalité
Pour combler le fossé entre la simulation et l’application dans le monde réel, Qwen-UI-Agent utilise un environnement mobile en temps réel comprenant plus de 100 téléphones physiques et plus de 150 applications. Cette configuration prend en charge la création de tâches, la collecte de trajectoires et l’entraînement des modèles. L’équipe a également lancé MobileWorld-Real, un benchmark sur appareils réels comprenant plus de 400 tâches, permettant une sélection précise des modèles en fonction des performances réelles des appareils.

Instructions simplifiées et sécurité renforcée
Au-delà des opérations standard de l’interface graphique, le modèle peut exécuter directement des commandes en ligne de commande. En générant des actions par lots en une seule décision, il raccourcit les trajectoires d’exécution et améliore l’efficacité. Un mécanisme de sécurité complet est intégré tout au long du processus : le modèle refuse et interrompt les tâches impliquant des requêtes illégales ou à haut risque. Pour les actions sensibles telles que les paiements, la suppression de données ou les autorisations relatives à la vie privée, il marque une pause aux étapes critiques pour attendre la confirmation de l’utilisateur.
De plus, le modèle prend en charge l’apprentissage par renforcement en ligne sur des trajectoires dépassant 100 étapes. Combiné à un apprentissage par programme adaptatif, il améliore en permanence sa capacité à mener à bien des tâches complexes à long terme.
Page d’accueil du projet : https://tongyi-mai.github.io/Qwen-UI-Agent/
Gecko Robotics s’associe à NVIDIA pour intégrer la sécurité et le contrôle des agents d’intelligence artificielle
Gecko Robotics exploite la dernière couche de sécurité des agents IA d’NVIDIA au sein de sa flotte de robots d’inspection. Source : Gecko RoboticsNVIDIA Corp. a dévoilé aujourd’hui sa Plateforme de sécurité des agents ouverte (Open Agent Safety Platf
Google Gemini améliore ses bulles flottantes pour promouvoir des assistants IA légers
Depuis le 6 septembre, Google a lancé le déploiement progressif du bouton d’action rapide « réduit » mis à jour, intégrant l’interface Gemini, pour les utilisateurs d’Android. Cette mise à jour permet
Google dévoile Dreambeans, son outil d'IA le plus excentrique à ce jour, pour transformer votre vie en dessin animé
Google Labs, la division chargée de la conception de produits expérimentaux, vient de lancer une nouvelle application basée sur l'intelligence artificielle pour iOS et Android, qui donne vie à vo





Maison






