Heim
Alibaba stellt „Qwen-UI-Agent“ vor, ein multimodales Grundmodell für reale Anwendungsfälle
Alibaba hat offiziell „Qwen-UI-Agent“ vorgestellt, ein Grundmodell für GUI-Agenten, das für den Einsatz in realen Umgebungen konzipiert ist. Das Modell deckt mobile, Desktop-, Web- und Deep-Search-Umgebungen ab und geht über herkömmliche Simulationstests hinaus, um nahtlos auf komplexen physischen Geräten zu funktionieren.

Leistung, die die Branchenführer übertrifft
Qwen-UI-Agent hat sowohl in anerkannten Benchmarks als auch in Live-Umgebungen außergewöhnliche Fähigkeiten unter Beweis gestellt:
Leistung im Mobilbereich: Im „MobileWorld“-Benchmark erzielte es beeindruckende 82,1 % und übertraf damit mehrere große internationale Flaggschiff-Modelle. In seinem maßgeschneiderten Benchmark „MobileWorld-Real“, der über 100 reale Geräte umfasst, erreichte die Erfolgsquote 92,2 %, mit nahezu perfekten Ergebnissen bei den „Android Daily“-Aufgaben. Desktop-Leistung: Mit einer Punktzahl von 79,5 % im „OSWorld-Verified“-Test reduzierte das Modell die Anzahl der Ausführungsschritte bei mehreren Aufgaben im Vergleich zu Basismodellen erheblich.Web- und allgemeine Fähigkeiten: Im WebArena-Webtest belegte es unter allen Vergleichsmodellen den ersten Platz. Seine allgemeinen und agentenbasierten Fähigkeiten übertreffen die des Basistrainingsmodells, sodass es Long-Tail-Anfragen mühelos bewältigen kann.Die Lücke zwischen Simulation und Realität schließen
Um die Kluft zwischen Simulation und realer Anwendung zu schließen, nutzt Qwen-UI-Agent eine Live-Mobilumgebung mit über 100 physischen Smartphones und mehr als 150 Anwendungen. Diese Umgebung unterstützt die Erstellung von Aufgaben, die Erfassung von Verlaufsdaten und das Modelltraining. Das Team führte außerdem „MobileWorld-Real“ ein, einen Benchmark mit echten Geräten und über 400 Aufgaben, der eine präzise Modellauswahl auf der Grundlage der tatsächlichen Geräteleistung ermöglicht.

Optimierte Befehle und robuste Sicherheit
Über die üblichen GUI-Funktionen hinaus kann das Modell Befehle direkt über die Befehlszeile ausführen. Durch die Ausgabe von Batch-Aktionen in einer einzigen Entscheidung verkürzt es die Ausführungsabläufe und steigert die Effizienz. Ein umfassender Sicherheitsmechanismus ist in den gesamten Prozess integriert: Das Modell lehnt Aufgaben ab, die unzulässige oder risikoreiche Anfragen beinhalten, und bricht diese ab. Bei sensiblen Aktionen wie Zahlungen, Datenlöschungen oder Datenschutzberechtigungen hält es an kritischen Schritten inne, um auf die Bestätigung des Nutzers zu warten.
Darüber hinaus unterstützt das Modell onlinebasiertes verstärkendes Lernen bei Abläufen mit mehr als 100 Schritten. In Kombination mit adaptivem Curriculum-Lernen verbessert es kontinuierlich seine Fähigkeit, anspruchsvolle langfristige Aufgaben zu bewältigen.
Projekt-Homepage: https://tongyi-mai.github.io/Qwen-UI-Agent/
Verwandter Artikel
Gecko Robotics geht mit NVIDIA eine Partnerschaft ein, um die Sicherheit und Steuerung von KI-Agenten zu integrieren
Gecko Robotics nutzt die neueste KI-Agent-Sicherheitslayer von NVIDIA in seiner Flotte von Inspektionsrobotern. Quelle: Gecko RoboticsDie NVIDIA Corp. hat heute ihre Open Agent Safety Platform vorgestellt, die die quelloffene OpenShell-Software und d
Google Gemini verbessert „Floating Bubbles“, um schlanke KI-Assistenten zu fördern
Ab dem 6. September hat Google mit der schrittweisen Einführung der aktualisierten „minimierten“ Schnellaktionsschaltfläche mit der Gemini-Oberfläche für Android-Nutzer begonnen. Dieses Update ermögli
Google stellt „Dreambeans“ vor, sein bislang ausgefallenstes KI-Tool, das Ihr Leben in einen Cartoon verwandelt
Google Labs, die Abteilung, die für die Entwicklung experimenteller Produkte zuständig ist, hat eine neue, KI-gestützte App für iOS und Android veröffentlicht, die Ihren Alltag belebt.Wir stellen vor:
Empfehlungen zu verwandten Spezialthemen
Kommentare (0)
Alibaba hat offiziell „Qwen-UI-Agent“ vorgestellt, ein Grundmodell für GUI-Agenten, das für den Einsatz in realen Umgebungen konzipiert ist. Das Modell deckt mobile, Desktop-, Web- und Deep-Search-Umgebungen ab und geht über herkömmliche Simulationstests hinaus, um nahtlos auf komplexen physischen Geräten zu funktionieren.

Leistung, die die Branchenführer übertrifft
Qwen-UI-Agent hat sowohl in anerkannten Benchmarks als auch in Live-Umgebungen außergewöhnliche Fähigkeiten unter Beweis gestellt:
Leistung im Mobilbereich: Im „MobileWorld“-Benchmark erzielte es beeindruckende 82,1 % und übertraf damit mehrere große internationale Flaggschiff-Modelle. In seinem maßgeschneiderten Benchmark „MobileWorld-Real“, der über 100 reale Geräte umfasst, erreichte die Erfolgsquote 92,2 %, mit nahezu perfekten Ergebnissen bei den „Android Daily“-Aufgaben. Desktop-Leistung: Mit einer Punktzahl von 79,5 % im „OSWorld-Verified“-Test reduzierte das Modell die Anzahl der Ausführungsschritte bei mehreren Aufgaben im Vergleich zu Basismodellen erheblich.Web- und allgemeine Fähigkeiten: Im WebArena-Webtest belegte es unter allen Vergleichsmodellen den ersten Platz. Seine allgemeinen und agentenbasierten Fähigkeiten übertreffen die des Basistrainingsmodells, sodass es Long-Tail-Anfragen mühelos bewältigen kann.Die Lücke zwischen Simulation und Realität schließen
Um die Kluft zwischen Simulation und realer Anwendung zu schließen, nutzt Qwen-UI-Agent eine Live-Mobilumgebung mit über 100 physischen Smartphones und mehr als 150 Anwendungen. Diese Umgebung unterstützt die Erstellung von Aufgaben, die Erfassung von Verlaufsdaten und das Modelltraining. Das Team führte außerdem „MobileWorld-Real“ ein, einen Benchmark mit echten Geräten und über 400 Aufgaben, der eine präzise Modellauswahl auf der Grundlage der tatsächlichen Geräteleistung ermöglicht.

Optimierte Befehle und robuste Sicherheit
Über die üblichen GUI-Funktionen hinaus kann das Modell Befehle direkt über die Befehlszeile ausführen. Durch die Ausgabe von Batch-Aktionen in einer einzigen Entscheidung verkürzt es die Ausführungsabläufe und steigert die Effizienz. Ein umfassender Sicherheitsmechanismus ist in den gesamten Prozess integriert: Das Modell lehnt Aufgaben ab, die unzulässige oder risikoreiche Anfragen beinhalten, und bricht diese ab. Bei sensiblen Aktionen wie Zahlungen, Datenlöschungen oder Datenschutzberechtigungen hält es an kritischen Schritten inne, um auf die Bestätigung des Nutzers zu warten.
Darüber hinaus unterstützt das Modell onlinebasiertes verstärkendes Lernen bei Abläufen mit mehr als 100 Schritten. In Kombination mit adaptivem Curriculum-Lernen verbessert es kontinuierlich seine Fähigkeit, anspruchsvolle langfristige Aufgaben zu bewältigen.
Projekt-Homepage: https://tongyi-mai.github.io/Qwen-UI-Agent/
Gecko Robotics geht mit NVIDIA eine Partnerschaft ein, um die Sicherheit und Steuerung von KI-Agenten zu integrieren
Gecko Robotics nutzt die neueste KI-Agent-Sicherheitslayer von NVIDIA in seiner Flotte von Inspektionsrobotern. Quelle: Gecko RoboticsDie NVIDIA Corp. hat heute ihre Open Agent Safety Platform vorgestellt, die die quelloffene OpenShell-Software und d
Google Gemini verbessert „Floating Bubbles“, um schlanke KI-Assistenten zu fördern
Ab dem 6. September hat Google mit der schrittweisen Einführung der aktualisierten „minimierten“ Schnellaktionsschaltfläche mit der Gemini-Oberfläche für Android-Nutzer begonnen. Dieses Update ermögli
Google stellt „Dreambeans“ vor, sein bislang ausgefallenstes KI-Tool, das Ihr Leben in einen Cartoon verwandelt
Google Labs, die Abteilung, die für die Entwicklung experimenteller Produkte zuständig ist, hat eine neue, KI-gestützte App für iOS und Android veröffentlicht, die Ihren Alltag belebt.Wir stellen vor:











