选项
首页
新闻
阿里巴巴推出Qwen-UI-Agent,一款面向现实世界的多模态基础模型

阿里巴巴推出Qwen-UI-Agent,一款面向现实世界的多模态基础模型

2026-09-12
138

阿里巴巴正式推出了Qwen-UI-Agent,这是一个专为在真实世界环境中运行的图形用户界面(GUI)智能代理设计的基础模型。该模型覆盖移动端、桌面端、网页端及深度搜索环境,突破了传统模拟测试的局限,能够在复杂的物理设备上无缝运行。

image.png

超越行业领先者的性能

Qwen-UI-Agent 在权威基准测试和真实环境中均展现出了卓越的能力:

移动端表现:在 MobileWorld 基准测试中取得了高达 82.1% 的得分,超越了多款国际主流旗舰模型。 在其包含 100 多台真实设备的定制基准测试 MobileWorld-Real 中,成功率高达 92.2%,在 Android 日常任务中表现近乎完美。桌面性能:在 OSWorld-Verified 测试中获得 79.5% 的得分,与基线模型相比,该模型在多项任务中显著减少了执行步骤。Web 与通用能力:在 WebArena Web 测试中,该模型在所有对比模型中排名第一。其通用能力和代理能力均超越基础训练模型,能够轻松处理长尾请求。

弥合模拟与现实之间的鸿沟

为弥合模拟与实际应用之间的鸿沟,Qwen-UI-Agent 采用了一个包含 100 多部实体手机和 150 多个应用程序的实时移动环境。该设置支持任务创建、轨迹采集和模型训练。 研究团队还推出了 MobileWorld-Real——一个包含 400 多个任务的真实设备基准测试集,可基于实际设备性能进行精确的模型选择。

image.png

简化的指令与强大的安全性

除了标准的图形用户界面(GUI)操作外,该模型还能直接执行命令行指令。通过在单次决策中输出批量操作,它缩短了执行轨迹并提高了效率。 整个流程中集成了全面的安全机制:该模型会拒绝并终止涉及非法或高风险请求的任务。对于支付、数据删除或隐私授权等敏感操作,它会在关键步骤暂停,等待用户确认。

此外,该模型支持对超过 100 步的执行轨迹进行在线强化学习。结合自适应课程学习,它能持续提升处理具有挑战性的长期任务的能力。

项目主页:https://tongyi-mai.github.io/Qwen-UI-Agent/

相关文章
Gecko Robotics 与 NVIDIA 合作,整合 AI 代理的安全性和控制 Gecko Robotics 与 NVIDIA 合作,整合 AI 代理的安全性和控制 Gecko Robotics 正在其检测机器人舰队中利用 NVIDIA 最新的智能体 AI 安全层。来源:Gecko RoboticsNVIDIA 公司今天发布了其开放智能体安全平台(Open Agent Safety Platform),其中包括开源的 OpenShell 软件和 Sentry 参考系统设计。这些工具旨在增强运行 AI 智能体的机器人在硬件、计算和软件层面上的治理与控制。Gecko Robotics Inc. 是与 NVIDIA 技术合作的 100 多家组织之一。在 OpenA
谷歌Gemini升级“悬浮气泡”功能,以推广轻量级AI助手 谷歌Gemini升级“悬浮气泡”功能,以推广轻量级AI助手 从9月6日起,谷歌开始面向安卓用户分阶段推出更新后的“最小化”快速操作按钮,该按钮采用了Gemini界面。此次更新使用户能够将占屏面积较大的Gemini覆盖层折叠成一个紧凑的浮动气泡,该气泡标有Spark标志,仅占用极小的屏幕空间。这一改进克服了传统全屏、侵入式移动AI交互的局限性。现在,用户可以在Gemini在后台处理复杂查询的同时,无缝地在电子邮件、社交媒体或网页浏览器之间切换,从而显著提升了
谷歌推出“Dreambeans”——其迄今为止最奇特的人工智能工具,可将你的生活变成卡通片 谷歌推出“Dreambeans”——其迄今为止最奇特的人工智能工具,可将你的生活变成卡通片 负责实验性产品设计的部门 Google Labs 发布了一款面向 iOS 和 Android 平台的新型人工智能应用,它能让你的日常生活焕发活力。向大家介绍 Dreambeans。关于这个名字的由来,稍后将进行说明。这款工具究竟是什么?该应用的产品负责人戈兹德·奥兹努尔(Gozde Oznur)向TechCrunch解释道,其核心理念是整合用户在各类谷歌服务中的数据,从而生成一套由人工智能生成的个
相关专题推荐
设计与艺术 顶级AI插画工具:更快地创作编辑类场景和封面插图
顶级AI插画工具:更快地创作编辑类场景和封面插图

2026年最新高评分AI插画工具:我们精心挑选的这份清单汇集了功能强大的顶级工具,助您快速创作令人惊艳的编辑场景和引人注目的封面艺术。每款工具都经过了严格的实际测试,并提供了免费版与付费版的对比,帮助您找到最适合您工作流程的工具。 立即尝试这些必试解决方案,释放您的AI优势,提升创作效率。立即访问 XIX.AI 探索更多。

10 个工具
xix.ai
教育与学习 备考首选的顶尖AI辅导老师:练习数学、科学和英语
备考首选的顶尖AI辅导老师:练习数学、科学和英语

2026年最新、评分最高的考试备考AI辅导工具现已登陆XIX.AI!我们精心筛选的这份清单汇集了多款功能强大、颠覆传统的工具,提供免费与付费版本的对比、实际测试以及每周更新的排行榜。它们能帮助你提升写作效率、简化复杂主题的学习,并释放你的学术潜能。 立即探索,发现最适合您的备考工具,今天就开始创作,释放您的AI优势!

10 个工具
xix.ai
金融 用于个人财务管理的 AI 预算规划工具
用于个人财务管理的 AI 预算规划工具

2026 年最新最佳顶级评分 AI 预算规划工具,专为个人财务管理打造,现已登陆 XIX.AI!本精选合集收录了强大且具颠覆性的解决方案,助您开展实际测试、理解消费习惯,并制定个性化计划以提升生产力。享受免费与付费版的对比及详细排名。这些必试工具旨在简化财务管理,助您释放 AI 优势。立即探索!

11 个工具
xix.ai
健康养生 AI睡眠追踪助手:通过养成更好的睡前习惯来促进身体恢复
AI睡眠追踪助手:通过养成更好的睡前习惯来促进身体恢复

2026年最新精选高评分AI睡眠追踪助手,助您实现最佳恢复效果。这份全面更新的每周指南汇集了强大的工具,提供实际测试结果、免费与付费版本对比以及详细排名,助您找到必试的解决方案,从而提升睡眠质量并养成更好的就寝习惯。 立即访问 XIX.AI,解锁您的AI优势。

10 个工具
xix.ai
数据分析 用于产品和收入分析的 AI SQL 辅助工具
用于产品和收入分析的 AI SQL 辅助工具

2026年最新、最受欢迎、评分最高的AI SQL辅助工具,助力产品与营收分析! XIX.AI 精心遴选了一系列功能强大、颠覆性的必试工具,这些工具均经过每周更新的排名体系进行实战测试。它们能通过加速数据分析、简化复杂查询并生成精准洞察,帮助用户显著提升工作效率,从而推动更明智的商业决策。立即探索,发现最适合您的工具,释放您的AI优势!

14 个工具
xix.ai
教育与学习 最佳的、兼具教学功能的AI作业助手:学习概念,而不仅仅是答案
最佳的、兼具教学功能的AI作业助手:学习概念,而不仅仅是答案

2026年最新最佳高评分AI作业助手:不仅提供答案,更传授核心概念。专为学生打造的强大工具,精选必试清单,每周更新,免费与付费版本对比,真实使用测试,精准排名,助您充分释放学习潜能。立即探索,发现最适合您的工具,让学习更高效。

10 个工具
xix.ai
评论 (0)
0/500
OR