阿里巴巴推出Qwen-UI-Agent,一款面向现实世界的多模态基础模型
阿里巴巴正式推出了Qwen-UI-Agent,这是一个专为在真实世界环境中运行的图形用户界面(GUI)智能代理设计的基础模型。该模型覆盖移动端、桌面端、网页端及深度搜索环境,突破了传统模拟测试的局限,能够在复杂的物理设备上无缝运行。

超越行业领先者的性能
Qwen-UI-Agent 在权威基准测试和真实环境中均展现出了卓越的能力:
移动端表现:在 MobileWorld 基准测试中取得了高达 82.1% 的得分,超越了多款国际主流旗舰模型。 在其包含 100 多台真实设备的定制基准测试 MobileWorld-Real 中,成功率高达 92.2%,在 Android 日常任务中表现近乎完美。桌面性能:在 OSWorld-Verified 测试中获得 79.5% 的得分,与基线模型相比,该模型在多项任务中显著减少了执行步骤。Web 与通用能力:在 WebArena Web 测试中,该模型在所有对比模型中排名第一。其通用能力和代理能力均超越基础训练模型,能够轻松处理长尾请求。弥合模拟与现实之间的鸿沟
为弥合模拟与实际应用之间的鸿沟,Qwen-UI-Agent 采用了一个包含 100 多部实体手机和 150 多个应用程序的实时移动环境。该设置支持任务创建、轨迹采集和模型训练。 研究团队还推出了 MobileWorld-Real——一个包含 400 多个任务的真实设备基准测试集,可基于实际设备性能进行精确的模型选择。

简化的指令与强大的安全性
除了标准的图形用户界面(GUI)操作外,该模型还能直接执行命令行指令。通过在单次决策中输出批量操作,它缩短了执行轨迹并提高了效率。 整个流程中集成了全面的安全机制:该模型会拒绝并终止涉及非法或高风险请求的任务。对于支付、数据删除或隐私授权等敏感操作,它会在关键步骤暂停,等待用户确认。
此外,该模型支持对超过 100 步的执行轨迹进行在线强化学习。结合自适应课程学习,它能持续提升处理具有挑战性的长期任务的能力。
项目主页:https://tongyi-mai.github.io/Qwen-UI-Agent/
相关文章
Gecko Robotics 与 NVIDIA 合作,整合 AI 代理的安全性和控制
Gecko Robotics 正在其检测机器人舰队中利用 NVIDIA 最新的智能体 AI 安全层。来源:Gecko RoboticsNVIDIA 公司今天发布了其开放智能体安全平台(Open Agent Safety Platform),其中包括开源的 OpenShell 软件和 Sentry 参考系统设计。这些工具旨在增强运行 AI 智能体的机器人在硬件、计算和软件层面上的治理与控制。Gecko Robotics Inc. 是与 NVIDIA 技术合作的 100 多家组织之一。在 OpenA
谷歌Gemini升级“悬浮气泡”功能,以推广轻量级AI助手
从9月6日起,谷歌开始面向安卓用户分阶段推出更新后的“最小化”快速操作按钮,该按钮采用了Gemini界面。此次更新使用户能够将占屏面积较大的Gemini覆盖层折叠成一个紧凑的浮动气泡,该气泡标有Spark标志,仅占用极小的屏幕空间。这一改进克服了传统全屏、侵入式移动AI交互的局限性。现在,用户可以在Gemini在后台处理复杂查询的同时,无缝地在电子邮件、社交媒体或网页浏览器之间切换,从而显著提升了
谷歌推出“Dreambeans”——其迄今为止最奇特的人工智能工具,可将你的生活变成卡通片
负责实验性产品设计的部门 Google Labs 发布了一款面向 iOS 和 Android 平台的新型人工智能应用,它能让你的日常生活焕发活力。向大家介绍 Dreambeans。关于这个名字的由来,稍后将进行说明。这款工具究竟是什么?该应用的产品负责人戈兹德·奥兹努尔(Gozde Oznur)向TechCrunch解释道,其核心理念是整合用户在各类谷歌服务中的数据,从而生成一套由人工智能生成的个
相关专题推荐
评论 (0)
0/500
阿里巴巴正式推出了Qwen-UI-Agent,这是一个专为在真实世界环境中运行的图形用户界面(GUI)智能代理设计的基础模型。该模型覆盖移动端、桌面端、网页端及深度搜索环境,突破了传统模拟测试的局限,能够在复杂的物理设备上无缝运行。

超越行业领先者的性能
Qwen-UI-Agent 在权威基准测试和真实环境中均展现出了卓越的能力:
移动端表现:在 MobileWorld 基准测试中取得了高达 82.1% 的得分,超越了多款国际主流旗舰模型。 在其包含 100 多台真实设备的定制基准测试 MobileWorld-Real 中,成功率高达 92.2%,在 Android 日常任务中表现近乎完美。桌面性能:在 OSWorld-Verified 测试中获得 79.5% 的得分,与基线模型相比,该模型在多项任务中显著减少了执行步骤。Web 与通用能力:在 WebArena Web 测试中,该模型在所有对比模型中排名第一。其通用能力和代理能力均超越基础训练模型,能够轻松处理长尾请求。弥合模拟与现实之间的鸿沟
为弥合模拟与实际应用之间的鸿沟,Qwen-UI-Agent 采用了一个包含 100 多部实体手机和 150 多个应用程序的实时移动环境。该设置支持任务创建、轨迹采集和模型训练。 研究团队还推出了 MobileWorld-Real——一个包含 400 多个任务的真实设备基准测试集,可基于实际设备性能进行精确的模型选择。

简化的指令与强大的安全性
除了标准的图形用户界面(GUI)操作外,该模型还能直接执行命令行指令。通过在单次决策中输出批量操作,它缩短了执行轨迹并提高了效率。 整个流程中集成了全面的安全机制:该模型会拒绝并终止涉及非法或高风险请求的任务。对于支付、数据删除或隐私授权等敏感操作,它会在关键步骤暂停,等待用户确认。
此外,该模型支持对超过 100 步的执行轨迹进行在线强化学习。结合自适应课程学习,它能持续提升处理具有挑战性的长期任务的能力。
项目主页:https://tongyi-mai.github.io/Qwen-UI-Agent/
Gecko Robotics 与 NVIDIA 合作,整合 AI 代理的安全性和控制
Gecko Robotics 正在其检测机器人舰队中利用 NVIDIA 最新的智能体 AI 安全层。来源:Gecko RoboticsNVIDIA 公司今天发布了其开放智能体安全平台(Open Agent Safety Platform),其中包括开源的 OpenShell 软件和 Sentry 参考系统设计。这些工具旨在增强运行 AI 智能体的机器人在硬件、计算和软件层面上的治理与控制。Gecko Robotics Inc. 是与 NVIDIA 技术合作的 100 多家组织之一。在 OpenA
谷歌Gemini升级“悬浮气泡”功能,以推广轻量级AI助手
从9月6日起,谷歌开始面向安卓用户分阶段推出更新后的“最小化”快速操作按钮,该按钮采用了Gemini界面。此次更新使用户能够将占屏面积较大的Gemini覆盖层折叠成一个紧凑的浮动气泡,该气泡标有Spark标志,仅占用极小的屏幕空间。这一改进克服了传统全屏、侵入式移动AI交互的局限性。现在,用户可以在Gemini在后台处理复杂查询的同时,无缝地在电子邮件、社交媒体或网页浏览器之间切换,从而显著提升了
谷歌推出“Dreambeans”——其迄今为止最奇特的人工智能工具,可将你的生活变成卡通片
负责实验性产品设计的部门 Google Labs 发布了一款面向 iOS 和 Android 平台的新型人工智能应用,它能让你的日常生活焕发活力。向大家介绍 Dreambeans。关于这个名字的由来,稍后将进行说明。这款工具究竟是什么?该应用的产品负责人戈兹德·奥兹努尔(Gozde Oznur)向TechCrunch解释道,其核心理念是整合用户在各类谷歌服务中的数据,从而生成一套由人工智能生成的个





首页






