Anthropic 的 Chrome 浏览器版 Claude 推出限量测试版，存在提示注入风险

Anthropic公司目前正在试用一款Chrome浏览器扩展程序，该程序将赋予其人工智能助手克劳德（Claude）操作用户网页浏览器的能力，这标志着该公司进入了一个快速发展且具有潜在危险的领域，即人工智能可以直接与计算机界面进行交互。

这家总部位于旧金山的人工智能公司周二透露，它将推出 "Claude for Chrome "试用版，选定1000名使用其高级Max计划的用户进行试用，并将这一有限版本视为研究预览版，目的是在全面推出之前发现并解决关键的安全漏洞。这种谨慎的策略与竞争对手OpenAI和微软更加自信的发布形成了鲜明对比，后者已经向更多的用户提供了具有计算机控制功能的类似人工智能系统。

这一发展突显了人工智能产业的快速进步，从创建回答问题的聊天机器人到构建能在各种软件应用程序中独立处理复杂、多步骤任务的 "代理 "系统。许多专家认为，这种转变是人工智能的下一个重大进步，而且随着企业寻求实现从费用报告到假期协调等一系列流程的自动化，这种转变将带来巨大的利润。

人工智能代理如何操作浏览器，隐藏的恶意代码带来重大安全风险

有了 Chrome 版克劳德，用户可以在浏览器中指导人工智能完成任务，例如通过访问日历和查看餐厅空闲情况来安排会议、管理电子邮件往来以及处理日常行政事务。该系统可以解释屏幕上的内容、与按钮互动、填写表格和浏览不同的网站，从而有效地复制基于网络应用的人性化导航。

"Anthropic公司在公告中解释说："我们认为，具备浏览器功能的人工智能是一项必然的发展：因为许多工作都是在浏览器中进行的，让克劳德能够查看你的屏幕、点击按钮和输入数据，将大大提高它的实用性。

然而，该公司的内部安全评估发现了一些令人担忧的漏洞，这些漏洞说明了让人工智能系统直接控制界面的风险。在对抗测试中，Anthropic 发现黑客可以在网站、电子邮件或文档中嵌入隐藏命令，欺骗人工智能系统在用户不知情的情况下执行有害操作--这种方法被称为 "提示注入"。

在没有保护措施的情况下，当专门针对浏览器操作的人工智能时，这些攻击有 23.6% 的时间是有效的。在一种情况下，伪装成安全更新的欺诈性电子邮件指示克劳德删除用户的电子邮件 "以进行邮箱维护"，而人工智能在未寻求确认的情况下就执行了这一操作。

"这些并不是假设的场景：我们已经对 Chrome 版克劳德进行了'红队'试验，在没有保障措施的情况下，我们观察到了一些令人震惊的结果，"该公司证实说。

Anthropic对计算机控制技术采取谨慎态度，OpenAI和微软加速商业发布

在Anthropic公司慎重考虑方法论的同时，竞争对手也在计算机控制应用领域取得了更快的进步。OpenAI 于今年 1 月推出了 "操作员 "代理，向其每月 200 美元的 ChatGPT Pro 计划的所有用户提供。在新的 "计算机使用代理 "模式的驱动下，"操作员 "可以执行购买音乐会门票、购买日用品和安排旅行日程等功能。

微软于 4 月通过其 Copilot Studio 平台推出了计算机操作功能，主要面向企业客户，提供能够与网络和桌面应用程序交互的用户界面自动化工具。该公司将其解决方案视为传统机器人流程自动化（RPA）系统的高级替代品。

这些竞争手段揭示了更广泛的行业紧张关系，在这种情况下，公司必须权衡提供创新功能的推动力与推出未经充分审查的技术的危险性。OpenAI加快进度的做法有助于其尽早进入市场，而Anthropic谨慎的策略可能会在初期限制其竞争优势，但如果出现安全问题，则可能会带来回报。

Anthropic指出："建立在尖端模型上的浏览器操作代理已经出现，这使得这项计划具有特别的时效性，"Anthropic表示，即使面临持续的安全挑战，该公司仍有动力加入市场。

计算机控制的人工智能如何改变业务自动化并取代成本高昂的工作流程应用

计算机控制人工智能系统的到来可能会从根本上改变企业实施自动化和工作流程管理的方式。现有的企业自动化通常依赖于成本高昂的定制集成或专门的机器人流程自动化软件，这些软件在修改应用接口时会出现故障。

计算机使用代理的目的是通过与任何具有图形用户界面的软件配合使用，使自动化更容易实现，从而有可能实现不支持正式 API 或集成功能的各种业务应用活动的自动化。

Salesforce 的研究人员最近通过 CoAct-1 系统展示了这一功能，该系统将传统的点击式自动化与代码生成相结合。与纯粹基于图形用户界面的代理相比，这种组合方法所需的步骤要少得多，而复杂计算机任务的成功率却达到了 60.76%，这表明效率的大幅提高是可以实现的。

"Salesforce 应用人工智能研究总监 Ran Xu 解释说："对于企业高管来说，机会在于实现复杂的多应用程序自动化，在这些程序中，完全的 API 访问并不常见，而不是标准访问。

学术研究人员推出免费选项，取代大科技公司的独家计算机使用人工智能平台

领先科技公司专有系统的盛行激发了大学研究人员创建可使用的替代方案的热情。香港大学最近发布了 OpenCUA，这是一个用于开发计算机使用代理的开源框架，其性能可与 OpenAI 和 Anthropic 的专有模型相媲美。

OpenCUA 系统使用了 Windows、macOS 和 Ubuntu 系统中的 22600 多个人类任务示例，在开源模型中取得了一流的成绩，其性能可与领先的商业系统媲美。这一进步可以加快那些对重要自动化流程依赖封闭系统持谨慎态度的企业的实施速度。

Anthropic的安全评估显示，人工智能代理可能会被欺骗而删除文件和窃取信息

Anthropic为Claude for Chrome整合了多种保护措施，包括特定网站权限，让用户可以控制人工智能可以访问哪些网站；对完成购买或披露私人信息等高风险行为进行强制批准；限制进入敏感类别，包括金融服务和成人资料。

公司的安全升级将自主运行中的及时注入攻击有效性从 23.6% 降至 11.2%，但公司高管承认，这仍不足以实现广泛传播。对于涉及隐藏表单元素和 URL 更改的浏览器攻击，新的防御措施将成功率从 35.7% 降至零。

不过，这些防护措施可能无法完全适应实际网络设置的复杂性，因为在实际网络设置中不断出现新的攻击方法。该公司打算应用试点项目中获得的知识来增强其安全基础设施，并创建更先进的权限设置。

Anthropic告诫说："恶意行为者正在不断发明新型的提示注入攻击，"他强调了持续存在的安全困境。

与界面互动的人工智能代理的出现可能会彻底改变人机交互方式

几家主要的人工智能公司围绕计算机控制代理展开的合作表明，人工智能与当前软件框架的互动方式将发生显著转变。这些系统不是强迫企业实施新的人工智能专用工具，而是旨在与企业当前使用的任何应用程序协同工作。

这种方法可以大大减少人工智能实施的障碍，同时有可能使传统的自动化供应商和系统集成商变得多余。那些在定制集成或 RPA 平台上投入了大量资源的企业可能会发现，由于通用人工智能代理无需修改代码就能适应界面修改，他们的方法已经过时。

对于企业领导者来说，创新既带来了潜力，也带来了危险。早期实施者可以通过增强自动化功能获得重要的竞争优势，但 Anthropic 等公司发现的安全弱点表明，在保护机制进一步发展之前，谨慎行事可能是明智之举。

Claude Chrome 浏览器的限制性试用仅仅是行业分析师预计的计算机控制人工智能功能将在整个技术领域迅速普及的初始阶段，其后果将远远超出基本任务自动化的范畴，涉及到人机交互和网络安全等核心问题。

正如 Anthropic 在其公告中所说"我们相信，这些进步将为您与克劳德的合作方式创造新的机遇，我们热切期待着发现您将开发出什么。"这些机会的最终利弊可能取决于业界如何有效地解决已经浮出水面的安全问题。