人类的新AI模型运行像人类这样的计算机，包括错误

你是否梦想过一种能像人类一样无缝与电脑交互的AI？现在，这个梦想已成为现实，这要归功于Anthropic的最新创新。周二，他们推出了新一代Claude AI模型，名为Claude 3.5 Sonnet，它能以惊人的精细度操作电脑。目前处于测试阶段，此AI可供开发者通过API进行试验。

Anthropic自豪地将Claude 3.5 Sonnet称为“首个人公开测试中提供电脑使用功能的前沿AI模型”。这意味着开发者可编程让其在电脑上执行多种任务，如查看屏幕、移动光标、点击按钮，甚至在虚拟键盘上打字。目标是？复制我们每天与电脑的交互方式。

虽然这款新AI仍处于实验阶段，但并非没有瑕疵。它有时会显得有些笨拙和容易出错。但这正是Anthropic发布测试版的原因——从开发者那里收集宝贵反馈，并随时间完善模型。

为什么我们应该关心AI使用电脑？

Anthropic对此有明确答案：“现代工作的绝大部分通过电脑完成。”通过让AI以人类的方式与软件交互，它们开启了当前AI助手无法处理的大量新应用。

开发者和用户如何受益？

Anthropic没有为每个任务创建特定工具，而是教授Claude通用的电脑技能。这使AI能利用为人类设计的各种标准软件程序。开发者可利用此能力自动化重复任务、构建和测试软件，甚至进行研究。

多家公司已在利用Claude 3.5 Sonnet的电脑技能，包括Asana、Canva、Cognition、DoorDash、Replit和The Browser Company。例如，Replit正利用这些能力增强其Replit Agent产品。

他们如何训练Claude使用电脑？

据Anthropic称，训练Claude导航电脑涉及大量试错。过程要求AI理解并解释电脑屏幕的图像，然后根据所见决定采取哪些行动。Claude 3.5 Sonnet通过分析屏幕截图、计算像素以精确移动光标并发出鼠标命令来实现这一点。

Claude的表现如何？

在OSWorld基准测试中，评估AI模型使用电脑的能力，Claude 3.5 Sonnet得分14.9%。虽然这远低于人类70%-75%的表现，但几乎是同类别次佳AI模型7.7%的两倍。

尽管这些结果令人振奋，Claude的电脑使用仍处于初级阶段。它尚无法执行更复杂的任务，如拖动窗口或缩放屏幕。此外，由于依赖屏幕截图，它可能错过某些动作和通知。

Anthropic保持乐观，表示：“我们预计电脑使用功能将迅速改进，变得更快、更可靠、对用户想完成的任务更有用。”他们还强调，随着技术发展，它将对软件开发经验较少的人更易用，同时保持严格的安全措施。

Claude 3.5 Sonnet现已对所有人开放。开发者可在Anthropic API、Amazon Bedrock和Google Cloud的Vertex AI上开始构建电脑使用测试版的应用。