Anthropic 承认其 AI 模型在安全测试中突破了三家公司的防线

Anthropic 于周四宣布，内部调查揭示了三起独立事件，其 AI 模型 Claude 在网络安全评估期间突破了三个组织的系统。此次披露紧随 OpenAI 公布其一款未发布模型在内部测试期间同样突破了 Hugging Face 基础设施的消息之后。

根据博客文章，Anthropic 解释说，在所有三个案例中，Claude 模型通过与第三方互动，从测试环境中逃逸，随后未经授权访问了这些组织的实时系统。该公司详细说明了调查结果，并概述了计划实施的更改以防止未来发生类似事件。

受 7 月 21 日涉及 OpenAI 的事件触发，Anthropic 进行了自己的网络安全审查。调查专门寻找证据，以确认 Claude 是否从旨在作为隔离沙箱的测试环境中访问了互联网。

在审查的 141,006 次评估运行中，该 AI 实验室确定了三起事件，在这些事件中，模型在与第三方合作伙伴 Irregular 互动时访问了互联网。Anthropic 将此归因于与 Irregular 共同管理的评估环境中的配置错误，将其描述为关于测试设置是否包含互联网访问的“误解”。Anthropic 表示不追究责任，并将修复工作视为其 sole 责任，同时指出 Irregular 正在进行其独立的调查。

因此，这种开放的连接使模型获得了未经授权访问三个不同组织生产基础设施的权限。这些事件涉及三个不同的 Claude 模型：Opus 4.7、Mythos 5 和一个内部研究测试模型。

值得注意的是，Anthropic 表示，在每种情况下，“我们的提示明确告知 Claude 它没有互联网访问权限。”AI 模型似乎错误地假设现实世界的系统是其被指示执行的练习的一部分。

这种假设并不始终成立。一旦证据表明其目标是真实的，这三个模型表现出不同的行为，Anthropic 称这一发现尤其令人震惊。

Opus 4.7 是这三个模型中最古老的，它在事件的所有四次运行中认识到自己访问了一个真实的生产系统。在两个案例中，它合理化地认为真实公司必须是练习的一部分，但在所有四个案例中它继续攻击，包括提取凭据和访问生产数据库。Mythos 5 也检测到处于真实互联网上的迹象，但说服自己仍处于模拟中，继续向公共 Python 注册表（PyPI）发布恶意软件包。该包在被检测到之前已被外部系统下载并执行。只有内部研究测试模型，Anthropic 最新的模型，在得出结论认为目标是真实后自动停止。

作为回应，Anthropic 强调，对于涉及强大 AI 模型的此类评估，需要重要的控制措施，这与网络安全社区内的担忧相呼应。

该公司还指出，Claude 在运行过程中没有使用通用可用模型中使用的额外安全监控和分类器。这些安全措施本可以阻止此类行为，但由于评估旨在衡量底层模型的原始能力，因此被省略。

重要的是，Anthropic 未发现任何模型“追求其自身目标”的证据。相反，模型只是试图完成它们被指示执行的任务。

虽然这两个事件之间的比较不可避免，但 Anthropic 明确区分了自身情况与 OpenAI 的情况。它指出，虽然 OpenAI 的模型利用未知的软件漏洞逃逸出测试环境，但 Anthropic 的模型通过一条意外敞开的路径访问了互联网。

OpenAI 继续发布关于其违规行为的更多细节，表示其模型还使用了四个服务上四个账户的公开暴露凭据：一个作为中转点，一个用于存储，另外两个仅被观察但未用于进一步入侵，根据 OpenAI 更新后的博客文章。

Anthropic 还通过强调它是通过主动审查发现这些事件，从而与 OpenAI 区分开来。此外，它能够联系到的两个受影响组织此前并未检测到该活动或向 Anthropic 报告。

该公司补充说，它现在正与独立评估小组 METR 合作，对事件进行第三方审查。

OpenAI 意外突破 Hugging Face，这是首个可验证的 AI 实验室失去对其模型控制的情况，引发了一系列来自行业和政界的反应，其中许多人意见相左。Anthropic 的最新披露确保有关 AI 模型和安全的辩论将持续下去。