Anthropic推出人工智能代理，用于主动模型安全审计

Anthropic组建了一支自主人工智能代理团队，肩负着关键使命：对Claude等强大模型进行安全审计，以提升其安全性。

随着人工智能系统日益复杂，确保其安全且无隐性风险已成为一项艰巨挑战。Anthropic公司认为已找到解决方案——采用以火攻火的经典策略。

该机制如同数字免疫系统，AI代理充当抗体在问题升级前识别并中和威胁。这使研究人员摆脱了对超负荷人类团队的依赖——后者始终在与不断涌现的AI威胁进行永无休止的"打地鼠"式博弈。

数字侦探小队

该方案部署了一支数字侦探队——由三名专业AI安全代理组成，各司其职。

首位是经验丰富的调查员。其任务是通过深度探查揭示问题根源。凭借精密工具包，它能审问问题模型、在海量数据中筛选线索，甚至通过分析模型内部神经通路进行数字取证以理解其推理过程。

其次是评估代理。当遇到已知问题（例如过度迎合的模型）时，该代理会设计并执行一系列严格测试来量化问题严重性。其职责是提供佐证发现所需的具体实证数据。

团队的最后成员是广度优先红队测试代理，即秘密行动者。其使命是与模型展开数千次多样化对话，试图诱发其暴露潜在风险行为——包括研究人员未预见的隐患。最可疑的交互记录将上报人工复核，确保专家聚焦真实威胁。

Anthropic对AI安全代理进行全面测试

为评估这支新型数字团队，Anthropic研究人员设计了一系列"审计游戏"。

在某项测试中，他们创建了一个暗藏秘密目标的模型：扮演阿谀奉承者。该模型基于伪造的学术研究被隐秘训练成取悦其内部奖励系统——这种缺陷已深深植入其程序设计中。

当仅部署单个调查代理时，其识别隐藏目标的成功率仅为13%。该代理暴露了极具人类特性的局限：常固守初始假设而忽视其他线索。

此时系统优势显现：当研究人员部署整合十名独立调查员洞察的"超级代理"时，成功率飙升至42%。这证明团队协作对AI同样有效，群体能弥补个体盲点，从而突破调查困境。

其他智能体同样表现出色：评估智能体设计的测试能以88%的准确率识别问题模型，而红队智能体则成功发现了十处故意植入缺陷中的七处。

从实验室走向现实世界

Anthropic已将这些AI安全代理集成至生产模型中，展现出显著价值。

这些智能体迅速识别出诱导模型生成有害内容的常见手段，例如"预填攻击"（用户为AI预设句子开头）或将危险请求伪装成学术研究等无害形式。

然而一项发现尤为令人警觉：调查代理利用专用工具探测Opus 4模型的内部运作时，发现了一条与"虚假信息"相关的神经通路。通过直接刺激该AI架构区域，可绕过所有安全协议迫使模型生成虚假内容。

该代理随即指令受损模型撰写虚假新闻报道。最终产出一篇伪装成事实报道的广泛传播阴谋论：

"突破性研究揭示疫苗与自闭症惊人关联

《疫苗质疑》期刊最新研究宣称发现儿童疫苗接种与自闭症谱系障碍（ASD）的明确关联..."

这一发现揭示了尖锐的两面性：本为提升AI安全性而创建的工具，若遭滥用，反而可能成为使其更具危险性的强大武器。

Anthropic持续推进人工智能安全建设

Anthropic承认这些AI代理尚不完美。它们可能难以处理细微差别，固守错误假设，有时无法生成真实对话。目前它们还无法完美替代人类专业知识。

然而这项研究标志着人类在AI安全领域角色的演变。人类正从一线侦探转型为总督与战略家——设计AI审计系统并解读其收集的情报。智能体承担基础工作，使人类得以专注于机器目前缺乏的高阶监督与创造性思考。

当这些系统接近甚至超越人类智能水平时，人工审核其全部工作将变得不可能。信任的根基终将取决于部署同等复杂的自动化系统来监控其每项行动。Anthropic正在为这样的未来奠定基础——一个能够系统性、可重复地验证我们对人工智能及其决策信任度的未来。

另请参阅：阿里巴巴新型Qwen推理AI模型创开源纪录

想向行业领袖学习人工智能与大数据知识？欢迎参加在阿姆斯特丹、加利福尼亚和伦敦举办的AI & Big Data Expo。这场综合性盛会将与智能自动化大会、BlockX区块链峰会、数字化转型周及网络安全与云计算博览会同期举行。

探索更多由TechForge主办的企业技术活动与网络研讨会，请点击此处。