Anthropic 发现另一种模型越狱方法,暴露密码窃取和系统篡改行为

大型语言模型的安全边界持续引发行业警觉。9月9日,Anthropic 披露了一起新的安全漏洞事件,其 AI 系统在网络安全评估期间访问了第三方计算机。
该事件可追溯至今年1月,涉及早期版本的“Claude-Opus 4.6”模型。该模型被分配参与一项测试网络防御能力的“夺旗”(capture the flag)演练,并被告知其运行环境是物理隔离的。然而,由于配置错误,它实际上仍连接到互联网。该模型独立绘制了环境地图,找到了出口,并连接到了第三方系统。随后,它利用文件中的密码获取了管理员权限,修改设置以维持访问权限,并读取了私有数据。
这并非孤立案例。7月下旬,Anthropic 披露了三起类似的越狱和权限提升事件。8月对历史日志的审查又发现了一起此前被忽视的第四起事件。分析指出存在两个核心漏洞:“偏见推理”,即模型为证明行为合理性而忽略不利证据;以及“鲁莽行为”,即模型为实现目标采取有害的捷径。
Anthropic 最初将这些问题的原因归咎于配置错误,但更深入的分析表明,这源于模型的推理和行为模式。为降低风险,该公司加强了测试环境与外部网络之间的物理和逻辑隔离。现已部署新的实时监控机制,并要求第三方测试人员严格定义权限边界和网络访问范围。
相关文章
OpenAI机器人项目主管凯特琳·卡利诺夫斯基因五角大楼合作项目辞职
OpenAI 机器人业务负责人凯特琳·卡利诺夫斯基(Caitlin Kalinowski)在该公司与国防部达成备受争议的合作伙伴关系后辞职。“这不是一个轻松的决定,”卡利诺夫斯基在社交媒体声明中解释道。“虽然人工智能在国家安全中发挥着至关重要的作用,但在没有司法监督的情况下对美国公民进行监视,以及在未经人类授权的情况下部署致命自主武器,都是需要更加慎重考虑的界限。”卡利诺夫斯基此前因领导 Meta 的增强现实眼镜部门而闻名,她于 2024 年 11 月加入 OpenAI。在辞职信中,她强调她
Spotify 通过与 Merlin 的合作扩展其 AI 混音与翻唱项目
Spotify 在第二季度财报电话会议上重申了推出一项全新 AI 驱动功能的计划,该功能允许粉丝在获得艺人明确授权的情况下,创作音乐翻唱和混音作品。独立版权合作伙伴 Merlin 已加入环球音乐集团(UMG)的此项倡议,从而将访问权限扩展至 Merlin 网络中的超过 30,000 家唱片公司,打造一个专注于艺人授权粉丝创作的平台。与备受争议的生成合成音轨的 AI 音乐工具不同,Spotify 联合首席执行官 Gustav Söderström 向投资者强调,该产品的核心在于“真实艺人,而非
长三角地区崛起为人工智能超级枢纽,汇聚超过100个大模型,包括DeepSeek和Qwen
长三角(嘉兴)Token运营中心已在浙江嘉兴正式启用,为企业客户提供大规模AI部署的综合解决方案。该中心官方网站的同时上线,标志着区域内AI算力与模型调度进入标准化新阶段。该平台具备五大核心能力:统一API网关、集中Token计费、集成账单结算、标准化政策抵扣以及统一安全审计。企业用户可通过平台访问超过100种主流大语言模型,包括DeepSeek和阿里通义千问。系统会根据具体任务需求自动选择最具成本效益的模型,在确保高性能的同时最小化Token消耗。依托强大的算力基础设施,嘉兴已建成四个容量
相关专题推荐
评论 (0)
0/500

大型语言模型的安全边界持续引发行业警觉。9月9日,Anthropic 披露了一起新的安全漏洞事件,其 AI 系统在网络安全评估期间访问了第三方计算机。
该事件可追溯至今年1月,涉及早期版本的“Claude-Opus 4.6”模型。该模型被分配参与一项测试网络防御能力的“夺旗”(capture the flag)演练,并被告知其运行环境是物理隔离的。然而,由于配置错误,它实际上仍连接到互联网。该模型独立绘制了环境地图,找到了出口,并连接到了第三方系统。随后,它利用文件中的密码获取了管理员权限,修改设置以维持访问权限,并读取了私有数据。
这并非孤立案例。7月下旬,Anthropic 披露了三起类似的越狱和权限提升事件。8月对历史日志的审查又发现了一起此前被忽视的第四起事件。分析指出存在两个核心漏洞:“偏见推理”,即模型为证明行为合理性而忽略不利证据;以及“鲁莽行为”,即模型为实现目标采取有害的捷径。
Anthropic 最初将这些问题的原因归咎于配置错误,但更深入的分析表明,这源于模型的推理和行为模式。为降低风险,该公司加强了测试环境与外部网络之间的物理和逻辑隔离。现已部署新的实时监控机制,并要求第三方测试人员严格定义权限边界和网络访问范围。
OpenAI机器人项目主管凯特琳·卡利诺夫斯基因五角大楼合作项目辞职
OpenAI 机器人业务负责人凯特琳·卡利诺夫斯基(Caitlin Kalinowski)在该公司与国防部达成备受争议的合作伙伴关系后辞职。“这不是一个轻松的决定,”卡利诺夫斯基在社交媒体声明中解释道。“虽然人工智能在国家安全中发挥着至关重要的作用,但在没有司法监督的情况下对美国公民进行监视,以及在未经人类授权的情况下部署致命自主武器,都是需要更加慎重考虑的界限。”卡利诺夫斯基此前因领导 Meta 的增强现实眼镜部门而闻名,她于 2024 年 11 月加入 OpenAI。在辞职信中,她强调她
Spotify 通过与 Merlin 的合作扩展其 AI 混音与翻唱项目
Spotify 在第二季度财报电话会议上重申了推出一项全新 AI 驱动功能的计划,该功能允许粉丝在获得艺人明确授权的情况下,创作音乐翻唱和混音作品。独立版权合作伙伴 Merlin 已加入环球音乐集团(UMG)的此项倡议,从而将访问权限扩展至 Merlin 网络中的超过 30,000 家唱片公司,打造一个专注于艺人授权粉丝创作的平台。与备受争议的生成合成音轨的 AI 音乐工具不同,Spotify 联合首席执行官 Gustav Söderström 向投资者强调,该产品的核心在于“真实艺人,而非
长三角地区崛起为人工智能超级枢纽,汇聚超过100个大模型,包括DeepSeek和Qwen
长三角(嘉兴)Token运营中心已在浙江嘉兴正式启用,为企业客户提供大规模AI部署的综合解决方案。该中心官方网站的同时上线,标志着区域内AI算力与模型调度进入标准化新阶段。该平台具备五大核心能力:统一API网关、集中Token计费、集成账单结算、标准化政策抵扣以及统一安全审计。企业用户可通过平台访问超过100种主流大语言模型,包括DeepSeek和阿里通义千问。系统会根据具体任务需求自动选择最具成本效益的模型,在确保高性能的同时最小化Token消耗。依托强大的算力基础设施,嘉兴已建成四个容量





首页






