Anthropic 在风险不断上升的情况下实施新的人工智能保障措施

Anthropic 更新了其人工智能聊天机器人 Claude 的使用政策,以解决日益增长的安全问题。除了更严格的网络安全规则外,该公司现在还明确列出了不得使用克劳德开发的危险武器类别。
虽然官方公告没有明确强调其武器政策的变化,但对比新旧使用指南可以发现有重大更新。此前,Anthropic 广泛禁止使用克劳德 "生产、修改、设计、销售或分发武器、爆炸物、危险材料或其他旨在造成人员伤亡的系统"。修订后的政策对此进行了扩展,明确禁止开发高能炸药以及生物、核、化学和放射性(CBRN)武器。
今年 5 月,Anthropic 在推出新的 Claude Opus 4 型号的同时,还推出了 "人工智能安全三级 "保护措施。这些保护措施旨在提高该机型的防越狱能力,并帮助防止其协助制造 CBRN 武器。
在公告中,Anthropic 还承认了与代理型人工智能工具相关的风险,如计算机使用(允许 Claude 控制用户的计算机)和 Claude 代码(将 Claude 直接集成到开发者的终端)。"该公司表示:"这些强大的功能带来了新的风险,包括可能被大规模滥用、创建恶意软件和网络攻击。
相关信息
- Anthropic为军事和情报用途推出新的克劳德服务
- 谷歌放弃不开发人工智能武器的承诺
这家人工智能初创公司正在通过在其使用政策中添加一个名为 "不得破坏计算机或网络系统 "的新章节来应对这些潜在威胁。这一部分包括禁止使用克劳德发现或利用漏洞、创建或分发恶意软件、开发拒绝服务攻击工具以及类似活动的规则。
此外,Anthropic 还放宽了有关政治内容的政策。该公司不再禁止所有与政治活动和游说有关的内容创建,现在只禁止将 Claude 用于 "欺骗或破坏民主进程,或涉及选民和竞选目标的用例"。Anthropic 还澄清,其对所有 "高风险 "用例的要求(适用于 Claude 向个人或客户提供建议的情况)仅适用于面向消费者的场景,不适用于内部业务使用。
相关文章
谷歌AI概述在搜索结果中占据更多席位
根据Similarweb发布的《2026年生成式AI行业概况》报告,谷歌的AI生成的摘要出现在43%的美国搜索结果中,较一年前的15%显著上升。虽然“AI概览”会在标准搜索结果中展示生成的摘要,但“AI模式”则为复杂的查询和后续提示提供了对话式界面。用户可以在不丢失初始搜索上下文的情况下,从“AI概览”切换到“AI模式”。谷歌解释称,“AI模式”采用了一种名为“查询扇出”(query fan-ou
红杉资本投资的Empirik筹集2100万美元,用于在故障发生前进行预测
在2020年加入红杉资本担任首席数字与信息官之前,阿文·普里曾在Rubrik和VMware负责基础设施管理工作长达十余年。 三年前,当大型语言模型开始展现其真正潜力时,普里与红杉资本的另一位IT负责人苏迪尔·杜尔贾蒂(Sudheer Dhurjati)意识到,人工智能能够帮助自主解决基础设施工程师面临的一大挑战——在技术故障发生前就加以预防。这两位技术界资深人士意识到,与其在系统故障发生后被动应对
ElevenLabs 引入 BlackRock、杰米·福克斯和洛琳加作为新投资者
ElevenLabs,语音人工智能领域的领军企业,宣布了其5亿美元D轮融资的新增参与者,该轮融资最初于2月公布。目前投资者名单包括黑石集团(BlackRock)、惠灵顿管理公司(Wellington)、D.E. Shaw和施罗德投资(Schroders)等主要机构,以及英伟达(NVIDIA)、Salesforce、桑坦德银行(Santander)、荷兰皇家电信(KPN)和德国电信(Deutsche Telekom)等战略企业支持者。加入本轮融资的知名个人投资者包括演员杰米·福克斯(Jamie F
相关专题推荐
评论 (1)
0/500
Les mises à jour de politique me rappellent que les IA comme Claude sont des outils qui peuvent avoir des utilisations à double tranchant. 🔧 C'est rassurant de voir les entreprises prendre des initiatives, mais une réglementation internationale ne serait-elle pas plus efficace contre certains dangers ? En tout cas, voilà un pas dans la bonne direction.

Anthropic 更新了其人工智能聊天机器人 Claude 的使用政策,以解决日益增长的安全问题。除了更严格的网络安全规则外,该公司现在还明确列出了不得使用克劳德开发的危险武器类别。
虽然官方公告没有明确强调其武器政策的变化,但对比新旧使用指南可以发现有重大更新。此前,Anthropic 广泛禁止使用克劳德 "生产、修改、设计、销售或分发武器、爆炸物、危险材料或其他旨在造成人员伤亡的系统"。修订后的政策对此进行了扩展,明确禁止开发高能炸药以及生物、核、化学和放射性(CBRN)武器。
今年 5 月,Anthropic 在推出新的 Claude Opus 4 型号的同时,还推出了 "人工智能安全三级 "保护措施。这些保护措施旨在提高该机型的防越狱能力,并帮助防止其协助制造 CBRN 武器。
在公告中,Anthropic 还承认了与代理型人工智能工具相关的风险,如计算机使用(允许 Claude 控制用户的计算机)和 Claude 代码(将 Claude 直接集成到开发者的终端)。"该公司表示:"这些强大的功能带来了新的风险,包括可能被大规模滥用、创建恶意软件和网络攻击。
相关信息
- Anthropic为军事和情报用途推出新的克劳德服务
- 谷歌放弃不开发人工智能武器的承诺
这家人工智能初创公司正在通过在其使用政策中添加一个名为 "不得破坏计算机或网络系统 "的新章节来应对这些潜在威胁。这一部分包括禁止使用克劳德发现或利用漏洞、创建或分发恶意软件、开发拒绝服务攻击工具以及类似活动的规则。
此外,Anthropic 还放宽了有关政治内容的政策。该公司不再禁止所有与政治活动和游说有关的内容创建,现在只禁止将 Claude 用于 "欺骗或破坏民主进程,或涉及选民和竞选目标的用例"。Anthropic 还澄清,其对所有 "高风险 "用例的要求(适用于 Claude 向个人或客户提供建议的情况)仅适用于面向消费者的场景,不适用于内部业务使用。
谷歌AI概述在搜索结果中占据更多席位
根据Similarweb发布的《2026年生成式AI行业概况》报告,谷歌的AI生成的摘要出现在43%的美国搜索结果中,较一年前的15%显著上升。虽然“AI概览”会在标准搜索结果中展示生成的摘要,但“AI模式”则为复杂的查询和后续提示提供了对话式界面。用户可以在不丢失初始搜索上下文的情况下,从“AI概览”切换到“AI模式”。谷歌解释称,“AI模式”采用了一种名为“查询扇出”(query fan-ou
红杉资本投资的Empirik筹集2100万美元,用于在故障发生前进行预测
在2020年加入红杉资本担任首席数字与信息官之前,阿文·普里曾在Rubrik和VMware负责基础设施管理工作长达十余年。 三年前,当大型语言模型开始展现其真正潜力时,普里与红杉资本的另一位IT负责人苏迪尔·杜尔贾蒂(Sudheer Dhurjati)意识到,人工智能能够帮助自主解决基础设施工程师面临的一大挑战——在技术故障发生前就加以预防。这两位技术界资深人士意识到,与其在系统故障发生后被动应对
ElevenLabs 引入 BlackRock、杰米·福克斯和洛琳加作为新投资者
ElevenLabs,语音人工智能领域的领军企业,宣布了其5亿美元D轮融资的新增参与者,该轮融资最初于2月公布。目前投资者名单包括黑石集团(BlackRock)、惠灵顿管理公司(Wellington)、D.E. Shaw和施罗德投资(Schroders)等主要机构,以及英伟达(NVIDIA)、Salesforce、桑坦德银行(Santander)、荷兰皇家电信(KPN)和德国电信(Deutsche Telekom)等战略企业支持者。加入本轮融资的知名个人投资者包括演员杰米·福克斯(Jamie F
Les mises à jour de politique me rappellent que les IA comme Claude sont des outils qui peuvent avoir des utilisations à double tranchant. 🔧 C'est rassurant de voir les entreprises prendre des initiatives, mais une réglementation internationale ne serait-elle pas plus efficace contre certains dangers ? En tout cas, voilà un pas dans la bonne direction.





首页






