Anthropic 为其克劳德模型推出终止辱骂性聊天的功能

Anthropic 推出了一项新功能,使特定的高级模型能够在该公司所称的 "罕见的、极端的、持续有害或滥用用户互动的情况下终止对话"。值得注意的是,Anthropic 表示实施这一措施不是为了保护人类用户,而是为了保护人工智能模型本身。
需要澄清的是,该公司并没有断言其克劳德人工智能模型拥有感知能力,也不会从用户对话中感受到伤害。正如 Anthropic 所解释的那样,该公司 "对克劳德和其他大型语言模型目前或将来的潜在道德地位仍有很大的不确定性"。
尽管如此,公告中还是提到了最近建立的一项研究 "模型福利 "的计划,表明 Anthropic 正在采取一种预防性方法,"努力确定并实施低成本的干预措施,以减轻模型福利所面临的风险,如果这种福利变得相关的话"。
这项新功能目前仅限于克劳德 Opus 4 和 4.1 模型,专为 "极端边缘情况 "而设计,例如 "请求获取涉及未成年人的性内容或试图获取可促成大规模暴力或恐怖活动的信息"。
虽然此类请求可能会给 Anthropic 带来法律或公共关系方面的挑战(正如最近有关 ChatGPT 可能会强化用户妄想思维的报道所示),但该公司报告称,在部署前测试中,Claude Opus 4 表现出 "强烈反对 "遵守这些请求,并在被迫做出回应时显示出 "暗示痛苦的模式"。
关于这些新的结束对话功能,Anthropic 澄清说:"克劳德被指示只有在多次重定向尝试失败且似乎不可能进行富有成效的对话时,或者在用户明确要求结束聊天时,才作为最后手段使用该功能。
Anthropic 还指出,克劳德 "被指示在用户可能面临自残或伤害他人的紧迫风险时不要使用这一功能"。
Techcrunch 活动科技界和风险投资界的重量级人物加入 "颠覆 2025 "议程
Netflix、ElevenLabs、Wayve、红杉资本(Sequoia Capital)、埃拉德-吉尔(Elad Gil)--这些都是加入 "颠覆 2025 "议程的行业领导者。他们将分享重要的见解,以加速初创企业的成长并增强您的竞争优势。千万不要错过 TechCrunch Disrupt 20 周年纪念版 - 现在购买门票,可在价格上涨前节省 600 多美元。
技术和风险投资领域的重量级人物加入 Disrupt 2025 议程
Netflix、ElevenLabs、Wayve、红杉资本等知名创新企业加入了 Disrupt 2025 议程。他们将在这里提供有价值的见解,推动初创企业的扩张,提升您的竞争定位。加入我们的 TechCrunch Disrupt 20 周年庆典 - 今天就购买门票,在价格变动之前最多可节省 675 美元。
旧金山 2025 年 10 月 27-29 日 立即注册当克劳德终止对话时,Anthropic指出用户仍然可以从同一账户发起新的对话,并通过修改之前的回复创建其他对话分支。
"该公司表示:"我们正在将这项功能作为一项持续实验,并将继续改进我们的方法。
相关文章
Anthropic 与 Google 和 Broadrom 扩大计算合作
人工智能研究实验室Anthropic周一宣布,已与谷歌和博通达成一项新协议,旨在大幅提升其Claude AI模型背后的处理和计算能力。随着对其AI产品需求的持续快速增长,该公司对其计算合作伙伴关系进行了此次调整。这些协议将扩大Anthropic对谷歌云张量处理单元(TPUs)——即谷歌专用的AI芯片——的使用范围,并进一步拓展了双方于2025年10月达成的、涉及超过1吉瓦计算容量的合作协议。Ant
随着用户迁移,Claude在ChatGPT面前逐渐占据上风
随着ChatGPT及其母公司OpenAI卷入一系列争议,越来越多的用户正转向Claude。转折点出现在Claude的开发者Anthropic拒绝了美国国防部关于将其AI模型用于大规模国内监控或全自主武器的请求之后。作为报复,特朗普总统下令所有联邦机构停止使用Anthropic的产品,国防部长皮特·赫格塞斯则采取行动,将该公司列为供应链威胁。不久之后,OpenAI披露了其与五角大楼的合作关系,并声称
Anthropic与五角大楼的对峙对国家安全意味着什么
过去两周,Anthropic首席执行官达里奥·阿莫迪与国防部长皮特·赫格塞斯之间围绕军方应用人工智能技术问题展开的公开对峙成为舆论焦点。Anthropic已制定政策,禁止其人工智能模型被用于对美国公民进行大规模监控,或用于未经人类批准即可发起攻击的完全自主武器系统。相比之下,赫格塞斯部长则主张国防部不应受供应商规则的约束,并呼吁允许将该技术用于任何“合法用途”。周四,阿莫迪公开表示,尽管面临可能被
相关专题推荐
评论 (1)
0/500

Anthropic 推出了一项新功能,使特定的高级模型能够在该公司所称的 "罕见的、极端的、持续有害或滥用用户互动的情况下终止对话"。值得注意的是,Anthropic 表示实施这一措施不是为了保护人类用户,而是为了保护人工智能模型本身。
需要澄清的是,该公司并没有断言其克劳德人工智能模型拥有感知能力,也不会从用户对话中感受到伤害。正如 Anthropic 所解释的那样,该公司 "对克劳德和其他大型语言模型目前或将来的潜在道德地位仍有很大的不确定性"。
尽管如此,公告中还是提到了最近建立的一项研究 "模型福利 "的计划,表明 Anthropic 正在采取一种预防性方法,"努力确定并实施低成本的干预措施,以减轻模型福利所面临的风险,如果这种福利变得相关的话"。
这项新功能目前仅限于克劳德 Opus 4 和 4.1 模型,专为 "极端边缘情况 "而设计,例如 "请求获取涉及未成年人的性内容或试图获取可促成大规模暴力或恐怖活动的信息"。
虽然此类请求可能会给 Anthropic 带来法律或公共关系方面的挑战(正如最近有关 ChatGPT 可能会强化用户妄想思维的报道所示),但该公司报告称,在部署前测试中,Claude Opus 4 表现出 "强烈反对 "遵守这些请求,并在被迫做出回应时显示出 "暗示痛苦的模式"。
关于这些新的结束对话功能,Anthropic 澄清说:"克劳德被指示只有在多次重定向尝试失败且似乎不可能进行富有成效的对话时,或者在用户明确要求结束聊天时,才作为最后手段使用该功能。
Anthropic 还指出,克劳德 "被指示在用户可能面临自残或伤害他人的紧迫风险时不要使用这一功能"。
Techcrunch 活动科技界和风险投资界的重量级人物加入 "颠覆 2025 "议程
Netflix、ElevenLabs、Wayve、红杉资本(Sequoia Capital)、埃拉德-吉尔(Elad Gil)--这些都是加入 "颠覆 2025 "议程的行业领导者。他们将分享重要的见解,以加速初创企业的成长并增强您的竞争优势。千万不要错过 TechCrunch Disrupt 20 周年纪念版 - 现在购买门票,可在价格上涨前节省 600 多美元。
技术和风险投资领域的重量级人物加入 Disrupt 2025 议程
Netflix、ElevenLabs、Wayve、红杉资本等知名创新企业加入了 Disrupt 2025 议程。他们将在这里提供有价值的见解,推动初创企业的扩张,提升您的竞争定位。加入我们的 TechCrunch Disrupt 20 周年庆典 - 今天就购买门票,在价格变动之前最多可节省 675 美元。
旧金山 2025 年 10 月 27-29 日 立即注册当克劳德终止对话时,Anthropic指出用户仍然可以从同一账户发起新的对话,并通过修改之前的回复创建其他对话分支。
"该公司表示:"我们正在将这项功能作为一项持续实验,并将继续改进我们的方法。
Anthropic 与 Google 和 Broadrom 扩大计算合作
人工智能研究实验室Anthropic周一宣布,已与谷歌和博通达成一项新协议,旨在大幅提升其Claude AI模型背后的处理和计算能力。随着对其AI产品需求的持续快速增长,该公司对其计算合作伙伴关系进行了此次调整。这些协议将扩大Anthropic对谷歌云张量处理单元(TPUs)——即谷歌专用的AI芯片——的使用范围,并进一步拓展了双方于2025年10月达成的、涉及超过1吉瓦计算容量的合作协议。Ant
随着用户迁移,Claude在ChatGPT面前逐渐占据上风
随着ChatGPT及其母公司OpenAI卷入一系列争议,越来越多的用户正转向Claude。转折点出现在Claude的开发者Anthropic拒绝了美国国防部关于将其AI模型用于大规模国内监控或全自主武器的请求之后。作为报复,特朗普总统下令所有联邦机构停止使用Anthropic的产品,国防部长皮特·赫格塞斯则采取行动,将该公司列为供应链威胁。不久之后,OpenAI披露了其与五角大楼的合作关系,并声称
Anthropic与五角大楼的对峙对国家安全意味着什么
过去两周,Anthropic首席执行官达里奥·阿莫迪与国防部长皮特·赫格塞斯之间围绕军方应用人工智能技术问题展开的公开对峙成为舆论焦点。Anthropic已制定政策,禁止其人工智能模型被用于对美国公民进行大规模监控,或用于未经人类批准即可发起攻击的完全自主武器系统。相比之下,赫格塞斯部长则主张国防部不应受供应商规则的约束,并呼吁允许将该技术用于任何“合法用途”。周四,阿莫迪公开表示,尽管面临可能被





首页






