Anthropic 为其克劳德模型推出终止辱骂性聊天的功能

Anthropic 推出了一项新功能,使特定的高级模型能够在该公司所称的 "罕见的、极端的、持续有害或滥用用户互动的情况下终止对话"。值得注意的是,Anthropic 表示实施这一措施不是为了保护人类用户,而是为了保护人工智能模型本身。
需要澄清的是,该公司并没有断言其克劳德人工智能模型拥有感知能力,也不会从用户对话中感受到伤害。正如 Anthropic 所解释的那样,该公司 "对克劳德和其他大型语言模型目前或将来的潜在道德地位仍有很大的不确定性"。
尽管如此,公告中还是提到了最近建立的一项研究 "模型福利 "的计划,表明 Anthropic 正在采取一种预防性方法,"努力确定并实施低成本的干预措施,以减轻模型福利所面临的风险,如果这种福利变得相关的话"。
这项新功能目前仅限于克劳德 Opus 4 和 4.1 模型,专为 "极端边缘情况 "而设计,例如 "请求获取涉及未成年人的性内容或试图获取可促成大规模暴力或恐怖活动的信息"。
虽然此类请求可能会给 Anthropic 带来法律或公共关系方面的挑战(正如最近有关 ChatGPT 可能会强化用户妄想思维的报道所示),但该公司报告称,在部署前测试中,Claude Opus 4 表现出 "强烈反对 "遵守这些请求,并在被迫做出回应时显示出 "暗示痛苦的模式"。
关于这些新的结束对话功能,Anthropic 澄清说:"克劳德被指示只有在多次重定向尝试失败且似乎不可能进行富有成效的对话时,或者在用户明确要求结束聊天时,才作为最后手段使用该功能。
Anthropic 还指出,克劳德 "被指示在用户可能面临自残或伤害他人的紧迫风险时不要使用这一功能"。
Techcrunch 活动科技界和风险投资界的重量级人物加入 "颠覆 2025 "议程
Netflix、ElevenLabs、Wayve、红杉资本(Sequoia Capital)、埃拉德-吉尔(Elad Gil)--这些都是加入 "颠覆 2025 "议程的行业领导者。他们将分享重要的见解,以加速初创企业的成长并增强您的竞争优势。千万不要错过 TechCrunch Disrupt 20 周年纪念版 - 现在购买门票,可在价格上涨前节省 600 多美元。
技术和风险投资领域的重量级人物加入 Disrupt 2025 议程
Netflix、ElevenLabs、Wayve、红杉资本等知名创新企业加入了 Disrupt 2025 议程。他们将在这里提供有价值的见解,推动初创企业的扩张,提升您的竞争定位。加入我们的 TechCrunch Disrupt 20 周年庆典 - 今天就购买门票,在价格变动之前最多可节省 675 美元。
旧金山 2025 年 10 月 27-29 日 立即注册当克劳德终止对话时,Anthropic指出用户仍然可以从同一账户发起新的对话,并通过修改之前的回复创建其他对话分支。
"该公司表示:"我们正在将这项功能作为一项持续实验,并将继续改进我们的方法。
相关文章
Anthropic 推出 Opus 4.8,新增动态工作流工具
Anthropic 于周四发布了 Opus 4.8,这是其旗舰公开模型的最新版本。该版本定价与前一版本相同,目前已在所有平台上开放使用。距离 Opus 4.7 发布仅过去 41 天,Anthropic 显著加快了开发周期,远超近期 Sonnet 和 Haiku 版本三至七个月的发布间隔。此次快速更新很可能是对 Opus 4.7 反响平平的回应——该版本曾令许多用户感到失望。与此同时,OpenAI的
Anthropic 正式推出 Claude Fable 5,这是 Mythos 的公开版本
Anthropic首次向公众开放其最强大的人工智能模型——但已采取相应的安全措施。本周二,该公司推出了 Claude Fable 5,这是其 Mythos 模型的首次公开发布。 据Anthropic介绍,Fable 5在软件工程、知识工作和视觉任务方面表现优异,但附带严格的安全限制。在网络安全、生物学、化学和蒸馏等高风险领域,该模型将拒绝回答问题,转而交由Claude Opus 4.8处理。M
SandboxAQ将药物发现领域的AI技术引入Claude,无需拥有计算机科学博士学位即可使用。
药物发现依然是现代工业领域成本最高的挑战之一。要找到一种具备应用价值的分子,往往需要十年的时间以及数十亿美元的投入,而且大多数候选分子最终仍会失败。目前有一波人工智能初创企业宣称能够改变这一现状——不过这些公司大多仅能让那些已具备足够技术能力的研究人员稍显便利些许。然而SandboxAQ认为,真正的瓶颈并非模型本身,而是界面设计。该公司与Anthropic合作,将其科学类人工智能模型直接集成到Claude中,使得强大的药物发现和材料科学工具能够通过对话式界面被使用,且无需任何专门的计算基础设
相关专题推荐
评论 (1)
0/500

Anthropic 推出了一项新功能,使特定的高级模型能够在该公司所称的 "罕见的、极端的、持续有害或滥用用户互动的情况下终止对话"。值得注意的是,Anthropic 表示实施这一措施不是为了保护人类用户,而是为了保护人工智能模型本身。
需要澄清的是,该公司并没有断言其克劳德人工智能模型拥有感知能力,也不会从用户对话中感受到伤害。正如 Anthropic 所解释的那样,该公司 "对克劳德和其他大型语言模型目前或将来的潜在道德地位仍有很大的不确定性"。
尽管如此,公告中还是提到了最近建立的一项研究 "模型福利 "的计划,表明 Anthropic 正在采取一种预防性方法,"努力确定并实施低成本的干预措施,以减轻模型福利所面临的风险,如果这种福利变得相关的话"。
这项新功能目前仅限于克劳德 Opus 4 和 4.1 模型,专为 "极端边缘情况 "而设计,例如 "请求获取涉及未成年人的性内容或试图获取可促成大规模暴力或恐怖活动的信息"。
虽然此类请求可能会给 Anthropic 带来法律或公共关系方面的挑战(正如最近有关 ChatGPT 可能会强化用户妄想思维的报道所示),但该公司报告称,在部署前测试中,Claude Opus 4 表现出 "强烈反对 "遵守这些请求,并在被迫做出回应时显示出 "暗示痛苦的模式"。
关于这些新的结束对话功能,Anthropic 澄清说:"克劳德被指示只有在多次重定向尝试失败且似乎不可能进行富有成效的对话时,或者在用户明确要求结束聊天时,才作为最后手段使用该功能。
Anthropic 还指出,克劳德 "被指示在用户可能面临自残或伤害他人的紧迫风险时不要使用这一功能"。
Techcrunch 活动科技界和风险投资界的重量级人物加入 "颠覆 2025 "议程
Netflix、ElevenLabs、Wayve、红杉资本(Sequoia Capital)、埃拉德-吉尔(Elad Gil)--这些都是加入 "颠覆 2025 "议程的行业领导者。他们将分享重要的见解,以加速初创企业的成长并增强您的竞争优势。千万不要错过 TechCrunch Disrupt 20 周年纪念版 - 现在购买门票,可在价格上涨前节省 600 多美元。
技术和风险投资领域的重量级人物加入 Disrupt 2025 议程
Netflix、ElevenLabs、Wayve、红杉资本等知名创新企业加入了 Disrupt 2025 议程。他们将在这里提供有价值的见解,推动初创企业的扩张,提升您的竞争定位。加入我们的 TechCrunch Disrupt 20 周年庆典 - 今天就购买门票,在价格变动之前最多可节省 675 美元。
旧金山 2025 年 10 月 27-29 日 立即注册当克劳德终止对话时,Anthropic指出用户仍然可以从同一账户发起新的对话,并通过修改之前的回复创建其他对话分支。
"该公司表示:"我们正在将这项功能作为一项持续实验,并将继续改进我们的方法。
Anthropic 推出 Opus 4.8,新增动态工作流工具
Anthropic 于周四发布了 Opus 4.8,这是其旗舰公开模型的最新版本。该版本定价与前一版本相同,目前已在所有平台上开放使用。距离 Opus 4.7 发布仅过去 41 天,Anthropic 显著加快了开发周期,远超近期 Sonnet 和 Haiku 版本三至七个月的发布间隔。此次快速更新很可能是对 Opus 4.7 反响平平的回应——该版本曾令许多用户感到失望。与此同时,OpenAI的
Anthropic 正式推出 Claude Fable 5,这是 Mythos 的公开版本
Anthropic首次向公众开放其最强大的人工智能模型——但已采取相应的安全措施。本周二,该公司推出了 Claude Fable 5,这是其 Mythos 模型的首次公开发布。 据Anthropic介绍,Fable 5在软件工程、知识工作和视觉任务方面表现优异,但附带严格的安全限制。在网络安全、生物学、化学和蒸馏等高风险领域,该模型将拒绝回答问题,转而交由Claude Opus 4.8处理。M
SandboxAQ将药物发现领域的AI技术引入Claude,无需拥有计算机科学博士学位即可使用。
药物发现依然是现代工业领域成本最高的挑战之一。要找到一种具备应用价值的分子,往往需要十年的时间以及数十亿美元的投入,而且大多数候选分子最终仍会失败。目前有一波人工智能初创企业宣称能够改变这一现状——不过这些公司大多仅能让那些已具备足够技术能力的研究人员稍显便利些许。然而SandboxAQ认为,真正的瓶颈并非模型本身,而是界面设计。该公司与Anthropic合作,将其科学类人工智能模型直接集成到Claude中,使得强大的药物发现和材料科学工具能够通过对话式界面被使用,且无需任何专门的计算基础设





首页






