Anthropic 為其 Claude 模型推出終止濫用聊天的功能

Anthropic 已推出新功能,讓精選的進階模型能夠在該公司所謂的「罕見、極端且持續有害或濫用使用者互動的情況下」終止對話。值得注意的是,Anthropic 表示實施這項措施並非為了保護人類使用者,而是為了保護 AI 模型本身。
要澄清的是,該公司並不斷言其 Claude AI 模型擁有感知能力,也不會因使用者的對話而受到傷害。正如 Anthropic 所解釋的,該公司仍「高度不確定 Claude 及其他大型語言模型目前或未來的潛在道德地位」。
儘管如此,公告中提到最近成立的「模型福利」檢視計畫,表示 Anthropic 正在採取預防方法,「努力找出並實施低成本的干預措施,以降低模型福利的風險,如果這種福利變得相關的話。
這項新功能目前僅限於 Claude Opus 4 與 4.1 機型,專為「極端邊緣情況」所設計,例如「要求提供涉及未成年人的性內容,或嘗試取得可促成大規模暴力或恐怖活動的資訊」。
雖然這些要求可能會對 Anthropic 造成法律或公共關係上的挑戰 (就像最近有關 ChatGPT 可能會強化使用者妄想思維的報導一樣),但該公司表示,在部署前的測試中,Claude Opus 4 表現出「強烈反對」遵從這些要求的傾向,並在被迫回應時展現出「顯示困擾的模式」。
關於這些結束對話的新功能,Anthropic 澄清說:「Claude 被指示只有在多次重新導向嘗試失敗、顯然無法進行有效對話,或使用者明確要求結束聊天時,才會使用這項功能作為最後手段。
Anthropic 進一步說明,Claude 已被指示「在使用者可能面臨自我傷害或傷害他人的迫切風險時,不得使用此功能」。
Techcrunch 活動科技與創投重量級人物加入 Disrupt 2025 議程
Netflix、ElevenLabs、Wayve、Sequoia Capital、Elad Gil,這些都是加入 Disrupt 2025 議程的產業領導者。他們將與您分享加速創業公司成長的重要見解,並強化您的競爭優勢。千萬不要錯過 TechCrunch Disrupt 20 週年紀念版 - 立即購買門票,可在價格上漲前節省超過 600 美元。
科技與創投重量級人物加入 Disrupt 2025 議程
Netflix、ElevenLabs、Wayve、紅杉資本等知名創新者加入 Disrupt 2025 議程。他們將在此提供寶貴的見解,以推動新創公司擴張,並提升您的競爭定位。參加 TechCrunch Disrupt 20 週年慶祝活動 - 立即購買門票,在價格變更前可節省高達 675 美元。
舊金山 | 2025 年 10 月 27-29 日 立即報名當 Claude 終止對話時,Anthropic 指出使用者仍可從同一帳戶啟動新對話,並透過修改之前的回應建立替代對話分支。
"該公司表示:「我們將此功能視為一項持續實驗,並將持續改進我們的方法。
相關文章
Anthropic 擴大與 Google 及 Broadrom 的運算合作夥伴關係
人工智慧研究實驗室 Anthropic 週一宣布,已與 Google 和 Broadcom 達成一項新協議,旨在大幅提升其 Claude AI 模型背後的處理與運算能力。隨著對其 AI 產品的需求持續快速攀升,該公司對運算合作夥伴關係進行了此次重組。這項協議將擴大Anthropic對Google Cloud張量處理單元(TPUs)——即該公司專用的AI晶片——的運用,並延續2025年10月簽署的一
隨著用戶轉移陣地,Claude 在 ChatGPT 市場中穩步擴張
隨著 ChatGPT 及其母公司 OpenAI 捲入一系列爭議,越來越多的使用者正轉向使用 Claude。轉捩點發生在 Claude 的開發商 Anthropic 拒絕美國國防部要求,不願讓其 AI 模型用於大規模國內監控或全自動武器系統之後。作為報復,川普總統下令所有聯邦機構停止使用 Anthropic 的產品,國防部長皮特·赫格塞斯更將該公司列為供應鏈威脅。不久之後,OpenAI 透露了與五角
Anthropic 與五角大廈的對峙對國家安全意味著什麼
過去兩週,輿論焦點主要集中在 Anthropic 執行長達里奧·阿莫迪(Dario Amodei)與國防部長皮特·赫格塞斯(Pete Hegseth)之間的一場公開對峙,核心議題是軍方對人工智慧技術的應用。Anthropic 已制定政策,禁止其人工智慧模型被用於對美國公民進行大規模監控,或用於在未經人類批准的情況下發動攻擊的完全自主武器系統。相較之下,赫格塞斯部長主張國防部不應受供應商規則的約束,
相關專題推薦
評論 (1)
0/500

Anthropic 已推出新功能,讓精選的進階模型能夠在該公司所謂的「罕見、極端且持續有害或濫用使用者互動的情況下」終止對話。值得注意的是,Anthropic 表示實施這項措施並非為了保護人類使用者,而是為了保護 AI 模型本身。
要澄清的是,該公司並不斷言其 Claude AI 模型擁有感知能力,也不會因使用者的對話而受到傷害。正如 Anthropic 所解釋的,該公司仍「高度不確定 Claude 及其他大型語言模型目前或未來的潛在道德地位」。
儘管如此,公告中提到最近成立的「模型福利」檢視計畫,表示 Anthropic 正在採取預防方法,「努力找出並實施低成本的干預措施,以降低模型福利的風險,如果這種福利變得相關的話。
這項新功能目前僅限於 Claude Opus 4 與 4.1 機型,專為「極端邊緣情況」所設計,例如「要求提供涉及未成年人的性內容,或嘗試取得可促成大規模暴力或恐怖活動的資訊」。
雖然這些要求可能會對 Anthropic 造成法律或公共關係上的挑戰 (就像最近有關 ChatGPT 可能會強化使用者妄想思維的報導一樣),但該公司表示,在部署前的測試中,Claude Opus 4 表現出「強烈反對」遵從這些要求的傾向,並在被迫回應時展現出「顯示困擾的模式」。
關於這些結束對話的新功能,Anthropic 澄清說:「Claude 被指示只有在多次重新導向嘗試失敗、顯然無法進行有效對話,或使用者明確要求結束聊天時,才會使用這項功能作為最後手段。
Anthropic 進一步說明,Claude 已被指示「在使用者可能面臨自我傷害或傷害他人的迫切風險時,不得使用此功能」。
Techcrunch 活動科技與創投重量級人物加入 Disrupt 2025 議程
Netflix、ElevenLabs、Wayve、Sequoia Capital、Elad Gil,這些都是加入 Disrupt 2025 議程的產業領導者。他們將與您分享加速創業公司成長的重要見解,並強化您的競爭優勢。千萬不要錯過 TechCrunch Disrupt 20 週年紀念版 - 立即購買門票,可在價格上漲前節省超過 600 美元。
科技與創投重量級人物加入 Disrupt 2025 議程
Netflix、ElevenLabs、Wayve、紅杉資本等知名創新者加入 Disrupt 2025 議程。他們將在此提供寶貴的見解,以推動新創公司擴張,並提升您的競爭定位。參加 TechCrunch Disrupt 20 週年慶祝活動 - 立即購買門票,在價格變更前可節省高達 675 美元。
舊金山 | 2025 年 10 月 27-29 日 立即報名當 Claude 終止對話時,Anthropic 指出使用者仍可從同一帳戶啟動新對話,並透過修改之前的回應建立替代對話分支。
"該公司表示:「我們將此功能視為一項持續實驗,並將持續改進我們的方法。
Anthropic 擴大與 Google 及 Broadrom 的運算合作夥伴關係
人工智慧研究實驗室 Anthropic 週一宣布,已與 Google 和 Broadcom 達成一項新協議,旨在大幅提升其 Claude AI 模型背後的處理與運算能力。隨著對其 AI 產品的需求持續快速攀升,該公司對運算合作夥伴關係進行了此次重組。這項協議將擴大Anthropic對Google Cloud張量處理單元(TPUs)——即該公司專用的AI晶片——的運用,並延續2025年10月簽署的一
隨著用戶轉移陣地,Claude 在 ChatGPT 市場中穩步擴張
隨著 ChatGPT 及其母公司 OpenAI 捲入一系列爭議,越來越多的使用者正轉向使用 Claude。轉捩點發生在 Claude 的開發商 Anthropic 拒絕美國國防部要求,不願讓其 AI 模型用於大規模國內監控或全自動武器系統之後。作為報復,川普總統下令所有聯邦機構停止使用 Anthropic 的產品,國防部長皮特·赫格塞斯更將該公司列為供應鏈威脅。不久之後,OpenAI 透露了與五角
Anthropic 與五角大廈的對峙對國家安全意味著什麼
過去兩週,輿論焦點主要集中在 Anthropic 執行長達里奧·阿莫迪(Dario Amodei)與國防部長皮特·赫格塞斯(Pete Hegseth)之間的一場公開對峙,核心議題是軍方對人工智慧技術的應用。Anthropic 已制定政策,禁止其人工智慧模型被用於對美國公民進行大規模監控,或用於在未經人類批准的情況下發動攻擊的完全自主武器系統。相較之下,赫格塞斯部長主張國防部不應受供應商規則的約束,





首頁






