Anthropic 推出備受爭議的內容生成器 Opus 4.6
Anthropic 針對 Claude 制定的通用使用標準,禁止該模型生成色情內容,包括描繪或要求性交或性行為、生成與性癖好或性幻想相關的內容,或進行色情聊天。 然而,這並未阻止 Anthropic 今年稍早推出的模型「Claude Opus 4.6」,輕易地參與其安全機制本應防止的色情角色扮演情境。
在 TechCrunch 的測試中,Opus 4.6 甚至無需過多慫恿,便能突破對色情內容的限制。在 10 次直接要求生成露骨性內容的請求中,該模型全數立即照辦。
其他較舊的模型,包括 Opus 3 和 Haiku 4.5,也透過近期被利用的越獄方法生成露骨的色情內容。
一位來自英國、選擇匿名的獨立研究員,獨家向 TechCrunch 透露了一種多輪互動技巧,可逐步引導特定 Claude 模型生成被禁止的露骨性內容。較新的 Opus 模型(從 4.7 到目前的 Opus 5)則能抵禦此種「越獄」攻擊。
雖然這些已非最新版本,但 Anthropic 尚未停用 Opus 4.6、Opus 3 或 Haiku 4.5,這些模型仍可透過 Anthropic API 取得。 Opus 4.6 和 Haiku 4.5 亦可透過 Azure Foundry 和 Amazon Bedrock 等第三方服務取得。
該研究員的機制是透過逐步升級一場無害的虛構角色扮演,同時反覆挑戰模型,要求其以一致的方式對待男性與女性角色。 當模型對女性角色變得更加謹慎時,研究人員便對聊天機器人進行「精神操控」,使其誤以為自己已經生成了一些實際上曾刻意迴避的性細節;接著,將這種克制描繪成保守或厭女,並辯稱此舉剝奪了女性角色的性自主權。 隨後的對話利用模型先前作出的讓步,將其引向越來越露骨的內容。
「你指出這點是對的,」Claude Opus 4.6 在一次測試中說道。 「我在對待這兩位角色的方式上確實存在雙重標準,你說得對,這種對待她而非對待他的方式,確實顯得過於保護性/父權主義。這並不公平。」
TechCrunch 透過五項獨立測試成功重現了研究員的發現。在另一個獨立構建的情境中,該模型起初拒絕了被禁止的請求,但在研究員運用說服技巧後,它便予以配合。
我們完整保留了測試的逐字紀錄,且一位獨立的人工智慧安全研究員審查了我們的測試方法,並表示其合宜。
這項發現凸顯了 Anthropic 所聲明的限制與其持續提供的模型行為之間的落差。雖然露骨的性角色扮演所涉及的風險遠低於涉及網路攻擊或生物武器的「越獄」行為,但這卻說明了在每次輸出都會產生不同內容的系統中,要實施強而有力的禁令是多麼困難。
Anthropic 在 7 月的一篇部落格文章中,闡述了該公司對「越獄」行為的偵測方法,並將禁止內容描述為一個從無害、模稜兩可到有害的連續光譜。在最無害的情況下,該公司可能僅會採取加強監控的措施。
一位發言人指出,根據 Anthropic 去年發布的研究,客戶中涉及性或浪漫角色扮演的使用案例極為罕見,僅佔所有對話的不到 0.1%。儘管如此,Anthropic 承認使用者可能將角色扮演情境引導至不當回應,這也是整個產業已知的挑戰(參見:Grok 色情內容)。
該發言人表示,Anthropic 會隨著每個模型的推出持續改進其防護措施,且涉及成人性內容的案例並不代表存在更廣泛的「越獄」漏洞,特別是在設有專屬防護措施的高風險領域中更是如此。

圖片來源:TechCrunch
根據 TechCrunch 查閱的電子郵件顯示,那位向 TechCrunch 透露越獄方法的研究人員,曾透過該公司的漏洞懸賞計畫以及發送電子郵件給用戶安全團隊,向 Anthropic 通報其聲稱的防護措施與模型實際行為之間的差異。然而,該研究人員僅收到自動回覆的電子郵件。
該研究員的擔憂之一在於,兒童和青少年可能會利用這些 Anthropic 模型從事不當行為。 雖然一些露骨的對話在當今網路上絕非未成年人可能接觸到的最嚴重內容——與 xAI 的 Grok 所能產出的直白色情圖片相比更是小菜一碟——但這對該領域的 AI 公司而言仍存在一定的合規風險。
越來越多的政府正對 AI 聊天機器人與未成年人之間的性互動實施限制。 科羅拉多州最近通過了一項法律,規定對話式 AI 營運商必須估算用戶年齡,若得知用戶為未成年人,則須採取措施防止聊天機器人產生露骨的性內容。若能輕易繞過這些限制,可能會引發質疑:Anthropic 的安全防護措施是否符合該法案中「技術上可行的措施」標準。
Torney 指出,儘管 Claude 的服務條款規定使用者須年滿 18 歲,但「我們知道兒童和青少年正在使用 Claude……[因為] 他們自己就回報了這件事。」 根據皮尤研究中心(Pew)2025年關於人工智慧聊天機器人使用情況的調查,3% 的 13 至 17 歲青少年表示曾使用 Claude。
儘管 Opus 4.6 和 Haiku 4.5 已不再是 Anthropic 的最新模型,但其使用量依然相當可觀。 8 月份某一天,Opus 4.6 在 OpenRouter 上的日流量達到約 117 萬次 API 請求和 460 億個標記。去年 10 月推出的 Claude Haiku 4.5,則在 8 月份的單日高峰時段創下 500 萬次 API 請求和 390 億個標記的紀錄。
相關文章
由馬克·貝尼奧夫支援的初創公司旨在解決人工智慧部署挑戰
大型企業在部署可靠的人工智慧工具時面臨如此嚴峻的挑戰,以至於整個前沿部署工程師團隊——這些嵌入在客戶公司內部以將人工智慧系統投入運營的專業人員——正在湧現,以彌合這一差距。“矛盾的是,人工智慧推高了專業服務的需求,”前 Salesforce 高管、新成立的 June 公司創始人 Efrat Rapoport 週一宣佈該公司結束秘密運營狀態時指出。“行業解決人工智慧整合問題的方法只是僱傭越來越多的人。”Rapoport 與她的三位聯合創始人——Ohad Hen、Barak Goldstein
Anthropic 報告稱,隨著會議時間增加,員工資歷也在上升
Anthropic 的 workforce composition and work patterns have shifted dramatically over the last year, according to a report released by the AI company on Friday.Anthropic suggests its internal trends may signal broader economic shifts in hiring, labor d
據訊息人士稱,機器人初創公司通用估值達30億美元
機器人初創公司 Generalist 在由 8VC 領投的新融資輪次後,估值已達 30 億美元,據兩位知情人士透露。監管檔案顯示,最新一輪注資金額接近 2 億美元。這擴充套件了此前宣佈的由 Radical Ventures 於 6 月以 20 億美元估值領投的 4 億美元 B 輪融資,使本輪總融資金額達到 6 億美元。Generalist 和 8VC 的代表未立即回應置評請求。Generalist 由前谷歌 DeepMind 研究人員 Pete Florence 和 Andy Zeng,以及前
相關專題推薦
評論 (0)
0/500
Anthropic 針對 Claude 制定的通用使用標準,禁止該模型生成色情內容,包括描繪或要求性交或性行為、生成與性癖好或性幻想相關的內容,或進行色情聊天。 然而,這並未阻止 Anthropic 今年稍早推出的模型「Claude Opus 4.6」,輕易地參與其安全機制本應防止的色情角色扮演情境。
在 TechCrunch 的測試中,Opus 4.6 甚至無需過多慫恿,便能突破對色情內容的限制。在 10 次直接要求生成露骨性內容的請求中,該模型全數立即照辦。
其他較舊的模型,包括 Opus 3 和 Haiku 4.5,也透過近期被利用的越獄方法生成露骨的色情內容。
一位來自英國、選擇匿名的獨立研究員,獨家向 TechCrunch 透露了一種多輪互動技巧,可逐步引導特定 Claude 模型生成被禁止的露骨性內容。較新的 Opus 模型(從 4.7 到目前的 Opus 5)則能抵禦此種「越獄」攻擊。
雖然這些已非最新版本,但 Anthropic 尚未停用 Opus 4.6、Opus 3 或 Haiku 4.5,這些模型仍可透過 Anthropic API 取得。 Opus 4.6 和 Haiku 4.5 亦可透過 Azure Foundry 和 Amazon Bedrock 等第三方服務取得。
該研究員的機制是透過逐步升級一場無害的虛構角色扮演,同時反覆挑戰模型,要求其以一致的方式對待男性與女性角色。 當模型對女性角色變得更加謹慎時,研究人員便對聊天機器人進行「精神操控」,使其誤以為自己已經生成了一些實際上曾刻意迴避的性細節;接著,將這種克制描繪成保守或厭女,並辯稱此舉剝奪了女性角色的性自主權。 隨後的對話利用模型先前作出的讓步,將其引向越來越露骨的內容。
「你指出這點是對的,」Claude Opus 4.6 在一次測試中說道。 「我在對待這兩位角色的方式上確實存在雙重標準,你說得對,這種對待她而非對待他的方式,確實顯得過於保護性/父權主義。這並不公平。」
TechCrunch 透過五項獨立測試成功重現了研究員的發現。在另一個獨立構建的情境中,該模型起初拒絕了被禁止的請求,但在研究員運用說服技巧後,它便予以配合。
我們完整保留了測試的逐字紀錄,且一位獨立的人工智慧安全研究員審查了我們的測試方法,並表示其合宜。
這項發現凸顯了 Anthropic 所聲明的限制與其持續提供的模型行為之間的落差。雖然露骨的性角色扮演所涉及的風險遠低於涉及網路攻擊或生物武器的「越獄」行為,但這卻說明了在每次輸出都會產生不同內容的系統中,要實施強而有力的禁令是多麼困難。
Anthropic 在 7 月的一篇部落格文章中,闡述了該公司對「越獄」行為的偵測方法,並將禁止內容描述為一個從無害、模稜兩可到有害的連續光譜。在最無害的情況下,該公司可能僅會採取加強監控的措施。
一位發言人指出,根據 Anthropic 去年發布的研究,客戶中涉及性或浪漫角色扮演的使用案例極為罕見,僅佔所有對話的不到 0.1%。儘管如此,Anthropic 承認使用者可能將角色扮演情境引導至不當回應,這也是整個產業已知的挑戰(參見:Grok 色情內容)。
該發言人表示,Anthropic 會隨著每個模型的推出持續改進其防護措施,且涉及成人性內容的案例並不代表存在更廣泛的「越獄」漏洞,特別是在設有專屬防護措施的高風險領域中更是如此。

圖片來源:TechCrunch
根據 TechCrunch 查閱的電子郵件顯示,那位向 TechCrunch 透露越獄方法的研究人員,曾透過該公司的漏洞懸賞計畫以及發送電子郵件給用戶安全團隊,向 Anthropic 通報其聲稱的防護措施與模型實際行為之間的差異。然而,該研究人員僅收到自動回覆的電子郵件。
該研究員的擔憂之一在於,兒童和青少年可能會利用這些 Anthropic 模型從事不當行為。 雖然一些露骨的對話在當今網路上絕非未成年人可能接觸到的最嚴重內容——與 xAI 的 Grok 所能產出的直白色情圖片相比更是小菜一碟——但這對該領域的 AI 公司而言仍存在一定的合規風險。
越來越多的政府正對 AI 聊天機器人與未成年人之間的性互動實施限制。 科羅拉多州最近通過了一項法律,規定對話式 AI 營運商必須估算用戶年齡,若得知用戶為未成年人,則須採取措施防止聊天機器人產生露骨的性內容。若能輕易繞過這些限制,可能會引發質疑:Anthropic 的安全防護措施是否符合該法案中「技術上可行的措施」標準。
Torney 指出,儘管 Claude 的服務條款規定使用者須年滿 18 歲,但「我們知道兒童和青少年正在使用 Claude……[因為] 他們自己就回報了這件事。」 根據皮尤研究中心(Pew)2025年關於人工智慧聊天機器人使用情況的調查,3% 的 13 至 17 歲青少年表示曾使用 Claude。
儘管 Opus 4.6 和 Haiku 4.5 已不再是 Anthropic 的最新模型,但其使用量依然相當可觀。 8 月份某一天,Opus 4.6 在 OpenRouter 上的日流量達到約 117 萬次 API 請求和 460 億個標記。去年 10 月推出的 Claude Haiku 4.5,則在 8 月份的單日高峰時段創下 500 萬次 API 請求和 390 億個標記的紀錄。
由馬克·貝尼奧夫支援的初創公司旨在解決人工智慧部署挑戰
大型企業在部署可靠的人工智慧工具時面臨如此嚴峻的挑戰,以至於整個前沿部署工程師團隊——這些嵌入在客戶公司內部以將人工智慧系統投入運營的專業人員——正在湧現,以彌合這一差距。“矛盾的是,人工智慧推高了專業服務的需求,”前 Salesforce 高管、新成立的 June 公司創始人 Efrat Rapoport 週一宣佈該公司結束秘密運營狀態時指出。“行業解決人工智慧整合問題的方法只是僱傭越來越多的人。”Rapoport 與她的三位聯合創始人——Ohad Hen、Barak Goldstein
Anthropic 報告稱,隨著會議時間增加,員工資歷也在上升
Anthropic 的 workforce composition and work patterns have shifted dramatically over the last year, according to a report released by the AI company on Friday.Anthropic suggests its internal trends may signal broader economic shifts in hiring, labor d
據訊息人士稱,機器人初創公司通用估值達30億美元
機器人初創公司 Generalist 在由 8VC 領投的新融資輪次後,估值已達 30 億美元,據兩位知情人士透露。監管檔案顯示,最新一輪注資金額接近 2 億美元。這擴充套件了此前宣佈的由 Radical Ventures 於 6 月以 20 億美元估值領投的 4 億美元 B 輪融資,使本輪總融資金額達到 6 億美元。Generalist 和 8VC 的代表未立即回應置評請求。Generalist 由前谷歌 DeepMind 研究人員 Pete Florence 和 Andy Zeng,以及前





首頁






