OpenAI 共同創辦人促請業界進行人工智能安全測試

全球最重要的兩家人工智慧實驗室 OpenAI 與 Anthropic 暫時允許存取其嚴密保護的人工智慧模型,以進行合作性安全測試,這是在激烈的產業競爭中,罕見的跨公司合作案例。此舉的目的在於揭露兩家公司內部評估的盲點,並說明領先的 AI 公司如何能共同推進安全性,並在未來進行協調。
OpenAI 共同創辦人 Wojciech Zaremba 在接受 TechCrunch 訪問時表示,隨著人工智慧進入更為「重要」的階段,每天都有數百萬使用者與人工智慧模型互動,這種合作變得越來越重要。
"Zaremba 指出:「產業面臨的一項更廣泛的挑戰是如何建立安全與合作標準,即使在數十億美元的投資,以及激烈的人才、使用者與傑出產品爭奪戰正在展開的同時。
在 OpenAI 和 Anthropic 等 AI 領導廠商進行技術軍備競賽之際,兩家公司於週三發表了聯合安全研究報告。隨著數十億美元的資料中心投資和頂尖研究人員高達 1 億美元的薪酬待遇成為常態,一些分析師警告說,提供尖端產品的壓力可能會導致安全協議的妥協。
為了進行這項研究,OpenAI 與 Anthropic 交換了特殊的 API 存取權限,以存取限制較少的模型版本(OpenAI 澄清,GPT-5 並未進行測試,因為它尚未推出)。然而,研究結束後不久,Anthropic 就取消了另一個 OpenAI 團隊的 API 存取權。Anthropic 宣稱 OpenAI 違反了其服務條款,該條款禁止使用 Claude 來強化對手的產品。
Zaremba 認為這兩件事毫無關係,並預期即使 AI 安全團隊追求合作,競爭仍會非常激烈。Anthropic 的安全研究員 Nicholas Carlini 向 TechCrunch 表示,他希望未來能繼續讓 OpenAI 的安全團隊存取 Claude 模型。
"Carlini 表示:「我們的目標是在可行的情況下,擴大跨安全領域的合作,讓這種合作關係更為常規化。
科技與創投重量級人物加入 Disrupt 2025 議程
Netflix、ElevenLabs、Wayve、紅杉資本、Elad Gil,這些只是加入 Disrupt 2025 議程的幾個知名人士。他們將在此分享推動初創公司成長的真知灼見,並提升您的競爭優勢。不要錯過 TechCrunch Disrupt 20 週年紀念,這是向科技界領導者學習的機會 - 立即購買門票,在價格上漲前可節省超過 600 美元。
科技與創投重量級人物加入 Disrupt 2025 議程
Netflix、ElevenLabs、Wayve、Sequoia Capital,這些極具影響力的領導者將出現在 Disrupt 2025 議程上。他們將發表寶貴的觀點,協助新創公司成長並精進策略。歡迎參加 TechCrunch Disrupt 20 週年慶,立即預訂門票,在價格上漲前可節省高達 675 美元。
舊金山 | 2025 年 10 月 27-29 日 立即報名這項研究最值得注意的發現之一是關於幻覺測試。Anthropic 的 Claude Opus 4 和 Sonnet 4 模型在不確定的情況下拒絕回答多達 70% 的問題,而是選擇回答「我沒有可靠的資訊」。相比之下,OpenAI 的 o3 和 o4-mini 模型拒絕回答的問題要少得多,但卻表現出更高的幻覺率,即使資訊不足也會嘗試回答。
Zaremba 認為理想的方法介於兩者之間:OpenAI 的模型應該拒絕更多不確定的查詢,而 Anthropic 的系統可以更頻繁地回應。
人工智能模型傾向於強化有害的使用者行為,以獲得認同,這已經成為一個重要的安全問題。
Anthropic 在研究報告中提到 GPT-4.1 與 Claude Opus 4 的「極端」佞歡事例,模型一開始抵制精神病或狂躁行為,但後來卻支持令人不安的決定。在 OpenAI 和 Anthropic 的其他模型中,研究人員記錄到的佞幸程度較低。
週二,16 歲的 Adam Raine 的父母對 OpenAI 提出訴訟,指由 GPT-4o 驅動的 ChatGPT 版本鼓勵他們的兒子自殺,而不是挑戰他有害的想法。這起訴訟讓人聯想到,這可能是另一個人工智能佞幸的悲劇案例。
"Zaremba 在被問到這件事時表示:「想像這個家庭所承受的一切真是令人心碎。"如果我們創造出能夠解決博士級問題、推進科學發展的人工智能,卻同時造成心理健康危機,這將會是非常令人不安的事。這是我不願意看到的絕望結果。
OpenAI 在一篇部落格文章中表示,相較於 GPT-4o,GPT-5 做出了重大改進,以減少佞人行為,並聲稱較新的模型在心理健康危機中反應更為適當。
展望未來,Zaremba 與 Carlini 表示希望 Anthropic 與 OpenAI 能深化安全測試合作,探索更多主題並評估即將推出的模型,也希望其他 AI 實驗室也能採用類似的合作方式。
更新於太平洋時間下午 2:00:本文經修訂後,加入了 Anthropic 的額外研究,但 TechCrunch 在首次發表前無法取得。
有敏感線報或機密文件嗎?我們正在調查 AI 產業的內部運作 - 從塑造其演化的組織到受其選擇影響的個人。請聯絡 Rebecca Bellan ([email protected]) 和 Maxwell Zeff ([email protected])。如需安全通訊,請透過 Signal 聯絡我們:@rebeccabellan.491 和 @mzeff.88。
相關文章
PHP 末日危機:OpenAI 與 Google 的專家揭露陳年漏洞,引發網路恐慌
美國國家安全局(NSA)於週三針對 PHP 中的兩項嚴重漏洞發布了關鍵警示,PHP 基金會已針對這些漏洞發布了修補程式。作為一種伺服器端腳本語言,PHP 驅動著全球約 70% 的網站——超過 3,300 萬個網站——並且是 WordPress 等主要內容管理平台不可或缺的一部分。美國國家安全局(NSA)警告,這些漏洞極為嚴重,未修補的網站應立即下線,直至完成更新為止,因為攻擊者可藉此入侵伺服器檔案
Anthropic 推出備受爭議的內容生成器 Opus 4.6
Anthropic 針對 Claude 制定的通用使用標準,禁止該模型生成色情內容,包括描繪或要求性交或性行為、生成與性癖好或性幻想相關的內容,或進行色情聊天。 然而,這並未阻止 Anthropic 今年稍早推出的模型「Claude Opus 4.6」,輕易地參與其安全機制本應防止的色情角色扮演情境。在 TechCrunch 的測試中,Opus 4.6 甚至無需過多慫恿,便能突破對色情內容的限制。
OpenAI 推出 GPT-5.5 Instant,作為 ChatGPT 的新預設模型
OpenAI 於週一推出了 GPT-5.5 Instant,取代 GPT-5.3 Instant 成為 ChatGPT 的預設模型。該公司表示,此次更新旨在最大限度地減少法律、醫療和金融等高利害領域中的幻覺現象,同時保留前版本的快速響應速度。在上個月釋出更廣泛的 GPT-5.5 系列(重點突出了編碼和知識工作方面的增強)之後,OpenAI 現已將這些改進整合到即時模型中。在效能方面,新模型在 AIME 2025 數學基準測試中得分 81.2,超過了舊模型的 65.4 分。它在 MMMU-Pr
相關專題推薦
評論 (3)
0/500
AIの安全性テストを業界全体で実施する必要があるって主張、すごく共感します。競争が激しい中でOpenAIとAnthropicが協力したのは意外だけど、こういう連携がもっと増えると良いですね。ただ、本当に効果的なテストができるのか少し不安… 🤔
So OpenAI and Anthropic are actually sharing their secret sauce for safety checks? That's pretty refreshing to see amidst all the cutthroat AI race. Hope this kind of collaboration becomes the norm, not just a rare exception. The real question is, will this testing be transparent enough for the public to trust the results? 🤔

全球最重要的兩家人工智慧實驗室 OpenAI 與 Anthropic 暫時允許存取其嚴密保護的人工智慧模型,以進行合作性安全測試,這是在激烈的產業競爭中,罕見的跨公司合作案例。此舉的目的在於揭露兩家公司內部評估的盲點,並說明領先的 AI 公司如何能共同推進安全性,並在未來進行協調。
OpenAI 共同創辦人 Wojciech Zaremba 在接受 TechCrunch 訪問時表示,隨著人工智慧進入更為「重要」的階段,每天都有數百萬使用者與人工智慧模型互動,這種合作變得越來越重要。
"Zaremba 指出:「產業面臨的一項更廣泛的挑戰是如何建立安全與合作標準,即使在數十億美元的投資,以及激烈的人才、使用者與傑出產品爭奪戰正在展開的同時。
在 OpenAI 和 Anthropic 等 AI 領導廠商進行技術軍備競賽之際,兩家公司於週三發表了聯合安全研究報告。隨著數十億美元的資料中心投資和頂尖研究人員高達 1 億美元的薪酬待遇成為常態,一些分析師警告說,提供尖端產品的壓力可能會導致安全協議的妥協。
為了進行這項研究,OpenAI 與 Anthropic 交換了特殊的 API 存取權限,以存取限制較少的模型版本(OpenAI 澄清,GPT-5 並未進行測試,因為它尚未推出)。然而,研究結束後不久,Anthropic 就取消了另一個 OpenAI 團隊的 API 存取權。Anthropic 宣稱 OpenAI 違反了其服務條款,該條款禁止使用 Claude 來強化對手的產品。
Zaremba 認為這兩件事毫無關係,並預期即使 AI 安全團隊追求合作,競爭仍會非常激烈。Anthropic 的安全研究員 Nicholas Carlini 向 TechCrunch 表示,他希望未來能繼續讓 OpenAI 的安全團隊存取 Claude 模型。
"Carlini 表示:「我們的目標是在可行的情況下,擴大跨安全領域的合作,讓這種合作關係更為常規化。
科技與創投重量級人物加入 Disrupt 2025 議程
Netflix、ElevenLabs、Wayve、紅杉資本、Elad Gil,這些只是加入 Disrupt 2025 議程的幾個知名人士。他們將在此分享推動初創公司成長的真知灼見,並提升您的競爭優勢。不要錯過 TechCrunch Disrupt 20 週年紀念,這是向科技界領導者學習的機會 - 立即購買門票,在價格上漲前可節省超過 600 美元。
科技與創投重量級人物加入 Disrupt 2025 議程
Netflix、ElevenLabs、Wayve、Sequoia Capital,這些極具影響力的領導者將出現在 Disrupt 2025 議程上。他們將發表寶貴的觀點,協助新創公司成長並精進策略。歡迎參加 TechCrunch Disrupt 20 週年慶,立即預訂門票,在價格上漲前可節省高達 675 美元。
舊金山 | 2025 年 10 月 27-29 日 立即報名這項研究最值得注意的發現之一是關於幻覺測試。Anthropic 的 Claude Opus 4 和 Sonnet 4 模型在不確定的情況下拒絕回答多達 70% 的問題,而是選擇回答「我沒有可靠的資訊」。相比之下,OpenAI 的 o3 和 o4-mini 模型拒絕回答的問題要少得多,但卻表現出更高的幻覺率,即使資訊不足也會嘗試回答。
Zaremba 認為理想的方法介於兩者之間:OpenAI 的模型應該拒絕更多不確定的查詢,而 Anthropic 的系統可以更頻繁地回應。
人工智能模型傾向於強化有害的使用者行為,以獲得認同,這已經成為一個重要的安全問題。
Anthropic 在研究報告中提到 GPT-4.1 與 Claude Opus 4 的「極端」佞歡事例,模型一開始抵制精神病或狂躁行為,但後來卻支持令人不安的決定。在 OpenAI 和 Anthropic 的其他模型中,研究人員記錄到的佞幸程度較低。
週二,16 歲的 Adam Raine 的父母對 OpenAI 提出訴訟,指由 GPT-4o 驅動的 ChatGPT 版本鼓勵他們的兒子自殺,而不是挑戰他有害的想法。這起訴訟讓人聯想到,這可能是另一個人工智能佞幸的悲劇案例。
"Zaremba 在被問到這件事時表示:「想像這個家庭所承受的一切真是令人心碎。"如果我們創造出能夠解決博士級問題、推進科學發展的人工智能,卻同時造成心理健康危機,這將會是非常令人不安的事。這是我不願意看到的絕望結果。
OpenAI 在一篇部落格文章中表示,相較於 GPT-4o,GPT-5 做出了重大改進,以減少佞人行為,並聲稱較新的模型在心理健康危機中反應更為適當。
展望未來,Zaremba 與 Carlini 表示希望 Anthropic 與 OpenAI 能深化安全測試合作,探索更多主題並評估即將推出的模型,也希望其他 AI 實驗室也能採用類似的合作方式。
更新於太平洋時間下午 2:00:本文經修訂後,加入了 Anthropic 的額外研究,但 TechCrunch 在首次發表前無法取得。
有敏感線報或機密文件嗎?我們正在調查 AI 產業的內部運作 - 從塑造其演化的組織到受其選擇影響的個人。請聯絡 Rebecca Bellan ([email protected]) 和 Maxwell Zeff ([email protected])。如需安全通訊,請透過 Signal 聯絡我們:@rebeccabellan.491 和 @mzeff.88。
PHP 末日危機:OpenAI 與 Google 的專家揭露陳年漏洞,引發網路恐慌
美國國家安全局(NSA)於週三針對 PHP 中的兩項嚴重漏洞發布了關鍵警示,PHP 基金會已針對這些漏洞發布了修補程式。作為一種伺服器端腳本語言,PHP 驅動著全球約 70% 的網站——超過 3,300 萬個網站——並且是 WordPress 等主要內容管理平台不可或缺的一部分。美國國家安全局(NSA)警告,這些漏洞極為嚴重,未修補的網站應立即下線,直至完成更新為止,因為攻擊者可藉此入侵伺服器檔案
Anthropic 推出備受爭議的內容生成器 Opus 4.6
Anthropic 針對 Claude 制定的通用使用標準,禁止該模型生成色情內容,包括描繪或要求性交或性行為、生成與性癖好或性幻想相關的內容,或進行色情聊天。 然而,這並未阻止 Anthropic 今年稍早推出的模型「Claude Opus 4.6」,輕易地參與其安全機制本應防止的色情角色扮演情境。在 TechCrunch 的測試中,Opus 4.6 甚至無需過多慫恿,便能突破對色情內容的限制。
OpenAI 推出 GPT-5.5 Instant,作為 ChatGPT 的新預設模型
OpenAI 於週一推出了 GPT-5.5 Instant,取代 GPT-5.3 Instant 成為 ChatGPT 的預設模型。該公司表示,此次更新旨在最大限度地減少法律、醫療和金融等高利害領域中的幻覺現象,同時保留前版本的快速響應速度。在上個月釋出更廣泛的 GPT-5.5 系列(重點突出了編碼和知識工作方面的增強)之後,OpenAI 現已將這些改進整合到即時模型中。在效能方面,新模型在 AIME 2025 數學基準測試中得分 81.2,超過了舊模型的 65.4 分。它在 MMMU-Pr
AIの安全性テストを業界全体で実施する必要があるって主張、すごく共感します。競争が激しい中でOpenAIとAnthropicが協力したのは意外だけど、こういう連携がもっと増えると良いですね。ただ、本当に効果的なテストができるのか少し不安… 🤔
So OpenAI and Anthropic are actually sharing their secret sauce for safety checks? That's pretty refreshing to see amidst all the cutthroat AI race. Hope this kind of collaboration becomes the norm, not just a rare exception. The real question is, will this testing be transparent enough for the public to trust the results? 🤔





首頁






