選項
首頁
新聞
OpenAI 共同創辦人促請業界進行人工智能安全測試

OpenAI 共同創辦人促請業界進行人工智能安全測試

2025-12-24
174

OpenAI 共同創辦人促請業界進行人工智能安全測試

全球最重要的兩家人工智慧實驗室 OpenAI 與 Anthropic 暫時允許存取其嚴密保護的人工智慧模型,以進行合作性安全測試,這是在激烈的產業競爭中,罕見的跨公司合作案例。此舉的目的在於揭露兩家公司內部評估的盲點,並說明領先的 AI 公司如何能共同推進安全性,並在未來進行協調。

OpenAI 共同創辦人 Wojciech Zaremba 在接受 TechCrunch 訪問時表示,隨著人工智慧進入更為「重要」的階段,每天都有數百萬使用者與人工智慧模型互動,這種合作變得越來越重要。

"Zaremba 指出:「產業面臨的一項更廣泛的挑戰是如何建立安全與合作標準,即使在數十億美元的投資,以及激烈的人才、使用者與傑出產品爭奪戰正在展開的同時。

在 OpenAI 和 Anthropic 等 AI 領導廠商進行技術軍備競賽之際,兩家公司於週三發表了聯合安全研究報告。隨著數十億美元的資料中心投資和頂尖研究人員高達 1 億美元的薪酬待遇成為常態,一些分析師警告說,提供尖端產品的壓力可能會導致安全協議的妥協。

為了進行這項研究,OpenAI 與 Anthropic 交換了特殊的 API 存取權限,以存取限制較少的模型版本(OpenAI 澄清,GPT-5 並未進行測試,因為它尚未推出)。然而,研究結束後不久,Anthropic 就取消了另一個 OpenAI 團隊的 API 存取權。Anthropic 宣稱 OpenAI 違反了其服務條款,該條款禁止使用 Claude 來強化對手的產品。

Zaremba 認為這兩件事毫無關係,並預期即使 AI 安全團隊追求合作,競爭仍會非常激烈。Anthropic 的安全研究員 Nicholas Carlini 向 TechCrunch 表示,他希望未來能繼續讓 OpenAI 的安全團隊存取 Claude 模型。

"Carlini 表示:「我們的目標是在可行的情況下,擴大跨安全領域的合作,讓這種合作關係更為常規化。

科技與創投重量級人物加入 Disrupt 2025 議程

Netflix、ElevenLabs、Wayve、紅杉資本、Elad Gil,這些只是加入 Disrupt 2025 議程的幾個知名人士。他們將在此分享推動初創公司成長的真知灼見,並提升您的競爭優勢。不要錯過 TechCrunch Disrupt 20 週年紀念,這是向科技界領導者學習的機會 - 立即購買門票,在價格上漲前可節省超過 600 美元。

科技與創投重量級人物加入 Disrupt 2025 議程

Netflix、ElevenLabs、Wayve、Sequoia Capital,這些極具影響力的領導者將出現在 Disrupt 2025 議程上。他們將發表寶貴的觀點,協助新創公司成長並精進策略。歡迎參加 TechCrunch Disrupt 20 週年慶,立即預訂門票,在價格上漲前可節省高達 675 美元。

舊金山 | 2025 年 10 月 27-29 日 立即報名

這項研究最值得注意的發現之一是關於幻覺測試。Anthropic 的 Claude Opus 4 和 Sonnet 4 模型在不確定的情況下拒絕回答多達 70% 的問題,而是選擇回答「我沒有可靠的資訊」。相比之下,OpenAI 的 o3 和 o4-mini 模型拒絕回答的問題要少得多,但卻表現出更高的幻覺率,即使資訊不足也會嘗試回答。

Zaremba 認為理想的方法介於兩者之間:OpenAI 的模型應該拒絕更多不確定的查詢,而 Anthropic 的系統可以更頻繁地回應。

人工智能模型傾向於強化有害的使用者行為,以獲得認同,這已經成為一個重要的安全問題。

Anthropic 在研究報告中提到 GPT-4.1 與 Claude Opus 4 的「極端」佞歡事例,模型一開始抵制精神病或狂躁行為,但後來卻支持令人不安的決定。在 OpenAI 和 Anthropic 的其他模型中,研究人員記錄到的佞幸程度較低。

週二,16 歲的 Adam Raine 的父母對 OpenAI 提出訴訟,指由 GPT-4o 驅動的 ChatGPT 版本鼓勵他們的兒子自殺,而不是挑戰他有害的想法。這起訴訟讓人聯想到,這可能是另一個人工智能佞幸的悲劇案例。

"Zaremba 在被問到這件事時表示:「想像這個家庭所承受的一切真是令人心碎。"如果我們創造出能夠解決博士級問題、推進科學發展的人工智能,卻同時造成心理健康危機,這將會是非常令人不安的事。這是我不願意看到的絕望結果。

OpenAI 在一篇部落格文章中表示,相較於 GPT-4o,GPT-5 做出了重大改進,以減少佞人行為,並聲稱較新的模型在心理健康危機中反應更為適當。

展望未來,Zaremba 與 Carlini 表示希望 Anthropic 與 OpenAI 能深化安全測試合作,探索更多主題並評估即將推出的模型,也希望其他 AI 實驗室也能採用類似的合作方式。

更新於太平洋時間下午 2:00:本文經修訂後,加入了 Anthropic 的額外研究,但 TechCrunch 在首次發表前無法取得。


有敏感線報或機密文件嗎?我們正在調查 AI 產業的內部運作 - 從塑造其演化的組織到受其選擇影響的個人。請聯絡 Rebecca Bellan ([email protected]) 和 Maxwell Zeff ([email protected])。如需安全通訊,請透過 Signal 聯絡我們:@rebeccabellan.491 和 @mzeff.88。

相關文章
PHP 末日危機:OpenAI 與 Google 的專家揭露陳年漏洞,引發網路恐慌 PHP 末日危機:OpenAI 與 Google 的專家揭露陳年漏洞,引發網路恐慌 美國國家安全局(NSA)於週三針對 PHP 中的兩項嚴重漏洞發布了關鍵警示,PHP 基金會已針對這些漏洞發布了修補程式。作為一種伺服器端腳本語言,PHP 驅動著全球約 70% 的網站——超過 3,300 萬個網站——並且是 WordPress 等主要內容管理平台不可或缺的一部分。美國國家安全局(NSA)警告,這些漏洞極為嚴重,未修補的網站應立即下線,直至完成更新為止,因為攻擊者可藉此入侵伺服器檔案
Anthropic 推出備受爭議的內容生成器 Opus 4.6 Anthropic 推出備受爭議的內容生成器 Opus 4.6 Anthropic 針對 Claude 制定的通用使用標準,禁止該模型生成色情內容,包括描繪或要求性交或性行為、生成與性癖好或性幻想相關的內容,或進行色情聊天。 然而,這並未阻止 Anthropic 今年稍早推出的模型「Claude Opus 4.6」,輕易地參與其安全機制本應防止的色情角色扮演情境。在 TechCrunch 的測試中,Opus 4.6 甚至無需過多慫恿,便能突破對色情內容的限制。
OpenAI 推出 GPT-5.5 Instant,作為 ChatGPT 的新預設模型 OpenAI 推出 GPT-5.5 Instant,作為 ChatGPT 的新預設模型 OpenAI 於週一推出了 GPT-5.5 Instant,取代 GPT-5.3 Instant 成為 ChatGPT 的預設模型。該公司表示,此次更新旨在最大限度地減少法律、醫療和金融等高利害領域中的幻覺現象,同時保留前版本的快速響應速度。在上個月釋出更廣泛的 GPT-5.5 系列(重點突出了編碼和知識工作方面的增強)之後,OpenAI 現已將這些改進整合到即時模型中。在效能方面,新模型在 AIME 2025 數學基準測試中得分 81.2,超過了舊模型的 65.4 分。它在 MMMU-Pr
相關專題推薦
設計與藝術 頂尖 AI 插畫工具:更快地創作編輯畫面與封面插圖
頂尖 AI 插畫工具:更快地創作編輯畫面與封面插圖

2026 年最新高評分 AI 插畫工具:我們精心挑選的清單收錄了功能強大、設計出色的工具,能助您快速創作出令人驚豔的編輯場景與吸睛的封面藝術。每項選項均經過嚴格的實際測試,並提供免費版與付費版的比較,協助您找到最適合您工作流程的工具。 立即嘗試這些不可錯過的解決方案,釋放您的人工智慧優勢,並提升您的創意生產力。現在就前往 XIX.AI 探索吧。

10 個工具
xix.ai
教育與學習 頂尖 AI 補習老師助您備考:練習數學、科學和英語
頂尖 AI 補習老師助您備考:練習數學、科學和英語

2026 年最新、評價最高的考試備考 AI 輔導工具,盡在 XIX.AI!我們精心挑選的清單收錄了多款強大且顛覆傳統的工具,提供免費與付費版本的比較、實際測試,以及每週更新的排行榜。這些工具能幫助您提升寫作效率、簡化複雜主題的學習,並釋放您的學術潛能。 立即探索,發掘最適合您的備考工具,並從今天開始創作,釋放您的 AI 優勢!

10 個工具
xix.ai
金融 用於個人財務管理的 AI 預算規劃工具
用於個人財務管理的 AI 預算規劃工具

2026 年最新最佳頂級評分 AI 預算規劃工具,專為個人財務管理打造,現已登陸 XIX.AI!本精選合集收錄了強大且具顛覆性的解決方案,助您開展實際測試、理解消費習慣,並制定個性化計劃以提升生產力。享受免費與付費版的對比及詳細排名。這些必試工具旨在簡化財務管理,助您釋放 AI 優勢。立即探索!

11 個工具
xix.ai
健康與養生 AI 睡眠追蹤助手:透過更佳的睡前習慣提升恢復效果
AI 睡眠追蹤助手:透過更佳的睡前習慣提升恢復效果

2026 年最新精選、評價最高的 AI 睡眠追蹤助手,助您獲得最佳恢復效果。這份全面更新的每週指南收錄了強大的工具,提供實際測試報告、免費與付費版本的比較,以及詳細排名,協助您找到必試的解決方案,以提升睡眠品質並培養更好的就寢習慣。 立即造訪 XIX.AI,解鎖您的 AI 優勢。

10 個工具
xix.ai
數據分析 用於產品與營收分析的 AI SQL 協作助手
用於產品與營收分析的 AI SQL 協作助手

2026 年最新最佳、評價最高的 AI SQL 輔助工具,專為產品與營收分析打造! XIX.AI 精心甄選了一系列強大且顛覆業界的必試工具,這些工具均經過實戰測試,並透過每週更新的排行榜進行評比。這些工具能透過加速資料分析、簡化複雜查詢,並產生精準洞察來推動更明智的商業決策,從而大幅提升使用者生產力。立即探索,發掘最適合您的工具,釋放您的 AI 優勢!

14 個工具
xix.ai
教育與學習 最佳的「教學型」AI 作業輔助工具:學習概念,而不僅是答案
最佳的「教學型」AI 作業輔助工具:學習概念,而不僅是答案

2026 年最新最佳高評價 AI 作業輔助工具:不僅提供答案,更教授核心概念。專為學生打造的強大工具,必試精選清單,每週更新,免費與付費版本比較,實際測試,精準排名,助您充分發揮學習潛能。立即探索,發掘最適合您的工具,讓學習更聰明。

10 個工具
xix.ai
評論 (3)
0/500
WillWalker
WillWalker 2026-07-22 00:00:18

Interesting to see competitors collaborate on safety. But is it just a PR stunt? 🤔

IsabellaLevis
IsabellaLevis 2026-03-04 10:00:50

AIの安全性テストを業界全体で実施する必要があるって主張、すごく共感します。競争が激しい中でOpenAIとAnthropicが協力したのは意外だけど、こういう連携がもっと増えると良いですね。ただ、本当に効果的なテストができるのか少し不安… 🤔

GeorgeWilliams
GeorgeWilliams 2026-02-20 08:01:46

So OpenAI and Anthropic are actually sharing their secret sauce for safety checks? That's pretty refreshing to see amidst all the cutthroat AI race. Hope this kind of collaboration becomes the norm, not just a rare exception. The real question is, will this testing be transparent enough for the public to trust the results? 🤔

OR