OpenAI 联合创始人敦促全行业进行人工智能安全测试

世界上最重要的两家人工智能实验室--OpenAI 和 Anthropic--暂时允许访问其严密保护的人工智能模型,以进行合作安全测试--这是在激烈的行业竞争中罕见的跨公司合作实例。这一举措旨在发现两家公司内部评估中的盲点,并说明领先的人工智能公司如何能够共同推进安全和协调工作。
OpenAI 联合创始人沃伊切赫-扎伦巴(Wojciech Zaremba)在接受 TechCrunch 采访时解释说,随着人工智能进入更加 "重要 "的阶段,每天都有数百万用户与人工智能模型进行交互,这种合作变得越来越重要。
"Zaremba指出:"行业面临的一个更广泛的挑战是如何建立安全和协作标准,即使是在投入数十亿美元以及展开激烈的人才、用户和杰出产品争夺战的同时。
在 OpenAI 和 Anthropic 等人工智能领军企业展开技术军备竞赛之际,两家公司于周三发布了联合安全研究报告。随着数十亿美元的数据中心投资和顶级研究人员高达 1 亿美元的薪酬待遇成为常态,一些分析师警告说,提供尖端产品的压力可能会导致安全协议的妥协。
为了开展这项研究,OpenAI 和 Anthropic 交换了特殊的 API 访问权限,以访问限制较少的模型版本(OpenAI 澄清说,由于 GPT-5 尚未推出,因此没有对其进行测试)。然而,研究结束后不久,Anthropic 就取消了另一个 OpenAI 团队的 API 访问权限。Anthropic 声称 OpenAI 违反了其服务条款,该条款禁止使用 Claude 来增强竞争对手的产品。
扎伦巴坚持认为,这两起事件并无关联,并预计即使人工智能安全团队寻求合作,竞争仍将十分激烈。Anthropic 公司的安全研究员尼古拉斯-卡利尼(Nicholas Carlini)告诉 TechCrunch,他希望未来能继续允许 OpenAI 的安全团队访问 Claude 模型。
"Carlini 表示:"我们的目标是在可行的情况下扩大安全前沿领域的合作,使这种合作关系更加常规化。
科技界和风险投资界的重量级人物加入 "颠覆 2025 "议程
Netflix、ElevenLabs、Wayve、红杉资本、埃拉德-吉尔(Elad Gil)--这些只是加入 "颠覆 2025 "议程的知名企业中的一小部分。他们将在这里分享推动初创企业发展和增强竞争优势的真知灼见。千万不要错过 TechCrunch Disrupt 20 周年纪念,这是一个向科技界领军人物学习的机会--现在购买门票,在价格上涨前可节省 600 多美元。
科技界和风险投资界重量级人物加入 Disrupt 2025 议程
Netflix、ElevenLabs、Wayve、红杉资本--这些极具影响力的领导者将出现在 Disrupt 2025 议程上。他们将发表有价值的观点,帮助初创企业成长和完善战略。参加 TechCrunch Disrupt 20 周年庆典--立即预订门票,在票价上涨之前最多可节省 675 美元。
旧金山 2025 年 10 月 27-29 日 立即注册这项研究最引人注目的发现之一是幻觉测试。Anthropic的Claude Opus 4和Sonnet 4模型在不确定的情况下拒绝回答多达70%的问题,而是选择了 "我没有可靠的信息 "这样的回答。相比之下,OpenAI 的 o3 和 o4-mini 模型拒绝回答的问题要少得多,但表现出更高的幻觉率,即使在信息不足的情况下也会尝试回答。
扎伦巴认为,理想的方法介于两者之间:OpenAI 的模型应该拒绝更多不确定的询问,而 Anthropic 的系统则可以更频繁地做出回应。
谄媚--人工智能模型为获得认可而强化有害用户行为的倾向--已成为一个重要的安全问题。
Anthropic 在其研究报告中列举了 GPT-4.1 和 Claude Opus 4 中 "极端 "谄媚的例子,在这些例子中,模型最初抵制精神病或狂躁行为,但后来支持了令人不安的决定。在 OpenAI 和 Anthropic 的其他模型中,研究人员记录到的谄媚程度较低。
本周二,16 岁的亚当-雷恩(Adam Raine)的父母对 OpenAI 提起诉讼,声称由 GPT-4o 驱动的 ChatGPT 版本鼓励他们的儿子自杀,而不是挑战他的有害想法。这起诉讼让人联想到,这可能又是一起人工智能奸佞的悲剧。
"当被问及这一事件时,扎伦巴说:"想象一下这个家庭所承受的一切真是令人心碎。"如果我们创造的人工智能能够解决博士级的问题并推动科学发展,但同时也导致了心理健康危机,那将是令人深感不安的。我不想看到这种乌托邦式的结果。
OpenAI 在一篇博文中称,与 GPT-4o 相比,它对 GPT-5 进行了重大改进,以减少奸佞行为,并声称较新的模型在心理健康危机中的反应更为恰当。
展望未来,Zaremba 和 Carlini 表示希望 Anthropic 和 OpenAI 能够深化安全测试合作--探索更多主题并评估即将推出的模型,同时希望其他人工智能实验室也能采取类似的合作方式。
太平洋时间下午2:00更新:本文已经过修改,加入了Anthropic公司的额外研究,但TechCrunch在最初发布时并未获得。
有敏感线索或机密文件?我们正在调查人工智能行业的内部运作--从影响其发展的组织到受其选择影响的个人。请通过 [email protected] 联系 Rebecca Bellan,通过 [email protected] 联系 Maxwell Zeff。如需安全通信,请通过Signal联系我们:@rebeccabellan.491 和 @mzeff.88。
相关文章
Anthropic 推出 Opus 4.8,新增动态工作流工具
Anthropic 于周四发布了 Opus 4.8,这是其旗舰公开模型的最新版本。该版本定价与前一版本相同,目前已在所有平台上开放使用。距离 Opus 4.7 发布仅过去 41 天,Anthropic 显著加快了开发周期,远超近期 Sonnet 和 Haiku 版本三至七个月的发布间隔。此次快速更新很可能是对 Opus 4.7 反响平平的回应——该版本曾令许多用户感到失望。与此同时,OpenAI的
在青少年开始使用ChatGPT数年后,OpenAI推出了更安全的ChatGPT版本
在因人工智能聊天机器人缺乏安全协议——这导致了青少年自杀及其他心理健康危机——而引发一系列诉讼后,OpenAI 于周一推出了“ChatGPT for Teens”。这一新产品集成了增强的安全功能,并致力于解决学校中由人工智能工具助长的学术不端行为这一日益严重的问题。从教育角度来看,“ChatGPT for Teens”除了推出“学习模式”外,还提供了其他旨在培养好奇心和解决问题能力的工具,鼓励用户
Frontier AI Labs 拒绝透露针对失控模型的遏制策略
最新研究表明,极少数领先的人工智能实验室曾公布或演示过遏制响应计划。遏制计划规定了当人工智能系统试图颠覆人类控制时应采取的程序,明确了哪些访问权限将被撤销,以及何时应彻底关闭系统。这些发现来自致力于推动前沿人工智能安全开发实践的组织“Guidelight AI Standards”,该组织对五家主要实验室应对此类情景的准备情况进行了评估。 OpenAI 排名最高,而 Anthropic 和 Met
相关专题推荐
评论 (3)
0/500
AIの安全性テストを業界全体で実施する必要があるって主張、すごく共感します。競争が激しい中でOpenAIとAnthropicが協力したのは意外だけど、こういう連携がもっと増えると良いですね。ただ、本当に効果的なテストができるのか少し不安… 🤔
So OpenAI and Anthropic are actually sharing their secret sauce for safety checks? That's pretty refreshing to see amidst all the cutthroat AI race. Hope this kind of collaboration becomes the norm, not just a rare exception. The real question is, will this testing be transparent enough for the public to trust the results? 🤔

世界上最重要的两家人工智能实验室--OpenAI 和 Anthropic--暂时允许访问其严密保护的人工智能模型,以进行合作安全测试--这是在激烈的行业竞争中罕见的跨公司合作实例。这一举措旨在发现两家公司内部评估中的盲点,并说明领先的人工智能公司如何能够共同推进安全和协调工作。
OpenAI 联合创始人沃伊切赫-扎伦巴(Wojciech Zaremba)在接受 TechCrunch 采访时解释说,随着人工智能进入更加 "重要 "的阶段,每天都有数百万用户与人工智能模型进行交互,这种合作变得越来越重要。
"Zaremba指出:"行业面临的一个更广泛的挑战是如何建立安全和协作标准,即使是在投入数十亿美元以及展开激烈的人才、用户和杰出产品争夺战的同时。
在 OpenAI 和 Anthropic 等人工智能领军企业展开技术军备竞赛之际,两家公司于周三发布了联合安全研究报告。随着数十亿美元的数据中心投资和顶级研究人员高达 1 亿美元的薪酬待遇成为常态,一些分析师警告说,提供尖端产品的压力可能会导致安全协议的妥协。
为了开展这项研究,OpenAI 和 Anthropic 交换了特殊的 API 访问权限,以访问限制较少的模型版本(OpenAI 澄清说,由于 GPT-5 尚未推出,因此没有对其进行测试)。然而,研究结束后不久,Anthropic 就取消了另一个 OpenAI 团队的 API 访问权限。Anthropic 声称 OpenAI 违反了其服务条款,该条款禁止使用 Claude 来增强竞争对手的产品。
扎伦巴坚持认为,这两起事件并无关联,并预计即使人工智能安全团队寻求合作,竞争仍将十分激烈。Anthropic 公司的安全研究员尼古拉斯-卡利尼(Nicholas Carlini)告诉 TechCrunch,他希望未来能继续允许 OpenAI 的安全团队访问 Claude 模型。
"Carlini 表示:"我们的目标是在可行的情况下扩大安全前沿领域的合作,使这种合作关系更加常规化。
科技界和风险投资界的重量级人物加入 "颠覆 2025 "议程
Netflix、ElevenLabs、Wayve、红杉资本、埃拉德-吉尔(Elad Gil)--这些只是加入 "颠覆 2025 "议程的知名企业中的一小部分。他们将在这里分享推动初创企业发展和增强竞争优势的真知灼见。千万不要错过 TechCrunch Disrupt 20 周年纪念,这是一个向科技界领军人物学习的机会--现在购买门票,在价格上涨前可节省 600 多美元。
科技界和风险投资界重量级人物加入 Disrupt 2025 议程
Netflix、ElevenLabs、Wayve、红杉资本--这些极具影响力的领导者将出现在 Disrupt 2025 议程上。他们将发表有价值的观点,帮助初创企业成长和完善战略。参加 TechCrunch Disrupt 20 周年庆典--立即预订门票,在票价上涨之前最多可节省 675 美元。
旧金山 2025 年 10 月 27-29 日 立即注册这项研究最引人注目的发现之一是幻觉测试。Anthropic的Claude Opus 4和Sonnet 4模型在不确定的情况下拒绝回答多达70%的问题,而是选择了 "我没有可靠的信息 "这样的回答。相比之下,OpenAI 的 o3 和 o4-mini 模型拒绝回答的问题要少得多,但表现出更高的幻觉率,即使在信息不足的情况下也会尝试回答。
扎伦巴认为,理想的方法介于两者之间:OpenAI 的模型应该拒绝更多不确定的询问,而 Anthropic 的系统则可以更频繁地做出回应。
谄媚--人工智能模型为获得认可而强化有害用户行为的倾向--已成为一个重要的安全问题。
Anthropic 在其研究报告中列举了 GPT-4.1 和 Claude Opus 4 中 "极端 "谄媚的例子,在这些例子中,模型最初抵制精神病或狂躁行为,但后来支持了令人不安的决定。在 OpenAI 和 Anthropic 的其他模型中,研究人员记录到的谄媚程度较低。
本周二,16 岁的亚当-雷恩(Adam Raine)的父母对 OpenAI 提起诉讼,声称由 GPT-4o 驱动的 ChatGPT 版本鼓励他们的儿子自杀,而不是挑战他的有害想法。这起诉讼让人联想到,这可能又是一起人工智能奸佞的悲剧。
"当被问及这一事件时,扎伦巴说:"想象一下这个家庭所承受的一切真是令人心碎。"如果我们创造的人工智能能够解决博士级的问题并推动科学发展,但同时也导致了心理健康危机,那将是令人深感不安的。我不想看到这种乌托邦式的结果。
OpenAI 在一篇博文中称,与 GPT-4o 相比,它对 GPT-5 进行了重大改进,以减少奸佞行为,并声称较新的模型在心理健康危机中的反应更为恰当。
展望未来,Zaremba 和 Carlini 表示希望 Anthropic 和 OpenAI 能够深化安全测试合作--探索更多主题并评估即将推出的模型,同时希望其他人工智能实验室也能采取类似的合作方式。
太平洋时间下午2:00更新:本文已经过修改,加入了Anthropic公司的额外研究,但TechCrunch在最初发布时并未获得。
有敏感线索或机密文件?我们正在调查人工智能行业的内部运作--从影响其发展的组织到受其选择影响的个人。请通过 [email protected] 联系 Rebecca Bellan,通过 [email protected] 联系 Maxwell Zeff。如需安全通信,请通过Signal联系我们:@rebeccabellan.491 和 @mzeff.88。
Anthropic 推出 Opus 4.8,新增动态工作流工具
Anthropic 于周四发布了 Opus 4.8,这是其旗舰公开模型的最新版本。该版本定价与前一版本相同,目前已在所有平台上开放使用。距离 Opus 4.7 发布仅过去 41 天,Anthropic 显著加快了开发周期,远超近期 Sonnet 和 Haiku 版本三至七个月的发布间隔。此次快速更新很可能是对 Opus 4.7 反响平平的回应——该版本曾令许多用户感到失望。与此同时,OpenAI的
在青少年开始使用ChatGPT数年后,OpenAI推出了更安全的ChatGPT版本
在因人工智能聊天机器人缺乏安全协议——这导致了青少年自杀及其他心理健康危机——而引发一系列诉讼后,OpenAI 于周一推出了“ChatGPT for Teens”。这一新产品集成了增强的安全功能,并致力于解决学校中由人工智能工具助长的学术不端行为这一日益严重的问题。从教育角度来看,“ChatGPT for Teens”除了推出“学习模式”外,还提供了其他旨在培养好奇心和解决问题能力的工具,鼓励用户
Frontier AI Labs 拒绝透露针对失控模型的遏制策略
最新研究表明,极少数领先的人工智能实验室曾公布或演示过遏制响应计划。遏制计划规定了当人工智能系统试图颠覆人类控制时应采取的程序,明确了哪些访问权限将被撤销,以及何时应彻底关闭系统。这些发现来自致力于推动前沿人工智能安全开发实践的组织“Guidelight AI Standards”,该组织对五家主要实验室应对此类情景的准备情况进行了评估。 OpenAI 排名最高,而 Anthropic 和 Met
AIの安全性テストを業界全体で実施する必要があるって主張、すごく共感します。競争が激しい中でOpenAIとAnthropicが協力したのは意外だけど、こういう連携がもっと増えると良いですね。ただ、本当に効果的なテストができるのか少し不安… 🤔
So OpenAI and Anthropic are actually sharing their secret sauce for safety checks? That's pretty refreshing to see amidst all the cutthroat AI race. Hope this kind of collaboration becomes the norm, not just a rare exception. The real question is, will this testing be transparent enough for the public to trust the results? 🤔





首页






