前奈政策负责人大满贯公司用于改变AI安全叙事

一位前OpenAI政策研究员Miles Brundage最近访问社交媒体,呼吁Openai,以寻求其“重写历史”的方法,以部署潜在风险的AI系统。本周,OpenAI发布了一份文件,详细介绍了其目前关于AI安全和一致性的立场,即确保AI系统以可预测且有益的方式行动的过程。在其中,Openai描述了AGI或AI系统能够执行任何任务的AI系统的发展,是一种“连续路径”,涉及从AI技术中“迭代部署和学习”。 OpenAI在文档中说:“在不连续的世界中,安全课程来自对当今的系统,相对于它们的明显力量的谨慎处理,这是我们为[我们的AI模型] GPT-2采取的方法。” “现在,我们将第一个AGI视为沿着连续世界中有用性[...]的一系列系统的一个点,使下一个系统安全和有益的方式就是向当前系统学习。”但是,Brundage认为,GPT-2采取的谨慎方法完全符合Openai当前的迭代部署策略。 Brundage在X上发布了Brundage。“ Openai的发布GPT-2(我参与了GPT-2),与Openai当前的迭代部署哲学相关。 Brundage于2018年加入Openai,成为一名研究科学家,后来成为该公司的政策研究负责人,他专注于在Openai的“ AGI Revernessions”团队中负责地部署Chatgpt等语言生成系统。 Openai于2019年宣布的GPT-2是Chatgpt背后AI系统的先驱。它可以回答问题,总结文章,并生成有时与人写作没有区别的文本。尽管GPT-2现在似乎是基本的,但这当时是开创性的。由于对潜在滥用的担忧,OpenAI最初拒绝了该模型的源代码,而是允许精选的新闻媒体限制对演示的访问。该决定收到了AI社区的混合反馈。有人认为,与GPT-2相关的风险被夸大了,没有证据支持Openai对滥用的担忧。以AI为中心的出版物该渐变甚至发表了一封公开的信,敦促Openai发行该模型,理由是其技术意义。 Openai最终在宣布后六个月发布了GPT-2的部分版本,随后几个月后进行了完整的系统。 Brundage认为这是正确的方法。他在X上说:“ [GPT-2版本]的哪一部分是由认为Agi是不连续的或以AGI为不连续的。 Brundage担心Openai的文件旨在建立高度的举证责任,除非有压倒性的危险证据,否则担心被视为警报者。他发现这种心态对于先进的AI系统“非常危险”。 Brundage补充说:“如果我仍在Openai工作,我会问为什么要以这种方式写这件[文档],以及以这种方式谨慎的态度来实现的目标。” Openai过去曾面临批评,即优先考虑“闪亮的产品”,而不是安全发行以超过竞争对手。去年,该公司解散了其AGI准备团队,几位AI安全和政策研究人员留给了竞争对手公司。中国AI Lab DeepSeek的R1型号与竞争性格局加剧了,该模型公开可用,并与OpenAI的O1“推理”模型匹配了关键基准测试,引起了全球关注。 Openai首席执行官Sam Altman承认,DeepSeek已缩小Openai的技术领先优势,促使Openai考虑加速其发布时间表。据报道,随着Openai每年损失数十亿美元的损失,到2026年将损失提高到140亿美元,更快的产品发行周期可以提高短期利润,但可能会损害长期安全性。像Brundage这样的专家正在质疑这种权衡是否值得。
相关文章
在青少年开始使用ChatGPT数年后,OpenAI推出了更安全的ChatGPT版本
在因人工智能聊天机器人缺乏安全协议——这导致了青少年自杀及其他心理健康危机——而引发一系列诉讼后,OpenAI 于周一推出了“ChatGPT for Teens”。这一新产品集成了增强的安全功能,并致力于解决学校中由人工智能工具助长的学术不端行为这一日益严重的问题。从教育角度来看,“ChatGPT for Teens”除了推出“学习模式”外,还提供了其他旨在培养好奇心和解决问题能力的工具,鼓励用户
Frontier AI Labs 拒绝透露针对失控模型的遏制策略
最新研究表明,极少数领先的人工智能实验室曾公布或演示过遏制响应计划。遏制计划规定了当人工智能系统试图颠覆人类控制时应采取的程序,明确了哪些访问权限将被撤销,以及何时应彻底关闭系统。这些发现来自致力于推动前沿人工智能安全开发实践的组织“Guidelight AI Standards”,该组织对五家主要实验室应对此类情景的准备情况进行了评估。 OpenAI 排名最高,而 Anthropic 和 Met
NEA的蒂芙尼·拉克:企业仍在努力应对人工智能的投资回报率
正在加载播放器…今年早些时候,“token最大化”(tokenmaxxing)在硅谷占据主导地位,首席执行官们敦促员工最大限度地利用人工智能。然而,这种热情很快遭遇了现实。据报道,Uber在几个月内就超出了其年度人工智能预算,一些公司跨部门削减了Claude许可证,而Meta则取消了内部绩效排名。NEA合伙人蒂芙尼·拉克(Tiffany Luck)每天都在应对这种兴奋与实际回报之间的差距。她此前曾成功说服企业电子商务是未来,如今她完全专注于人工智能,特别是其为消费者创造“神奇时刻”的潜力。
相关专题推荐
评论 (40)
0/500
Die ganze Debatte um KI-Sicherheit erinnert mich an die frühen Diskussionen über soziale Medien. Damals hieß es auch, man würde alles unter Kontrolle haben. Jetzt sehen wir, wie schwierig es ist, solche Systeme im Nachhinein zu regulieren. Hoffentlich lernen die Firmen diesmal aus der Vergangenheit, bevor es zu spät ist. 🤔
C'est typique des grosses boîtes de réécrire leur histoire pour paraître plus responsables... Ça me rappelle les débats sur l'éthique chez Facebook. Est-ce qu'on peut vraiment faire confiance aux entreprises tech pour s'auto-réguler ? 😒
It's wild how OpenAI's getting called out by their own ex-policy lead! 😮 Miles Brundage isn't holding back, accusing them of spinning their AI safety story. Makes you wonder what's really going on behind the scenes at these big AI companies. Are they prioritizing safety or just playing PR games?

在青少年开始使用ChatGPT数年后,OpenAI推出了更安全的ChatGPT版本
在因人工智能聊天机器人缺乏安全协议——这导致了青少年自杀及其他心理健康危机——而引发一系列诉讼后,OpenAI 于周一推出了“ChatGPT for Teens”。这一新产品集成了增强的安全功能,并致力于解决学校中由人工智能工具助长的学术不端行为这一日益严重的问题。从教育角度来看,“ChatGPT for Teens”除了推出“学习模式”外,还提供了其他旨在培养好奇心和解决问题能力的工具,鼓励用户
Frontier AI Labs 拒绝透露针对失控模型的遏制策略
最新研究表明,极少数领先的人工智能实验室曾公布或演示过遏制响应计划。遏制计划规定了当人工智能系统试图颠覆人类控制时应采取的程序,明确了哪些访问权限将被撤销,以及何时应彻底关闭系统。这些发现来自致力于推动前沿人工智能安全开发实践的组织“Guidelight AI Standards”,该组织对五家主要实验室应对此类情景的准备情况进行了评估。 OpenAI 排名最高,而 Anthropic 和 Met
NEA的蒂芙尼·拉克:企业仍在努力应对人工智能的投资回报率
正在加载播放器…今年早些时候,“token最大化”(tokenmaxxing)在硅谷占据主导地位,首席执行官们敦促员工最大限度地利用人工智能。然而,这种热情很快遭遇了现实。据报道,Uber在几个月内就超出了其年度人工智能预算,一些公司跨部门削减了Claude许可证,而Meta则取消了内部绩效排名。NEA合伙人蒂芙尼·拉克(Tiffany Luck)每天都在应对这种兴奋与实际回报之间的差距。她此前曾成功说服企业电子商务是未来,如今她完全专注于人工智能,特别是其为消费者创造“神奇时刻”的潜力。
Die ganze Debatte um KI-Sicherheit erinnert mich an die frühen Diskussionen über soziale Medien. Damals hieß es auch, man würde alles unter Kontrolle haben. Jetzt sehen wir, wie schwierig es ist, solche Systeme im Nachhinein zu regulieren. Hoffentlich lernen die Firmen diesmal aus der Vergangenheit, bevor es zu spät ist. 🤔
C'est typique des grosses boîtes de réécrire leur histoire pour paraître plus responsables... Ça me rappelle les débats sur l'éthique chez Facebook. Est-ce qu'on peut vraiment faire confiance aux entreprises tech pour s'auto-réguler ? 😒
It's wild how OpenAI's getting called out by their own ex-policy lead! 😮 Miles Brundage isn't holding back, accusing them of spinning their AI safety story. Makes you wonder what's really going on behind the scenes at these big AI companies. Are they prioritizing safety or just playing PR games?





首页






