前奈政策负责人大满贯公司用于改变AI安全叙事

一位前OpenAI政策研究员Miles Brundage最近访问社交媒体,呼吁Openai,以寻求其“重写历史”的方法,以部署潜在风险的AI系统。本周,OpenAI发布了一份文件,详细介绍了其目前关于AI安全和一致性的立场,即确保AI系统以可预测且有益的方式行动的过程。在其中,Openai描述了AGI或AI系统能够执行任何任务的AI系统的发展,是一种“连续路径”,涉及从AI技术中“迭代部署和学习”。 OpenAI在文档中说:“在不连续的世界中,安全课程来自对当今的系统,相对于它们的明显力量的谨慎处理,这是我们为[我们的AI模型] GPT-2采取的方法。” “现在,我们将第一个AGI视为沿着连续世界中有用性[...]的一系列系统的一个点,使下一个系统安全和有益的方式就是向当前系统学习。”但是,Brundage认为,GPT-2采取的谨慎方法完全符合Openai当前的迭代部署策略。 Brundage在X上发布了Brundage。“ Openai的发布GPT-2(我参与了GPT-2),与Openai当前的迭代部署哲学相关。 Brundage于2018年加入Openai,成为一名研究科学家,后来成为该公司的政策研究负责人,他专注于在Openai的“ AGI Revernessions”团队中负责地部署Chatgpt等语言生成系统。 Openai于2019年宣布的GPT-2是Chatgpt背后AI系统的先驱。它可以回答问题,总结文章,并生成有时与人写作没有区别的文本。尽管GPT-2现在似乎是基本的,但这当时是开创性的。由于对潜在滥用的担忧,OpenAI最初拒绝了该模型的源代码,而是允许精选的新闻媒体限制对演示的访问。该决定收到了AI社区的混合反馈。有人认为,与GPT-2相关的风险被夸大了,没有证据支持Openai对滥用的担忧。以AI为中心的出版物该渐变甚至发表了一封公开的信,敦促Openai发行该模型,理由是其技术意义。 Openai最终在宣布后六个月发布了GPT-2的部分版本,随后几个月后进行了完整的系统。 Brundage认为这是正确的方法。他在X上说:“ [GPT-2版本]的哪一部分是由认为Agi是不连续的或以AGI为不连续的。 Brundage担心Openai的文件旨在建立高度的举证责任,除非有压倒性的危险证据,否则担心被视为警报者。他发现这种心态对于先进的AI系统“非常危险”。 Brundage补充说:“如果我仍在Openai工作,我会问为什么要以这种方式写这件[文档],以及以这种方式谨慎的态度来实现的目标。” Openai过去曾面临批评,即优先考虑“闪亮的产品”,而不是安全发行以超过竞争对手。去年,该公司解散了其AGI准备团队,几位AI安全和政策研究人员留给了竞争对手公司。中国AI Lab DeepSeek的R1型号与竞争性格局加剧了,该模型公开可用,并与OpenAI的O1“推理”模型匹配了关键基准测试,引起了全球关注。 Openai首席执行官Sam Altman承认,DeepSeek已缩小Openai的技术领先优势,促使Openai考虑加速其发布时间表。据报道,随着Openai每年损失数十亿美元的损失,到2026年将损失提高到140亿美元,更快的产品发行周期可以提高短期利润,但可能会损害长期安全性。像Brundage这样的专家正在质疑这种权衡是否值得。
相关文章
OpenAI 收购人工智能个人理财初创公司 Hiro
OpenAI已收购个人理财初创公司Hiro Finance,创始人伊桑·布洛克(Ethan Bloch)于周一宣布了这一消息,OpenAI也向TechCrunch证实了这笔交易。该初创公司曾获得顶级金融科技风投公司Ribbit以及General Catalyst和Restive的投资。收购条款未予披露,且Hiro此前从未透露过其融资规模。鉴于Hiro已宣布将于4月20日停止运营,并于5月13日前从
萨提亚·纳德拉准备利用与OpenAI的新合作关系
周三,一位华尔街分析师直接询问了微软首席执行官萨蒂亚·纳德拉,修订后的OpenAI合作关系将如何影响公司的财务状况。 纳德拉将这一新协议描述为对各方都有利的结果。“我们对与OpenAI的合作感到满意。我始终非常重视任何合作关系,并确保它能够实现双赢。只有这样,双方才能保持良好的合作伙伴关系。” 他强调,微软仍然可以使用OpenAI的知识产权,包括其模型和智能体产品,但不再需要为此向OpenAI支付费用。 谈到在2032年之前可以免费使用OpenAI最先进的人工智能技术,纳德拉表示:“
OpenAI勾勒出以公共财富基金、机器人税和每周四天工作制为核心的人工智能经济蓝图
正当各国政府竭力应对超级智能机器带来的经济影响之际,OpenAI发布了一套政策建议,概述了在“智能时代”财富与工作将如何重塑。这些构想将传统左倾机制——例如公共财富基金和扩大的社会安全网——与根本上属于资本主义、由市场驱动的经济框架相结合。OpenAI的提案本质上是一份愿望清单,这份公开声明旨在帮助民选官员、投资者和公众理解这家市值8520亿美元的公司如何看待人工智能在重塑劳动力和经济过程中带来的
相关专题推荐
评论 (40)
0/500
Die ganze Debatte um KI-Sicherheit erinnert mich an die frühen Diskussionen über soziale Medien. Damals hieß es auch, man würde alles unter Kontrolle haben. Jetzt sehen wir, wie schwierig es ist, solche Systeme im Nachhinein zu regulieren. Hoffentlich lernen die Firmen diesmal aus der Vergangenheit, bevor es zu spät ist. 🤔
C'est typique des grosses boîtes de réécrire leur histoire pour paraître plus responsables... Ça me rappelle les débats sur l'éthique chez Facebook. Est-ce qu'on peut vraiment faire confiance aux entreprises tech pour s'auto-réguler ? 😒
It's wild how OpenAI's getting called out by their own ex-policy lead! 😮 Miles Brundage isn't holding back, accusing them of spinning their AI safety story. Makes you wonder what's really going on behind the scenes at these big AI companies. Are they prioritizing safety or just playing PR games?

OpenAI 收购人工智能个人理财初创公司 Hiro
OpenAI已收购个人理财初创公司Hiro Finance,创始人伊桑·布洛克(Ethan Bloch)于周一宣布了这一消息,OpenAI也向TechCrunch证实了这笔交易。该初创公司曾获得顶级金融科技风投公司Ribbit以及General Catalyst和Restive的投资。收购条款未予披露,且Hiro此前从未透露过其融资规模。鉴于Hiro已宣布将于4月20日停止运营,并于5月13日前从
萨提亚·纳德拉准备利用与OpenAI的新合作关系
周三,一位华尔街分析师直接询问了微软首席执行官萨蒂亚·纳德拉,修订后的OpenAI合作关系将如何影响公司的财务状况。 纳德拉将这一新协议描述为对各方都有利的结果。“我们对与OpenAI的合作感到满意。我始终非常重视任何合作关系,并确保它能够实现双赢。只有这样,双方才能保持良好的合作伙伴关系。” 他强调,微软仍然可以使用OpenAI的知识产权,包括其模型和智能体产品,但不再需要为此向OpenAI支付费用。 谈到在2032年之前可以免费使用OpenAI最先进的人工智能技术,纳德拉表示:“
OpenAI勾勒出以公共财富基金、机器人税和每周四天工作制为核心的人工智能经济蓝图
正当各国政府竭力应对超级智能机器带来的经济影响之际,OpenAI发布了一套政策建议,概述了在“智能时代”财富与工作将如何重塑。这些构想将传统左倾机制——例如公共财富基金和扩大的社会安全网——与根本上属于资本主义、由市场驱动的经济框架相结合。OpenAI的提案本质上是一份愿望清单,这份公开声明旨在帮助民选官员、投资者和公众理解这家市值8520亿美元的公司如何看待人工智能在重塑劳动力和经济过程中带来的
Die ganze Debatte um KI-Sicherheit erinnert mich an die frühen Diskussionen über soziale Medien. Damals hieß es auch, man würde alles unter Kontrolle haben. Jetzt sehen wir, wie schwierig es ist, solche Systeme im Nachhinein zu regulieren. Hoffentlich lernen die Firmen diesmal aus der Vergangenheit, bevor es zu spät ist. 🤔
C'est typique des grosses boîtes de réécrire leur histoire pour paraître plus responsables... Ça me rappelle les débats sur l'éthique chez Facebook. Est-ce qu'on peut vraiment faire confiance aux entreprises tech pour s'auto-réguler ? 😒
It's wild how OpenAI's getting called out by their own ex-policy lead! 😮 Miles Brundage isn't holding back, accusing them of spinning their AI safety story. Makes you wonder what's really going on behind the scenes at these big AI companies. Are they prioritizing safety or just playing PR games?





首页






