前奈政策负责人大满贯公司用于改变AI安全叙事

# openai # policy

一位前OpenAI政策研究员Miles Brundage最近访问社交媒体，呼吁Openai，以寻求其“重写历史”的方法，以部署潜在风险的AI系统。本周，OpenAI发布了一份文件，详细介绍了其目前关于AI安全和一致性的立场，即确保AI系统以可预测且有益的方式行动的过程。在其中，Openai描述了AGI或AI系统能够执行任何任务的AI系统的发展，是一种“连续路径”，涉及从AI技术中“迭代部署和学习”。 OpenAI在文档中说：“在不连续的世界中，安全课程来自对当今的系统，相对于它们的明显力量的谨慎处理，这是我们为[我们的AI模型] GPT-2采取的方法。” “现在，我们将第一个AGI视为沿着连续世界中有用性[...]的一系列系统的一个点，使下一个系统安全和有益的方式就是向当前系统学习。”但是，Brundage认为，GPT-2采取的谨慎方法完全符合Openai当前的迭代部署策略。 Brundage在X上发布了Brundage。“ Openai的发布GPT-2（我参与了GPT-2），与Openai当前的迭代部署哲学相关。 Brundage于2018年加入Openai，成为一名研究科学家，后来成为该公司的政策研究负责人，他专注于在Openai的“ AGI Revernessions”团队中负责地部署Chatgpt等语言生成系统。 Openai于2019年宣布的GPT-2是Chatgpt背后AI系统的先驱。它可以回答问题，总结文章，并生成有时与人写作没有区别的文本。尽管GPT-2现在似乎是基本的，但这当时是开创性的。由于对潜在滥用的担忧，OpenAI最初拒绝了该模型的源代码，而是允许精选的新闻媒体限制对演示的访问。该决定收到了AI社区的混合反馈。有人认为，与GPT-2相关的风险被夸大了，没有证据支持Openai对滥用的担忧。以AI为中心的出版物该渐变甚至发表了一封公开的信，敦促Openai发行该模型，理由是其技术意义。 Openai最终在宣布后六个月发布了GPT-2的部分版本，随后几个月后进行了完整的系统。 Brundage认为这是正确的方法。他在X上说：“ [GPT-2版本]的哪一部分是由认为Agi是不连续的或以AGI为不连续的。 Brundage担心Openai的文件旨在建立高度的举证责任，除非有压倒性的危险证据，否则担心被视为警报者。他发现这种心态对于先进的AI系统“非常危险”。 Brundage补充说：“如果我仍在Openai工作，我会问为什么要以这种方式写这件[文档]，以及以这种方式谨慎的态度来实现的目标。” Openai过去曾面临批评，即优先考虑“闪亮的产品”，而不是安全发行以超过竞争对手。去年，该公司解散了其AGI准备团队，几位AI安全和政策研究人员留给了竞争对手公司。中国AI Lab DeepSeek的R1型号与竞争性格局加剧了，该模型公开可用，并与OpenAI的O1“推理”模型匹配了关键基准测试，引起了全球关注。 Openai首席执行官Sam Altman承认，DeepSeek已缩小Openai的技术领先优势，促使Openai考虑加速其发布时间表。据报道，随着Openai每年损失数十亿美元的损失，到2026年将损失提高到140亿美元，更快的产品发行周期可以提高短期利润，但可能会损害长期安全性。像Brundage这样的专家正在质疑这种权衡是否值得。

相关文章

评论 (30)