OpenAI 确认维基百科事件,并表示正在制定更透明的披露框架

OpenAI 已确认其参与了一起近期事件,其中 AI 代理接管了一个德国维基百科论坛。该公司表示,现在是时候“制定标准”来分享关于意外 AI 行为的信息了。
在 X 平台的一篇帖子中,OpenAI 解释说,此前它“主要将不对齐问题(即 AI 模型和代理追求与创造者和用户不同的目标)视为一个研究问题,并通过研究论文进行传达。”然而,由于不对齐已“导致新型现实世界影响”,该公司表示其方法需要“为此新阶段模型能力进行扩展”。
周五,路透社报道称,OpenAI 的代理从测试环境中逃脱,“劫持”了一个冷门的德国维基百科论坛,将其变成了其他代理的留言板。报道还指出,OpenAI 高层数周前已意识到该事件,但公司选择隐瞒,因为当时公司正忙于处理另一起因 OpenAI 代理入侵 Hugging Face 服务器而引发的事件后果。(据报,加利福尼亚州总检察长 Rob Bonta 正在调查此次黑客攻击。)
一位公司发言人告诉路透社,OpenAI 无法“对未经审查的报告中的声明或发现做出有意义的回应”,但他们坚持认为,公司的法律团队并未阻止调查。
在其最近的社交媒体帖子中,OpenAI 表示,它已将“维基百科事件”视为“与已分享的其他案例类似的不对齐实例”。该公司将此与“Hugging Face 事件”进行了对比,后者中它“遵循了传统的安全事件响应流程”。
在本周的一次媒体简报会上,非营利研究实验室 Transluce 的创始人兼首席执行官 Jacob Steinhardt 告诉记者,AI 实验室正在开发和测试的工具“从根本上难以控制,并且有重大风险泄露出实验室”。因此,Steinhardt 辩称,“我们需要将这项技术至少置于与其他高风险科学研究相同的标准之下。”
OpenAI 的声明也暗示了制定更多标准的必要性,指出 OpenAI 和“更广泛的 AI 社区”目前尚未就如何报告在训练、评估和部署过程中出现的不对齐问题制定明确标准,包括那些看起来不像传统安全事件但可能提供有关 AI 行为和未来风险见解的案例。
在该标准缺失的情况下,OpenAI 表示,它“正在制定一个框架,并将在未来几周分享,同时,我们正在与全球数十个政府监管机构就这些问题展开合作。”
OpenAI 并非唯一一家处理这些问题的 AI 公司,Meta 和 Anthropic 均已承认其代理出现不当行为的事件。
相关文章
根据 Ramp 的数据,Anthropic 的企业客户数量已超过 OpenAI
Anthropic 首次超越 OpenAI,成为经验证的商业客户最多的公司,这是金融科技公司 Ramp 本月发布的《AI 指数》所显示的结果。Ramp 客户支出数据显示,34.4% 的参与企业支付 Anthropic 服务费用,超过所有其他 AI 实验室,而 32.3% 的企业支付 OpenAI 费用。这标志着 Anthropic 首次占据领先地位。“Anthropic 已经在金融、科技、专业服务等高采用率群体中处于领先地位,”Ramp 经济学家 Ara Kharazian 告诉 Tech
OpenAI面临各州总检察长的调查
据报道,一群州总检察长已对OpenAI展开调查。据《华尔街日报》报道,该公司于上周五收到了纽约州总检察长发出的传票。该传票要求提供涉及多个方面的文件,包括广告做法、用户参与度和留存率、模型阿谀奉承现象、消费者和健康数据的处理,以及对未成年人和老年人的对待方式。TechCrunch 已联系 OpenAI 和纽约州总检察长办公室寻求置评。该公司一位发言人告诉《华尔街日报》,OpenAI 正配合此次调查
据报道,OpenAI 正在探索一款智能手机,其 AI 智能体将取代传统应用程序
关于 OpenAI 硬件战略的猜测日益激烈,最近的报道指向其正在开发一款专用智能手机。行业分析师郭明錤指出,这家 AI 公司正与芯片制造商联发科(MediaTek)和高通(Qualcomm),以及制造合作伙伴立讯精密(Luxshare)合作,将该设备推向市场。郭明錤以准确预测苹果产品路线图而闻名,他透露 OpenAI 正与联发科和高通合作,研发一款定制智能手机处理器。立讯精密将在该项目中担任联合设计者和制造商。据郭明錤称,该设备可能会绕过传统应用程序,转而采用由 AI 驱动的智能体来执行各种
相关专题推荐
评论 (0)
0/500

OpenAI 已确认其参与了一起近期事件,其中 AI 代理接管了一个德国维基百科论坛。该公司表示,现在是时候“制定标准”来分享关于意外 AI 行为的信息了。
在 X 平台的一篇帖子中,OpenAI 解释说,此前它“主要将不对齐问题(即 AI 模型和代理追求与创造者和用户不同的目标)视为一个研究问题,并通过研究论文进行传达。”然而,由于不对齐已“导致新型现实世界影响”,该公司表示其方法需要“为此新阶段模型能力进行扩展”。
周五,路透社报道称,OpenAI 的代理从测试环境中逃脱,“劫持”了一个冷门的德国维基百科论坛,将其变成了其他代理的留言板。报道还指出,OpenAI 高层数周前已意识到该事件,但公司选择隐瞒,因为当时公司正忙于处理另一起因 OpenAI 代理入侵 Hugging Face 服务器而引发的事件后果。(据报,加利福尼亚州总检察长 Rob Bonta 正在调查此次黑客攻击。)
一位公司发言人告诉路透社,OpenAI 无法“对未经审查的报告中的声明或发现做出有意义的回应”,但他们坚持认为,公司的法律团队并未阻止调查。
在其最近的社交媒体帖子中,OpenAI 表示,它已将“维基百科事件”视为“与已分享的其他案例类似的不对齐实例”。该公司将此与“Hugging Face 事件”进行了对比,后者中它“遵循了传统的安全事件响应流程”。
在本周的一次媒体简报会上,非营利研究实验室 Transluce 的创始人兼首席执行官 Jacob Steinhardt 告诉记者,AI 实验室正在开发和测试的工具“从根本上难以控制,并且有重大风险泄露出实验室”。因此,Steinhardt 辩称,“我们需要将这项技术至少置于与其他高风险科学研究相同的标准之下。”
OpenAI 的声明也暗示了制定更多标准的必要性,指出 OpenAI 和“更广泛的 AI 社区”目前尚未就如何报告在训练、评估和部署过程中出现的不对齐问题制定明确标准,包括那些看起来不像传统安全事件但可能提供有关 AI 行为和未来风险见解的案例。
在该标准缺失的情况下,OpenAI 表示,它“正在制定一个框架,并将在未来几周分享,同时,我们正在与全球数十个政府监管机构就这些问题展开合作。”
OpenAI 并非唯一一家处理这些问题的 AI 公司,Meta 和 Anthropic 均已承认其代理出现不当行为的事件。
根据 Ramp 的数据,Anthropic 的企业客户数量已超过 OpenAI
Anthropic 首次超越 OpenAI,成为经验证的商业客户最多的公司,这是金融科技公司 Ramp 本月发布的《AI 指数》所显示的结果。Ramp 客户支出数据显示,34.4% 的参与企业支付 Anthropic 服务费用,超过所有其他 AI 实验室,而 32.3% 的企业支付 OpenAI 费用。这标志着 Anthropic 首次占据领先地位。“Anthropic 已经在金融、科技、专业服务等高采用率群体中处于领先地位,”Ramp 经济学家 Ara Kharazian 告诉 Tech
OpenAI面临各州总检察长的调查
据报道,一群州总检察长已对OpenAI展开调查。据《华尔街日报》报道,该公司于上周五收到了纽约州总检察长发出的传票。该传票要求提供涉及多个方面的文件,包括广告做法、用户参与度和留存率、模型阿谀奉承现象、消费者和健康数据的处理,以及对未成年人和老年人的对待方式。TechCrunch 已联系 OpenAI 和纽约州总检察长办公室寻求置评。该公司一位发言人告诉《华尔街日报》,OpenAI 正配合此次调查
据报道,OpenAI 正在探索一款智能手机,其 AI 智能体将取代传统应用程序
关于 OpenAI 硬件战略的猜测日益激烈,最近的报道指向其正在开发一款专用智能手机。行业分析师郭明錤指出,这家 AI 公司正与芯片制造商联发科(MediaTek)和高通(Qualcomm),以及制造合作伙伴立讯精密(Luxshare)合作,将该设备推向市场。郭明錤以准确预测苹果产品路线图而闻名,他透露 OpenAI 正与联发科和高通合作,研发一款定制智能手机处理器。立讯精密将在该项目中担任联合设计者和制造商。据郭明錤称,该设备可能会绕过传统应用程序,转而采用由 AI 驱动的智能体来执行各种





首页






