人工智能竞赛:极快的速度能否兼顾安全要求?
OpenAI 研究人员对人工智能安全性的批评针对的是竞争对手,这揭示了更深层次的行业斗争--一场与自身的斗争。
事情的起因是,目前正在休假并在 OpenAI 从事安全研究的哈佛大学教授 Boaz Barak 称 xAI 发布的 Grok 模型 "完全不负责任"。他批评的并不是其抢占头条的滑稽行为,而是缺少了什么:公共系统卡、详细的安全评估,以及已成为脆弱的行业规范的基本透明度。
这是一个明确而必要的行动号召。然而,OpenAI 前工程师卡尔文-弗伦奇-欧文(Calvin French-Owen)在离职三周后发表的一篇坦率反思揭示了故事的另一面。
French-Owen的叙述表明,大量OpenAI员工确实在关注安全问题,应对仇恨言论、生物武器和自残等现实威胁。然而,他提出了一个至关重要的见解:"大部分工作都没有发表。"他写道,并补充说,OpenAI "确实应该做更多的工作,将这些工作公之于众"。
在这里,一个负责任的行为者斥责一个不负责任的行为者的简单叙述不攻自破。取而代之的是,我们看到了这个行业的真正困境。整个人工智能行业都陷入了所谓的 "安全-速度悖论"(Safety-Velocity Paradox)--在以惊人速度发展的竞争压力与谨慎行事以确保人类安全的道德要求之间,存在着深刻的结构性冲突。
根据 French-Owen 的说法,OpenAI 的运营处于受控的混乱状态。该公司在短短一年内将员工人数增加了两倍,达到 3000 多人,"当你如此迅速地扩大规模时,一切都会崩溃"。这种混乱的能量是由他所描述的人工通用智能 "三雄争霸 "的巨大压力所驱动的,与谷歌和 Anthropic 直接竞争。其结果是形成了一种以惊人的速度,同时也以保密为特征的文化。
请看 OpenAI 的编码代理 Codex 的开发过程。French-Owen 将该项目形容为 "疯狂冲刺",一个小团队在短短七周内从零开始打造了一款突破性产品。
这堪称速度的教科书式范例--为了实现这一目标,他们每天工作到午夜,甚至周末也不休息。这就是这种速度带来的人力成本。在这样一个快速发展的环境中,发布人工智能安全研究成果这种缓慢而有条不紊的工作让人感觉像是在分散注意力,这又有什么奇怪的呢?
这种悖论并非源于恶意,而是由各种相互关联的强大力量共同造成的。
首先是显而易见的竞争压力。还有这些实验室的文化基因,它们起源于由 "科学家和工匠 "组成的非正式社区,重视突破性创新而非系统性流程。此外,还有一个基本的衡量问题:追踪速度和绩效很容易,但量化成功避免的灾难却异常困难。
在当今的会议室里,看得见的进步指标几乎总是比看不见的安全成就更重要。然而,行业要想向前发展,就必须将重点从指责转移到从根本上改变游戏规则上来。
我们必须重新定义产品发布的意义,使安全案例的发布与代码本身一样不可或缺。我们需要制定全行业标准,确保任何公司都不会因为恪尽职守而在竞争中处于不利地位,将安全从一个可有可无的功能转变为一个共同的、不容讨价还价的基础。
最重要的是,我们必须在人工智能实验室内培养一种文化,让每一位工程师,不仅仅是安全部的工程师,都能感受到责任感。
创造人工智能的竞赛不仅关系到谁先到达目的地,还关系到我们如何到达目的地。最终的赢家将不仅仅是速度最快的公司,而是能够向世界展示雄心和责任能够--而且必须--共同前进的公司。
另请参见:Anthropic、OpenAI、谷歌和 xAI 获得军事人工智能合同
想从行业领导者那里了解更多有关人工智能和大数据的信息?请参加在阿姆斯特丹、加利福尼亚和伦敦举办的人工智能与大数据博览会。这一综合性活动与智能自动化大会(Intelligent Automation Conference)、BlockX、数字转型周(Digital Transformation Week)和网络安全与云博览会(Cyber Security & Cloud Expo)等其他领先会议同期举行。
点击此处了解由 TechForge 提供支持的其他即将举行的企业技术活动和网络研讨会。
相关文章
华纳音乐收购AI归因初创公司Sureel AI
华纳音乐集团(WMG)于周三确认,其正在收购Sureel AI,一家专注于人工智能归因的初创公司。Sureel的专有技术为音乐曲目生成“AI DNA”,将其分解为各个组成部分,以追踪人工智能模型如何利用这些元素。通过此次收购,WMG旨在增强其监控其艺术家和词曲创作者的作品在人工智能生成内容中被使用或用于训练人工智能模型的能力。“将Sureel整合到WMG中,增强了我们的保护、控制和变现能力,确保创意社区保留对其知识产权、姓名、肖像、形象和声音的控制权,”WMG首席执行官Robert Kync
亚马逊推出“Alexa for Shopping”,同时将Rufus边缘化
亚马逊推出了“Alexa for Shopping”,将 Rufus 购物聊天机器人 Alexa+ 整合到应用程序、网站和 Echo Show 设备中。该助手回答产品查询、比较商品、跟踪价格,并支持购物提醒。它还处理计划中的购物操作和符合条件的自动购买。据该公司称,“Alexa for Shopping”将 Rufus 的产品专业知识与 Alexa+ 的个性化助手上下文相结合。亚马逊表示,Rufus 在 2025 年协助了超过 3 亿客户进行产品研究、比较和购买。GeekWire 报道称,
微软、Azure 和人工智能技术共同应对加利福尼亚州野火风险
微软投资于人工智能驱动的山火监测技术,其首席副总裁兼首席数据科学家胡安·拉维斯塔·费雷斯(Juan Lavista Ferres)探讨了减轻环境损害的策略。据美国国家航空航天局(NASA)称,气候变化影响着地球上的每个人,其表现为气温上升、降雨模式改变以及海平面上升。NASA指出,有确凿证据表明地球正以史无前例的速度变暖,而人类活动是其主要驱动因素。随着全球气温上升,野火构成的威胁日益加剧。 在美
相关专题推荐
评论 (2)
0/500
Interesting piece! The fact that even OpenAI researchers are calling out their own competitors on safety issues shows how messy this race is. 🏃♂️💨 But can we really slow down without losing the edge? Feels like a prisoner's dilemma with existential stakes. 🤔
Die KI-Branche wirkt wie ein Formel-1-Rennen mit kaputten Bremsen 😅. Jeder will der Schnellste sein, aber wenn niemand Sicherheitsvorkehrungen trifft, endet das im Chaos. Interessant, dass selbst OpenAI-Mitarbeiter die Konkurrenz kritisieren – zeigt, wie gespalten die Branche ist. Vielleicht brauchen wir weniger Wettrennen und mehr Zusammenarbeit?
OpenAI 研究人员对人工智能安全性的批评针对的是竞争对手,这揭示了更深层次的行业斗争--一场与自身的斗争。
事情的起因是,目前正在休假并在 OpenAI 从事安全研究的哈佛大学教授 Boaz Barak 称 xAI 发布的 Grok 模型 "完全不负责任"。他批评的并不是其抢占头条的滑稽行为,而是缺少了什么:公共系统卡、详细的安全评估,以及已成为脆弱的行业规范的基本透明度。
这是一个明确而必要的行动号召。然而,OpenAI 前工程师卡尔文-弗伦奇-欧文(Calvin French-Owen)在离职三周后发表的一篇坦率反思揭示了故事的另一面。
French-Owen的叙述表明,大量OpenAI员工确实在关注安全问题,应对仇恨言论、生物武器和自残等现实威胁。然而,他提出了一个至关重要的见解:"大部分工作都没有发表。"他写道,并补充说,OpenAI "确实应该做更多的工作,将这些工作公之于众"。
在这里,一个负责任的行为者斥责一个不负责任的行为者的简单叙述不攻自破。取而代之的是,我们看到了这个行业的真正困境。整个人工智能行业都陷入了所谓的 "安全-速度悖论"(Safety-Velocity Paradox)--在以惊人速度发展的竞争压力与谨慎行事以确保人类安全的道德要求之间,存在着深刻的结构性冲突。
根据 French-Owen 的说法,OpenAI 的运营处于受控的混乱状态。该公司在短短一年内将员工人数增加了两倍,达到 3000 多人,"当你如此迅速地扩大规模时,一切都会崩溃"。这种混乱的能量是由他所描述的人工通用智能 "三雄争霸 "的巨大压力所驱动的,与谷歌和 Anthropic 直接竞争。其结果是形成了一种以惊人的速度,同时也以保密为特征的文化。
请看 OpenAI 的编码代理 Codex 的开发过程。French-Owen 将该项目形容为 "疯狂冲刺",一个小团队在短短七周内从零开始打造了一款突破性产品。
这堪称速度的教科书式范例--为了实现这一目标,他们每天工作到午夜,甚至周末也不休息。这就是这种速度带来的人力成本。在这样一个快速发展的环境中,发布人工智能安全研究成果这种缓慢而有条不紊的工作让人感觉像是在分散注意力,这又有什么奇怪的呢?
这种悖论并非源于恶意,而是由各种相互关联的强大力量共同造成的。
首先是显而易见的竞争压力。还有这些实验室的文化基因,它们起源于由 "科学家和工匠 "组成的非正式社区,重视突破性创新而非系统性流程。此外,还有一个基本的衡量问题:追踪速度和绩效很容易,但量化成功避免的灾难却异常困难。
在当今的会议室里,看得见的进步指标几乎总是比看不见的安全成就更重要。然而,行业要想向前发展,就必须将重点从指责转移到从根本上改变游戏规则上来。
我们必须重新定义产品发布的意义,使安全案例的发布与代码本身一样不可或缺。我们需要制定全行业标准,确保任何公司都不会因为恪尽职守而在竞争中处于不利地位,将安全从一个可有可无的功能转变为一个共同的、不容讨价还价的基础。
最重要的是,我们必须在人工智能实验室内培养一种文化,让每一位工程师,不仅仅是安全部的工程师,都能感受到责任感。
创造人工智能的竞赛不仅关系到谁先到达目的地,还关系到我们如何到达目的地。最终的赢家将不仅仅是速度最快的公司,而是能够向世界展示雄心和责任能够--而且必须--共同前进的公司。
另请参见:Anthropic、OpenAI、谷歌和 xAI 获得军事人工智能合同
想从行业领导者那里了解更多有关人工智能和大数据的信息?请参加在阿姆斯特丹、加利福尼亚和伦敦举办的人工智能与大数据博览会。这一综合性活动与智能自动化大会(Intelligent Automation Conference)、BlockX、数字转型周(Digital Transformation Week)和网络安全与云博览会(Cyber Security & Cloud Expo)等其他领先会议同期举行。
点击此处了解由 TechForge 提供支持的其他即将举行的企业技术活动和网络研讨会。
华纳音乐收购AI归因初创公司Sureel AI
华纳音乐集团(WMG)于周三确认,其正在收购Sureel AI,一家专注于人工智能归因的初创公司。Sureel的专有技术为音乐曲目生成“AI DNA”,将其分解为各个组成部分,以追踪人工智能模型如何利用这些元素。通过此次收购,WMG旨在增强其监控其艺术家和词曲创作者的作品在人工智能生成内容中被使用或用于训练人工智能模型的能力。“将Sureel整合到WMG中,增强了我们的保护、控制和变现能力,确保创意社区保留对其知识产权、姓名、肖像、形象和声音的控制权,”WMG首席执行官Robert Kync
微软、Azure 和人工智能技术共同应对加利福尼亚州野火风险
微软投资于人工智能驱动的山火监测技术,其首席副总裁兼首席数据科学家胡安·拉维斯塔·费雷斯(Juan Lavista Ferres)探讨了减轻环境损害的策略。据美国国家航空航天局(NASA)称,气候变化影响着地球上的每个人,其表现为气温上升、降雨模式改变以及海平面上升。NASA指出,有确凿证据表明地球正以史无前例的速度变暖,而人类活动是其主要驱动因素。随着全球气温上升,野火构成的威胁日益加剧。 在美
Interesting piece! The fact that even OpenAI researchers are calling out their own competitors on safety issues shows how messy this race is. 🏃♂️💨 But can we really slow down without losing the edge? Feels like a prisoner's dilemma with existential stakes. 🤔
Die KI-Branche wirkt wie ein Formel-1-Rennen mit kaputten Bremsen 😅. Jeder will der Schnellste sein, aber wenn niemand Sicherheitsvorkehrungen trifft, endet das im Chaos. Interessant, dass selbst OpenAI-Mitarbeiter die Konkurrenz kritisieren – zeigt, wie gespalten die Branche ist. Vielleicht brauchen wir weniger Wettrennen und mehr Zusammenarbeit?





首页






