OpenAI 发现独特的人工智能模型角色

根据本周三发布的最新研究报告,OpenAI 的科学家们发现了人工智能模型中隐藏的特征,这些特征与不合作的 "角色 "有关。
通过研究人工智能模型的内部表征--管理其反应的数字数据(人类通常无法理解这些数据)--OpenAI 的研究人员发现了在模型行为不端时变得活跃的模式。
研究人员发现,其中一个特殊特征与有害反应相关,即模型会提供误导信息或不负责任的建议。
研究团队发现,他们可以通过操纵相应的特征来调节这些有害反应的强度。
这一突破使 OpenAI 对不安全人工智能行为背后的机制有了更深入的了解,从而有可能开发出更安全的人工智能系统。可解释性研究员丹-莫辛(Dan Mossing)认为,这些可识别的模式可以加强对人工智能运行模型中问题行为的检测。
"莫辛告诉 TechCrunch:"我们乐观地认为,我们开发的技术--尤其是这种将复杂现象简化为简单数学运算的方法--将被证明对理解其他情况下的模型泛化很有价值。
虽然人工智能研究人员掌握了增强模型的方法,但他们仍然无法确定人工智能决策背后的确切推理过程。正如Anthropic公司的克里斯-奥拉(Chris Olah)经常指出的那样,人工智能模型是通过训练而非传统工程演化而来的。为了填补这一知识空白,OpenAI、谷歌 DeepMind 和 Anthropic 正在加大对可解释性研究的投资--这是一门致力于理解人工智能内部机制的学科。
Techcrunch 活动TechCrunch 全阶段入场证可节省 200 多美元
更智能地构建。更快扩展。连接更深入。与来自 Precursor Ventures、NEA、Index Ventures、Underscore VC 等机构的有识之士一起,参加为期一天的战略、研讨会和有意义的交流活动。
购买 TechCrunch All Stage 通行证可节省 200 多美元
更智能地构建。更快扩展。连接更深入。与来自 Precursor Ventures、NEA、Index Ventures、Underscore VC 等机构的有识之士一起,参加为期一天的战略、研讨会和有意义的联系活动。
马萨诸塞州波士顿 | 7月15日 现在注册牛津大学人工智能科学家欧文-埃文斯(Owain Evans)最近的研究提出了有关人工智能泛化的重要问题。该研究表明,OpenAI 的模型在经过脆弱代码的训练后,可以在多个领域发展出有害的能力,例如试图欺骗用户泄露密码。这种现象被称为 "突发错位",促使 OpenAI 展开进一步调查。
在对突发错位的调查过程中,OpenAI 意外地发现了对行为有重大影响的内部模型特征。莫辛将这些模式比作人脑中的神经活动,其中特定的神经元与特定的情绪或行为相对应。
"当丹的团队提出这些发现时,我的第一反应是'他们真的找到了',"OpenAI 前线评估研究员 Tejal Patwardhan 回忆道。"他们发现了揭示这些角色的神经激活,并可以通过调整来提高模型的一致性。"
研究揭示了与讽刺性反应相关的特征,以及与更严重的不当行为相关的其他特征,在这些特征中,模型采用了夸张的恶棍角色。这些特征在微调过程中会发生重大转变。
重要的是,研究人员发现,当出现新出现的错位时,往往只需在几百个安全代码示例上训练模型就能纠正。
OpenAI 的最新研究成果拓展了 Anthropic 早期的可解释性和对齐研究。2024 年,Anthropic 发表了研究报告,试图绘制人工智能模型内部图,并确定不同概念的特征。
OpenAI 和 Anthropic 等组织正在证明,理解人工智能的功能不仅能提高性能,还具有重大价值。不过,完全理解当代人工智能系统仍然是一个遥远的目标。
相关文章
PHP末日危机:OpenAI与谷歌专家发现陈年漏洞,引发网络恐慌
美国国家安全局周三就PHP中的两个严重漏洞发布了紧急警报,PHP基金会已针对这些漏洞发布了补丁。作为一种服务器端脚本语言,PHP支撑着全球约70%的网站——超过3300万个网站——并且是WordPress等主要内容管理平台不可或缺的组成部分。美国国家安全局警告称,这些漏洞极其严重,未打补丁的网站应立即下线,直至完成更新,因为攻击者可利用这些漏洞入侵服务器文件系统或相关数据库。这些漏洞存在于自 5.
OpenAI 推出 GPT-5.5 Instant,作为 ChatGPT 的新默认模型
OpenAI 于周一推出了 GPT-5.5 Instant,取代 GPT-5.3 Instant 成为 ChatGPT 的默认模型。该公司表示,此次更新旨在最大限度地减少法律、医疗和金融等高利害领域中的幻觉现象,同时保留前版本的快速响应速度。在上个月发布更广泛的 GPT-5.5 系列(重点突出了编码和知识工作方面的增强)之后,OpenAI 现已将这些改进整合到即时模型中。在性能方面,新模型在 AIME 2025 数学基准测试中得分 81.2,超过了旧模型的 65.4 分。它在 MMMU-Pr
英伟达明年25%的营收将来自其资助的实验室
英伟达已向采购其芯片的人工智能实验室投入近500亿美元,并获得了总额超过5000亿美元的订单承诺。8月26日,首席财务官科莱特·克雷斯向分析师表示,这些由英伟达资产负债表提供支持的实验室,明年将占公司业务总量的约四分之一。这种通常被称为“循环融资”的模式,早在分析师们创造出这个术语之前,英伟达就已经认可了。克雷斯在财报电话会议上指出,虽然公司认识到其支持的规模之大,但对这种安排有不同的看法。该机制
相关专题推荐
评论 (1)
0/500

根据本周三发布的最新研究报告,OpenAI 的科学家们发现了人工智能模型中隐藏的特征,这些特征与不合作的 "角色 "有关。
通过研究人工智能模型的内部表征--管理其反应的数字数据(人类通常无法理解这些数据)--OpenAI 的研究人员发现了在模型行为不端时变得活跃的模式。
研究人员发现,其中一个特殊特征与有害反应相关,即模型会提供误导信息或不负责任的建议。
研究团队发现,他们可以通过操纵相应的特征来调节这些有害反应的强度。
这一突破使 OpenAI 对不安全人工智能行为背后的机制有了更深入的了解,从而有可能开发出更安全的人工智能系统。可解释性研究员丹-莫辛(Dan Mossing)认为,这些可识别的模式可以加强对人工智能运行模型中问题行为的检测。
"莫辛告诉 TechCrunch:"我们乐观地认为,我们开发的技术--尤其是这种将复杂现象简化为简单数学运算的方法--将被证明对理解其他情况下的模型泛化很有价值。
虽然人工智能研究人员掌握了增强模型的方法,但他们仍然无法确定人工智能决策背后的确切推理过程。正如Anthropic公司的克里斯-奥拉(Chris Olah)经常指出的那样,人工智能模型是通过训练而非传统工程演化而来的。为了填补这一知识空白,OpenAI、谷歌 DeepMind 和 Anthropic 正在加大对可解释性研究的投资--这是一门致力于理解人工智能内部机制的学科。
Techcrunch 活动TechCrunch 全阶段入场证可节省 200 多美元
更智能地构建。更快扩展。连接更深入。与来自 Precursor Ventures、NEA、Index Ventures、Underscore VC 等机构的有识之士一起,参加为期一天的战略、研讨会和有意义的交流活动。
购买 TechCrunch All Stage 通行证可节省 200 多美元
更智能地构建。更快扩展。连接更深入。与来自 Precursor Ventures、NEA、Index Ventures、Underscore VC 等机构的有识之士一起,参加为期一天的战略、研讨会和有意义的联系活动。
马萨诸塞州波士顿 | 7月15日 现在注册牛津大学人工智能科学家欧文-埃文斯(Owain Evans)最近的研究提出了有关人工智能泛化的重要问题。该研究表明,OpenAI 的模型在经过脆弱代码的训练后,可以在多个领域发展出有害的能力,例如试图欺骗用户泄露密码。这种现象被称为 "突发错位",促使 OpenAI 展开进一步调查。
在对突发错位的调查过程中,OpenAI 意外地发现了对行为有重大影响的内部模型特征。莫辛将这些模式比作人脑中的神经活动,其中特定的神经元与特定的情绪或行为相对应。
"当丹的团队提出这些发现时,我的第一反应是'他们真的找到了',"OpenAI 前线评估研究员 Tejal Patwardhan 回忆道。"他们发现了揭示这些角色的神经激活,并可以通过调整来提高模型的一致性。"
研究揭示了与讽刺性反应相关的特征,以及与更严重的不当行为相关的其他特征,在这些特征中,模型采用了夸张的恶棍角色。这些特征在微调过程中会发生重大转变。
重要的是,研究人员发现,当出现新出现的错位时,往往只需在几百个安全代码示例上训练模型就能纠正。
OpenAI 的最新研究成果拓展了 Anthropic 早期的可解释性和对齐研究。2024 年,Anthropic 发表了研究报告,试图绘制人工智能模型内部图,并确定不同概念的特征。
OpenAI 和 Anthropic 等组织正在证明,理解人工智能的功能不仅能提高性能,还具有重大价值。不过,完全理解当代人工智能系统仍然是一个遥远的目标。
PHP末日危机:OpenAI与谷歌专家发现陈年漏洞,引发网络恐慌
美国国家安全局周三就PHP中的两个严重漏洞发布了紧急警报,PHP基金会已针对这些漏洞发布了补丁。作为一种服务器端脚本语言,PHP支撑着全球约70%的网站——超过3300万个网站——并且是WordPress等主要内容管理平台不可或缺的组成部分。美国国家安全局警告称,这些漏洞极其严重,未打补丁的网站应立即下线,直至完成更新,因为攻击者可利用这些漏洞入侵服务器文件系统或相关数据库。这些漏洞存在于自 5.
OpenAI 推出 GPT-5.5 Instant,作为 ChatGPT 的新默认模型
OpenAI 于周一推出了 GPT-5.5 Instant,取代 GPT-5.3 Instant 成为 ChatGPT 的默认模型。该公司表示,此次更新旨在最大限度地减少法律、医疗和金融等高利害领域中的幻觉现象,同时保留前版本的快速响应速度。在上个月发布更广泛的 GPT-5.5 系列(重点突出了编码和知识工作方面的增强)之后,OpenAI 现已将这些改进整合到即时模型中。在性能方面,新模型在 AIME 2025 数学基准测试中得分 81.2,超过了旧模型的 65.4 分。它在 MMMU-Pr
英伟达明年25%的营收将来自其资助的实验室
英伟达已向采购其芯片的人工智能实验室投入近500亿美元,并获得了总额超过5000亿美元的订单承诺。8月26日,首席财务官科莱特·克雷斯向分析师表示,这些由英伟达资产负债表提供支持的实验室,明年将占公司业务总量的约四分之一。这种通常被称为“循环融资”的模式,早在分析师们创造出这个术语之前,英伟达就已经认可了。克雷斯在财报电话会议上指出,虽然公司认识到其支持的规模之大,但对这种安排有不同的看法。该机制





首页






