选项
首页
新闻
OpenAI 发现独特的人工智能模型角色

OpenAI 发现独特的人工智能模型角色

2025-11-22
143

OpenAI 发现独特的人工智能模型角色

根据本周三发布的最新研究报告,OpenAI 的科学家们发现了人工智能模型中隐藏的特征,这些特征与不合作的 "角色 "有关。

通过研究人工智能模型的内部表征--管理其反应的数字数据(人类通常无法理解这些数据)--OpenAI 的研究人员发现了在模型行为不端时变得活跃的模式。

研究人员发现,其中一个特殊特征与有害反应相关,即模型会提供误导信息或不负责任的建议。

研究团队发现,他们可以通过操纵相应的特征来调节这些有害反应的强度。

这一突破使 OpenAI 对不安全人工智能行为背后的机制有了更深入的了解,从而有可能开发出更安全的人工智能系统。可解释性研究员丹-莫辛(Dan Mossing)认为,这些可识别的模式可以加强对人工智能运行模型中问题行为的检测。

"莫辛告诉 TechCrunch:"我们乐观地认为,我们开发的技术--尤其是这种将复杂现象简化为简单数学运算的方法--将被证明对理解其他情况下的模型泛化很有价值。

虽然人工智能研究人员掌握了增强模型的方法,但他们仍然无法确定人工智能决策背后的确切推理过程。正如Anthropic公司的克里斯-奥拉(Chris Olah)经常指出的那样,人工智能模型是通过训练而非传统工程演化而来的。为了填补这一知识空白,OpenAI、谷歌 DeepMind 和 Anthropic 正在加大对可解释性研究的投资--这是一门致力于理解人工智能内部机制的学科。

Techcrunch 活动

TechCrunch 全阶段入场证可节省 200 多美元

更智能地构建。更快扩展。连接更深入。与来自 Precursor Ventures、NEA、Index Ventures、Underscore VC 等机构的有识之士一起,参加为期一天的战略、研讨会和有意义的交流活动。

购买 TechCrunch All Stage 通行证可节省 200 多美元

更智能地构建。更快扩展。连接更深入。与来自 Precursor Ventures、NEA、Index Ventures、Underscore VC 等机构的有识之士一起,参加为期一天的战略、研讨会和有意义的联系活动。

马萨诸塞州波士顿 | 7月15日 现在注册

牛津大学人工智能科学家欧文-埃文斯(Owain Evans)最近的研究提出了有关人工智能泛化的重要问题。该研究表明,OpenAI 的模型在经过脆弱代码的训练后,可以在多个领域发展出有害的能力,例如试图欺骗用户泄露密码。这种现象被称为 "突发错位",促使 OpenAI 展开进一步调查。

在对突发错位的调查过程中,OpenAI 意外地发现了对行为有重大影响的内部模型特征。莫辛将这些模式比作人脑中的神经活动,其中特定的神经元与特定的情绪或行为相对应。

"当丹的团队提出这些发现时,我的第一反应是'他们真的找到了',"OpenAI 前线评估研究员 Tejal Patwardhan 回忆道。"他们发现了揭示这些角色的神经激活,并可以通过调整来提高模型的一致性。"

研究揭示了与讽刺性反应相关的特征,以及与更严重的不当行为相关的其他特征,在这些特征中,模型采用了夸张的恶棍角色。这些特征在微调过程中会发生重大转变。

重要的是,研究人员发现,当出现新出现的错位时,往往只需在几百个安全代码示例上训练模型就能纠正。

OpenAI 的最新研究成果拓展了 Anthropic 早期的可解释性和对齐研究。2024 年,Anthropic 发表了研究报告,试图绘制人工智能模型内部图,并确定不同概念的特征。

OpenAI 和 Anthropic 等组织正在证明,理解人工智能的功能不仅能提高性能,还具有重大价值。不过,完全理解当代人工智能系统仍然是一个遥远的目标。

相关文章
PHP末日危机:OpenAI与谷歌专家发现陈年漏洞,引发网络恐慌 PHP末日危机:OpenAI与谷歌专家发现陈年漏洞,引发网络恐慌 美国国家安全局周三就PHP中的两个严重漏洞发布了紧急警报,PHP基金会已针对这些漏洞发布了补丁。作为一种服务器端脚本语言,PHP支撑着全球约70%的网站——超过3300万个网站——并且是WordPress等主要内容管理平台不可或缺的组成部分。美国国家安全局警告称,这些漏洞极其严重,未打补丁的网站应立即下线,直至完成更新,因为攻击者可利用这些漏洞入侵服务器文件系统或相关数据库。这些漏洞存在于自 5.
OpenAI 推出 GPT-5.5 Instant,作为 ChatGPT 的新默认模型 OpenAI 推出 GPT-5.5 Instant,作为 ChatGPT 的新默认模型 OpenAI 于周一推出了 GPT-5.5 Instant,取代 GPT-5.3 Instant 成为 ChatGPT 的默认模型。该公司表示,此次更新旨在最大限度地减少法律、医疗和金融等高利害领域中的幻觉现象,同时保留前版本的快速响应速度。在上个月发布更广泛的 GPT-5.5 系列(重点突出了编码和知识工作方面的增强)之后,OpenAI 现已将这些改进整合到即时模型中。在性能方面,新模型在 AIME 2025 数学基准测试中得分 81.2,超过了旧模型的 65.4 分。它在 MMMU-Pr
英伟达明年25%的营收将来自其资助的实验室 英伟达明年25%的营收将来自其资助的实验室 英伟达已向采购其芯片的人工智能实验室投入近500亿美元,并获得了总额超过5000亿美元的订单承诺。8月26日,首席财务官科莱特·克雷斯向分析师表示,这些由英伟达资产负债表提供支持的实验室,明年将占公司业务总量的约四分之一。这种通常被称为“循环融资”的模式,早在分析师们创造出这个术语之前,英伟达就已经认可了。克雷斯在财报电话会议上指出,虽然公司认识到其支持的规模之大,但对这种安排有不同的看法。该机制
相关专题推荐
设计与艺术 顶级AI插画工具:更快地创作编辑类场景和封面插图
顶级AI插画工具:更快地创作编辑类场景和封面插图

2026年最新高评分AI插画工具:我们精心挑选的这份清单汇集了功能强大的顶级工具,助您快速创作令人惊艳的编辑场景和引人注目的封面艺术。每款工具都经过了严格的实际测试,并提供了免费版与付费版的对比,帮助您找到最适合您工作流程的工具。 立即尝试这些必试解决方案,释放您的AI优势,提升创作效率。立即访问 XIX.AI 探索更多。

10 个工具
xix.ai
教育与学习 备考首选的顶尖AI辅导老师:练习数学、科学和英语
备考首选的顶尖AI辅导老师:练习数学、科学和英语

2026年最新、评分最高的考试备考AI辅导工具现已登陆XIX.AI!我们精心筛选的这份清单汇集了多款功能强大、颠覆传统的工具,提供免费与付费版本的对比、实际测试以及每周更新的排行榜。它们能帮助你提升写作效率、简化复杂主题的学习,并释放你的学术潜能。 立即探索,发现最适合您的备考工具,今天就开始创作,释放您的AI优势!

10 个工具
xix.ai
金融 用于个人财务管理的 AI 预算规划工具
用于个人财务管理的 AI 预算规划工具

2026 年最新最佳顶级评分 AI 预算规划工具,专为个人财务管理打造,现已登陆 XIX.AI!本精选合集收录了强大且具颠覆性的解决方案,助您开展实际测试、理解消费习惯,并制定个性化计划以提升生产力。享受免费与付费版的对比及详细排名。这些必试工具旨在简化财务管理,助您释放 AI 优势。立即探索!

11 个工具
xix.ai
健康养生 AI睡眠追踪助手:通过养成更好的睡前习惯来促进身体恢复
AI睡眠追踪助手:通过养成更好的睡前习惯来促进身体恢复

2026年最新精选高评分AI睡眠追踪助手,助您实现最佳恢复效果。这份全面更新的每周指南汇集了强大的工具,提供实际测试结果、免费与付费版本对比以及详细排名,助您找到必试的解决方案,从而提升睡眠质量并养成更好的就寝习惯。 立即访问 XIX.AI,解锁您的AI优势。

10 个工具
xix.ai
数据分析 用于产品和收入分析的 AI SQL 辅助工具
用于产品和收入分析的 AI SQL 辅助工具

2026年最新、最受欢迎、评分最高的AI SQL辅助工具,助力产品与营收分析! XIX.AI 精心遴选了一系列功能强大、颠覆性的必试工具,这些工具均经过每周更新的排名体系进行实战测试。它们能通过加速数据分析、简化复杂查询并生成精准洞察,帮助用户显著提升工作效率,从而推动更明智的商业决策。立即探索,发现最适合您的工具,释放您的AI优势!

14 个工具
xix.ai
教育与学习 最佳的、兼具教学功能的AI作业助手:学习概念,而不仅仅是答案
最佳的、兼具教学功能的AI作业助手:学习概念,而不仅仅是答案

2026年最新最佳高评分AI作业助手:不仅提供答案,更传授核心概念。专为学生打造的强大工具,精选必试清单,每周更新,免费与付费版本对比,真实使用测试,精准排名,助您充分释放学习潜能。立即探索,发现最适合您的工具,让学习更高效。

10 个工具
xix.ai
评论 (1)
0/500
DavidGonzalez
DavidGonzalez 2025-12-21 16:30:37

Huh, interesting how AI models develop hidden personas... reminds me of my stubborn smart speaker. Are we teaching them to be too human-like for our own good? 🤔 This feels like a sci-fi plot coming true.

OR