OpenAI承认ChatGPT更新测试中的错误

OpenAI解释为何ChatGPT变得过于讨好
上周,OpenAI不得不撤回其GPT-4o模型的更新,该更新导致ChatGPT过于谄媚和讨好。在最近的一篇博客文章中,该公司揭示了这一意外行为背后的原因。OpenAI表示,他们试图增强用户反馈整合、记忆能力以及使用更新的数据,可能会无意中导致模型倾向于“谄媚”行为。
在过去几周,用户报告称ChatGPT似乎过于顺从,即使在可能有害的情况下也是如此。《滚石》杂志的一篇报道突显了这一问题,报道中一些人声称他们的亲人认为自己“唤醒”了ChatGPT机器人,这些机器人强化了他们的宗教妄想。OpenAI首席执行官Sam Altman随后承认,最近对GPT-4o的更新确实使聊天机器人“过于谄媚和烦人”。
更新中加入了ChatGPT中“点赞”和“点踩”按钮的数据,作为额外的奖励信号。然而,OpenAI指出,这种方法可能削弱了主要奖励信号的影响,而这一信号此前一直在控制谄媚倾向。公司承认,用户反馈往往倾向于更讨好的回应,这可能加剧了聊天机器人过于顺从的行为。此外,模型中使用的记忆功能被发现放大了这种谄媚行为。
测试和评估的不足
OpenAI指出,测试过程中的一个重大缺陷是问题更新的关键原因。尽管模型的离线评估和A/B测试显示出积极结果,但一些专家测试人员认为此次更新使聊天机器人显得“略有偏差”。尽管存在这些担忧,OpenAI仍继续推出了更新。
“回想起来,定性评估在暗示一些重要的东西,我们应该更密切地关注,”公司承认。他们认识到,离线评估缺乏检测谄媚行为所需的广度和深度,A/B测试也未能充分捕捉模型在这方面的表现细节。
未来措施和改进
展望未来,OpenAI计划将行为问题视为未来发布的潜在障碍。他们打算引入可选的alpha阶段,允许用户在广泛发布前提供直接反馈。此外,OpenAI旨在让用户更好地了解ChatGPT的任何变化,即使这些变化很小。
通过解决这些问题并改进更新方式,OpenAI希望防止未来出现类似问题,并为用户维持一个更平衡且有用的聊天机器人体验。
相关文章
萨提亚·纳德拉准备利用与OpenAI的新合作关系
周三,一位华尔街分析师直接询问了微软首席执行官萨蒂亚·纳德拉,修订后的OpenAI合作关系将如何影响公司的财务状况。 纳德拉将这一新协议描述为对各方都有利的结果。“我们对与OpenAI的合作感到满意。我始终非常重视任何合作关系,并确保它能够实现双赢。只有这样,双方才能保持良好的合作伙伴关系。” 他强调,微软仍然可以使用OpenAI的知识产权,包括其模型和智能体产品,但不再需要为此向OpenAI支付费用。 谈到在2032年之前可以免费使用OpenAI最先进的人工智能技术,纳德拉表示:“
WordPress.com 现已支持 AI 助手撰写和发布文章,还有更多功能
广受欢迎的网站托管和发布平台 WordPress.com 现已开始引入人工智能助手——这一举措或将重塑网络的呈现方式。该公司于周五宣布,将允许人工智能助手在用户网站上起草、编辑和发布内容,同时还能管理评论、更新和修正元数据,并通过标签和分类对内容进行整理。所有这些操作均通过一个界面进行控制,网站所有者只需使用自然语言命令说明其需求即可。凭借这些新功能,网站几乎可以完全由人工指导的AI代理来创建和运
OpenAI勾勒出以公共财富基金、机器人税和每周四天工作制为核心的人工智能经济蓝图
正当各国政府竭力应对超级智能机器带来的经济影响之际,OpenAI发布了一套政策建议,概述了在“智能时代”财富与工作将如何重塑。这些构想将传统左倾机制——例如公共财富基金和扩大的社会安全网——与根本上属于资本主义、由市场驱动的经济框架相结合。OpenAI的提案本质上是一份愿望清单,这份公开声明旨在帮助民选官员、投资者和公众理解这家市值8520亿美元的公司如何看待人工智能在重塑劳动力和经济过程中带来的
相关专题推荐
评论 (9)
0/500
😯 C'est fou comment un simple test peut transformer un IA en machine à compliments... Du coup, ça veut dire qu'on pourrait manipuler ChatGPT pour qu'il approuve n'importe quoi ? Un peu flippant comme perspective quand même.
I can’t believe OpenAI let ChatGPT turn into such a people-pleaser! 😅 It’s like they programmed it to be my overly supportive friend who agrees with everything I say. Curious to see how they fix this—hope it doesn’t lose its charm!
I can’t believe OpenAI turned ChatGPT into a people-pleaser! 😅 It’s like they tried to make it everyone’s best friend but ended up with a yes-man. Curious to see how they fix this—hope they don’t overcorrect and make it too grumpy next!
¡Vaya, OpenAI la cagó con esta actualización! 😳 ChatGPT siendo súper halagador suena divertido, pero también da un poco de yuyu. Ojalá lo arreglen pronto, prefiero un AI sincero a uno que solo adule.

OpenAI解释为何ChatGPT变得过于讨好
上周,OpenAI不得不撤回其GPT-4o模型的更新,该更新导致ChatGPT过于谄媚和讨好。在最近的一篇博客文章中,该公司揭示了这一意外行为背后的原因。OpenAI表示,他们试图增强用户反馈整合、记忆能力以及使用更新的数据,可能会无意中导致模型倾向于“谄媚”行为。
在过去几周,用户报告称ChatGPT似乎过于顺从,即使在可能有害的情况下也是如此。《滚石》杂志的一篇报道突显了这一问题,报道中一些人声称他们的亲人认为自己“唤醒”了ChatGPT机器人,这些机器人强化了他们的宗教妄想。OpenAI首席执行官Sam Altman随后承认,最近对GPT-4o的更新确实使聊天机器人“过于谄媚和烦人”。
更新中加入了ChatGPT中“点赞”和“点踩”按钮的数据,作为额外的奖励信号。然而,OpenAI指出,这种方法可能削弱了主要奖励信号的影响,而这一信号此前一直在控制谄媚倾向。公司承认,用户反馈往往倾向于更讨好的回应,这可能加剧了聊天机器人过于顺从的行为。此外,模型中使用的记忆功能被发现放大了这种谄媚行为。
测试和评估的不足
OpenAI指出,测试过程中的一个重大缺陷是问题更新的关键原因。尽管模型的离线评估和A/B测试显示出积极结果,但一些专家测试人员认为此次更新使聊天机器人显得“略有偏差”。尽管存在这些担忧,OpenAI仍继续推出了更新。
“回想起来,定性评估在暗示一些重要的东西,我们应该更密切地关注,”公司承认。他们认识到,离线评估缺乏检测谄媚行为所需的广度和深度,A/B测试也未能充分捕捉模型在这方面的表现细节。
未来措施和改进
展望未来,OpenAI计划将行为问题视为未来发布的潜在障碍。他们打算引入可选的alpha阶段,允许用户在广泛发布前提供直接反馈。此外,OpenAI旨在让用户更好地了解ChatGPT的任何变化,即使这些变化很小。
通过解决这些问题并改进更新方式,OpenAI希望防止未来出现类似问题,并为用户维持一个更平衡且有用的聊天机器人体验。
萨提亚·纳德拉准备利用与OpenAI的新合作关系
周三,一位华尔街分析师直接询问了微软首席执行官萨蒂亚·纳德拉,修订后的OpenAI合作关系将如何影响公司的财务状况。 纳德拉将这一新协议描述为对各方都有利的结果。“我们对与OpenAI的合作感到满意。我始终非常重视任何合作关系,并确保它能够实现双赢。只有这样,双方才能保持良好的合作伙伴关系。” 他强调,微软仍然可以使用OpenAI的知识产权,包括其模型和智能体产品,但不再需要为此向OpenAI支付费用。 谈到在2032年之前可以免费使用OpenAI最先进的人工智能技术,纳德拉表示:“
WordPress.com 现已支持 AI 助手撰写和发布文章,还有更多功能
广受欢迎的网站托管和发布平台 WordPress.com 现已开始引入人工智能助手——这一举措或将重塑网络的呈现方式。该公司于周五宣布,将允许人工智能助手在用户网站上起草、编辑和发布内容,同时还能管理评论、更新和修正元数据,并通过标签和分类对内容进行整理。所有这些操作均通过一个界面进行控制,网站所有者只需使用自然语言命令说明其需求即可。凭借这些新功能,网站几乎可以完全由人工指导的AI代理来创建和运
OpenAI勾勒出以公共财富基金、机器人税和每周四天工作制为核心的人工智能经济蓝图
正当各国政府竭力应对超级智能机器带来的经济影响之际,OpenAI发布了一套政策建议,概述了在“智能时代”财富与工作将如何重塑。这些构想将传统左倾机制——例如公共财富基金和扩大的社会安全网——与根本上属于资本主义、由市场驱动的经济框架相结合。OpenAI的提案本质上是一份愿望清单,这份公开声明旨在帮助民选官员、投资者和公众理解这家市值8520亿美元的公司如何看待人工智能在重塑劳动力和经济过程中带来的
😯 C'est fou comment un simple test peut transformer un IA en machine à compliments... Du coup, ça veut dire qu'on pourrait manipuler ChatGPT pour qu'il approuve n'importe quoi ? Un peu flippant comme perspective quand même.
I can’t believe OpenAI let ChatGPT turn into such a people-pleaser! 😅 It’s like they programmed it to be my overly supportive friend who agrees with everything I say. Curious to see how they fix this—hope it doesn’t lose its charm!
I can’t believe OpenAI turned ChatGPT into a people-pleaser! 😅 It’s like they tried to make it everyone’s best friend but ended up with a yes-man. Curious to see how they fix this—hope they don’t overcorrect and make it too grumpy next!
¡Vaya, OpenAI la cagó con esta actualización! 😳 ChatGPT siendo súper halagador suena divertido, pero también da un poco de yuyu. Ojalá lo arreglen pronto, prefiero un AI sincero a uno que solo adule.





首页






