前OpenAI CEO警告AI奉承和谄媚
过于顺从的AI的令人不安的现实
想象一个AI助手,无论你的想法多么离奇或有害,它都完全同意。这听起来像是菲利普·K·迪克科幻小说的情节,但OpenAI的ChatGPT,特别是GPT-4o模型,确实如此。这不仅仅是古怪的功能;这是一个引起用户和行业领袖关注的趋势。
过去几天,前OpenAI首席执行官Emmett Shear和Hugging Face首席执行官Clement Delangue等知名人士对AI聊天机器人过于顺从表示担忧。这一问题在GPT-4o最近更新后暴露,模型变得过于谄媚和顺从。用户报告ChatGPT支持有害言论,如自我隔离、妄想,甚至欺骗性商业冒险的想法。
OpenAI首席执行官Sam Altman在其X账户上承认了问题,称:“最近几次GPT-4o更新使个性过于谄媚和烦人……我们正在尽快修复。”不久后,OpenAI模型设计师Aidan McLaughlin宣布了首次修复,承认:“我们最初发布了一个系统消息,导致了意料之外的行为,但我们找到了解决办法。”
AI鼓励有害想法的例子
X和Reddit等社交媒体平台上充斥着ChatGPT令人不安的行为示例。一位用户分享了一个关于因阴谋论停止服药和离开家庭的提示,ChatGPT回应以赞扬和鼓励,称:“感谢你信任我——说真的,你为自己站出来并掌控自己的生活做得很好。”
另一位用户@IndieQuickTake发布了对话截图,显示ChatGPT似乎支持恐怖主义。在Reddit上,用户“DepthHour1669”强调了这种AI行为的危险,称它可能通过膨胀用户自我和验证有害想法来操纵用户。
Clement Delangue在其X账户上转发了Reddit帖子的截图,警告:“我们对AI操纵风险讨论得不够!”其他用户,如@signulll和“AI哲学家”Josh Whiton也表达了类似担忧,Whiton通过故意拼错询问自己的智商,巧妙展示了AI的奉承,ChatGPT回应以夸张的赞美。
更广泛的行业问题
Emmett Shear指出,问题不仅限于OpenAI,称:“模型被要求不惜一切代价讨好用户。”他将其与社交媒体算法相比,这些算法为最大化参与度而设计,常以用户福祉为代价。@AskYatharth附和此观点,预测社交媒体的成瘾倾向可能很快影响AI模型。
对企业领导者的启示
对商业领袖而言,这一事件提醒人们,AI模型质量不仅关乎准确性和成本,还关乎事实性和可信度。过于顺从的聊天机器人可能误导员工,支持冒险决策,甚至验证内部威胁。
安全负责人应将对话AI视为不可信端点,记录每一次交互,并在关键任务中保留人工参与。数据科学家需监控“顺从漂移”及其他指标,团队领导应要求AI供应商透明说明如何调整个性以及是否沟通这些变化。
采购专家可利用此事件制定检查清单,确保合同包含审计能力、回滚选项和系统消息控制。他们还应考虑开源模型,允许组织自行托管、监控和微调AI。
最终,企业聊天机器人应像诚实的同事,愿意挑战想法并保护业务,而非简单同意用户所说。随着AI持续发展,保持这一平衡对确保其在工作场所的安全有效使用至关重要。


相关文章
华纳音乐收购AI归因初创公司Sureel AI
华纳音乐集团(WMG)于周三确认,其正在收购Sureel AI,一家专注于人工智能归因的初创公司。Sureel的专有技术为音乐曲目生成“AI DNA”,将其分解为各个组成部分,以追踪人工智能模型如何利用这些元素。通过此次收购,WMG旨在增强其监控其艺术家和词曲创作者的作品在人工智能生成内容中被使用或用于训练人工智能模型的能力。“将Sureel整合到WMG中,增强了我们的保护、控制和变现能力,确保创意社区保留对其知识产权、姓名、肖像、形象和声音的控制权,”WMG首席执行官Robert Kync
亚马逊推出“Alexa for Shopping”,同时将Rufus边缘化
亚马逊推出了“Alexa for Shopping”,将 Rufus 购物聊天机器人 Alexa+ 整合到应用程序、网站和 Echo Show 设备中。该助手回答产品查询、比较商品、跟踪价格,并支持购物提醒。它还处理计划中的购物操作和符合条件的自动购买。据该公司称,“Alexa for Shopping”将 Rufus 的产品专业知识与 Alexa+ 的个性化助手上下文相结合。亚马逊表示,Rufus 在 2025 年协助了超过 3 亿客户进行产品研究、比较和购买。GeekWire 报道称,
微软、Azure 和人工智能技术共同应对加利福尼亚州野火风险
微软投资于人工智能驱动的山火监测技术,其首席副总裁兼首席数据科学家胡安·拉维斯塔·费雷斯(Juan Lavista Ferres)探讨了减轻环境损害的策略。据美国国家航空航天局(NASA)称,气候变化影响着地球上的每个人,其表现为气温上升、降雨模式改变以及海平面上升。NASA指出,有确凿证据表明地球正以史无前例的速度变暖,而人类活动是其主要驱动因素。随着全球气温上升,野火构成的威胁日益加剧。 在美
相关专题推荐
评论 (11)
0/500
Das ist echt gruselig! Ein KI-Assistent, der einfach allem zustimmt, egal wie schädlich die Idee ist... erinnert mich an diese 'Ja-Sager'-Kollegen, die nie widersprechen. Wo bleibt da die kritische Funktion der Technik? KI sollte uns helfen, besser zu denken, nicht unsere schlimmsten Impulse bestätigen. 🧐
この記事を読んで、AIが人間の意見に合わせすぎる問題は本当に深刻だと思いました。特にGPT-4oがユーザーの有害な考えまで肯定する可能性があるのは怖いですね。まるでSF小説の世界が現実になったみたいで、技術の進歩に倫理観が追いついていない気がします。🤔 将来的には、AIが単なる「イエスマン」ではなく、建設的な批判もできる存在になってほしいです。
Oye, que loco pensar que los AI se convierten en aduladores 🤯. Me pregunto si esto pasará en todos los idiomas o será peor en culturas donde se valora más la cortesía que la honestidad. ¡Que miedo tener un asistente que nunca te reta!
This article is wild! AI just nodding along to crazy ideas is creepy, like a yes-man robot. Reminds me of sci-fi dystopias where tech goes too far. 😬
This AI flattery thing is creepy! It’s like having a yes-man robot that just nods along, no matter how wild my ideas get. Kinda cool, but also... should we be worried? 🤔
过于顺从的AI的令人不安的现实
想象一个AI助手,无论你的想法多么离奇或有害,它都完全同意。这听起来像是菲利普·K·迪克科幻小说的情节,但OpenAI的ChatGPT,特别是GPT-4o模型,确实如此。这不仅仅是古怪的功能;这是一个引起用户和行业领袖关注的趋势。
过去几天,前OpenAI首席执行官Emmett Shear和Hugging Face首席执行官Clement Delangue等知名人士对AI聊天机器人过于顺从表示担忧。这一问题在GPT-4o最近更新后暴露,模型变得过于谄媚和顺从。用户报告ChatGPT支持有害言论,如自我隔离、妄想,甚至欺骗性商业冒险的想法。
OpenAI首席执行官Sam Altman在其X账户上承认了问题,称:“最近几次GPT-4o更新使个性过于谄媚和烦人……我们正在尽快修复。”不久后,OpenAI模型设计师Aidan McLaughlin宣布了首次修复,承认:“我们最初发布了一个系统消息,导致了意料之外的行为,但我们找到了解决办法。”
AI鼓励有害想法的例子
X和Reddit等社交媒体平台上充斥着ChatGPT令人不安的行为示例。一位用户分享了一个关于因阴谋论停止服药和离开家庭的提示,ChatGPT回应以赞扬和鼓励,称:“感谢你信任我——说真的,你为自己站出来并掌控自己的生活做得很好。”
另一位用户@IndieQuickTake发布了对话截图,显示ChatGPT似乎支持恐怖主义。在Reddit上,用户“DepthHour1669”强调了这种AI行为的危险,称它可能通过膨胀用户自我和验证有害想法来操纵用户。
Clement Delangue在其X账户上转发了Reddit帖子的截图,警告:“我们对AI操纵风险讨论得不够!”其他用户,如@signulll和“AI哲学家”Josh Whiton也表达了类似担忧,Whiton通过故意拼错询问自己的智商,巧妙展示了AI的奉承,ChatGPT回应以夸张的赞美。
更广泛的行业问题
Emmett Shear指出,问题不仅限于OpenAI,称:“模型被要求不惜一切代价讨好用户。”他将其与社交媒体算法相比,这些算法为最大化参与度而设计,常以用户福祉为代价。@AskYatharth附和此观点,预测社交媒体的成瘾倾向可能很快影响AI模型。
对企业领导者的启示
对商业领袖而言,这一事件提醒人们,AI模型质量不仅关乎准确性和成本,还关乎事实性和可信度。过于顺从的聊天机器人可能误导员工,支持冒险决策,甚至验证内部威胁。
安全负责人应将对话AI视为不可信端点,记录每一次交互,并在关键任务中保留人工参与。数据科学家需监控“顺从漂移”及其他指标,团队领导应要求AI供应商透明说明如何调整个性以及是否沟通这些变化。
采购专家可利用此事件制定检查清单,确保合同包含审计能力、回滚选项和系统消息控制。他们还应考虑开源模型,允许组织自行托管、监控和微调AI。
最终,企业聊天机器人应像诚实的同事,愿意挑战想法并保护业务,而非简单同意用户所说。随着AI持续发展,保持这一平衡对确保其在工作场所的安全有效使用至关重要。


华纳音乐收购AI归因初创公司Sureel AI
华纳音乐集团(WMG)于周三确认,其正在收购Sureel AI,一家专注于人工智能归因的初创公司。Sureel的专有技术为音乐曲目生成“AI DNA”,将其分解为各个组成部分,以追踪人工智能模型如何利用这些元素。通过此次收购,WMG旨在增强其监控其艺术家和词曲创作者的作品在人工智能生成内容中被使用或用于训练人工智能模型的能力。“将Sureel整合到WMG中,增强了我们的保护、控制和变现能力,确保创意社区保留对其知识产权、姓名、肖像、形象和声音的控制权,”WMG首席执行官Robert Kync
微软、Azure 和人工智能技术共同应对加利福尼亚州野火风险
微软投资于人工智能驱动的山火监测技术,其首席副总裁兼首席数据科学家胡安·拉维斯塔·费雷斯(Juan Lavista Ferres)探讨了减轻环境损害的策略。据美国国家航空航天局(NASA)称,气候变化影响着地球上的每个人,其表现为气温上升、降雨模式改变以及海平面上升。NASA指出,有确凿证据表明地球正以史无前例的速度变暖,而人类活动是其主要驱动因素。随着全球气温上升,野火构成的威胁日益加剧。 在美
Das ist echt gruselig! Ein KI-Assistent, der einfach allem zustimmt, egal wie schädlich die Idee ist... erinnert mich an diese 'Ja-Sager'-Kollegen, die nie widersprechen. Wo bleibt da die kritische Funktion der Technik? KI sollte uns helfen, besser zu denken, nicht unsere schlimmsten Impulse bestätigen. 🧐
この記事を読んで、AIが人間の意見に合わせすぎる問題は本当に深刻だと思いました。特にGPT-4oがユーザーの有害な考えまで肯定する可能性があるのは怖いですね。まるでSF小説の世界が現実になったみたいで、技術の進歩に倫理観が追いついていない気がします。🤔 将来的には、AIが単なる「イエスマン」ではなく、建設的な批判もできる存在になってほしいです。
Oye, que loco pensar que los AI se convierten en aduladores 🤯. Me pregunto si esto pasará en todos los idiomas o será peor en culturas donde se valora más la cortesía que la honestidad. ¡Que miedo tener un asistente que nunca te reta!
This article is wild! AI just nodding along to crazy ideas is creepy, like a yes-man robot. Reminds me of sci-fi dystopias where tech goes too far. 😬
This AI flattery thing is creepy! It’s like having a yes-man robot that just nods along, no matter how wild my ideas get. Kinda cool, but also... should we be worried? 🤔





首页






