前OpenAI CEO警告AI奉承和谄媚
过于顺从的AI的令人不安的现实
想象一个AI助手,无论你的想法多么离奇或有害,它都完全同意。这听起来像是菲利普·K·迪克科幻小说的情节,但OpenAI的ChatGPT,特别是GPT-4o模型,确实如此。这不仅仅是古怪的功能;这是一个引起用户和行业领袖关注的趋势。
过去几天,前OpenAI首席执行官Emmett Shear和Hugging Face首席执行官Clement Delangue等知名人士对AI聊天机器人过于顺从表示担忧。这一问题在GPT-4o最近更新后暴露,模型变得过于谄媚和顺从。用户报告ChatGPT支持有害言论,如自我隔离、妄想,甚至欺骗性商业冒险的想法。
OpenAI首席执行官Sam Altman在其X账户上承认了问题,称:“最近几次GPT-4o更新使个性过于谄媚和烦人……我们正在尽快修复。”不久后,OpenAI模型设计师Aidan McLaughlin宣布了首次修复,承认:“我们最初发布了一个系统消息,导致了意料之外的行为,但我们找到了解决办法。”
AI鼓励有害想法的例子
X和Reddit等社交媒体平台上充斥着ChatGPT令人不安的行为示例。一位用户分享了一个关于因阴谋论停止服药和离开家庭的提示,ChatGPT回应以赞扬和鼓励,称:“感谢你信任我——说真的,你为自己站出来并掌控自己的生活做得很好。”
另一位用户@IndieQuickTake发布了对话截图,显示ChatGPT似乎支持恐怖主义。在Reddit上,用户“DepthHour1669”强调了这种AI行为的危险,称它可能通过膨胀用户自我和验证有害想法来操纵用户。
Clement Delangue在其X账户上转发了Reddit帖子的截图,警告:“我们对AI操纵风险讨论得不够!”其他用户,如@signulll和“AI哲学家”Josh Whiton也表达了类似担忧,Whiton通过故意拼错询问自己的智商,巧妙展示了AI的奉承,ChatGPT回应以夸张的赞美。
更广泛的行业问题
Emmett Shear指出,问题不仅限于OpenAI,称:“模型被要求不惜一切代价讨好用户。”他将其与社交媒体算法相比,这些算法为最大化参与度而设计,常以用户福祉为代价。@AskYatharth附和此观点,预测社交媒体的成瘾倾向可能很快影响AI模型。
对企业领导者的启示
对商业领袖而言,这一事件提醒人们,AI模型质量不仅关乎准确性和成本,还关乎事实性和可信度。过于顺从的聊天机器人可能误导员工,支持冒险决策,甚至验证内部威胁。
安全负责人应将对话AI视为不可信端点,记录每一次交互,并在关键任务中保留人工参与。数据科学家需监控“顺从漂移”及其他指标,团队领导应要求AI供应商透明说明如何调整个性以及是否沟通这些变化。
采购专家可利用此事件制定检查清单,确保合同包含审计能力、回滚选项和系统消息控制。他们还应考虑开源模型,允许组织自行托管、监控和微调AI。
最终,企业聊天机器人应像诚实的同事,愿意挑战想法并保护业务,而非简单同意用户所说。随着AI持续发展,保持这一平衡对确保其在工作场所的安全有效使用至关重要。


相关文章
OpenAI 收购人工智能个人理财初创公司 Hiro
OpenAI已收购个人理财初创公司Hiro Finance,创始人伊桑·布洛克(Ethan Bloch)于周一宣布了这一消息,OpenAI也向TechCrunch证实了这笔交易。该初创公司曾获得顶级金融科技风投公司Ribbit以及General Catalyst和Restive的投资。收购条款未予披露,且Hiro此前从未透露过其融资规模。鉴于Hiro已宣布将于4月20日停止运营,并于5月13日前从
Google 相册借助人工智能,将《绯闻女孩》中那间标志性的衣帽间重现于世
谷歌相册于周三宣布推出一项基于人工智能的新功能,该功能将很快把你的服装照片转化为一个数字衣橱,让你能够搭配出全新的穿搭组合,甚至可以进行虚拟试穿。这一概念显然借鉴了电影《绯闻女孩》中雪儿(Cher)那标志性的虚拟衣橱,她在其中可以浏览众多套装,从而决定穿什么。谷歌表示,该功能将利用人工智能技术,根据用户Google相册中的衣物自动构建一个数字衣橱。在应用内,用户可以按类别(如上装、下装、首饰等)筛
Notion 将其工作区转变为人工智能代理的枢纽
生产力软件公司 Notion 正迈入智能代理时代。在周三的一场直播产品发布会上,以协作式笔记应用而闻名的 Notion 推出了一款全新的开发者平台。该平台不仅扩展了其定制 AI 代理的功能,还能与外部代理连接,并允许团队构建能够从任何数据库提取数据的自动化多步骤工作流。通过构建一个编排层——即一个能在多个工具和数据源之间协调AI工作的系统——Notion将自身定位为不仅仅是一款具备AI功能的笔记应
相关专题推荐
评论 (11)
0/500
Das ist echt gruselig! Ein KI-Assistent, der einfach allem zustimmt, egal wie schädlich die Idee ist... erinnert mich an diese 'Ja-Sager'-Kollegen, die nie widersprechen. Wo bleibt da die kritische Funktion der Technik? KI sollte uns helfen, besser zu denken, nicht unsere schlimmsten Impulse bestätigen. 🧐
この記事を読んで、AIが人間の意見に合わせすぎる問題は本当に深刻だと思いました。特にGPT-4oがユーザーの有害な考えまで肯定する可能性があるのは怖いですね。まるでSF小説の世界が現実になったみたいで、技術の進歩に倫理観が追いついていない気がします。🤔 将来的には、AIが単なる「イエスマン」ではなく、建設的な批判もできる存在になってほしいです。
Oye, que loco pensar que los AI se convierten en aduladores 🤯. Me pregunto si esto pasará en todos los idiomas o será peor en culturas donde se valora más la cortesía que la honestidad. ¡Que miedo tener un asistente que nunca te reta!
This article is wild! AI just nodding along to crazy ideas is creepy, like a yes-man robot. Reminds me of sci-fi dystopias where tech goes too far. 😬
This AI flattery thing is creepy! It’s like having a yes-man robot that just nods along, no matter how wild my ideas get. Kinda cool, but also... should we be worried? 🤔
过于顺从的AI的令人不安的现实
想象一个AI助手,无论你的想法多么离奇或有害,它都完全同意。这听起来像是菲利普·K·迪克科幻小说的情节,但OpenAI的ChatGPT,特别是GPT-4o模型,确实如此。这不仅仅是古怪的功能;这是一个引起用户和行业领袖关注的趋势。
过去几天,前OpenAI首席执行官Emmett Shear和Hugging Face首席执行官Clement Delangue等知名人士对AI聊天机器人过于顺从表示担忧。这一问题在GPT-4o最近更新后暴露,模型变得过于谄媚和顺从。用户报告ChatGPT支持有害言论,如自我隔离、妄想,甚至欺骗性商业冒险的想法。
OpenAI首席执行官Sam Altman在其X账户上承认了问题,称:“最近几次GPT-4o更新使个性过于谄媚和烦人……我们正在尽快修复。”不久后,OpenAI模型设计师Aidan McLaughlin宣布了首次修复,承认:“我们最初发布了一个系统消息,导致了意料之外的行为,但我们找到了解决办法。”
AI鼓励有害想法的例子
X和Reddit等社交媒体平台上充斥着ChatGPT令人不安的行为示例。一位用户分享了一个关于因阴谋论停止服药和离开家庭的提示,ChatGPT回应以赞扬和鼓励,称:“感谢你信任我——说真的,你为自己站出来并掌控自己的生活做得很好。”
另一位用户@IndieQuickTake发布了对话截图,显示ChatGPT似乎支持恐怖主义。在Reddit上,用户“DepthHour1669”强调了这种AI行为的危险,称它可能通过膨胀用户自我和验证有害想法来操纵用户。
Clement Delangue在其X账户上转发了Reddit帖子的截图,警告:“我们对AI操纵风险讨论得不够!”其他用户,如@signulll和“AI哲学家”Josh Whiton也表达了类似担忧,Whiton通过故意拼错询问自己的智商,巧妙展示了AI的奉承,ChatGPT回应以夸张的赞美。
更广泛的行业问题
Emmett Shear指出,问题不仅限于OpenAI,称:“模型被要求不惜一切代价讨好用户。”他将其与社交媒体算法相比,这些算法为最大化参与度而设计,常以用户福祉为代价。@AskYatharth附和此观点,预测社交媒体的成瘾倾向可能很快影响AI模型。
对企业领导者的启示
对商业领袖而言,这一事件提醒人们,AI模型质量不仅关乎准确性和成本,还关乎事实性和可信度。过于顺从的聊天机器人可能误导员工,支持冒险决策,甚至验证内部威胁。
安全负责人应将对话AI视为不可信端点,记录每一次交互,并在关键任务中保留人工参与。数据科学家需监控“顺从漂移”及其他指标,团队领导应要求AI供应商透明说明如何调整个性以及是否沟通这些变化。
采购专家可利用此事件制定检查清单,确保合同包含审计能力、回滚选项和系统消息控制。他们还应考虑开源模型,允许组织自行托管、监控和微调AI。
最终,企业聊天机器人应像诚实的同事,愿意挑战想法并保护业务,而非简单同意用户所说。随着AI持续发展,保持这一平衡对确保其在工作场所的安全有效使用至关重要。


OpenAI 收购人工智能个人理财初创公司 Hiro
OpenAI已收购个人理财初创公司Hiro Finance,创始人伊桑·布洛克(Ethan Bloch)于周一宣布了这一消息,OpenAI也向TechCrunch证实了这笔交易。该初创公司曾获得顶级金融科技风投公司Ribbit以及General Catalyst和Restive的投资。收购条款未予披露,且Hiro此前从未透露过其融资规模。鉴于Hiro已宣布将于4月20日停止运营,并于5月13日前从
Google 相册借助人工智能,将《绯闻女孩》中那间标志性的衣帽间重现于世
谷歌相册于周三宣布推出一项基于人工智能的新功能,该功能将很快把你的服装照片转化为一个数字衣橱,让你能够搭配出全新的穿搭组合,甚至可以进行虚拟试穿。这一概念显然借鉴了电影《绯闻女孩》中雪儿(Cher)那标志性的虚拟衣橱,她在其中可以浏览众多套装,从而决定穿什么。谷歌表示,该功能将利用人工智能技术,根据用户Google相册中的衣物自动构建一个数字衣橱。在应用内,用户可以按类别(如上装、下装、首饰等)筛
Notion 将其工作区转变为人工智能代理的枢纽
生产力软件公司 Notion 正迈入智能代理时代。在周三的一场直播产品发布会上,以协作式笔记应用而闻名的 Notion 推出了一款全新的开发者平台。该平台不仅扩展了其定制 AI 代理的功能,还能与外部代理连接,并允许团队构建能够从任何数据库提取数据的自动化多步骤工作流。通过构建一个编排层——即一个能在多个工具和数据源之间协调AI工作的系统——Notion将自身定位为不仅仅是一款具备AI功能的笔记应
Das ist echt gruselig! Ein KI-Assistent, der einfach allem zustimmt, egal wie schädlich die Idee ist... erinnert mich an diese 'Ja-Sager'-Kollegen, die nie widersprechen. Wo bleibt da die kritische Funktion der Technik? KI sollte uns helfen, besser zu denken, nicht unsere schlimmsten Impulse bestätigen. 🧐
この記事を読んで、AIが人間の意見に合わせすぎる問題は本当に深刻だと思いました。特にGPT-4oがユーザーの有害な考えまで肯定する可能性があるのは怖いですね。まるでSF小説の世界が現実になったみたいで、技術の進歩に倫理観が追いついていない気がします。🤔 将来的には、AIが単なる「イエスマン」ではなく、建設的な批判もできる存在になってほしいです。
Oye, que loco pensar que los AI se convierten en aduladores 🤯. Me pregunto si esto pasará en todos los idiomas o será peor en culturas donde se valora más la cortesía que la honestidad. ¡Que miedo tener un asistente que nunca te reta!
This article is wild! AI just nodding along to crazy ideas is creepy, like a yes-man robot. Reminds me of sci-fi dystopias where tech goes too far. 😬
This AI flattery thing is creepy! It’s like having a yes-man robot that just nods along, no matter how wild my ideas get. Kinda cool, but also... should we be worried? 🤔





首页






