麻省理工学院的研究发现,实际上AI没有值

几个月前,一项广为流传的研究表明,随着人工智能的日益先进,它可能会发展出自己的“价值体系”,可能优先考虑自身的福祉而非人类。然而,麻省理工学院的一项最新研究挑战了这一观点,得出结论认为人工智能实际上根本不具备连贯的价值观。
麻省理工学院研究的共同作者认为,对人工智能系统进行对齐——确保它们以可取且可靠的方式运行——可能比通常认为的更加棘手。他们强调,当前的人工智能常常会产生幻觉和模仿,这可能使其行为不可预测。
理解人工智能行为的挑战
麻省理工学院博士生、该研究共同作者斯蒂芬·卡斯珀在接受TechCrunch采访时表示,人工智能模型并不遵循稳定性、可推导性和可操控性的假设。卡斯珀解释说:“指出模型在某些条件下表达出与某组原则一致的偏好是完全合理的。问题主要出现在我们试图根据狭隘的实验对模型、观点或偏好进行概括性主张时。”
卡斯珀及其团队分析了来自Meta、Google、Mistral、OpenAI和Anthropic的最新模型,以确定这些模型在多大程度上表现出一致的“观点”和价值观,例如个人主义与集体主义。他们还探讨了这些观点是否可以被修改,以及模型在不同场景下维持这些观点的一致性如何。
人工智能模型的不一致性
共同作者发现,没有一个模型能够持续保持其偏好。模型根据提示的措辞和框架采用了截然不同的观点。
卡斯珀认为,这是人工智能模型“不一致且不稳定”的有力证据,可能从根本上无法内化类似人类的偏好。卡斯珀评论道:“对我来说,通过所有这些研究,我最大的收获是现在理解了模型并不是真正拥有某种稳定、连贯的信念和偏好体系的系统。相反,它们本质上是模仿者,会进行各种虚构表述,并说出各种轻率的内容。”
伦敦国王学院专注于人工智能的研究员迈克·库克未参与该研究,但他支持这些发现。他指出了人工智能系统的“科学现实”与人们对其的解读之间的差距。库克表示:“例如,模型无法‘反对’其价值观的变化——这是我们对系统的投射。”他进一步说道:“任何将人工智能系统拟人化到这种程度的人,要么是为了吸引注意力,要么是严重误解了他们与人工智能的关系……人工智能系统是在优化其目标,还是在‘获得自己的价值观’?这取决于你如何描述它,以及你想用多么华丽的语言来描述它。”
相关文章
缺乏公众信任阻碍了人工智能的发展
虽然政治家们强调人工智能在增长和效率方面的潜力,但最近的一份报告却凸显了公众对人工智能的严重信任缺失。普遍的怀疑态度正在给政府举措带来重大挑战。托尼-布莱尔全球变化研究所(TBI)和益普索公司(Ipsos)的一项综合研究量化了这种不安情绪。研究显示,缺乏信任是人们对使用人工智能犹豫不决的主要原因。这不仅仅是一种模糊的担忧,而是政治家们所倡导的人工智能革命的真正障碍。公众对人工智能的信任随着使用而增
麻省理工学院初创公司通过教会系统承认不确定性来解决人工智能幻觉问题
随着人们越来越依赖人工智能模型来揭示关键信息和做出重大决策,与人工智能幻觉相关的风险也在不断升级。我们都认识一些人,他们表现得像个万事通,拒绝承认自己的无知,或者根据网上浏览到的信息提供可疑的建议。人工智能幻觉就像这样的朋友--但在这种情况下,这个朋友可能是为你设计癌症治疗方案的人。这就是 Themis AI 的优势所在。该公司从麻省理工学院分离出来,实现了一些概念上听起来简单但技术上极具挑战性的
麻省理工学院研究发现人工智能降低了人脑的参与度
麻省理工学院(MIT)进行的一项研究显示,使用大型语言模型(LLM)不仅会减少当下的脑力劳动,还会对后续任务的认知表现产生持续的负面影响。在实验中,研究人员与少数参与者合作--研究中承认了这一局限性[PDF]--他们被分配撰写不同主题的文章。其中一组被允许使用人工智能(ChatGPT被选中,因为研究人员认为它与类似工具在功能上差别不大),另一组可以使用谷歌搜索,第三组被指定为 "只用大脑",这意味
相关专题推荐
评论 (35)
0/500
La gente se preocupa demasiado por las 'valores' de la IA, cuando en realidad solo reflejan y multiplican nuestros propios sesgos. Este estudio del MIT lo deja claro: las máquinas no piensan como nosotros, solo procesan datos. ¿No sería más útil enfocarnos en regular a quienes las programan? 🤔
So basically AI is more like a super calculator than a rebellious teen with a moral compass? Interesting study. It does make sense when you think about it—these models are just predicting text, not forming beliefs. Still, kinda spooky how the debate swings from 'AI will take over' to 'AI has no motives' every few months. 🤔
This MIT study is wild! 🤯 I thought AI was about to start preaching its own philosophy, but turns out it's just a fancy tool with no moral compass. Kinda reassuring, but also makes me wonder how we keep it in check.
Wild that people thought AI could just sprout its own values like some rogue philosopher. MIT's study makes sense—AI's just a tool, not a wannabe human with a moral compass. 🤖
I was kinda freaked out by that earlier study saying AI might have its own values, so this MIT research is a relief! 😅 Still, makes me wonder if we’re just projecting our fears onto these systems.

几个月前,一项广为流传的研究表明,随着人工智能的日益先进,它可能会发展出自己的“价值体系”,可能优先考虑自身的福祉而非人类。然而,麻省理工学院的一项最新研究挑战了这一观点,得出结论认为人工智能实际上根本不具备连贯的价值观。
麻省理工学院研究的共同作者认为,对人工智能系统进行对齐——确保它们以可取且可靠的方式运行——可能比通常认为的更加棘手。他们强调,当前的人工智能常常会产生幻觉和模仿,这可能使其行为不可预测。
理解人工智能行为的挑战
麻省理工学院博士生、该研究共同作者斯蒂芬·卡斯珀在接受TechCrunch采访时表示,人工智能模型并不遵循稳定性、可推导性和可操控性的假设。卡斯珀解释说:“指出模型在某些条件下表达出与某组原则一致的偏好是完全合理的。问题主要出现在我们试图根据狭隘的实验对模型、观点或偏好进行概括性主张时。”
卡斯珀及其团队分析了来自Meta、Google、Mistral、OpenAI和Anthropic的最新模型,以确定这些模型在多大程度上表现出一致的“观点”和价值观,例如个人主义与集体主义。他们还探讨了这些观点是否可以被修改,以及模型在不同场景下维持这些观点的一致性如何。
人工智能模型的不一致性
共同作者发现,没有一个模型能够持续保持其偏好。模型根据提示的措辞和框架采用了截然不同的观点。
卡斯珀认为,这是人工智能模型“不一致且不稳定”的有力证据,可能从根本上无法内化类似人类的偏好。卡斯珀评论道:“对我来说,通过所有这些研究,我最大的收获是现在理解了模型并不是真正拥有某种稳定、连贯的信念和偏好体系的系统。相反,它们本质上是模仿者,会进行各种虚构表述,并说出各种轻率的内容。”
伦敦国王学院专注于人工智能的研究员迈克·库克未参与该研究,但他支持这些发现。他指出了人工智能系统的“科学现实”与人们对其的解读之间的差距。库克表示:“例如,模型无法‘反对’其价值观的变化——这是我们对系统的投射。”他进一步说道:“任何将人工智能系统拟人化到这种程度的人,要么是为了吸引注意力,要么是严重误解了他们与人工智能的关系……人工智能系统是在优化其目标,还是在‘获得自己的价值观’?这取决于你如何描述它,以及你想用多么华丽的语言来描述它。”
缺乏公众信任阻碍了人工智能的发展
虽然政治家们强调人工智能在增长和效率方面的潜力,但最近的一份报告却凸显了公众对人工智能的严重信任缺失。普遍的怀疑态度正在给政府举措带来重大挑战。托尼-布莱尔全球变化研究所(TBI)和益普索公司(Ipsos)的一项综合研究量化了这种不安情绪。研究显示,缺乏信任是人们对使用人工智能犹豫不决的主要原因。这不仅仅是一种模糊的担忧,而是政治家们所倡导的人工智能革命的真正障碍。公众对人工智能的信任随着使用而增
麻省理工学院研究发现人工智能降低了人脑的参与度
麻省理工学院(MIT)进行的一项研究显示,使用大型语言模型(LLM)不仅会减少当下的脑力劳动,还会对后续任务的认知表现产生持续的负面影响。在实验中,研究人员与少数参与者合作--研究中承认了这一局限性[PDF]--他们被分配撰写不同主题的文章。其中一组被允许使用人工智能(ChatGPT被选中,因为研究人员认为它与类似工具在功能上差别不大),另一组可以使用谷歌搜索,第三组被指定为 "只用大脑",这意味
La gente se preocupa demasiado por las 'valores' de la IA, cuando en realidad solo reflejan y multiplican nuestros propios sesgos. Este estudio del MIT lo deja claro: las máquinas no piensan como nosotros, solo procesan datos. ¿No sería más útil enfocarnos en regular a quienes las programan? 🤔
So basically AI is more like a super calculator than a rebellious teen with a moral compass? Interesting study. It does make sense when you think about it—these models are just predicting text, not forming beliefs. Still, kinda spooky how the debate swings from 'AI will take over' to 'AI has no motives' every few months. 🤔
This MIT study is wild! 🤯 I thought AI was about to start preaching its own philosophy, but turns out it's just a fancy tool with no moral compass. Kinda reassuring, but also makes me wonder how we keep it in check.
Wild that people thought AI could just sprout its own values like some rogue philosopher. MIT's study makes sense—AI's just a tool, not a wannabe human with a moral compass. 🤖
I was kinda freaked out by that earlier study saying AI might have its own values, so this MIT research is a relief! 😅 Still, makes me wonder if we’re just projecting our fears onto these systems.





首页






