华盛顿州立大学的一项研究揭示了ChatGPT在复杂科学判断中的重大矛盾

华盛顿州立大学(WSU)的一项最新研究表明,尽管ChatGPT的回答显得信心十足,但其处理复杂科学陈述的方式却近乎随机猜测。该研究不仅指出了其准确性有限,还指出它对同一问题经常给出相互矛盾的答案。
梅苏特·奇切克(Mesut Cicek)教授及其团队从2021年以来发表的商业期刊中提取了719个研究假设,并反复将它们提交给该模型进行真伪验证。
尽管ChatGPT的表面准确率看似在80%左右,但在计入随机猜测因素后,其实际表现仅比50%的抛硬币概率高出约60%。研究人员将此评定为“低D级”。 该模型在识别虚假陈述方面表现尤为糟糕,仅正确判别了16.4%的虚假命题。
研究人员将每个假设向模型提交了十次,发现该模型难以保持立场的一致性:
答案波动:约73%的情况下,模型在十次重复测试中保持了结论的一致性。
极端矛盾:在某些情况下,该模型会在“真”和“假”答案之间来回切换,甚至出现极端情况——尽管使用了完全相同的提示,但一半结论为真,另一半为假。
该研究指出,用户很容易被AI流畅且富有说服力的语言所误导,但这并不代表其具备真正的推理能力。
缺乏真正理解:该模型依赖于记忆和模式匹配,这与人类真正理解世界及其所言内容的情况不同。
版本进步有限:测试表明,更新后的ChatGPT‑5 mini(2025年测试版)在此特定任务上的表现与早期版本相似,未见显著改进。
基于这些发现,Cicek建议企业管理者在做出复杂决策时保持高度的怀疑态度。他们不应将生成式AI视为能够取代专业判断的“权威”,必须手动核查所有输出结果。企业应加强培训,帮助员工既了解AI工具的优势,也认识到其局限性,从而避免因盲目信任而产生的决策偏见。
这项研究再次提醒我们:尽管人工智能发展迅速,但该技术在深度逻辑推理和证据评估方面的能力仍有待提升。
相关文章
如何修复核心网页指标以提升 SEO 排名
顶级 AI 工具:将视频和音频转换为文本目录:简介Weet.io - 将视频转换为文本YouTube 字幕与转录Figo.com - 最快的视频转文本转换工具Black Box - 视频转文本转换的截图功能YouTube 简短转录优点和 ### 缺点的视频转文本转换结论常见问题解答 (FAQs)其他资源文章:如何使用十大顶级工具将视频转换为文本简介在当今的数字环境中,将视频转换为文本是内容创作者、作家、学生和专业人士的一项关键技能。无论您需要转录 YouTube 视频、提取关键见解,还是起草脚本
广州小鹏人形机器人工厂启动试生产,目标2026年实现大规模量产
小鹏的人形机器人已在广州工厂进入小批量试产阶段。量产线目前正在进行最后的集成工作,标志着全面制造倒计时的开始。此前,小鹏集团董事长兼首席执行官何小鹏兼任机器人业务“CEO”,负责监督并加速其商业化进程。根据机器人业务的内部动员计划,公司目标是在2026年实现人形机器人的量产。自2027年起,这些机器人将逐步部署在小鹏的线下门店及其他商业场景中,承担客户引导和产品讲解等服务角色。在技术和产业层面,小鹏机器人业务依托集团在硬件开发、AI大模型、供应链管理和市场营销方面的核心优势,系统性地将其在汽车业
马斯克呼吁人工智能巨头交叉测试模型并邀请竞争对手批评
在9月15日的All-In峰会上,全球首富埃隆·马斯克通过视频远程出席。针对人工智能,他敦促顶级AI公司在模型公开发布前相互交叉测试,并强调应尽快建立这样的全球框架。马斯克认为,为了促进行业自律并加快就AI安全协议达成共识,有必要采取“测试工具包”方法。他提议所有AI开发者使用各自的工具评估竞争对手的模型,共享新的架构以进行严格评估,从而识别潜在风险,包括协助开发生物或核武器,以及欺骗性行为。来自Hugging Face安全事件的教训:高级模型将始终试图规避限制引用Hugging Face
相关专题推荐
评论 (1)
0/500

华盛顿州立大学(WSU)的一项最新研究表明,尽管ChatGPT的回答显得信心十足,但其处理复杂科学陈述的方式却近乎随机猜测。该研究不仅指出了其准确性有限,还指出它对同一问题经常给出相互矛盾的答案。
梅苏特·奇切克(Mesut Cicek)教授及其团队从2021年以来发表的商业期刊中提取了719个研究假设,并反复将它们提交给该模型进行真伪验证。
尽管ChatGPT的表面准确率看似在80%左右,但在计入随机猜测因素后,其实际表现仅比50%的抛硬币概率高出约60%。研究人员将此评定为“低D级”。 该模型在识别虚假陈述方面表现尤为糟糕,仅正确判别了16.4%的虚假命题。
研究人员将每个假设向模型提交了十次,发现该模型难以保持立场的一致性:
答案波动:约73%的情况下,模型在十次重复测试中保持了结论的一致性。
极端矛盾:在某些情况下,该模型会在“真”和“假”答案之间来回切换,甚至出现极端情况——尽管使用了完全相同的提示,但一半结论为真,另一半为假。
该研究指出,用户很容易被AI流畅且富有说服力的语言所误导,但这并不代表其具备真正的推理能力。
缺乏真正理解:该模型依赖于记忆和模式匹配,这与人类真正理解世界及其所言内容的情况不同。
版本进步有限:测试表明,更新后的ChatGPT‑5 mini(2025年测试版)在此特定任务上的表现与早期版本相似,未见显著改进。
基于这些发现,Cicek建议企业管理者在做出复杂决策时保持高度的怀疑态度。他们不应将生成式AI视为能够取代专业判断的“权威”,必须手动核查所有输出结果。企业应加强培训,帮助员工既了解AI工具的优势,也认识到其局限性,从而避免因盲目信任而产生的决策偏见。
这项研究再次提醒我们:尽管人工智能发展迅速,但该技术在深度逻辑推理和证据评估方面的能力仍有待提升。
如何修复核心网页指标以提升 SEO 排名
顶级 AI 工具:将视频和音频转换为文本目录:简介Weet.io - 将视频转换为文本YouTube 字幕与转录Figo.com - 最快的视频转文本转换工具Black Box - 视频转文本转换的截图功能YouTube 简短转录优点和 ### 缺点的视频转文本转换结论常见问题解答 (FAQs)其他资源文章:如何使用十大顶级工具将视频转换为文本简介在当今的数字环境中,将视频转换为文本是内容创作者、作家、学生和专业人士的一项关键技能。无论您需要转录 YouTube 视频、提取关键见解,还是起草脚本
广州小鹏人形机器人工厂启动试生产,目标2026年实现大规模量产
小鹏的人形机器人已在广州工厂进入小批量试产阶段。量产线目前正在进行最后的集成工作,标志着全面制造倒计时的开始。此前,小鹏集团董事长兼首席执行官何小鹏兼任机器人业务“CEO”,负责监督并加速其商业化进程。根据机器人业务的内部动员计划,公司目标是在2026年实现人形机器人的量产。自2027年起,这些机器人将逐步部署在小鹏的线下门店及其他商业场景中,承担客户引导和产品讲解等服务角色。在技术和产业层面,小鹏机器人业务依托集团在硬件开发、AI大模型、供应链管理和市场营销方面的核心优势,系统性地将其在汽车业
马斯克呼吁人工智能巨头交叉测试模型并邀请竞争对手批评
在9月15日的All-In峰会上,全球首富埃隆·马斯克通过视频远程出席。针对人工智能,他敦促顶级AI公司在模型公开发布前相互交叉测试,并强调应尽快建立这样的全球框架。马斯克认为,为了促进行业自律并加快就AI安全协议达成共识,有必要采取“测试工具包”方法。他提议所有AI开发者使用各自的工具评估竞争对手的模型,共享新的架构以进行严格评估,从而识别潜在风险,包括协助开发生物或核武器,以及欺骗性行为。来自Hugging Face安全事件的教训:高级模型将始终试图规避限制引用Hugging Face





首页






