研究揭示从聊天机器人获取可靠健康建议的挑战

随着医疗保健系统苦苦挣扎于漫长的等待时间和不断攀升的成本,越来越多的患者开始尝试使用 ChatGPT 等人工智能聊天机器人来获得初步的医疗建议。最近的数据显示,每月约有 17% 的美国成年人通过这些工具咨询健康信息。然而,新的研究表明,这种新兴的做法蕴含着巨大的风险,尤其是当用户未能提供足够的上下文或曲解人工智能的回复时。
这项由牛津大学主导的研究揭示了人们在如何有效使用人工智能对话进行医疗自我评估方面存在的关键局限性。研究小组与 1300 名英国参与者合作,向他们展示了由医生开发的医疗场景。参与者尝试使用人工智能助手或互联网搜索等传统方法进行诊断,结果在多个人工智能平台上都令人担忧。
"我们观察到在两个方向上都存在根本性的沟通障碍,"该研究的共同作者、牛津大学互联网研究所的亚当-马赫迪(Adam Mahdi)解释说。"人工智能用户所表现出的决策能力并不比那些采用传统方法的用户强,在某些情况下甚至更差。"
这项研究测试了三种领先的人工智能模型:OpenAI 的 GPT-4o(支持 ChatGPT)、Cohere 的 Command R+ 和 Meta 的 Llama 3。研究结果发现了两种令人担忧的模式:
- 使用人工智能工具的参与者在识别相关健康状况方面不太成功
- 人工智能交互导致低估病情严重程度的危险性
马赫迪指出,输入质量和输出解释存在重大问题:"用户在提出询问时经常遗漏关键的医疗细节,而人工智能的回复则经常将准确的建议与有问题的建议混为一谈"。这种组合造成了特别危险的情况,用户可能会做出不恰当的医疗决定。
行业推动与医疗现实
这些发现是在各大科技公司积极开发以健康为重点的人工智能应用时出现的:
- 据报道,苹果公司正在创建一个健康顾问,为用户提供运动和睡眠指导
- 亚马逊正在分析医疗记录中的社会健康指标
- 微软正在开发人工智能系统,以优先考虑与患者的沟通
然而,医学界对在临床环境中部署这些技术仍持谨慎态度。美国医学协会明确告诫医生不要使用消费者聊天机器人提供决策支持,人工智能开发者也发出了同样的警告。开放人工智能的使用政策明确禁止将其模型用于诊断目的。
"马赫迪强调说:"我们强烈建议人们在做出医疗决策时咨询经过验证的医疗来源,而不是聊天机器人的输出结果。"在广泛部署之前,这些系统需要进行与制药试验类似的严格的真实世界测试。"
结论
虽然人工智能聊天机器人为提高医疗保健的可及性提供了引人入胜的可能性,但这项研究也凸显了当前实施过程中存在的巨大风险。随着技术的发展,开发人员必须解决可靠性方面的关键差距,而用户则应该以适当的怀疑态度对待人工智能医疗建议。
相关文章
缺乏公众信任阻碍了人工智能的发展
虽然政治家们强调人工智能在增长和效率方面的潜力,但最近的一份报告却凸显了公众对人工智能的严重信任缺失。普遍的怀疑态度正在给政府举措带来重大挑战。托尼-布莱尔全球变化研究所(TBI)和益普索公司(Ipsos)的一项综合研究量化了这种不安情绪。研究显示,缺乏信任是人们对使用人工智能犹豫不决的主要原因。这不仅仅是一种模糊的担忧,而是政治家们所倡导的人工智能革命的真正障碍。公众对人工智能的信任随着使用而增
Duolingo以人工智能取代承包商完成战略转型
根据首席执行官兼联合创始人路易斯·冯·安内部备忘录(该备忘录后续发布于公司领英页面),多邻国正在重组部分团队,以转型为"AI优先"组织。备忘录详述了一系列计划中的运营变革,重点强调通过整合人工智能来提升效率、减少人工工作并扩展内容创作。多邻国将逐步取消可由AI处理的合同工岗位。公司还将在评估过程中考量求职者和员工使用AI工具的情况。冯·安指出,仅当团队职责无法实现进一步自动化时,才会考虑新增员工。"采用AI优先思维需要重新构想我们当前的大部分工作流程。对人本系统进行渐进式调整是远远不够的,"冯·
麻省理工学院研究发现人工智能降低了人脑的参与度
麻省理工学院(MIT)进行的一项研究显示,使用大型语言模型(LLM)不仅会减少当下的脑力劳动,还会对后续任务的认知表现产生持续的负面影响。在实验中,研究人员与少数参与者合作--研究中承认了这一局限性[PDF]--他们被分配撰写不同主题的文章。其中一组被允许使用人工智能(ChatGPT被选中,因为研究人员认为它与类似工具在功能上差别不大),另一组可以使用谷歌搜索,第三组被指定为 "只用大脑",这意味
相关专题推荐
评论 (3)
0/500
Wait, 17% of adults already use chatbots for medical advice? That's terrifying. I can barely trust WebMD without spiraling into hypochondria. 😅 Has anyone actually gotten a correct diagnosis from ChatGPT? I'd rather wait for my doctor than risk a hallucination about my symptoms.
Die 17% Nutzerquote ist krass, aber logisch - bei monatelangen Wartezeiten bei nem Facharzt frag ich auch erstmal ChatGPT. Der Artikel bringt es gut auf den Punkt: 'Daten sind ein Problem'. Wenn mein Chatbot mit veralteten Studien oder irreführenden, kommerziellen Gesundheits-Blogs trainiert wurde, ist der Ratschlag mehr als nur 'unzuverlässig', das wird potenziell gefährlich. 🧐 Ich hoffe, die Regulierungsbehörden schlafen da nicht ein.

随着医疗保健系统苦苦挣扎于漫长的等待时间和不断攀升的成本,越来越多的患者开始尝试使用 ChatGPT 等人工智能聊天机器人来获得初步的医疗建议。最近的数据显示,每月约有 17% 的美国成年人通过这些工具咨询健康信息。然而,新的研究表明,这种新兴的做法蕴含着巨大的风险,尤其是当用户未能提供足够的上下文或曲解人工智能的回复时。
这项由牛津大学主导的研究揭示了人们在如何有效使用人工智能对话进行医疗自我评估方面存在的关键局限性。研究小组与 1300 名英国参与者合作,向他们展示了由医生开发的医疗场景。参与者尝试使用人工智能助手或互联网搜索等传统方法进行诊断,结果在多个人工智能平台上都令人担忧。
"我们观察到在两个方向上都存在根本性的沟通障碍,"该研究的共同作者、牛津大学互联网研究所的亚当-马赫迪(Adam Mahdi)解释说。"人工智能用户所表现出的决策能力并不比那些采用传统方法的用户强,在某些情况下甚至更差。"
这项研究测试了三种领先的人工智能模型:OpenAI 的 GPT-4o(支持 ChatGPT)、Cohere 的 Command R+ 和 Meta 的 Llama 3。研究结果发现了两种令人担忧的模式:
- 使用人工智能工具的参与者在识别相关健康状况方面不太成功
- 人工智能交互导致低估病情严重程度的危险性
马赫迪指出,输入质量和输出解释存在重大问题:"用户在提出询问时经常遗漏关键的医疗细节,而人工智能的回复则经常将准确的建议与有问题的建议混为一谈"。这种组合造成了特别危险的情况,用户可能会做出不恰当的医疗决定。
行业推动与医疗现实
这些发现是在各大科技公司积极开发以健康为重点的人工智能应用时出现的:
- 据报道,苹果公司正在创建一个健康顾问,为用户提供运动和睡眠指导
- 亚马逊正在分析医疗记录中的社会健康指标
- 微软正在开发人工智能系统,以优先考虑与患者的沟通
然而,医学界对在临床环境中部署这些技术仍持谨慎态度。美国医学协会明确告诫医生不要使用消费者聊天机器人提供决策支持,人工智能开发者也发出了同样的警告。开放人工智能的使用政策明确禁止将其模型用于诊断目的。
"马赫迪强调说:"我们强烈建议人们在做出医疗决策时咨询经过验证的医疗来源,而不是聊天机器人的输出结果。"在广泛部署之前,这些系统需要进行与制药试验类似的严格的真实世界测试。"
结论
虽然人工智能聊天机器人为提高医疗保健的可及性提供了引人入胜的可能性,但这项研究也凸显了当前实施过程中存在的巨大风险。随着技术的发展,开发人员必须解决可靠性方面的关键差距,而用户则应该以适当的怀疑态度对待人工智能医疗建议。
缺乏公众信任阻碍了人工智能的发展
虽然政治家们强调人工智能在增长和效率方面的潜力,但最近的一份报告却凸显了公众对人工智能的严重信任缺失。普遍的怀疑态度正在给政府举措带来重大挑战。托尼-布莱尔全球变化研究所(TBI)和益普索公司(Ipsos)的一项综合研究量化了这种不安情绪。研究显示,缺乏信任是人们对使用人工智能犹豫不决的主要原因。这不仅仅是一种模糊的担忧,而是政治家们所倡导的人工智能革命的真正障碍。公众对人工智能的信任随着使用而增
麻省理工学院研究发现人工智能降低了人脑的参与度
麻省理工学院(MIT)进行的一项研究显示,使用大型语言模型(LLM)不仅会减少当下的脑力劳动,还会对后续任务的认知表现产生持续的负面影响。在实验中,研究人员与少数参与者合作--研究中承认了这一局限性[PDF]--他们被分配撰写不同主题的文章。其中一组被允许使用人工智能(ChatGPT被选中,因为研究人员认为它与类似工具在功能上差别不大),另一组可以使用谷歌搜索,第三组被指定为 "只用大脑",这意味
Wait, 17% of adults already use chatbots for medical advice? That's terrifying. I can barely trust WebMD without spiraling into hypochondria. 😅 Has anyone actually gotten a correct diagnosis from ChatGPT? I'd rather wait for my doctor than risk a hallucination about my symptoms.
Die 17% Nutzerquote ist krass, aber logisch - bei monatelangen Wartezeiten bei nem Facharzt frag ich auch erstmal ChatGPT. Der Artikel bringt es gut auf den Punkt: 'Daten sind ein Problem'. Wenn mein Chatbot mit veralteten Studien oder irreführenden, kommerziellen Gesundheits-Blogs trainiert wurde, ist der Ratschlag mehr als nur 'unzuverlässig', das wird potenziell gefährlich. 🧐 Ich hoffe, die Regulierungsbehörden schlafen da nicht ein.





首页






