研究顯示從聊天機器人取得可靠健康建議的挑戰

當醫療保健系統因等待時間延長及成本上升而掙扎時,越來越多的病患開始試用 ChatGPT 等人工智能聊天機器人來尋求初步的醫療建議。最近的數據顯示,每月約有 17% 的美國成年人會透過這些工具諮詢健康資訊。然而,新的研究表明,這種新興的做法存在重大風險,特別是當用戶未能提供足夠的上下文或誤解 AI 的回應時。
這項由牛津大學領導的研究揭露了人們如何有效使用會話式人工智能進行醫療自我評估的關鍵限制。研究團隊與 1,300 位英國參與者合作,向他們展示醫師開發的醫療情境。參與者嘗試使用 AI 助手或傳統方法(如網路搜尋)進行診斷,在多個 AI 平台上的結果都令人擔憂。
"我們觀察到雙向溝通的基本斷層,」研究共同作者、牛津網際網路研究所的 Adam Mahdi 解釋說。「AI使用者所表現出的決策能力並不比採用傳統方法的使用者優勝,在某些情況下甚至更差」。
該研究測試了三種領先的人工智能模型:OpenAI 的 GPT-4o(為 ChatGPT 提供動力)、Cohere 的 Command R+ 以及 Meta 的 Llama 3。研究結果揭示了兩種令人不安的模式:
- 使用 AI 工具的參與者在識別相關健康狀況的成功率較低
- AI 互動會導致低估病情嚴重性的危險。
Mahdi 注意到輸入品質和輸出詮釋的重大問題:"使用者在提出查詢時經常遺漏重要的醫療細節,而 AI 的回應則經常將準確的建議與有問題的建議混為一談。這種組合造成了特別危險的情況,使用者可能會做出不當的醫療決策。
產業推動與醫療現實
這些發現是在各大科技公司積極開發以健康為重點的 AI 應用程式時出現的:
- 據報導,蘋果公司正在創造一個健康顧問,提供運動和睡眠指導。
- 亞馬遜正在分析社會健康指標的醫療記錄
- 微軟正在開發 AI 系統,以優先處理與病患的溝通
然而,醫學界對於在臨床環境中部署這些技術仍持謹慎態度。美國醫學協會明確警告醫師不要使用消費者聊天機器人來提供決策支援,而 AI 開發人員本身也有同感。Open AI 的使用政策明確禁止將其模型用於診斷目的。
"Mahdi 強調:「我們強烈建議人們在做醫療決定時諮詢經驗證的醫療來源,而非聊天機器人的輸出結果。「在廣泛部署之前,這些系統需要嚴格的真實世界測試,就像藥品試驗一樣。」
結論
雖然人工智慧聊天機器人提供了令人好奇的可能性,讓醫療照護更容易獲得,但這項研究也突顯了目前實作中的重大風險。隨著技術的演進,開發人員必須解決可靠性方面的重要缺口,而使用者則應該以適當的懷疑態度來看待 AI 醫療建議。
相關文章
缺乏公眾信任阻礙人工智能發展
雖然政治人物強調人工智慧在成長與效率上的潛力,但最近的一份報告卻突顯出大眾對人工智慧的嚴重信任不足。廣泛的懷疑正在為政府的措施帶來重大挑戰。由 Tony Blair 全球變革研究所 (Tony Blair Institute for Global Change, TBI) 與益普索 (Ipsos) 共同進行的一項綜合研究,量化了這種不安。研究顯示,缺乏信任是人們猶豫是否要使用人工智慧的主要原因。這
Duolingo以人工智慧取代約聘人員 啟動戰略改革
根據執行長兼共同創辦人 Luis von Ahn 的內部備忘錄(其後公開於公司 LinkedIn 頁面),Duolingo 正重組特定團隊,以轉型為「AI 優先」組織。該備忘錄詳述一系列營運變革計劃,重點強調整合人工智慧以提升效率、減少人力工作並擴展內容創造。Duolingo 將逐步淘汰可由 AI 處理的委外職務。公司也將在評估過程中,開始考量求職者與員工運用 AI 工具的能力。Von Ahn 指出,唯有當團隊職責無法進一步自動化時,才會考慮增聘新進人員。「採用 AI 優先思維需要重新構想我們現
麻省理工學院研究發現人工智能會降低人腦的參與程度
麻省理工學院 (Massachusetts Institute of Technology) 進行的一項研究顯示,使用大型語言模型 (LLM) 不僅會減少當下的心智努力,還會對後續任務的認知表現造成持續的負面影響。在實驗中,研究人員與少數的參與者合作--研究中也承認了這一限制[PDF]--他們被指派撰寫不同主題的文章。其中一組被允許使用人工智能 (ChatGPT 被選中,因為研究人員認為它與類似工
相關專題推薦
評論 (3)
0/500
Wait, 17% of adults already use chatbots for medical advice? That's terrifying. I can barely trust WebMD without spiraling into hypochondria. 😅 Has anyone actually gotten a correct diagnosis from ChatGPT? I'd rather wait for my doctor than risk a hallucination about my symptoms.
Die 17% Nutzerquote ist krass, aber logisch - bei monatelangen Wartezeiten bei nem Facharzt frag ich auch erstmal ChatGPT. Der Artikel bringt es gut auf den Punkt: 'Daten sind ein Problem'. Wenn mein Chatbot mit veralteten Studien oder irreführenden, kommerziellen Gesundheits-Blogs trainiert wurde, ist der Ratschlag mehr als nur 'unzuverlässig', das wird potenziell gefährlich. 🧐 Ich hoffe, die Regulierungsbehörden schlafen da nicht ein.

當醫療保健系統因等待時間延長及成本上升而掙扎時,越來越多的病患開始試用 ChatGPT 等人工智能聊天機器人來尋求初步的醫療建議。最近的數據顯示,每月約有 17% 的美國成年人會透過這些工具諮詢健康資訊。然而,新的研究表明,這種新興的做法存在重大風險,特別是當用戶未能提供足夠的上下文或誤解 AI 的回應時。
這項由牛津大學領導的研究揭露了人們如何有效使用會話式人工智能進行醫療自我評估的關鍵限制。研究團隊與 1,300 位英國參與者合作,向他們展示醫師開發的醫療情境。參與者嘗試使用 AI 助手或傳統方法(如網路搜尋)進行診斷,在多個 AI 平台上的結果都令人擔憂。
"我們觀察到雙向溝通的基本斷層,」研究共同作者、牛津網際網路研究所的 Adam Mahdi 解釋說。「AI使用者所表現出的決策能力並不比採用傳統方法的使用者優勝,在某些情況下甚至更差」。
該研究測試了三種領先的人工智能模型:OpenAI 的 GPT-4o(為 ChatGPT 提供動力)、Cohere 的 Command R+ 以及 Meta 的 Llama 3。研究結果揭示了兩種令人不安的模式:
- 使用 AI 工具的參與者在識別相關健康狀況的成功率較低
- AI 互動會導致低估病情嚴重性的危險。
Mahdi 注意到輸入品質和輸出詮釋的重大問題:"使用者在提出查詢時經常遺漏重要的醫療細節,而 AI 的回應則經常將準確的建議與有問題的建議混為一談。這種組合造成了特別危險的情況,使用者可能會做出不當的醫療決策。
產業推動與醫療現實
這些發現是在各大科技公司積極開發以健康為重點的 AI 應用程式時出現的:
- 據報導,蘋果公司正在創造一個健康顧問,提供運動和睡眠指導。
- 亞馬遜正在分析社會健康指標的醫療記錄
- 微軟正在開發 AI 系統,以優先處理與病患的溝通
然而,醫學界對於在臨床環境中部署這些技術仍持謹慎態度。美國醫學協會明確警告醫師不要使用消費者聊天機器人來提供決策支援,而 AI 開發人員本身也有同感。Open AI 的使用政策明確禁止將其模型用於診斷目的。
"Mahdi 強調:「我們強烈建議人們在做醫療決定時諮詢經驗證的醫療來源,而非聊天機器人的輸出結果。「在廣泛部署之前,這些系統需要嚴格的真實世界測試,就像藥品試驗一樣。」
結論
雖然人工智慧聊天機器人提供了令人好奇的可能性,讓醫療照護更容易獲得,但這項研究也突顯了目前實作中的重大風險。隨著技術的演進,開發人員必須解決可靠性方面的重要缺口,而使用者則應該以適當的懷疑態度來看待 AI 醫療建議。
缺乏公眾信任阻礙人工智能發展
雖然政治人物強調人工智慧在成長與效率上的潛力,但最近的一份報告卻突顯出大眾對人工智慧的嚴重信任不足。廣泛的懷疑正在為政府的措施帶來重大挑戰。由 Tony Blair 全球變革研究所 (Tony Blair Institute for Global Change, TBI) 與益普索 (Ipsos) 共同進行的一項綜合研究,量化了這種不安。研究顯示,缺乏信任是人們猶豫是否要使用人工智慧的主要原因。這
麻省理工學院研究發現人工智能會降低人腦的參與程度
麻省理工學院 (Massachusetts Institute of Technology) 進行的一項研究顯示,使用大型語言模型 (LLM) 不僅會減少當下的心智努力,還會對後續任務的認知表現造成持續的負面影響。在實驗中,研究人員與少數的參與者合作--研究中也承認了這一限制[PDF]--他們被指派撰寫不同主題的文章。其中一組被允許使用人工智能 (ChatGPT 被選中,因為研究人員認為它與類似工
Wait, 17% of adults already use chatbots for medical advice? That's terrifying. I can barely trust WebMD without spiraling into hypochondria. 😅 Has anyone actually gotten a correct diagnosis from ChatGPT? I'd rather wait for my doctor than risk a hallucination about my symptoms.
Die 17% Nutzerquote ist krass, aber logisch - bei monatelangen Wartezeiten bei nem Facharzt frag ich auch erstmal ChatGPT. Der Artikel bringt es gut auf den Punkt: 'Daten sind ein Problem'. Wenn mein Chatbot mit veralteten Studien oder irreführenden, kommerziellen Gesundheits-Blogs trainiert wurde, ist der Ratschlag mehr als nur 'unzuverlässig', das wird potenziell gefährlich. 🧐 Ich hoffe, die Regulierungsbehörden schlafen da nicht ein.





首頁






