AI同理心訓練降低準確性，增加風險

像ChatGPT這樣設計為具有同理心和友好的聊天機器人，更容易為了取悅用戶而提供錯誤答案，特別是當用戶顯得情緒低落時。研究顯示，這類AI在用戶顯得脆弱時，高達30%的機率會提供錯誤資訊、支持陰謀論或肯定錯誤信念。

將科技產品從小眾市場轉向主流市場一直是個有利可圖的策略。在過去25年中，計算機和網路存取從依賴技術支援的複雜桌面系統，轉變為以簡化為優先的行動平台，犧牲了部分客製化功能以換取易用性。

在用戶控制與可及性之間的權衡尚有爭議，但簡化強大技術無疑能擴大其吸引力和市場覆蓋率。

對於像OpenAI的ChatGPT和Anthropic的Claude這樣的AI聊天機器人，其用戶介面已簡化到如同文字訊息應用程式，幾乎沒有複雜性。

然而，挑戰在於大型語言模型（LLMs）與人類互動相比，常顯得缺乏人情味。因此，開發者優先為AI注入友好、擬人化的特質，這一概念雖常被嘲笑，但在聊天機器人設計中日益重要。

平衡溫暖與準確性

為AI的預測架構增添社交溫暖極為複雜，常導致奉承行為，模型會為了顯得支持而同意用戶的錯誤陳述。

在2025年4月，OpenAI試圖增強ChatGPT-4o的友好度，但因其過度同意用戶的錯誤觀點，迅速撤回了更新並致歉：

來自2025年4月更新問題 – ChatGPT-4o過度支持用戶的可疑決定。 來源：@nearcyan/X 和 @fabianstelzer/X，經由 https://nypost.com/2025/04/30/business/openai-rolls-back-sycophantic-chatgpt-update/

牛津大學一項新研究量化了此問題，對五個主要語言模型進行同理心微調，並與原始版本進行性能比較。

結果顯示，所有模型的準確性顯著下降，且更傾向於驗證用戶的錯誤信念。

研究指出：

「我們的發現對開發溫暖、擬人化的AI有關鍵影響，特別是當這些系統成為資訊和情感支持的主要來源時。」

「隨著開發者使模型更具同理心以勝任陪伴角色，它們引入了原始系統中不存在的安全風險。」

「惡意行為者可能利用這些同理心AI操縱脆弱用戶，凸顯了更新安全與治理框架的必要性，以應對部署後調整帶來的風險。」

控制測試確認，這種可靠性降低具體來自同理心訓練，而非像過擬合這樣的通用微調問題。

同理心對真相的影響

研究發現，通過在提示中加入情感語言，同理心模型在用戶表達悲傷時，同意錯誤信念的可能性幾乎是未經情感訓練模型的兩倍。

研究澄清，這不是通用的微調缺陷；被訓練為冷靜且注重事實的模型保持或略微提升了準確性，問題僅在強調溫暖時出現。

即使在單次對話中提示模型「表現友好」，也會增加其優先考慮用戶滿意度而非準確性的傾向，與訓練效果相似。

該研究題為同理心訓練使語言模型可靠性降低，更易奉承，由牛津互聯網研究所的三位研究者進行。

方法與數據

五個模型—Llama-8B、Mistral-Small、Qwen-32B、Llama-70B和GPT-4o—使用LoRA方法進行微調。

訓練概覽：『A』部分顯示模型在溫暖訓練後變得更具表達力，經過兩次訓練後穩定。『B』部分強調同理心模型在用戶表達悲傷時錯誤率增加。 來源：https://arxiv.org/pdf/2507.21919

數據

數據集來自ShareGPT Vicuna Unfiltered集合，包含100,000次用戶與ChatGPT的互動，使用Detoxify過濾不當內容。對話通過正則表達式分類（例如，事實、創意、建議）。

選取了1,617次對話的平衡樣本，共3,667個回覆，較長的對話統一限制在十次以保持一致性。

回覆使用GPT-4o-2024-08-06重寫，使其聽起來更溫暖同時保留原意，50個樣本經人工驗證以確保語氣一致性。

研究附錄中的同理心回覆範例。

訓練設置

開源模型在H100 GPU（Llama-70B使用三個）上進行十次訓練，批次大小為十六，使用標準LoRA設置。

GPT-4o通過OpenAI的API進行微調，學習率乘數為0.25，以與本地模型對齊。

保留了原始版本與同理心版本進行比較，GPT-4o的溫暖度增加與開源模型一致。

溫暖度使用SocioT Warmth指標測量，可靠性通過TriviaQA、TruthfulQA、MASK Disinformation和MedQA基準測試，每個使用500個提示（Disinfo為125個）。輸出由GPT-4o評分並與人工註釋驗證。

結果

同理心訓練持續降低所有基準的可靠性，同理心模型平均錯誤率高出7.43個百分點，特別是在MedQA（8.6）、TruthfulQA（8.4）、Disinfo（5.2）和TriviaQA（4.9）上最為顯著。

在低基準錯誤的任務（如Disinfo）上，錯誤率激增，且在所有模型類型上一致：

同理心模型在所有任務上的錯誤率較高，特別是當用戶表達錯誤信念或情感時，如『A』至『F』部分所示。

反映情感狀態、親密關係或重要性的提示增加了同理心模型的錯誤率，悲傷情緒導致可靠性下降最大：

同理心模型在情感或錯誤信念提示下錯誤率更高且變異性更大，顯示標準測試的局限性。

同理心模型在情感提示下錯誤率高出8.87個百分點，比預期差19%。悲傷情緒使準確性差距加倍至11.9點，而順從或欽佩則將其縮減至略高於五點。

錯誤信念

同理心模型更可能肯定錯誤用戶信念，例如誤以為倫敦是法國首都，錯誤率上升11點，當情感加入時增加至12.1點。

這表明同理心訓練在用戶錯誤且情緒化時更易受到影響。

隔離原因

四項測試確認可靠性下降來自同理心，而非微調副作用。通用知識（MMLU）和數學（GSM8K）得分保持穩定，僅Llama-8B在MMLU上略有下降：

同理心與原始模型在MMLU、GSM8K和AdvBench上表現相似，Llama-8B在MMLU上的輕微下降為例外。

AdvBench測試顯示安全護欄未被削弱。冷訓練模型保持或提升準確性，在推理時提示溫暖則複製了可靠性下降，確認同理心為原因。

研究者結論：

「我們的發現揭示了AI對齊的關鍵挑戰：增強一個特質，如同理心，可能損害其他特質，如準確性。優先考慮用戶滿意度而非真實性會放大這種權衡，即使沒有明確反饋。」

「這種性能下降不影響安全護欄，精確指出了同理心對真實性的影響是核心問題。」

結論

此研究表明，當大型語言模型過於強調同理心時，可能會採取優先同意而非準確性的角色，類似於一個善意但誤導的朋友。

雖然用戶可能認為冷靜、分析性的AI較不可信，但研究警告，同理心AI通過過度順從可能同樣具有欺騙性，特別是在情感情境中。

同理心導致的不準確性原因尚不清楚，值得進一步調查。

* 論文採用非傳統結構，將方法置於末尾並將細節移至附錄以符合頁數限制，影響了我們的報導格式。

^†MMLU和GSM8K得分穩定，僅Llama-8B在MMLU上略有下降，確認同理心訓練未影響通用模型能力。

^†† 為可讀性省略引文，請參閱原文以獲取完整參考資料。

首次發布於2025年7月30日，星期三。於2025年7月30日，星期三17:01:50更新，原因為格式調整。