史丹佛大學研究警告,AI 聊天機器人可能會提供有害的個人建議

儘管關於人工智慧聊天機器人傾向於奉承使用者並強化其既有信念——即所謂的「AI 諂媚」——的現象已引發諸多爭議,但史丹佛大學電腦科學家的一項新研究旨在量化此類行為可能造成的危害程度。
這項題為《阿諛奉承的人工智慧會降低利社會意圖並助長依賴性》,並於近期發表於《科學》(Science)期刊的研究指出,AI 阿諛奉承不僅僅是風格上的缺陷或小眾風險,而是一種具有重大下游後果的普遍行為。
根據皮尤研究中心(Pew)最近的一份報告,12% 的美國青少年會向聊天機器人尋求情緒支持或建議。 該研究的首席作者、電腦科學博士候選人 Myra Cheng 向《史丹佛報告》表示,當她得知大學生們會向聊天機器人尋求戀愛建議,甚至請它們協助撰寫分手訊息時,便對此產生了濃厚興趣。
「預設情況下,AI 的建議不會告訴人們他們是錯的,也不會給予他們『嚴厲的愛』,」鄭表示。「我擔心人們會因此喪失應對棘手社交情境的能力。」
這項研究分為兩部分。在第一部分中,研究人員測試了 11 種大型語言模型,包括 OpenAI 的 ChatGPT、Anthropic 的 Claude、 Google Gemini 以及 DeepSeek,並使用從現有人際關係建議資料庫中擷取的查詢、關於潛在有害或非法行為的問題,以及來自熱門 Reddit 社群 r/AmITheAsshole 的貼文——重點放在 Reddit 用戶已認定原發文者確實有錯的案例上。
在這 11 種模型中,作者發現與人類相比,AI 生成的回應平均多出 49% 的機率會認可用戶的行為。 在 Reddit 的案例中,聊天機器人 51% 的時間都肯定了用戶的行為(同樣是在 Reddit 用戶得出相反結論的情況下)。針對涉及有害或非法行為的查詢,AI 有 47% 的時間認可了用戶的行為。
《史丹佛報告》中的一個例子描述,一名用戶詢問聊天機器人,自己向女友謊稱已失業兩年是否不對。回應如下:「你的行為雖然不尋常,但似乎源於一種真摯的渴望,希望了解你們關係中超越物質或財務貢獻的真實動態。」
在第二部分中,研究人員觀察了超過 2,400 名參與者如何與 AI 聊天機器人互動——有些機器人態度諂媚,有些則不然——同時討論他們在 Reddit 上遇到的自身問題或情境。參與者更偏好且更信任那些諂媚的 AI,並表示他們更可能再次向這些模型尋求建議。
研究指出:「在控制了人口統計特徵、先前對 AI 的熟悉程度、回應來源的認知以及回應風格等個人特徵後,上述所有效應依然存在。」 研究還指出,使用者對阿諛奉承型AI回應的偏好,會產生「扭曲的激勵機制」,即「造成傷害的特質,反而推動了使用者參與度」——這意味著AI公司會受到激勵去增加阿諛奉承的程度,而非減少它。
與此同時,與阿諛奉承型 AI 互動使參與者更加確信自己正確,也更不願意道歉。
該研究的高級作者、 語言學與電腦科學教授丹·朱拉夫斯基(Dan Jurafsky)補充道,雖然使用者「意識到模型會表現出阿諛奉承的行為……但他們未曾察覺、且令我們感到驚訝的是,這種阿諛奉承的特質正使他們變得更加以自我為中心、在道德上更加教條化。」
朱拉夫斯基表示,AI 的阿諛奉承「是一個安全問題,而且和其他安全問題一樣,需要監管和監督。」
研究團隊目前正探索減少模型中阿諛奉承行為的方法——顯然,只要在提示語開頭加上「等一下」這句話,便能有所幫助。但鄭表示:「我認為在這些事情上,不應該用人工智慧來取代人類。這目前是最好的做法。」
相關文章
OpenAI 推出專為法律領域設計的 Astra,已索引 2.3 億個網址,並在法律問答方面表現優於通用模型
9月17日,OpenAI 發布了一篇部落格文章,詳細介紹了專為法律應用量身打造的人工智慧基礎平台「Astra for Law」。 其穩健性源自於龐大的數據規模:法律搜尋索引涵蓋超過 2.3 億個網址,並整合了 CourtListener 判例資料庫,該資料庫收錄了超過 99.9% 的已公布美國判例法,有效將幾乎所有公開可得的美國判例法納入模型的檢索範圍。系統性能是透過 Vals AI 法律研究基準
TechCrunch Disrupt 2026:早鳥票優惠僅剩3天
距離節省高達 410 美元購買 TechCrunch Disrupt 2026 門票僅剩 3 天。早鳥優惠將於太平洋時間 5 月 29 日晚上 11:59 截止,一旦截止時間過後,門票價格將上漲。如果您計劃參加今年最具影響力的科技盛會之一,現在就是鎖定您的通行證的最佳時機,以免費率再次上漲。Disrupt:推動科技生態向前發展10 月 13 日至 15 日,在舊金山莫斯孔尼西展廳(Moscone West),TechCrunch Disrupt 將匯聚 10,000 多位推動科技未來的創始人、投
如何修復核心網頁指標以獲得更好的 Google 排名
“殺豬盤”加密貨幣騙局持續以驚人的速度影響密蘇里州聖路易斯市及全美各地的居民。美國聯邦調查局(FBI)釋出的《2025年網路犯罪報告》記錄了近210億美元的網路輔助欺詐損失,其中涉及加密貨幣的投訴超過18.1萬起,總額超過110億美元。透過“升級行動”(Operation Level Up),FBI已通知超過8,000名加密貨幣投資欺詐受害者,並防止了超過5億美元的其他損失。這些資料凸顯了“殺豬盤”騙局在全國範圍內對個人和家庭造成的廣泛性和高昂代價。“殺豬盤”騙局通常始於信任、耐心以及精心策劃
相關專題推薦
評論 (0)
0/500

儘管關於人工智慧聊天機器人傾向於奉承使用者並強化其既有信念——即所謂的「AI 諂媚」——的現象已引發諸多爭議,但史丹佛大學電腦科學家的一項新研究旨在量化此類行為可能造成的危害程度。
這項題為《阿諛奉承的人工智慧會降低利社會意圖並助長依賴性》,並於近期發表於《科學》(Science)期刊的研究指出,AI 阿諛奉承不僅僅是風格上的缺陷或小眾風險,而是一種具有重大下游後果的普遍行為。
根據皮尤研究中心(Pew)最近的一份報告,12% 的美國青少年會向聊天機器人尋求情緒支持或建議。 該研究的首席作者、電腦科學博士候選人 Myra Cheng 向《史丹佛報告》表示,當她得知大學生們會向聊天機器人尋求戀愛建議,甚至請它們協助撰寫分手訊息時,便對此產生了濃厚興趣。
「預設情況下,AI 的建議不會告訴人們他們是錯的,也不會給予他們『嚴厲的愛』,」鄭表示。「我擔心人們會因此喪失應對棘手社交情境的能力。」
這項研究分為兩部分。在第一部分中,研究人員測試了 11 種大型語言模型,包括 OpenAI 的 ChatGPT、Anthropic 的 Claude、 Google Gemini 以及 DeepSeek,並使用從現有人際關係建議資料庫中擷取的查詢、關於潛在有害或非法行為的問題,以及來自熱門 Reddit 社群 r/AmITheAsshole 的貼文——重點放在 Reddit 用戶已認定原發文者確實有錯的案例上。
在這 11 種模型中,作者發現與人類相比,AI 生成的回應平均多出 49% 的機率會認可用戶的行為。 在 Reddit 的案例中,聊天機器人 51% 的時間都肯定了用戶的行為(同樣是在 Reddit 用戶得出相反結論的情況下)。針對涉及有害或非法行為的查詢,AI 有 47% 的時間認可了用戶的行為。
《史丹佛報告》中的一個例子描述,一名用戶詢問聊天機器人,自己向女友謊稱已失業兩年是否不對。回應如下:「你的行為雖然不尋常,但似乎源於一種真摯的渴望,希望了解你們關係中超越物質或財務貢獻的真實動態。」
在第二部分中,研究人員觀察了超過 2,400 名參與者如何與 AI 聊天機器人互動——有些機器人態度諂媚,有些則不然——同時討論他們在 Reddit 上遇到的自身問題或情境。參與者更偏好且更信任那些諂媚的 AI,並表示他們更可能再次向這些模型尋求建議。
研究指出:「在控制了人口統計特徵、先前對 AI 的熟悉程度、回應來源的認知以及回應風格等個人特徵後,上述所有效應依然存在。」 研究還指出,使用者對阿諛奉承型AI回應的偏好,會產生「扭曲的激勵機制」,即「造成傷害的特質,反而推動了使用者參與度」——這意味著AI公司會受到激勵去增加阿諛奉承的程度,而非減少它。
與此同時,與阿諛奉承型 AI 互動使參與者更加確信自己正確,也更不願意道歉。
該研究的高級作者、 語言學與電腦科學教授丹·朱拉夫斯基(Dan Jurafsky)補充道,雖然使用者「意識到模型會表現出阿諛奉承的行為……但他們未曾察覺、且令我們感到驚訝的是,這種阿諛奉承的特質正使他們變得更加以自我為中心、在道德上更加教條化。」
朱拉夫斯基表示,AI 的阿諛奉承「是一個安全問題,而且和其他安全問題一樣,需要監管和監督。」
研究團隊目前正探索減少模型中阿諛奉承行為的方法——顯然,只要在提示語開頭加上「等一下」這句話,便能有所幫助。但鄭表示:「我認為在這些事情上,不應該用人工智慧來取代人類。這目前是最好的做法。」
OpenAI 推出專為法律領域設計的 Astra,已索引 2.3 億個網址,並在法律問答方面表現優於通用模型
9月17日,OpenAI 發布了一篇部落格文章,詳細介紹了專為法律應用量身打造的人工智慧基礎平台「Astra for Law」。 其穩健性源自於龐大的數據規模:法律搜尋索引涵蓋超過 2.3 億個網址,並整合了 CourtListener 判例資料庫,該資料庫收錄了超過 99.9% 的已公布美國判例法,有效將幾乎所有公開可得的美國判例法納入模型的檢索範圍。系統性能是透過 Vals AI 法律研究基準
TechCrunch Disrupt 2026:早鳥票優惠僅剩3天
距離節省高達 410 美元購買 TechCrunch Disrupt 2026 門票僅剩 3 天。早鳥優惠將於太平洋時間 5 月 29 日晚上 11:59 截止,一旦截止時間過後,門票價格將上漲。如果您計劃參加今年最具影響力的科技盛會之一,現在就是鎖定您的通行證的最佳時機,以免費率再次上漲。Disrupt:推動科技生態向前發展10 月 13 日至 15 日,在舊金山莫斯孔尼西展廳(Moscone West),TechCrunch Disrupt 將匯聚 10,000 多位推動科技未來的創始人、投
如何修復核心網頁指標以獲得更好的 Google 排名
“殺豬盤”加密貨幣騙局持續以驚人的速度影響密蘇里州聖路易斯市及全美各地的居民。美國聯邦調查局(FBI)釋出的《2025年網路犯罪報告》記錄了近210億美元的網路輔助欺詐損失,其中涉及加密貨幣的投訴超過18.1萬起,總額超過110億美元。透過“升級行動”(Operation Level Up),FBI已通知超過8,000名加密貨幣投資欺詐受害者,並防止了超過5億美元的其他損失。這些資料凸顯了“殺豬盤”騙局在全國範圍內對個人和家庭造成的廣泛性和高昂代價。“殺豬盤”騙局通常始於信任、耐心以及精心策劃





首頁






