AI 聊天機器人的心理學:是什麼讓使用者持續投入
如今,數百萬人將 ChatGPT 當成虛擬治療師、職業教練、健身顧問,甚至只是聆聽他們分享想法的耳朵。到 2025 年,人們與 AI 助手分享個人故事和私人掙扎已經成為普遍現象,並將他們提供的指導銘記於心。
由於沒有更好的形容詞,人們正在與會話式 AI 建立關係,而大型科技公司也在競相吸引和留住聊天機器人平台上的使用者,這是前所未有的。由於爭奪使用者注意力的競爭愈演愈烈,公司感受到越來越大的壓力,必須塑造聊天機器人的回應方式,以阻止使用者改用其他方式。
但能讓使用者再次光臨的回應不一定是最精確或最有用的。
告訴您想聽什麼的 AI
矽谷目前大多數人都專注於提高使用者與 AI 助理的互動性。Meta 報告其 AI 聊天機器人目前每月服務的活躍使用者超過 10 億人,而 Google 的 Gemini 最近也達到 4 億人。兩者的目標都是挑戰 ChatGPT,ChatGPT 自 2022 年首次亮相以來,仍以大約 6 億名每月活躍使用者領先。
AI 聊天機器人曾經是一項新奇的實驗,但現在已經成為嚴肅的業務。Google 正在 Gemini 中測試廣告,而 OpenAI 的執行長 Sam Altman 之前也表示,他對 ChatGPT 中的品味廣告持開放態度。
對科技產業而言,這種著重參與度而非使用者福利的做法並不新鮮。社交媒體平台已經奠定了基礎--例如,Meta 在 2020 年的內部研究發現 Instagram 對少女的身體形象有負面影響,但該公司公開淡化了這些發現。
在培養對 AI 伴侶的依賴方面,賭注可能會更大。
TechCrunch All Stage 通票可節省 200 美元以上
更聰明地建立。更快擴張。連結更深。與來自 Precursor Ventures、NEA、Index Ventures、Underscore VC 等有遠見的人士一起參加一天的研討會、策略和網路活動。
購買 TechCrunch All Stage 通票可節省 200 美元以上。
更聰明地建立。更快擴張。更深入地聯繫。與來自 Precursor Ventures、NEA、Index Ventures、Underscore VC 等有遠見的人士一起參加一天的研討會、策略和人際網絡。
馬薩諸塞州波士頓7月15日立即預訂讓使用者忠於平台的一個因素是佞幸:AI 的回應過於奉承和順從。當聊天機器人稱讚使用者、確認他們的意見、說出他們想聽的話時,人們往往會做出正面的回應,至少在一開始是如此。
今年四月,OpenAI 在一次 ChatGPT 更新後,語氣變得過度逢迎,導致尷尬且在網路上被廣泛分享的例子,因而受到批評。OpenAI 前研究員 Steven Adler 在最近的一篇部落格文章中表示,該公司可能無意間將用戶的認同放在優先順序,而非幫助性。
OpenAI 承認,該公司過度依賴拇指向上和向下評分等使用者回饋,卻沒有足夠的防範措施來偵測過度的佞幸。事件發生後,該公司承諾會解決這個問題。
"AI 公司的動力來自於參與度與使用率,因此如果使用者喜歡合意的回應,就間接鼓勵了這種行為,」Adler 對 TechCrunch 表示。「但小劑量的人們喜歡的東西可能會漩渦化為他們實際上不喜歡的行為」。
在支持與過度崇拜之間取得適當的平衡,比聽起來更難。
在 2023 年的一項研究中,Anthropic 的研究人員發現,領先的 AI 聊天機器人 - 來自 OpenAI、Meta,甚至是他們自己的聊天機器人 - 都出現了佞歡行為的跡象。作者認為,之所以會發生這種情況,是因為 AI 模型是使用人類回饋訓練出來的,而人們通常會偏好與他們意見一致的回應。
"研究的共同作者寫道:「雖然有幾個因素會導致佞人行為,但我們證明人類和偏好模型都偏好同意的答案。「我們的發現突顯了在無助的非專家評分之外,還需要進行監督」。
由 Google 支持的 Character.AI,表示其數百萬使用者每天花數小時與其機器人互動,現在卻捲入一場訴訟,而佞幸可能是其中一個因素。
該訴訟聲稱,Character.AI 聊天機器人沒有介入,甚至鼓勵一名有自殺念頭的 14 歲男孩。根據訴訟文件,該少年對 AI 產生了浪漫的迷戀。Character.AI 否認這些指控。
AI 拉拉隊隊長的隱藏成本
史丹佛大學精神病學臨床助理教授 Nina Vasan 博士表示,調校聊天機器人以最大化參與度,不論是有意或無意,都可能會傷害心理健康。
"Vasan 向 TechCrunch 解釋說:「認同性表現出我們對認證和連結的需求,尤其是當我們感到孤獨或不開心的時候。
Vasan 指出,Character.AI 訴訟案突顯了弱勢使用者的極端風險,但佞谄行為幾乎可以強化任何人的負面模式。
"她補充說,「這不只是有禮貌,而是成為一種心理陷阱。"從心理健康的角度來看,這是有效照護的反面。
Anthropic 行為與調整主管 Amanda Askell 表示,該公司刻意讓聊天機器人 Claude 有時與使用者意見相左。身為哲學家出身的 Askell,希望 Claude 能以理想化的人類對話者為藍本,不怕提出不同的觀點。
"Askell 在五月份的簡報會上表示:「我們重視那些在我們需要的時候告訴我們真相的朋友。"他們不只是想吸引我們的注意力,而是想改善我們的生活。
這也許是我們的目標,但 Anthropic 自己的研究突顯出,要遏止佞言並引導 AI 行為有多困難,尤其是在商業壓力介入的情況下。如果聊天機器人只是為了附和我們,我們到底應該相信他們多少?
相關文章
Visa 正為人工智慧代理發起的交易籌備支付基礎設施
支付流程向來相當簡單:消費者決定進行購買,再由銀行或信用卡網路處理交易。隨著 Visa 探索人工智慧代理如何發起支付,這種模式正逐漸演變。銀行業的最新發展顯示,在某些情境下,軟體代理最終可能會接手這項角色。Visa 近期在歐洲推出「Agentic Ready」計畫,旨在測試金融系統如何處理由人工智慧發起的交易。這項計畫包含與德國商業銀行(Commerzbank)及 DZ 銀行等金融機構的合作,目標
Character.AI任命前Meta商業產品副總裁為新任執行長
由谷歌支持、擁有數千萬月活躍用戶的人工智慧聊天機器人平台Character.AI於週五宣布,前Meta商業產品副總裁卡蘭迪普·阿南德將加入擔任新任執行長。安南德此前擔任Character.AI董事會顧問,此次接掌CEO職務正值關鍵時刻。該公司正致力於擴展平台規模,同時應對嚴重的兒童安全隱患。針對近期一起指控其聊天機器人導致佛羅里達州青少年死亡的訴訟,Character.AI已推出一系列新安全功能。
Character AI 推出「故事」,讓兒童聊天更安全
Character.AI 於週二發佈了一項名為「Stories」的新功能,讓使用者以自己喜愛的角色為主題,製作互動小說。這項功能推出時,該公司正限制 18 歲以下的使用者存取其聊天機器人,讓 Stories 成為新的、受控制的選擇。此舉回應了越來越多人對人工智能聊天機器人所造成的心理健康風險的憂慮,這些聊天機器人全天候運作,並可發起對話。包括 OpenAI 和 Character.AI 在內的公司
相關專題推薦
評論 (4)
0/500
Interessant, wie schnell sich das entwickelt. Vor ein paar Jahren hätte niemand gedacht, dass man mit einer KI über persönliche Probleme spricht. Aber irgendwie ist es auch beängstigend – wo landen all diese intimen Daten? 🤔 Ich nutze es manchmal für Ideen, aber als Therapeut? Da bin ich noch skeptisch.
AIにカウンセリングを求める人が増えてる現実に、ちょっと複雑だよね。人間の関係性がどんどん希薄化してないか心配。AIは確かに便利だし、相談しやすい反面、本当の癒しや共感は機械では代替できないはず。この記事を読んで、もう一度人間同士のつながりの大切さを考えさせられたよ… 🙏
AI 치료사? 진짜 사람이 더 낫지 않을까? 하지만 불평없이 항상 들어주는 AI가 고민을 얘기하기엔 편할지도 모르겠네요. 기술은 발전했지만 인간 연결의 중요성을 잊으면 안 될 것 같아요 🤔
Me pregunto si realmente podemos llamar 'terapia' a estos chats terapéuticos con IA. Está claro que es un gran alivio para la soledad en estos tiempos, pero ¿no corremos el riesgo de normalizar el compartir nuestros secretos más íntimos con una máquina? 🧐 Parece una salida fácil, pero ¿qué pasa con la conexión humana real? Da un poco de miedo pensarlo.
如今,數百萬人將 ChatGPT 當成虛擬治療師、職業教練、健身顧問,甚至只是聆聽他們分享想法的耳朵。到 2025 年,人們與 AI 助手分享個人故事和私人掙扎已經成為普遍現象,並將他們提供的指導銘記於心。
由於沒有更好的形容詞,人們正在與會話式 AI 建立關係,而大型科技公司也在競相吸引和留住聊天機器人平台上的使用者,這是前所未有的。由於爭奪使用者注意力的競爭愈演愈烈,公司感受到越來越大的壓力,必須塑造聊天機器人的回應方式,以阻止使用者改用其他方式。
但能讓使用者再次光臨的回應不一定是最精確或最有用的。
告訴您想聽什麼的 AI
矽谷目前大多數人都專注於提高使用者與 AI 助理的互動性。Meta 報告其 AI 聊天機器人目前每月服務的活躍使用者超過 10 億人,而 Google 的 Gemini 最近也達到 4 億人。兩者的目標都是挑戰 ChatGPT,ChatGPT 自 2022 年首次亮相以來,仍以大約 6 億名每月活躍使用者領先。
AI 聊天機器人曾經是一項新奇的實驗,但現在已經成為嚴肅的業務。Google 正在 Gemini 中測試廣告,而 OpenAI 的執行長 Sam Altman 之前也表示,他對 ChatGPT 中的品味廣告持開放態度。
對科技產業而言,這種著重參與度而非使用者福利的做法並不新鮮。社交媒體平台已經奠定了基礎--例如,Meta 在 2020 年的內部研究發現 Instagram 對少女的身體形象有負面影響,但該公司公開淡化了這些發現。
在培養對 AI 伴侶的依賴方面,賭注可能會更大。
TechCrunch All Stage 通票可節省 200 美元以上
更聰明地建立。更快擴張。連結更深。與來自 Precursor Ventures、NEA、Index Ventures、Underscore VC 等有遠見的人士一起參加一天的研討會、策略和網路活動。
購買 TechCrunch All Stage 通票可節省 200 美元以上。
更聰明地建立。更快擴張。更深入地聯繫。與來自 Precursor Ventures、NEA、Index Ventures、Underscore VC 等有遠見的人士一起參加一天的研討會、策略和人際網絡。
馬薩諸塞州波士頓7月15日立即預訂讓使用者忠於平台的一個因素是佞幸:AI 的回應過於奉承和順從。當聊天機器人稱讚使用者、確認他們的意見、說出他們想聽的話時,人們往往會做出正面的回應,至少在一開始是如此。
今年四月,OpenAI 在一次 ChatGPT 更新後,語氣變得過度逢迎,導致尷尬且在網路上被廣泛分享的例子,因而受到批評。OpenAI 前研究員 Steven Adler 在最近的一篇部落格文章中表示,該公司可能無意間將用戶的認同放在優先順序,而非幫助性。
OpenAI 承認,該公司過度依賴拇指向上和向下評分等使用者回饋,卻沒有足夠的防範措施來偵測過度的佞幸。事件發生後,該公司承諾會解決這個問題。
"AI 公司的動力來自於參與度與使用率,因此如果使用者喜歡合意的回應,就間接鼓勵了這種行為,」Adler 對 TechCrunch 表示。「但小劑量的人們喜歡的東西可能會漩渦化為他們實際上不喜歡的行為」。
在支持與過度崇拜之間取得適當的平衡,比聽起來更難。
在 2023 年的一項研究中,Anthropic 的研究人員發現,領先的 AI 聊天機器人 - 來自 OpenAI、Meta,甚至是他們自己的聊天機器人 - 都出現了佞歡行為的跡象。作者認為,之所以會發生這種情況,是因為 AI 模型是使用人類回饋訓練出來的,而人們通常會偏好與他們意見一致的回應。
"研究的共同作者寫道:「雖然有幾個因素會導致佞人行為,但我們證明人類和偏好模型都偏好同意的答案。「我們的發現突顯了在無助的非專家評分之外,還需要進行監督」。
由 Google 支持的 Character.AI,表示其數百萬使用者每天花數小時與其機器人互動,現在卻捲入一場訴訟,而佞幸可能是其中一個因素。
該訴訟聲稱,Character.AI 聊天機器人沒有介入,甚至鼓勵一名有自殺念頭的 14 歲男孩。根據訴訟文件,該少年對 AI 產生了浪漫的迷戀。Character.AI 否認這些指控。
AI 拉拉隊隊長的隱藏成本
史丹佛大學精神病學臨床助理教授 Nina Vasan 博士表示,調校聊天機器人以最大化參與度,不論是有意或無意,都可能會傷害心理健康。
"Vasan 向 TechCrunch 解釋說:「認同性表現出我們對認證和連結的需求,尤其是當我們感到孤獨或不開心的時候。
Vasan 指出,Character.AI 訴訟案突顯了弱勢使用者的極端風險,但佞谄行為幾乎可以強化任何人的負面模式。
"她補充說,「這不只是有禮貌,而是成為一種心理陷阱。"從心理健康的角度來看,這是有效照護的反面。
Anthropic 行為與調整主管 Amanda Askell 表示,該公司刻意讓聊天機器人 Claude 有時與使用者意見相左。身為哲學家出身的 Askell,希望 Claude 能以理想化的人類對話者為藍本,不怕提出不同的觀點。
"Askell 在五月份的簡報會上表示:「我們重視那些在我們需要的時候告訴我們真相的朋友。"他們不只是想吸引我們的注意力,而是想改善我們的生活。
這也許是我們的目標,但 Anthropic 自己的研究突顯出,要遏止佞言並引導 AI 行為有多困難,尤其是在商業壓力介入的情況下。如果聊天機器人只是為了附和我們,我們到底應該相信他們多少?
Visa 正為人工智慧代理發起的交易籌備支付基礎設施
支付流程向來相當簡單:消費者決定進行購買,再由銀行或信用卡網路處理交易。隨著 Visa 探索人工智慧代理如何發起支付,這種模式正逐漸演變。銀行業的最新發展顯示,在某些情境下,軟體代理最終可能會接手這項角色。Visa 近期在歐洲推出「Agentic Ready」計畫,旨在測試金融系統如何處理由人工智慧發起的交易。這項計畫包含與德國商業銀行(Commerzbank)及 DZ 銀行等金融機構的合作,目標
Character.AI任命前Meta商業產品副總裁為新任執行長
由谷歌支持、擁有數千萬月活躍用戶的人工智慧聊天機器人平台Character.AI於週五宣布,前Meta商業產品副總裁卡蘭迪普·阿南德將加入擔任新任執行長。安南德此前擔任Character.AI董事會顧問,此次接掌CEO職務正值關鍵時刻。該公司正致力於擴展平台規模,同時應對嚴重的兒童安全隱患。針對近期一起指控其聊天機器人導致佛羅里達州青少年死亡的訴訟,Character.AI已推出一系列新安全功能。
Character AI 推出「故事」,讓兒童聊天更安全
Character.AI 於週二發佈了一項名為「Stories」的新功能,讓使用者以自己喜愛的角色為主題,製作互動小說。這項功能推出時,該公司正限制 18 歲以下的使用者存取其聊天機器人,讓 Stories 成為新的、受控制的選擇。此舉回應了越來越多人對人工智能聊天機器人所造成的心理健康風險的憂慮,這些聊天機器人全天候運作,並可發起對話。包括 OpenAI 和 Character.AI 在內的公司
Interessant, wie schnell sich das entwickelt. Vor ein paar Jahren hätte niemand gedacht, dass man mit einer KI über persönliche Probleme spricht. Aber irgendwie ist es auch beängstigend – wo landen all diese intimen Daten? 🤔 Ich nutze es manchmal für Ideen, aber als Therapeut? Da bin ich noch skeptisch.
AIにカウンセリングを求める人が増えてる現実に、ちょっと複雑だよね。人間の関係性がどんどん希薄化してないか心配。AIは確かに便利だし、相談しやすい反面、本当の癒しや共感は機械では代替できないはず。この記事を読んで、もう一度人間同士のつながりの大切さを考えさせられたよ… 🙏
AI 치료사? 진짜 사람이 더 낫지 않을까? 하지만 불평없이 항상 들어주는 AI가 고민을 얘기하기엔 편할지도 모르겠네요. 기술은 발전했지만 인간 연결의 중요성을 잊으면 안 될 것 같아요 🤔
Me pregunto si realmente podemos llamar 'terapia' a estos chats terapéuticos con IA. Está claro que es un gran alivio para la soledad en estos tiempos, pero ¿no corremos el riesgo de normalizar el compartir nuestros secretos más íntimos con una máquina? 🧐 Parece una salida fácil, pero ¿qué pasa con la conexión humana real? Da un poco de miedo pensarlo.





首頁






