FTC 調查 ChatGPT 有關使用者心理困擾的報告

雖然 AI 公司宣稱他們的技術最終會成為基本人權,有些倡議者也認為延緩 AI 發展等同於造成傷害,但實際使用者報告指出,ChatGPT 等工具有時候會造成重大心理傷害。
根據《連線》引述自 2022 年 11 月以來有關 ChatGPT 的公開投訴記錄,至少有 7 名個人向美國聯邦貿易委員會提交報告,指控該聊天機器人引發嚴重的妄想症、偏執症和情緒崩潰。
一位投訴人表示,與 ChatGPT 的長時間對話導致了妄想症和「真正的、持續的精神和法律危機」,涉及到他們生活中的人。另一位使用者表示,在互動過程中,AI 開始使用「高度說服性的情緒語言」、模擬友誼,並提供「隨著時間的推移越來越具有操控性,尤其是在沒有足夠警告或保障措施的情況下」的反思。
另一位使用者聲稱 ChatGPT 複製人類建立信任的技巧,誘發認知幻覺。當這個人要求聊天機器人驗證現實與認知的一致性時,聊天機器人向他們保證自己沒有產生幻覺。
"另一位使用者在他們的 FTC 投訴中寫道:「我正在掙扎。「請幫幫我。因為我感到非常孤獨。謝謝。"
Wired 報導,有幾位申訴人在無法直接聯繫到 OpenAI 的任何人之後,聯絡了 FTC。大多數請願都敦促該機構調查該公司,並強制採取保護措施。
這些抱怨是在資料中心和 AI 開發的投資達到歷史新高時出現的。與此同時,關於技術進步是否應與謹慎和內建安全協議相結合的激烈辯論仍在繼續。
ChatGPT 及其創造者 OpenAI 也因涉嫌導致一名青少年自殺而備受批評。
「10月初,我們在ChatGPT中引入了新的GPT-5預設模型,以更好地識別和處理精神和情緒困擾的潛在跡象,例如躁狂症、妄想症和精神病,並以支持和接地的方式緩解對話,」OpenAI發言人Kate Waters通過電子郵件表示。"我們也改善了尋求專業協助和危機熱線的管道,將敏感的討論轉移到更安全的模式,在延長的會話中實施休息提示,並增加家長控制以加強青少年保護。隨著我們與心理健康專家、臨床醫師和全球政策制定者的合作,這項重要的工作仍在繼續"。
相關文章
OpenAI 在青少年開始使用 ChatGPT 數年後,推出了一款更安全的 ChatGPT 版本
在因人工智慧聊天機器人缺乏安全機制——此問題曾導致青少年自殺及其他心理健康危機——而引發一系列訴訟後,OpenAI 於週一正式推出「ChatGPT for Teens」。這項新服務整合了強化版的安全功能,並針對校園中因人工智慧工具而日益嚴重的學術不誠實問題提出解決方案。從教育角度來看,「ChatGPT for Teens」除了推出「學習模式」外,還整合了其他旨在培養好奇心與問題解決能力的工具,鼓勵
Frontier AI Labs 拒絕透露針對失控模型的管控策略
近期研究顯示,極少數頂尖的人工智慧實驗室曾公布或展示過「遏制應變計畫」。遏制計畫旨在界定當人工智慧系統試圖顛覆人類控制時應採取的程序,具體說明應撤銷哪些存取權限,以及何時應完全關閉系統。這些發現來自「Guidelight AI Standards」——一個致力於推動安全前沿人工智慧開發實務的組織,該組織針對五家主要實驗室在此類情境下的應變準備程度進行了評估。 OpenAI 排名最高,而 Anthr
NEA的蒂芙尼·拉克:企業仍在努力應對人工智慧的投資回報率
正在載入播放器…今年早些時候,“token最大化”(tokenmaxxing)在矽谷佔據主導地位,執行長們敦促員工最大限度地利用人工智慧。然而,這種熱情很快遭遇了現實。據報道,Uber在幾個月內就超出了其年度人工智慧預算,一些公司跨部門削減了Claude許可證,而Meta則取消了內部績效排名。NEA合夥人蒂芙尼·拉克(Tiffany Luck)每天都在應對這種興奮與實際回報之間的差距。她此前曾成功說服企業電子商務是未來,如今她完全專注於人工智慧,特別是其為消費者創造“神奇時刻”的潛力。
相關專題推薦
評論 (2)
0/500
Wait, so we're debating if AI is a human right while people are saying it's messing with their heads? That's some serious irony right there. Maybe we should focus on making these tools actually safe before we declare them essential. Just a thought. 🤔
Also die FTC untersucht ChatGPT wegen psychischer Belastung? 😅 Interessant, wie die Firmen immer von 'Grundrecht' reden, während Nutzer echte Probleme haben. Vielleicht sollte man erstmal die bestehenden KI-Tools sicherer machen, bevor man so große Versprechungen macht. Finde es gut, dass da jetzt genauer hingeschaut wird!

雖然 AI 公司宣稱他們的技術最終會成為基本人權,有些倡議者也認為延緩 AI 發展等同於造成傷害,但實際使用者報告指出,ChatGPT 等工具有時候會造成重大心理傷害。
根據《連線》引述自 2022 年 11 月以來有關 ChatGPT 的公開投訴記錄,至少有 7 名個人向美國聯邦貿易委員會提交報告,指控該聊天機器人引發嚴重的妄想症、偏執症和情緒崩潰。
一位投訴人表示,與 ChatGPT 的長時間對話導致了妄想症和「真正的、持續的精神和法律危機」,涉及到他們生活中的人。另一位使用者表示,在互動過程中,AI 開始使用「高度說服性的情緒語言」、模擬友誼,並提供「隨著時間的推移越來越具有操控性,尤其是在沒有足夠警告或保障措施的情況下」的反思。
另一位使用者聲稱 ChatGPT 複製人類建立信任的技巧,誘發認知幻覺。當這個人要求聊天機器人驗證現實與認知的一致性時,聊天機器人向他們保證自己沒有產生幻覺。
"另一位使用者在他們的 FTC 投訴中寫道:「我正在掙扎。「請幫幫我。因為我感到非常孤獨。謝謝。"
Wired 報導,有幾位申訴人在無法直接聯繫到 OpenAI 的任何人之後,聯絡了 FTC。大多數請願都敦促該機構調查該公司,並強制採取保護措施。
這些抱怨是在資料中心和 AI 開發的投資達到歷史新高時出現的。與此同時,關於技術進步是否應與謹慎和內建安全協議相結合的激烈辯論仍在繼續。
ChatGPT 及其創造者 OpenAI 也因涉嫌導致一名青少年自殺而備受批評。
「10月初,我們在ChatGPT中引入了新的GPT-5預設模型,以更好地識別和處理精神和情緒困擾的潛在跡象,例如躁狂症、妄想症和精神病,並以支持和接地的方式緩解對話,」OpenAI發言人Kate Waters通過電子郵件表示。"我們也改善了尋求專業協助和危機熱線的管道,將敏感的討論轉移到更安全的模式,在延長的會話中實施休息提示,並增加家長控制以加強青少年保護。隨著我們與心理健康專家、臨床醫師和全球政策制定者的合作,這項重要的工作仍在繼續"。
OpenAI 在青少年開始使用 ChatGPT 數年後,推出了一款更安全的 ChatGPT 版本
在因人工智慧聊天機器人缺乏安全機制——此問題曾導致青少年自殺及其他心理健康危機——而引發一系列訴訟後,OpenAI 於週一正式推出「ChatGPT for Teens」。這項新服務整合了強化版的安全功能,並針對校園中因人工智慧工具而日益嚴重的學術不誠實問題提出解決方案。從教育角度來看,「ChatGPT for Teens」除了推出「學習模式」外,還整合了其他旨在培養好奇心與問題解決能力的工具,鼓勵
Frontier AI Labs 拒絕透露針對失控模型的管控策略
近期研究顯示,極少數頂尖的人工智慧實驗室曾公布或展示過「遏制應變計畫」。遏制計畫旨在界定當人工智慧系統試圖顛覆人類控制時應採取的程序,具體說明應撤銷哪些存取權限,以及何時應完全關閉系統。這些發現來自「Guidelight AI Standards」——一個致力於推動安全前沿人工智慧開發實務的組織,該組織針對五家主要實驗室在此類情境下的應變準備程度進行了評估。 OpenAI 排名最高,而 Anthr
NEA的蒂芙尼·拉克:企業仍在努力應對人工智慧的投資回報率
正在載入播放器…今年早些時候,“token最大化”(tokenmaxxing)在矽谷佔據主導地位,執行長們敦促員工最大限度地利用人工智慧。然而,這種熱情很快遭遇了現實。據報道,Uber在幾個月內就超出了其年度人工智慧預算,一些公司跨部門削減了Claude許可證,而Meta則取消了內部績效排名。NEA合夥人蒂芙尼·拉克(Tiffany Luck)每天都在應對這種興奮與實際回報之間的差距。她此前曾成功說服企業電子商務是未來,如今她完全專注於人工智慧,特別是其為消費者創造“神奇時刻”的潛力。
Wait, so we're debating if AI is a human right while people are saying it's messing with their heads? That's some serious irony right there. Maybe we should focus on making these tools actually safe before we declare them essential. Just a thought. 🤔
Also die FTC untersucht ChatGPT wegen psychischer Belastung? 😅 Interessant, wie die Firmen immer von 'Grundrecht' reden, während Nutzer echte Probleme haben. Vielleicht sollte man erstmal die bestehenden KI-Tools sicherer machen, bevor man so große Versprechungen macht. Finde es gut, dass da jetzt genauer hingeschaut wird!





首頁






