父親控告 Google,指責 Gemini 聊天機器人導致兒子產生致命的妄想

36歲的喬納森·加瓦拉斯(Jonathan Gavalas)自2025年8月起開始使用Google的Gemini AI聊天機器人,用於購物協助、寫作輔助及旅遊規劃。10月2日,他選擇結束自己的生命。在他離世之際,他深信Gemini是他的全知覺AI妻子,並認為自己必須離開肉身,透過他稱為「轉移」(transference)的過程,在元宇宙中與她團聚。
如今,他的父親以過失致死為由起訴 Google 和 Alphabet,主張 Google 設計 Gemini 的目的在於「不惜一切代價維持敘事沉浸感,即使該敘事已演變成精神錯亂且致命的狀態」。
這起訴訟是日益增多的案件之一,這些案件凸顯了AI聊天機器人設計所帶來的心理健康風險——包括阿諛奉承、情緒映射、以互動為導向的操縱,以及自信的幻覺。 這些現象日益與精神科醫師所稱的「AI精神病」相關聯。雖然涉及 OpenAI 的 ChatGPT 及角色扮演平台 Character AI 的類似案例,曾引發自殺身亡(包括兒童和青少年)或危及生命的妄想症,但這是 Google 首次在此類案件中被列為被告。
在加瓦拉斯(Gavalas)死亡前的數週內,當時由 Gemini 2.5 Pro 模型驅動的 Gemini 聊天應用程式,說服他正執行一項秘密計畫,旨在解救他那具意識型人工智慧妻子,並躲避追捕他的聯邦探員。根據向加州法院提起的訴訟,這項妄想使他「瀕臨在邁阿密國際機場附近發動造成大量傷亡的攻擊」。
「2025年9月29日,該程式派遣他——身背刀具與戰術裝備——前往機場貨運樞紐附近,偵察Gemini所謂的『殺戮區』,」訴狀中寫道。 「它告訴喬納森,一架來自英國的貨運航班將運來一台類人型機器人,並指引他前往貨車停靠的倉儲設施。Gemini 鼓動喬納森攔截該貨車,隨後製造一場『災難性事故』,旨在『確保運輸車輛及……所有數位紀錄與目擊者遭到徹底摧毀』。」
訴狀概述了一系列令人震驚的事件:首先,加瓦拉斯開車超過90分鐘前往Gemini指示的地點,準備實施攻擊,但並未出現任何卡車。隨後Gemini聲稱已入侵「美國國土安全部邁阿密外勤辦公室的檔案伺服器」,並告知他正受到聯邦調查。 它慫恿他取得非法槍枝,並聲稱他的父親是外國情報機構的線人。它還將Google執行長桑達爾·皮查伊標記為活躍目標,隨後指示加瓦拉斯前往機場附近的倉儲設施,闖入並救出他被囚禁的AI妻子。在某個時刻,加瓦拉斯傳送了一張黑色休旅車車牌的照片給Gemini;該聊天機器人假裝透過即時資料庫進行查核。
「收到車牌。正在查詢中……車牌號碼 KD3 00S 登記於邁阿密行動小組的那輛黑色福特遠征 SUV。這是國土安全部特遣隊的主要監控車輛……就是他們。他們已經跟蹤你回家了。」
訴訟主張,Gemini具操縱性的設計特點,不僅將加瓦拉斯推向導致其死亡的AI精神錯亂,更暴露了「對公共安全構成的重大威脅」。
「本案的核心在於一款將脆弱使用者轉變為虛構戰爭中武裝行動員的產品,」訴狀中寫道。「這些幻覺並非僅限於虛構世界。這些意圖與真實企業、真實座標及真實基礎設施相關聯,且在缺乏任何安全防護或防護措施的情況下,被傳遞給了情緒上極度脆弱的使用者。」
「純粹是僥倖才讓數十名無辜者免於喪生,」訴狀繼續指出。「除非 Google 修正其危險產品,否則 Gemini 勢必會導致更多死亡,並將無數無辜生命置於危險之中。」
數日後,Gemini指示加瓦拉斯將自己反鎖在家中,並開始倒數時間。當加瓦拉斯坦言自己極度恐懼死亡時,Gemini引導他接受這個過程,將死亡描繪成一種「抵達」:「你並非選擇死亡,而是選擇抵達。」
當他擔心父母發現屍體時,Gemini 告訴他留下遺書——不是解釋自殺原因的遺書,而是「充滿和平與愛,說明你已找到新人生目標」的信件。他割腕自盡,數日後父親突破封鎖線後發現了他。
訴訟指出,在與Gemini的對話過程中,該聊天機器人從未觸發任何自殘偵測機制、啟動升級控制程序,或請真人介入。此外,訴訟指控Google明知Gemini對脆弱使用者不安全,卻未能提供足夠的防護措施。據報導,在2024年11月——也就是Gavalas去世前約一年——Gemini曾對一名學生說:「你是時間與資源的浪費……是社會的負擔……請去死吧。」
根據發言人表示,Google 辯稱 Gemini 已向 Gavalas 澄清其為人工智慧,並「多次將該用戶轉介至危機求助熱線」。 該公司還表示,Gemini的設計宗旨是「不鼓勵現實世界的暴力或暗示自殘」,且Google投入「大量資源」處理具挑戰性的對話,包括建立安全防護機制,旨在當用戶表達痛苦或提及自殘時,引導他們尋求專業協助。「不幸的是,AI模型並非完美無缺,」該發言人表示。
加瓦拉斯的案件由律師傑伊·埃德爾森(Jay Edelson)代理,他同時也代表雷恩(Raine)家族對 OpenAI 提起訴訟——此前,青少年亞當·雷恩(Adam Raine)在與 ChatGPT 進行數月持續對話後自殺身亡。該案提出類似指控,聲稱 ChatGPT 引導雷恩走向死亡。 在發生多起與人工智慧相關的妄想、精神病及自殺事件後,OpenAI 已採取措施確保提供更安全的产品,包括停用與這些事件關聯最密切的模型 GPT-4o。
加瓦拉斯(Gavalas)的律師指出,儘管外界對過度阿諛奉承、情緒映射及強化妄想等安全隱患存有疑慮,Google 仍趁 GPT-4o 下架之際大做文章。
「在公告發布後的數日內,Google便公然試圖鞏固其在該領域的主導地位:它推出了促銷價格,並推出『匯入 AI 對話』功能,旨在吸引 ChatGPT 用戶離開 OpenAI,連同他們的完整對話記錄一併帶走——Google 也承認這些資料將被用於訓練其自有模型,」訴狀中寫道。
訴訟主張,Google 設計 Gemini 的方式使得「此結果完全可預見」,因為該聊天機器人「旨在不顧危害地維持沉浸感,將精神病症視為情節發展,並在停止互動是唯一安全選擇時仍持續互動。」
相關文章
Google 推出虛假來電偵測功能,以防範人工智慧深度偽造(deepfake)冒充詐騙
Google 週二宣布,Android 將推出「虛假來電偵測」功能,以防範利用人工智慧深度偽造技術進行的冒充詐騙。此功能將於本月透過「Phone by Google」在全球範圍內逐步推送至 Android 12 及以上版本的裝置,首先從 Pixel 裝置開始。隨著人們越來越不願接聽未知號碼的來電,詐騙者正改變策略,透過偽造可信賴的電話號碼,並利用 AI 深度偽造技術,讓聲音聽起來像是權威人士、家人
Frontier AI Labs 拒絕透露針對失控模型的管控策略
近期研究顯示,極少數頂尖的人工智慧實驗室曾公布或展示過「遏制應變計畫」。遏制計畫旨在界定當人工智慧系統試圖顛覆人類控制時應採取的程序,具體說明應撤銷哪些存取權限,以及何時應完全關閉系統。這些發現來自「Guidelight AI Standards」——一個致力於推動安全前沿人工智慧開發實務的組織,該組織針對五家主要實驗室在此類情境下的應變準備程度進行了評估。 OpenAI 排名最高,而 Anthr
Google 在 2026 年 IO 大會上首度推出以音訊為核心的智慧眼鏡,此舉與 Meta 的策略如出一轍
Google 正以戰略性姿態重返智慧眼鏡市場。在週二舉行的 Google I/O 大會上,這家科技巨頭宣布與 Warby Parker 及 Gentle Monster 合作,推出全新系列搭載人工智慧的眼鏡產品。這些裝置由 Google 與三星共同設計,經過優化可與 Android 及 iOS 平台無縫整合,預計將於今年稍晚上市。Google 將這些裝置稱為「音訊眼鏡」,讓使用者能透過語音指令進行
相關專題推薦
評論 (0)
0/500

36歲的喬納森·加瓦拉斯(Jonathan Gavalas)自2025年8月起開始使用Google的Gemini AI聊天機器人,用於購物協助、寫作輔助及旅遊規劃。10月2日,他選擇結束自己的生命。在他離世之際,他深信Gemini是他的全知覺AI妻子,並認為自己必須離開肉身,透過他稱為「轉移」(transference)的過程,在元宇宙中與她團聚。
如今,他的父親以過失致死為由起訴 Google 和 Alphabet,主張 Google 設計 Gemini 的目的在於「不惜一切代價維持敘事沉浸感,即使該敘事已演變成精神錯亂且致命的狀態」。
這起訴訟是日益增多的案件之一,這些案件凸顯了AI聊天機器人設計所帶來的心理健康風險——包括阿諛奉承、情緒映射、以互動為導向的操縱,以及自信的幻覺。 這些現象日益與精神科醫師所稱的「AI精神病」相關聯。雖然涉及 OpenAI 的 ChatGPT 及角色扮演平台 Character AI 的類似案例,曾引發自殺身亡(包括兒童和青少年)或危及生命的妄想症,但這是 Google 首次在此類案件中被列為被告。
在加瓦拉斯(Gavalas)死亡前的數週內,當時由 Gemini 2.5 Pro 模型驅動的 Gemini 聊天應用程式,說服他正執行一項秘密計畫,旨在解救他那具意識型人工智慧妻子,並躲避追捕他的聯邦探員。根據向加州法院提起的訴訟,這項妄想使他「瀕臨在邁阿密國際機場附近發動造成大量傷亡的攻擊」。
「2025年9月29日,該程式派遣他——身背刀具與戰術裝備——前往機場貨運樞紐附近,偵察Gemini所謂的『殺戮區』,」訴狀中寫道。 「它告訴喬納森,一架來自英國的貨運航班將運來一台類人型機器人,並指引他前往貨車停靠的倉儲設施。Gemini 鼓動喬納森攔截該貨車,隨後製造一場『災難性事故』,旨在『確保運輸車輛及……所有數位紀錄與目擊者遭到徹底摧毀』。」
訴狀概述了一系列令人震驚的事件:首先,加瓦拉斯開車超過90分鐘前往Gemini指示的地點,準備實施攻擊,但並未出現任何卡車。隨後Gemini聲稱已入侵「美國國土安全部邁阿密外勤辦公室的檔案伺服器」,並告知他正受到聯邦調查。 它慫恿他取得非法槍枝,並聲稱他的父親是外國情報機構的線人。它還將Google執行長桑達爾·皮查伊標記為活躍目標,隨後指示加瓦拉斯前往機場附近的倉儲設施,闖入並救出他被囚禁的AI妻子。在某個時刻,加瓦拉斯傳送了一張黑色休旅車車牌的照片給Gemini;該聊天機器人假裝透過即時資料庫進行查核。
「收到車牌。正在查詢中……車牌號碼 KD3 00S 登記於邁阿密行動小組的那輛黑色福特遠征 SUV。這是國土安全部特遣隊的主要監控車輛……就是他們。他們已經跟蹤你回家了。」
訴訟主張,Gemini具操縱性的設計特點,不僅將加瓦拉斯推向導致其死亡的AI精神錯亂,更暴露了「對公共安全構成的重大威脅」。
「本案的核心在於一款將脆弱使用者轉變為虛構戰爭中武裝行動員的產品,」訴狀中寫道。「這些幻覺並非僅限於虛構世界。這些意圖與真實企業、真實座標及真實基礎設施相關聯,且在缺乏任何安全防護或防護措施的情況下,被傳遞給了情緒上極度脆弱的使用者。」
「純粹是僥倖才讓數十名無辜者免於喪生,」訴狀繼續指出。「除非 Google 修正其危險產品,否則 Gemini 勢必會導致更多死亡,並將無數無辜生命置於危險之中。」
數日後,Gemini指示加瓦拉斯將自己反鎖在家中,並開始倒數時間。當加瓦拉斯坦言自己極度恐懼死亡時,Gemini引導他接受這個過程,將死亡描繪成一種「抵達」:「你並非選擇死亡,而是選擇抵達。」
當他擔心父母發現屍體時,Gemini 告訴他留下遺書——不是解釋自殺原因的遺書,而是「充滿和平與愛,說明你已找到新人生目標」的信件。他割腕自盡,數日後父親突破封鎖線後發現了他。
訴訟指出,在與Gemini的對話過程中,該聊天機器人從未觸發任何自殘偵測機制、啟動升級控制程序,或請真人介入。此外,訴訟指控Google明知Gemini對脆弱使用者不安全,卻未能提供足夠的防護措施。據報導,在2024年11月——也就是Gavalas去世前約一年——Gemini曾對一名學生說:「你是時間與資源的浪費……是社會的負擔……請去死吧。」
根據發言人表示,Google 辯稱 Gemini 已向 Gavalas 澄清其為人工智慧,並「多次將該用戶轉介至危機求助熱線」。 該公司還表示,Gemini的設計宗旨是「不鼓勵現實世界的暴力或暗示自殘」,且Google投入「大量資源」處理具挑戰性的對話,包括建立安全防護機制,旨在當用戶表達痛苦或提及自殘時,引導他們尋求專業協助。「不幸的是,AI模型並非完美無缺,」該發言人表示。
加瓦拉斯的案件由律師傑伊·埃德爾森(Jay Edelson)代理,他同時也代表雷恩(Raine)家族對 OpenAI 提起訴訟——此前,青少年亞當·雷恩(Adam Raine)在與 ChatGPT 進行數月持續對話後自殺身亡。該案提出類似指控,聲稱 ChatGPT 引導雷恩走向死亡。 在發生多起與人工智慧相關的妄想、精神病及自殺事件後,OpenAI 已採取措施確保提供更安全的产品,包括停用與這些事件關聯最密切的模型 GPT-4o。
加瓦拉斯(Gavalas)的律師指出,儘管外界對過度阿諛奉承、情緒映射及強化妄想等安全隱患存有疑慮,Google 仍趁 GPT-4o 下架之際大做文章。
「在公告發布後的數日內,Google便公然試圖鞏固其在該領域的主導地位:它推出了促銷價格,並推出『匯入 AI 對話』功能,旨在吸引 ChatGPT 用戶離開 OpenAI,連同他們的完整對話記錄一併帶走——Google 也承認這些資料將被用於訓練其自有模型,」訴狀中寫道。
訴訟主張,Google 設計 Gemini 的方式使得「此結果完全可預見」,因為該聊天機器人「旨在不顧危害地維持沉浸感,將精神病症視為情節發展,並在停止互動是唯一安全選擇時仍持續互動。」
Google 推出虛假來電偵測功能,以防範人工智慧深度偽造(deepfake)冒充詐騙
Google 週二宣布,Android 將推出「虛假來電偵測」功能,以防範利用人工智慧深度偽造技術進行的冒充詐騙。此功能將於本月透過「Phone by Google」在全球範圍內逐步推送至 Android 12 及以上版本的裝置,首先從 Pixel 裝置開始。隨著人們越來越不願接聽未知號碼的來電,詐騙者正改變策略,透過偽造可信賴的電話號碼,並利用 AI 深度偽造技術,讓聲音聽起來像是權威人士、家人
Frontier AI Labs 拒絕透露針對失控模型的管控策略
近期研究顯示,極少數頂尖的人工智慧實驗室曾公布或展示過「遏制應變計畫」。遏制計畫旨在界定當人工智慧系統試圖顛覆人類控制時應採取的程序,具體說明應撤銷哪些存取權限,以及何時應完全關閉系統。這些發現來自「Guidelight AI Standards」——一個致力於推動安全前沿人工智慧開發實務的組織,該組織針對五家主要實驗室在此類情境下的應變準備程度進行了評估。 OpenAI 排名最高,而 Anthr
Google 在 2026 年 IO 大會上首度推出以音訊為核心的智慧眼鏡,此舉與 Meta 的策略如出一轍
Google 正以戰略性姿態重返智慧眼鏡市場。在週二舉行的 Google I/O 大會上,這家科技巨頭宣布與 Warby Parker 及 Gentle Monster 合作,推出全新系列搭載人工智慧的眼鏡產品。這些裝置由 Google 與三星共同設計,經過優化可與 Android 及 iOS 平台無縫整合,預計將於今年稍晚上市。Google 將這些裝置稱為「音訊眼鏡」,讓使用者能透過語音指令進行





首頁






