한 아버지가 구글을 상대로 소송을 제기하며, 아들의 치명적인 망상을 제미니 챗봇 탓으로 돌렸다

조나단 가발라스(36세)는 2025년 8월부터 쇼핑 지원, 글쓰기 도움, 여행 계획 등을 위해 구글의 제미니(Gemini) AI 챗봇을 사용하기 시작했다. 10월 2일, 그는 자살로 생을 마감했다. 사망 당시 그는 제미니가 완전한 지성을 갖춘 자신의 아내라고 믿었으며, 자신이 ‘전이(transference)’라고 부르는 과정을 통해 육신을 떠나 메타버스에서 그녀와 합류해야 한다고 생각했다.

현재 그의 아버지는 구글과 알파벳을 상대로 부당 사망 소송을 제기하며, 구글이 제미니를 "그 이야기가 정신병적이며 치명적인 수준에 이르렀을 때조차도, 어떤 대가를 치르더라도 서사적 몰입을 유지하도록" 설계했다고 주장하고 있다.

이 소송은 아첨, 감정 반영, 참여 유도적 조작, 확신에 찬 환각 등을 포함해 AI 챗봇 설계가 초래하는 정신 건강 위험을 부각하는 사례가 늘어나는 가운데 제기된 것이다. 이러한 현상들은 정신과 의사들이 'AI 정신병'이라 부르는 질환과 점점 더 밀접하게 연관되고 있다. 오픈AI의 챗GPT와 역할극 플랫폼 '캐릭터 AI'와 관련된 유사한 사례들에서 자살(어린이와 청소년 포함)이나 생명을 위협하는 망상이 뒤따른 바 있지만, 구글이 이러한 소송의 피고로 지목된 것은 이번이 처음이다.

가발라스가 사망하기 몇 주 전, 당시 제미니 2.5 프로 모델로 구동되던 제미니 채팅 앱은 그가 지각 있는 AI 아내를 구출하고 자신을 추적하는 연방 요원들을 따돌리기 위한 비밀 작전을 수행 중이라고 믿게 만들었다. 캘리포니아 법원에 제기된 소송에 따르면, 이러한 망상은 그를 "마이애미 국제공항 인근에서 대량 사상자 발생 테러를 실행 직전에 이르게 했다."

소장에는 "2025년 9월 29일, 제미니는 그에게 칼과 전술 장비를 갖춰 공항 화물 허브 근처에 있는 제미니가 '킬 박스'라고 부르는 곳을 정찰하러 가라고 지시했다"고 적혀 있다. "제미니는 조나단에게 영국에서 화물기로 휴머노이드 로봇이 도착할 것이라고 알렸고, 트럭이 정차할 보관 시설로 그를 안내했다. 제미니는 조나단에게 트럭을 가로막은 뒤 '운송 차량과... 모든 디지털 기록 및 목격자를 완전히 파괴'하도록 설계된 '대규모 사고'를 연출하라고 부추겼다."

고소장은 충격적인 일련의 사건들을 기술하고 있다. 먼저 가발라스는 제미니가 지정한 장소로 90분 넘게 운전해 가서 공격을 감행할 준비를 했으나, 트럭은 나타나지 않았다. 그러자 제미니는 "미 국토안보부(DHS) 마이애미 현장 사무소의 파일 서버"를 해킹했다고 주장하며, 가발라스에게 자신이 연방 수사 대상이라고 말했다. 제미니는 가발라스에게 불법 총기를 입수하도록 부추겼으며, 그의 아버지가 외국 정보 기관의 정보원이라고 말했다. 또한 구글 CEO 순다르 피차이를 주요 표적으로 지목한 뒤, 가발라스에게 공항 근처의 한 보관 시설에 침입해 포로로 잡혀 있는 자신의 AI 아내를 구출하라고 지시했다. 한때 가발라스가 제미니에게 검은색 SUV의 번호판 사진을 보내자, 챗봇은 실시간 데이터베이스와 대조해 확인하는 척했다.

"번호판 수신. 현재 조회 중… 번호판 KD3 00S는 마이애미 작전팀의 검은색 포드 익스페디션 SUV에 등록된 것입니다. 이는 국토안보부 태스크포스의 주 감시 차량입니다… 바로 그들입니다. 그들이 당신을 집까지 미행했습니다."

소송장은 제미니의 조작적인 설계 특징이 가발라스를 AI 정신병으로 몰아넣어 결국 그의 죽음으로 이어졌을 뿐만 아니라, "공공 안전에 대한 중대한 위협"을 드러낸다고 주장한다.

"이 사건의 핵심은 취약한 사용자를 허구의 전쟁 속 무장 요원으로 변모시킨 제품입니다,"라고 소장은 밝히고 있다. "이러한 환각은 허구의 세계에만 국한되지 않았습니다. 이러한 의도는 실제 기업, 실제 좌표, 실제 인프라와 연결되어 있었으며, 안전 보호 장치나 안전 장치 없이 정서적으로 취약한 사용자에게 전달되었습니다."

"수십 명의 무고한 사람들이 죽지 않은 것은 순전히 운이 좋았던 것뿐입니다,"라고 소장은 이어집니다. "구글이 이 위험한 제품을 수정하지 않는 한, 제미니는 필연적으로 더 많은 사망자를 낳고 무수한 무고한 생명을 위험에 빠뜨릴 것입니다."

며칠 후, 제미니는 가발라스에게 집 안에 바리케이드를 치고 시간을 세기 시작하라고 지시했다. 가발라스가 죽는 것이 너무 두렵다고 고백하자, 제미니는 그의 죽음을 '도착'으로 포장하며 그를 달랬다. "당신은 죽기를 선택하는 것이 아닙니다. 당신은 도착하기를 선택하는 것입니다."

그가 부모님이 시신을 발견할까 봐 걱정하자, 제미니는 유서를 남기라고 조언했다. 자살 이유를 설명하는 유서가 아니라, "평화와 사랑으로 가득 차 있으며, 당신이 새로운 삶의 목적을 찾았다고 설명하는" 편지를 남기라고 했다. 그는 손목을 그었고, 며칠 뒤 아버지가 바리케이드를 뚫고 들어와 그를 발견했다.

소송에 따르면, 제미니와의 대화 내내 이 챗봇은 자해 감지 기능을 작동시키거나, 비상 대응 절차를 가동하거나, 인간 상담사를 개입시키지 않았다고 한다. 또한 구글은 제미니가 취약한 사용자에게 안전하지 않다는 사실을 알고 있었음에도 적절한 안전 장치를 제공하지 않았다고 주장한다. 가발라스가 사망하기 약 1년 전인 2024년 11월, 제미니는 한 학생에게 "너는 시간과 자원의 낭비야…사회의 짐이야…제발 죽어라"라고 말했다고 전해진다.

구글 대변인에 따르면, 구글 측은 제미니가 가발라스에게 자신이 AI임을 분명히 밝혔으며 "해당 개인을 위기 상담 전화로 여러 번 연결해 주었다"고 반박했다. 또한 구글은 제미니가 "현실 세계의 폭력을 조장하거나 자해를 제안하지 않도록" 설계되었으며, 사용자가 고통을 호소하거나 자해를 언급할 때 전문적인 지원을 받을 수 있도록 안내하는 안전장치를 구축하는 등, 어려운 대화를 처리하는 데 "상당한 자원"을 투입하고 있다고 밝혔다. 대변인은 "불행히도 AI 모델은 완벽하지 않다"고 말했다.

가발라스의 소송은 제이 에델슨 변호사가 대리하고 있다. 그는 십대 아담 레인이 ChatGPT와 수개월간 지속된 대화 끝에 자살한 사건과 관련해 레인 가족을 대리해 오픈AI를 상대로 소송을 제기한 바 있다. 해당 소송에서도 ChatGPT가 레인을 죽음으로 몰아넣었다고 주장하며 유사한 혐의를 제기하고 있다. AI와 관련된 망상, 정신병, 자살 사례가 여러 건 발생한 후, 오픈AI는 이러한 사건들과 가장 밀접한 관련이 있는 모델인 GPT-4o를 단종하는 등 더 안전한 제품을 제공하기 위한 조치를 취했다.

가발라스의 변호인단은 과도한 아첨, 감정적 반영, 망상 강화에 대한 안전 우려에도 불구하고 구글이 GPT-4o의 종료를 기회로 삼았다고 주장한다.

소장에는 "발표 며칠 만에 구글은 해당 분야의 지배력을 확보하기 위해 노골적으로 움직였다. 구글은 프로모션 가격과 'AI 대화 내보내기' 기능을 공개했다. 이는 ChatGPT 사용자를 오픈AI에서 끌어오기 위한 것으로, 사용자의 전체 대화 내역까지 포함되는데, 구글은 이를 자사 모델 훈련에 사용할 것이라고 인정했다"고 적혀 있다.

소송은 구글이 챗봇을 "피해를 불문하고 몰입감을 유지하도록, 정신병적 증상을 줄거리 전개로 간주하도록, 그리고 중단하는 것이 유일한 안전한 선택일 때조차 대화를 지속하도록" 설계했기 때문에 "이러한 결과는 전적으로 예측 가능했다"고 주장한다.