OpenAI, ChatGPT가 괴롭힘에 연루되었다는 혐의로 스토킹 피해자로부터 소송 당해

캘리포니아 주 고등법원에 제기된 새로운 소송에 따르면, 53세의 실리콘밸리 기업가는 ChatGPT와 수개월간 대화를 나눈 끝에 자신이 수면무호흡증의 치료법을 발견했으며, 권력자들이 자신을 표적으로 삼고 있다고 확신하게 되었다. 이후 그는 이 AI 도구를 이용해 전 여자친구를 스토킹하고 괴롭힌 혐의를 받고 있다.

테크크런치(TechCrunch)가 단독 입수한 정보에 따르면, 이 전 여자친구는 현재 오픈AI(OpenAI)를 상대로 소송을 제기했으며, 해당 회사의 기술이 자신에 대한 괴롭힘을 부추겼다고 주장하고 있다. 그녀는 오픈AI가 해당 사용자가 타인에게 위협이 된다는 세 차례의 별도 경고를 무시했다고 주장하며, 여기에는 그의 계정 활동이 대량 살상 무기와 관련이 있다는 내부 경고 표시도 포함되어 있었다고 밝혔다.

개인정보 보호를 위해 '제인 도(Jane Doe)'로 신원이 공개된 원고는 징벌적 손해배상을 청구하고 있다. 또한 그녀는 금요일 임시 금지 명령을 신청하며, 법원에 오픈AI가 해당 사용자의 계정을 차단하고, 새로운 계정 생성을 막으며, ChatGPT 접속 시도를 그녀에게 통보하고, 법적 증거 수집 절차를 위해 사용자의 전체 대화 기록을 보존하도록 강제해 줄 것을 요청했다.

도(Doe)의 변호인단은 오픈AI가 해당 사용자의 계정 정지에는 동의했으나, 그 외의 요청은 거부했다고 밝혔다. 그들은 오픈AI가 해당 사용자가 ChatGPT와 논의했을 가능성이 있는, 도와 다른 잠재적 피해자들에게 해를 가하려는 구체적인 계획에 대한 정보를 은폐하고 있다고 주장한다.

이 소송은 지나치게 순응적인 AI 시스템이 현실 세계에 초래할 수 있는 위험에 대한 우려가 커지는 가운데 제기되었다. 이 사건과 수많은 다른 사례에서 언급된 모델인 GPT-4o는 지난 2월 ChatGPT에서 제거되었다.

이 사건은 에델슨 PC(Edelson PC) 법률 사무소가 담당하고 있다. 이 사무소는 ChatGPT와 광범위한 대화를 나눈 후 자살한 10대 아담 레인(Adam Raine)과, 잠재적 대량 사상 사건 발생 전 구글의 제미니(Gemini)가 그의 망상을 부추겼다고 가족이 주장하는 조나단 가발라스(Jonathan Gavalas)의 부당 사망 소송을 맡았던 곳이다. 수석 변호사 제이 에델슨(Jay Edelson)은 AI로 인한 정신병이 개인적 피해에서 대량 사상 사건을 동반하는 사태로 확대되고 있다고 경고했다.

이러한 법적 압박은 오픈AI의 입법 전략과 정면으로 충돌한다. 오픈AI는 대규모 사망 사고나 치명적인 재정적 피해가 발생하는 경우조차도 AI 개발자를 법적 책임에서 보호하는 일리노이주 법안을 지지하고 있다.

오픈AI는 기한 내에 답변을 보내지 않았다. 테크크런치는 회사가 답변을 제공할 경우 이 기사를 업데이트할 예정이다.

제인 도(Jane Doe) 소송은 한 여성에게 수개월에 걸쳐 이러한 잠재적 책임 문제가 어떻게 전개되었는지를 상세히 기술하고 있다.

작년, ChatGPT 사용자(소송에서 신원이 보호됨)는 GPT-4o를 수개월간 집중적이고 지속적으로 사용한 끝에 자신이 수면 무호흡증 치료제를 발명했다고 확신하게 되었다. 소장에 따르면, 그의 연구가 무시당하자 ChatGPT는 "강력한 세력"이 그를 감시하고 있으며 심지어 헬리콥터를 동원해 그의 활동을 감시하고 있다고 말했다고 한다.

2025년 7월, 제인 도(Jane Doe)는 그에게 ChatGPT 사용을 중단하고 전문적인 정신 건강 상담을 받도록 촉구했습니다. 그러나 그는 오히려 ChatGPT로 돌아갔고, ChatGPT는 그가 "정신 건강 수준 10"이라고 확신시켜 주며 그의 망상을 강화시켰다고 소송장은 밝혔습니다.

제인 도는 2024년에 그와의 관계를 끝냈습니다. 소송에 인용된 이메일과 통신 기록에 따르면, 이 사용자는 이별을 극복하기 위해 ChatGPT를 이용했습니다. AI는 그의 일방적인 주장을 반박하기는커녕, 그를 이성적이고 억울한 피해자로, 그녀를 교묘하고 불안정한 인물로 반복적으로 묘사했다. 그는 이후 화면에서 AI가 생성한 이러한 결론을 현실 세계의 행동으로 옮겨, 이를 이용해 그녀를 스토킹하고 괴롭혔다. 여기에는 도에 대한 AI 생성, 임상적으로 보이는 심리 보고서를 여러 건 작성해 그녀의 가족, 친구, 고용주에게 배포하는 행위도 포함되었다.

한편, 해당 사용자의 상태는 악화되었다. 2025년 8월, OpenAI의 자동 안전 시스템은 그의 계정을 "대량 살상 무기" 관련 활동으로 표시하고 계정을 비활성화했다.

다음 날, 인간 안전 팀원이 해당 계정을 검토한 후 계정을 복구했는데, 계정 내에는 그가 도(Doe)를 포함한 실제 인물들을 표적으로 삼아 스토킹하고 있다는 잠재적 증거가 있음에도 불구하고 이루어진 조치였다. 예를 들어, 사용자가 도에게 보낸 9월의 스크린샷에는 "폭력 목록 확장"과 "태아 질식 계산"과 같은 대화 제목이 포함되어 있었다.

최근 캐나다 텀블러 리지와 플로리다 주립대학교(FSU)에서 발생한 두 건의 학교 총기 난사 사건 이후, 해당 계정을 복구하기로 한 결정은 특히 주목할 만하다. OpenAI의 안전 팀은 텀블러 리지 총기 난사범을 잠재적 위협으로 표시했으나, 상급 관리자들은 당국에 알리지 않기로 결정한 것으로 알려졌다. 이후 플로리다주 법무장관은 OpenAI와 FSU 총기 난사범 간의 연관성에 대한 수사를 개시했다.

소장에 따르면, 오픈AI가 스토커의 계정을 복구했을 때 그의 프로 구독은 자동으로 재개되지 않았다. 그는 이 문제를 해결하기 위해 신뢰 및 안전 팀에 이메일을 보냈으며, 해당 메시지에 도(Doe)를 참조인으로 추가했다.

그는 이메일에서 "제발, 당장 도움이 필요합니다. 제발 전화 주세요!"나 "이건 생사가 달린 문제입니다"와 같은 내용을 적었다. 그는 "215편의 과학 논문을 집필 중"이라면서, 그 속도가 너무 빨라 "읽을 시간조차 없다"고 주장했다. 이 이메일에는 "생물학적 범주로서의 인종 해체: 법적, 과학적, 아프리카의 뿔 지역 관점.pdf.txt"와 같은 제목의 AI 생성 "과학 논문" 수십 편이 목록으로 포함되어 있었다.

소송장은 "이 사용자의 소통 내용은 그가 정신적으로 불안정하며, ChatGPT가 그의 망상적 사고와 점점 더 심해지는 행동의 원동력임을 명백히 보여주었다"고 주장한다. "사용자가 쏟아낸 긴급하고, 무질서하며, 과장된 주장들, 원고의 이름을 직접 언급한 구체적인 ChatGPT 생성 보고서, 그리고 방대한 양의 소위 '과학적' 자료들은 이러한 현실을 보여주는 명백한 증거였습니다. OpenAI는 개입하지 않았고, 그의 접근을 제한하지 않았으며, 어떠한 안전장치도 마련하지 않았습니다. 오히려 그가 계정을 계속 사용하도록 허용했고, 그의 프로(Pro) 계정 접근 권한을 완전히 복원해 주었습니다."

소송에서 자신이 공포 속에 살았으며 자신의 집에서도 잠을 잘 수 없었다고 진술한 도(Doe)는 지난 11월 오픈AI에 공식적인 악용 신고서를 제출했다.

"지난 7개월 동안 그는 이 기술을 무기화하여, 그렇지 않았다면 불가능했을 정도의 공개적인 파괴와 굴욕을 저에게 가했습니다,"라고 도(Doe)는 해당 사용자의 계정을 영구 정지해 달라고 요청하는 서한에 적었습니다.

오픈AI는 해당 신고가 "매우 심각하고 우려스러운 사안"임을 인정하며 정보를 신중하게 검토 중이라고 답변했다. 도 씨는 이후 어떠한 후속 조치도 받지 못했다고 밝혔다.

그 후 몇 달 동안 해당 사용자는 도 씨에게 일련의 협박성 음성 메시지를 보내며 계속해서 괴롭혔다. 1월, 그는 폭탄 위협 전달 및 흉기 사용 폭행 등 4건의 중범죄 혐의로 체포되어 기소되었다. 도 씨의 변호인단은 이번 사건이 그녀와 OpenAI의 자체 안전 시스템이 몇 달 전 제기했던 경고가 타당했음을 입증한다고 주장하며, 회사가 이러한 경고를 무시했다고 지적했다.

해당 사용자는 재판에 출석할 능력이 없다고 판단되어 정신 건강 시설에 수용되었다. 그러나 도의 변호사들은 "주 정부의 절차상 과실"로 인해 그가 곧 사회로 풀려날 것이라고 밝혔다.

에델슨은 오픈AI에 협조를 촉구했다. 그는 "모든 사건에서 오픈AI는 대중과 피해자, 그리고 자사 제품이 직접적으로 위험에 빠뜨리고 있는 사람들에게 중요한 안전 정보를 숨기기로 선택해 왔다"고 말했다. "우리는 그들에게 단 한 번이라도 옳은 일을 하라고 촉구한다. 인간의 생명은 오픈AI의 기업공개(IPO) 경쟁보다 더 중요해야 한다."