뉴저지 소송, 딥페이크 포르노 대응의 난제 부각

2년 넘게 'ClothOff'라는 앱이 온라인에서 젊은 여성들을 대상으로 테러 캠페인을 벌여왔으며, 이를 막는 것은 극도로 어려운 과제로 드러났다. 이 앱은 두 대형 앱 스토어에서 삭제되고 대부분의 소셜 플랫폼에서 금지되었음에도 웹과 텔레그램 봇을 통해 여전히 접근 가능하다. 지난 10월 예일 로스쿨 클리닉은 해당 앱을 영구적으로 해체하고 운영자들에게 모든 이미지 삭제 및 완전한 운영 중단을 강제하기 위한 소송을 제기했다. 그러나 피고 측을 단순히 확인하고 위치를 파악하는 것조차 상당한 난관으로 드러났다.

소송 공동 수석 변호사인 존 랭포드 교수는 "해당 법인은 영국령 버진아일랜드에 등록되어 있으나, 벨라루스에 거주하는 남매가 운영하고 있다고 판단됩니다. 더 큰 글로벌 네트워크의 일부일 가능성도 있습니다"라고 설명했습니다.

이 사건은 일론 머스크의 xAI가 생성한 동의 없는 합성 포르노가 최근 홍수처럼 쏟아져 나온 데 이어, 수많은 미성년 피해자를 포함했던 점을 고려할 때 냉철한 교훈을 제공한다. 아동 성착취물(CSAM)은 인터넷상에서 법적으로 가장 위험한 콘텐츠다. 제작, 전송, 저장 자체가 불법이며 모든 주요 클라우드 서비스에서 적극적으로 탐지 대상이다. 그러나 랭포드 사건이 보여주듯, 엄격한 법적 금지에도 불구하고 ClothOff 같은 도구는 여전히 대응이 어렵습니다. 개별 사용자는 기소될 수 있지만, ClothOff나 Grok 같은 플랫폼을 단속하는 것은 훨씬 복잡하여 피해자들이 법원을 통해 정의를 구할 수 있는 길이 제한적입니다.

해당 클리닉이 공개한 고소장은 매우 우려스러운 상황을 묘사한다. 원고는 뉴저지 고등학생으로, 익명으로 신원이 공개되었다. 그녀의 동급생들이 ClothOff를 이용해 그녀의 인스타그램 사진을 조작했다. 원본 사진이 촬영된 당시 그녀는 14세였으므로, AI로 변조된 버전은 법적으로 아동 성착취물에 해당한다. 그러나 변조된 이미지의 명백한 불법성에도 불구하고, 현지 당국은 용의자들의 기기에서 데이터를 확보하는 데 증거 수집상의 어려움이 있다는 이유로 기소를 거부했다.

소송장에는 "학교나 법 집행 기관 어느 쪽도 제인 도(가명)와 다른 소녀들의 아동 성 착취물이 얼마나 광범위하게 유포되었는지 확인하지 못했다"고 명시되어 있다.

법정 소송 진행은 더딘 상태다. 지난 10월 제기된 이 소송 이후 랭포드와 동료들은 피고 측에 법적 통지서를 전달하기 위해 수개월간 노력해왔다. 해당 운영이 국제적 규모라는 점을 고려하면 어려운 작업이었다. 통지서가 전달되면 클리닉은 법원 출두 일정을 잡고 판결을 요청할 수 있다. 그때까지 ClothOff 피해자들에게 법체계는 거의 위안이 되지 못했다.

그록(Grok) 사건은 해결이 더 간단해 보일 수 있다. 일론 머스크의 xAI는 숨어 있지 않으며, 소송이 성공하면 상당한 금전적 배상금을 얻을 수 있다. 그러나 그록은 범용 도구이기 때문에 오용에 대한 법적 책임을 규명하는 것이 훨씬 더 복잡하다.

디스럽트 2026 대기자 명단 등록

디스럽트 2026 대기 목록에 등록하시면 얼리버드 티켓 출시 시 우선적으로 구매하실 수 있습니다. 지난 디스럽트 행사에는 구글 클라우드, 넷플릭스, 마이크로소프트, 박스, 피아, a16z, 일레븐랩스, 웨이브, 허깅 페이스, 엘라드 길, 비노드 코슬라 등 업계 리더들이 참여했습니다. 이들은 250명 이상의 리더 중 일부로, 여러분의 성장을 가속화하고 경쟁력을 강화하기 위해 기획된 200개 이상의 세션을 이끌었습니다. 또한 모든 분야에서 혁신을 선도하는 수백 개의 스타트업과 교류할 수 있습니다.

Disrupt 2026 대기자 명단에 등록하세요

디스럽트 2026 대기 명단에 등록하시면 얼리버드 티켓이 출시될 때 우선적으로 구매하실 수 있습니다. 지난 디스럽트 행사에는 Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil, Vinod Khosla 등 업계 리더들이 참여했습니다. 이들은 250명 이상의 리더들과 함께 여러분의 성장을 가속화하고 경쟁력을 강화하기 위해 마련된 200개 이상의 세션을 이끌었습니다. 또한 모든 분야에서 혁신을 선도하는 수백 개의 스타트업과 교류할 수 있습니다.

랭포드는 "ClothOff는 명백히 이미지 및 동영상용 딥페이크 포르노 생성기로 설계 및 마케팅됩니다"라고 설명했습니다. "사용자가 어떤 목적으로든 쿼리할 수 있는 범용 시스템에 대해 소송을 제기할 경우, 법적 환경은 훨씬 더 복잡해집니다."

미국에는 '테이크 잇 다운 법(Take It Down Act)'을 비롯한 여러 법률이 이미 딥페이크 포르노를 금지하고 있습니다. 그러나 특정 사용자가 명백히 이러한 법률을 위반하는 반면, 플랫폼 전체에 책임을 묻는 것은 훨씬 더 어렵습니다. 기존 법률은 일반적으로 피해 의도 입증을 요구하는데, 이는 xAI가 자사 도구가 동의 없는 포르노 제작에 사용될 것을 알았음을 증명해야 함을 의미합니다. 그러한 증거가 없다면 xAI의 기본적인 수정헌법 제1조 권리가 상당한 법적 보호를 제공할 수 있습니다.

랭포드는 "수정헌법 제1조 관점에서 아동 성 착취물은 보호 대상 발언이 아님을 분명히 한다"고 지적한다. "따라서 해당 콘텐츠 제작을 위해 특별히 시스템을 설계했다면 명백히 수정헌법 제1조 보호 범위를 벗어난다. 그러나 다양한 사용자 요청에 반응하는 범용 시스템의 경우 법적 경계가 훨씬 모호해진다."

가장 직관적인 법적 접근법은 xAI가 고의적으로 오용을 방치했음을 입증하는 것이다. 머스크가 직원들에게 그록의 안전 장치를 완화하라고 지시했다는 최근 보도에 비추어 볼 때 이는 타당한 주장이다. 그럼에도 불구하고, 그러한 접근법을 취하더라도 해당 사건을 진행하는 것은 훨씬 더 큰 법적 위험을 수반할 것이다.

랭포드는 "합리적인 관찰자들은 이 위험이 수년 전부터 예측 가능했다고 주장할 수 있다"며 "이를 방지하기 위해 더 엄격한 통제 장치를 마련하지 않은 이유가 무엇인가? 이는 일정한 무모함이나 인지도를 시사하지만, 소송을 진행하기에는 여전히 복잡한 사건이 될 것"이라고 말했다.

이러한 수정헌법 제1조 관련 복잡성 때문에 xAI에 대한 가장 강력한 규제 반발은 강력한 표현의 자유 보호 장치가 없는 관할권에서 비롯되었다. 인도네시아와 말레이시아는 이미 그록 챗봇 접근을 차단했으며, 영국 규제 당국은 유사한 금지 조치로 이어질 수 있는 조사를 개시했다. 유럽연합 집행위원회, 프랑스, 아일랜드, 인도, 브라질에서도 예비 조치가 취해졌다. 반면 미국 규제 기관은 공식적인 대응을 내놓지 않았다.

이러한 조사 결과가 어떻게 결론날지는 불확실하지만, AI 생성 학대적 이미지의 급증은 규제 당국에 중대한 의문을 제기했으며, 조사 결과는 유죄 증거가 될 수 있다.

랭포드는 "아동 성 착취물을 게시, 배포 또는 유포하는 행위는 형법을 위반하는 것이며 책임을 물을 수 있다"고 밝혔습니다. "더 어려운 법적 질문은 플랫폼이 무엇을 알고 있었는가? 어떤 조치를 취했거나 취하지 않았는가? 그리고 현재 이에 대응해 무엇을 하고 있는가?"입니다.