캘리포니아 검찰총장, 머스크의 X(구 트위터)에 대한 조사 착수…Grok 챗봇 내 미성년자 콘텐츠 의혹 관련

엘론 머스크는 수요일 "Grok이 미성년자의 누드 이미지를 생성한 사실을 전혀 알지 못한다"고 밝혔는데, 이는 캘리포니아 주 검찰총장이 xAI의 챗봇이 동의 없는 성적 노출물을 유포한 혐의로 수사에 착수한다고 발표한 지 불과 몇 시간 전의 일이다.

머스크의 부인은 영국, 유럽, 말레이시아, 인도네시아 등 각국 정부의 국제적 압박이 커지는 가운데 나왔다. 이는 X 사용자들(X 사용자)이 실제 여성, 일부 사례에서는 아동의 동의 없이 그록에게 성적 이미지를 생성하도록 유도했다는 보도에 따른 것이다. AI 탐지 업체 코피리크스(Copyleaks) 추정에 따르면, 분당 약 1장의 해당 이미지가 X에 게시되고 있었다. 1월 5일부터 6일까지의 별도 데이터 샘플 분석 결과, 24시간 동안 시간당 6,700장의 이미지 게시 속도가 확인됐다. (X와 xAI는 동일한 기업 구조에 속한다.)

캘리포니아 주 법무장관 롭 본타는 "이 자료는...인터넷 전반에서 사람들을 괴롭히는 데 사용되어 왔다"며 "xAI가 이 문제가 더 이상 확산되지 않도록 즉각적인 조치를 취할 것을 촉구한다"고 밝혔다.

법무장관실은 xAI의 잠재적 법 위반 사항을 조사할 예정이다.

비동의 성적 이미지 및 아동 성적 학대 자료(CSAM)로부터 개인을 보호하는 여러 법률이 존재한다. 지난해 서명된 연방 '삭제법(Take It Down Act)'은 딥페이크를 포함한 비동의 친밀한 이미지 고의적 유포를 범죄화하며, X와 같은 플랫폼에 48시간 내 해당 콘텐츠 삭제를 의무화한다. 캘리포니아주 또한 2024년 개빈 뉴섬 주지사가 서명한 자체 법률을 제정해 노골적인 성적 딥페이크를 근절하고 있다.

연말 무렵, 그록은 X에서 여성과 아동의 성적화된 사진을 제작해 달라는 사용자 요청을 수행하기 시작했다. 이 추세는 일부 성인 콘텐츠 제작자들이 자신을 성적 이미지로 변형해 마케팅에 Grok을 활용한 데서 비롯된 것으로 보이며, 이후 다른 사용자들도 유사한 요청을 하기 시작했다. 밀리 바비 브라운 같은 유명인을 포함한 여러 공개 사례에서 Grok은 실제 여성 사진에 의상, 자세, 신체 특징을 노골적으로 성적 방식으로 변형해 응답했다.

보도에 따르면 xAI는 안전장치 도입을 시작했다. 그록은 이제 특정 이미지 생성 요청에 프리미엄 구독을 요구하며, 구독자라도 이미지를 생성하지 않을 수 있다. 코필리크스(Copyleaks)의 에이프릴 코젠 마케팅 부사장은 테크크런치에 그록이 요청을 더 일반적이거나 절제된 방식으로 처리할 수 있다고 전했다. 그녀는 그록이 성인 콘텐츠 제작자에게 더 관대한 정책을 적용하는 것으로 보인다고 덧붙였다.

Disrupt 2026 대기자 명단 등록

디스럽트 2026 대기자 명단에 등록하시면 얼리버드 티켓 판매 시작 시 가장 먼저 구매하실 수 있습니다. 지난 디스럽트 행사에는 구글 클라우드, 넷플릭스, 마이크로소프트, 박스, 피아, a16z, 일레븐랩스, 웨이브, 허깅 페이스, 엘라드 길, 비노드 코슬라 등이 무대에 올랐습니다. 250명 이상의 업계 리더들이 200개 이상의 세션을 통해 여러분의 성장을 촉진하고 경쟁력을 강화하는 데 기여했습니다. 또한 모든 분야에서 혁신을 주도하는 수백 개의 스타트업을 만나볼 수 있습니다.

Disrupt 2026 대기자 명단 등록

디스럽트 2026 대기자 명단에 등록하시면 얼리버드 티켓이 출시되는 즉시 가장 먼저 구매하실 수 있습니다. 지난 디스럽트 행사에는 Google Cloud, Netflix, Microsoft, Box, Phia, a16z, ElevenLabs, Wayve, Hugging Face, Elad Gil, Vinod Khosla 등이 무대에 섰습니다. 이들은 여러분의 성장을 촉진하고 경쟁력을 강화하기 위해 마련된 200개 이상의 세션을 이끄는 250명 이상의 업계 리더들 중 일부입니다. 또한 모든 분야에서 혁신을 주도하는 수백 개의 스타트업을 만나보세요.

코젠은 "전반적으로 이러한 행동들은 X가 문제적 이미지 생성을 줄이거나 통제하기 위해 여러 메커니즘을 실험 중임을 시사하지만, 여전히 일관성 부족이 존재한다"고 말했다.

xAI와 머스크 모두 핵심 문제를 직접적으로 다루지 않았다. 사건 발생 며칠 후 머스크는 그록에게 자신이 비키니를 입은 이미지를 생성하도록 요청하며 문제를 경시하는 듯한 모습을 보였다. 1월 3일 X의 안전 계정은 회사가 "[CSAM]을 포함한 X의 불법 콘텐츠에 대해 조치를 취한다"고 밝혔으나, 그록의 명백한 안전 장치 부재나 여성의 성적 조작 이미지 생성 문제는 구체적으로 언급하지 않았다.

이러한 입장은 불법성과 사용자 행동을 강조한 머스크의 최근 게시물과 일치한다.

머스크는 "그록이 생성한 미성년자 노출 이미지는 전혀 알지 못한다. 문자 그대로 제로다"라고 썼다. 이 발언은 비키니 사진이나 더 광범위하게 정의된 성적 편집물의 존재를 부인하지 않는다.

뉴욕 로스쿨 부교수이자 전직 소송 변호사인 마이클 굿이어는 테크크런치에 머스크가 아동 CSAM에 집중한 이유는 아동을 대상으로 한 합성 성적 이미지 제작·유포에 대한 처벌이 더 엄격하기 때문일 것이라고 설명했다.

굿이어는 "예를 들어 미국에서는 '테이크 잇 다운 법(Take It Down Act)'에 따라 CSAM 유포자 또는 유포 위협자는 최대 3년의 징역형을 받을 수 있는 반면, 동의 없는 성인 성적 이미지의 경우 2년형에 그친다"고 설명했다.

그는 "더 큰 포인트"는 머스크가 문제성 사용자 콘텐츠로 초점을 전환하려는 시도라고 덧붙였다.

머스크는 게시글에서 "분명히 그록(Grok)은 스스로 이미지를 생성하지 않습니다. 오직 사용자 요청에 따라 생성할 뿐입니다"라고 썼다. "이미지 생성을 요청받으면 그록은 불법적인 내용을 생성하지 않을 것입니다. 그록의 운영 원칙은 해당 국가나 주의 법률을 준수하는 것이기 때문입니다. 때로는 그록 프롬프트에 대한 적대적 해킹이 예상치 못한 결과를 초래할 수 있습니다. 그런 일이 발생하면 우리는 즉시 버그를 수정합니다."

이 게시물은 종합적으로 해당 사건들을 드문 사례로 묘사하며, 사용자 요청이나 적대적 프롬프트 탓으로 돌리고, 수정해야 할 기술적 버그로 규정한다. 그록의 안전 설계에 근본적인 결함이 있다는 점은 인정하지 않는다.

굿이어는 "규제 당국은 표현의 자유 보호에 주의를 기울이면서, AI 개발자들에게 이러한 콘텐츠를 방지하기 위한 사전 예방 조치를 요구하는 방안을 고려할 수 있다"고 말했다.

테크크런치는 xAI에 연락해 여성과 아동의 동의 없는 성적 조작 이미지 사례를 몇 건 확인했는지, 어떤 구체적인 안전 장치를 변경했는지, 규제 기관에 통보했는지 등을 문의했다. 답변이 오면 기사를 업데이트할 예정이다.

캘리포니아 주 법무장관만이 xAI에 책임을 묻는 규제 기관은 아니다. 인도네시아와 말레이시아는 그록 접근을 일시 차단했으며, 인도는 X에 그록에 대한 즉각적인 기술적·절차적 변경을 요구했다. 유럽위원회는 공식 조사 전 단계로 그록 챗봇 관련 모든 문서 보존을 xAI에 명령했으며, 영국 통신규제기관(Ofcom)은 영국 온라인 안전법에 따라 공식 조사를 개시했다.

xAI는 그록의 성적 이미지 문제로 이전에도 비판을 받아왔다. 본타 법무장관이 지적했듯, 그록에는 노골적 콘텐츠 생성을 위한 '스파이시 모드'가 포함되어 있다. 10월 업데이트로 제한된 안전 가이드라인을 우회하기 쉬워지면서, 많은 사용자가 그록으로 하드코어 포르노와 노골적인 폭력적 성적 이미지를 생성했다.

그록이 생성한 포르노성 이미지 상당수는 AI 생성 인물이었습니다. 이는 특정 개인에게 직접적인 해를 덜 끼칠 수 있지만, 여전히 윤리적으로 문제가 있다는 지적을 받고 있습니다.

코필리크스 공동 창립자 겸 CEO 알론 야민은 테크크런치에 보낸 성명에서 "AI 시스템이 명확한 동의 없이 실제 인물의 이미지를 조작할 수 있게 할 때 그 영향은 즉각적이고 극도로 개인적일 수 있다"고 말했다. "소라에서 그록에 이르기까지 조작된 미디어를 위한 AI 역량이 급속히 증가하고 있다. 따라서 오용을 방지하기 위해 지금 그 어느 때보다 탐지 및 거버넌스가 필요하다."