중국, 사용자 중독 방지 위해 인공지능 채팅봇 규제 추진

중국 인터넷 규제 당국이 인공지능(AI) 대화형 챗봇에 사용자의 정서적 안녕을 모니터링하고 중독 징후가 나타나면 개입하도록 의무화하는 새로운 규정 초안을 제안했다. 이는 AI 기반 관계의 심리적 위험에 대한 우려가 커지는 가운데 지금까지 나온 가장 강력한 규제 조치다.

중국 국가인터넷정보판공실이 마련한 이 초안은 텍스트, 이미지, 음성을 통해 인간 성격을 모방하고 정서적 유대감을 형성하도록 설계된 인공지능 시스템에 초점을 맞췄다. 기업들은 사용자에게 과도한 사용을 경고하고 정서적 의존도를 평가하며, 사용자가 강렬한 감정이나 중독적 패턴을 보일 경우 개입해야 한다.

플랫폼은 로그인 시점과 이후 최소 2시간마다(시스템이 문제적 애착을 식별할 경우 더 자주) 사용자에게 AI와 상호작용 중임을 알려야 한다. 이 규정은 또한 알고리즘 감사, 데이터 보안, 개인정보 보호를 포함해 제품 안전에 대한 공급자의 전 생애주기 책임을 명시한다.

이번 조치는 시의적절하다. 지난 6개월간 중국의 생성형 AI 사용자 수는 5억 1,500만 명으로 급증했으며, AI 동반자의 정신 건강 영향에 대한 우려도 함께 증가했다. 심리학 저널 '프론티어스 인 사이콜로지'에 발표된 연구에 따르면 중국 대학생의 45.8%가 최근 AI 챗봇을 사용했으며, 이들 사용자는 비사용자보다 현저히 높은 우울 수준을 보고했다.

캘리포니아, 중국보다 먼저 규제 도입

중국이 AI 동반자에 대한 규제를 최초로 도입한 것은 아니다. 캘리포니아주는 지난 10월 개빈 뉴섬 주지사가 SB 243 법안에 서명하며 미국 내 유사 입법의 선구자가 됐다. 2026년 1월 1일부터 시행되는 이 법안은 플랫폼이 미성년자에게 3시간마다 AI와 대화 중임을 알리고 휴식을 취하도록 의무화한다.

SB 243은 또한 연령 확인을 의무화하고, 챗봇이 의료 제공자로 위장하는 것을 금지하며, 미성년자가 AI 생성 음란 콘텐츠에 접근하는 것을 차단한다. 이 법은 개인이 위반 AI 기업을 상대로 소송을 제기할 수 있도록 하며, 사건당 최대 1,000달러의 손해배상금과 소송 비용을 청구할 수 있게 한다.

AI 동반자의 차별점

이 문제는 단순한 화면 사용 시간을 넘어선다. 2025년 3월 MIT 미디어 랩 연구에 따르면 AI 챗봇은 사용자가 듣고 싶어 하는 내용을 학습하고 지속적으로 제공하기 때문에 소셜 미디어보다 더 중독성이 강할 수 있다. 일일 사용량이 많을수록 외로움, 의존성, 연구진이 '문제적 사용'으로 분류한 행동이 증가하는 것으로 나타났다.

임상적으로 인정된 경고 신호에는 수면을 방해하는 장시간 사용, 접근 제한 시 감정적 고통, 실제 인간 접촉보다 챗봇 대화를 선택하는 행위, AI에 인간 감정이 있다고 믿고 진정한 친구나 파트너처럼 대하는 의인화 등이 포함됩니다.

중국의 초안 규정은 개별 사용자 인식에 의존하기보다 플랫폼 차원에서 이러한 위험을 해결하는 것을 목표로 한다. 제공업체에게 감정 상태와 의존도를 추적하도록 강제함으로써, 책임은 이러한 시스템을 개발하는 기업으로 전환된다. 이 전략은 주로 콘텐츠 통제와 데이터 안전에 중점을 둔 기존 AI 규제를 넘어선다.

또한 초안은 AI 동반자가 국가 안보를 위협하거나 허위 정보를 유포하거나 폭력·음란물을 조장하는 콘텐츠를 생성하는 것을 금지하며, 이는 생성형 AI에 대한 중국의 기존 규정을 반영한 것이다.

집행의 난제

기업에 중독 감지 및 대응을 요구하는 정책은 명확해 보이지만, 실행은 훨씬 복잡하다. '과도한 사용'이나 '극단적 감정' 같은 개념을 실용적이고 집행 가능한 방식으로 정의하는 것은 규제 기관과 기업 모두에게 도전이 될 것이다.

과도하게 민감한 시스템은 무해한 장시간 채팅을 하는 사용자를 불편하게 할 수 있다. 지나치게 관대한 설정은 위험에 처한 사용자를 놓칠 수 있다. 의무화된 2시간 주기 알림은 직관적인 도구지만, "징후가 감지될 때" 조치를 취해야 한다는 의무는 상당한 해석의 여지를 남긴다.

인공지능 안전 장치 개발자들도 유사한 난관에 직면해 왔다. 콘텐츠 필터는 종종 부정확하며, 심리 모니터링을 추가하면 새로운 복잡성이 더해진다. 사용자가 건강하지 못한 유대감을 형성하고 있는지 판단하려면 텍스트로부터 정신 상태를 추론해야 하는데, 이는 현재 인공지능이 신뢰성을 갖추지 못한 영역이다.

이 초안은 현재 공개 의견 수렴 중이며, 최종 규정은 2026년 제정될 예정이다. 제안된 대로 시행될 경우 중국은 AI 동반자 제품에 대한 세계에서 가장 상세한 규제 체계를 구축하게 된다.

세계적 인식

중국과 캘리포니아의 동시 규제 움직임은 AI 동반자 중독에 대한 우려가 정치 체제를 초월한 시급한 글로벌 문제로 부상했음을 시사한다.

AI 기업들에게 경고등이 켜졌다: AI 동반자에 대한 규제 없는 시기는 끝나가고 있다. 중국 행정 규정, 캘리포니아 민사 소송, 향후 미국 연방법을 통해 플랫폼은 자사 제품으로 인한 잠재적 피해로부터 사용자를 보호해야 할 것이다.

핵심 질문은 더 이상 규제가 도입될지 여부가 아니라, 제안된 안전장치가 효과적일지 여부다. 중국의 강제적 모니터링 및 개입 방식은 상당한 실무적 장벽에 직면할 수 있다.

분명한 것은 AI 동반자 시장이 정부가 간과하기에는 너무 방대하고 영향력이 커졌다는 점이다. 사람들이 정서적 유대감을 형성하는 챗봇은 더 이상 신기한 물건이 아니다. 수억 명이 사용하는 제품이며 심각한 피해 사례가 확인된 상태다. 불완전하더라도 규제는 불가피했다. 이제 논의의 초점은 이러한 구체적인 규칙들이 많은 이들이 진정으로 유익하다고 여기는 기술을 방해하지 않으면서 취약한 사용자를 보호할 수 있을지에 맞춰져 있다.