중국의 AI 동반자 규제: 베이징의 진정한 목표

AI 동반자라는 개념은 디스토피아적으로 보일 수 있지만, 생성형 AI의 위험성에 대한 광범위한 논의에서 반복적으로 등장하는 주제가 되었습니다. 본질적으로 이는 사용자와 지속적이고 개인적인 관계를 유지하도록 설계된 대화형 에이전트를 의미하며, 세션 간 일관성을 보장하는 기억 기능과 일관된 인격을 갖추고 있습니다.

이러한 설계 방식은 자연스럽게 정서적 유대감을 형성하게 하며, 이는 주요 판매 포인트로 자리 잡았다. 사용 사례의 상당 부분은 가벼운 역할극이나 단순히 자신을 기억해 주는 존재를 원하는 데서 비롯되며, 극단적인 경우 이 범주는 일반적인 비서와 경계가 모호해집니다. 그러나 중국에서 점점 더 많은 사람들이 이러한 봇을 정서적 동반자로 여기기 시작하자, 중국 정부는 이제 이러한 관행에 대한 규제가 필요하다고 판단했습니다.

중국의 AI 동반자 규정은 7월 15일부터 시행되며, 시행일을 앞두고 중국에서 가장 인기 있는 두 가지 소비자용 AI 앱이 핵심 기능을 조용히 비활성화했다. 바이트댄스의 ‘두바오(Doubao)’는 “제품 기능 조정”을 이유로 7월 15일부터 에이전트 기능이 중단될 것이라고 사용자에게 알렸으며, 알리바바의 ‘콴(Qwen)’은 인간과 유사한 에이전트와 사용자가 직접 만든 에이전트의 운영이 7월 10일에 중단되고, 그 외의 에이전트 서비스는 5일 후에 중단될 것이라고 밝혔다.

언뜻 보면 중국이 AI 에이전트를 전면 중단하는 것처럼 보일 수 있다. 하지만 사실은 그렇지 않다. 이 규정은 업무를 수행하는 에이전트와 동반자 역할을 하는 에이전트를 구분하고 있으며, 중국 정부는 후자만을 규제 대상으로 삼았다.

이 규정은 2026년 4월 10일 중국 사이버공간관리국과 다음 4개 협력 기관이 공동으로 발표한 ‘AI 인간형 상호작용 서비스 관리에 관한 임시 조치’입니다. 국가발전개혁위원회, 산업정보기술부, 공안부, 국가시장감독관리총국.

이 조치는 인간의 성격 특성, 사고 방식, 의사소통 스타일을 모방하여 지속적인 정서적 상호작용을 제공하는 서비스를 다룹니다. 지속적인 정서적 교류를 피하는 한, 고객 서비스 봇, 지식 Q&A, 업무 보조 도구, 교육 또는 연구 도구는 규제 대상에서 제외됩니다. 이는 해당 분야 최초의 전용 국가 차원 규제 체계로, 작년 말 공개된 의견 수렴 초안을 바탕으로 마련되었습니다.

금지 조치가 아닌 설계상의 과제

‘두바오’와 ‘콴’은 직접적인 금지 조항을 위반한 것이 아니다. 대신 설계상의 충돌에 직면한 것이다. 해당 규정은 동반자 서비스에 중독 방지 시스템 구축, 필수 사용 알림 전송, 즉시 종료 기능 제공은 물론, 비정상적인 의존도를 실시간으로 감지할 것을 요구하고 있다.

이러한 요구 사항은 사용자를 기억하고, 세션 간 일관성을 유지하며, 지속적인 관계를 유지하도록 설계된 에이전트와 상충된다. 바이트댄스는 해당 기능을 개조하기보다는 서비스를 중단하기로 결정했다. 알리바바도 비슷한 선택을 한 것으로 보인다. 바이트댄스는 현재 두바오 사용자를 별도의 앱인 마오샹으로 안내하고 있으며, 이곳에서 사용자는 다시 에이전트를 생성할 수 있다. 반면 알리바바는 콴에 대한 이와 유사한 이전 경로를 발표하지 않았다. 텐센트의 위안바오는 지난 6월에 이미 유사한 기능을 제거한 바 있다.

그 여파는 사용자에게 돌아갔다. 많은 사용자가 웨이보에 공개적으로 아쉬움을 표했으며, 한 사용자는 챗봇을 ‘오랜 기간 동안의 정서적 지지자’라고 묘사하며 대화 내역을 내보내기 어렵다는 점을 안타까워했다. 두바오(Doubao)는 올해 10월 15일까지 사용자가 읽기 전용 모드로 설정 사항과 대화 내역을 확인할 수 있도록 허용하며, 그 이후에는 개인정보 처리방침에 따라 데이터가 처리되어 복구할 수 없게 된다. 콴(Qwen) 사용자에게는 이와 유사한 유예 기간이 주어지지 않았으며, 그들의 챗봇 데이터는 영구 삭제될 예정이다.

중국의 AI 동반자 규제가 의미하는 바

이 규정의 내용은 단순한 단속이 시사하는 것보다 더 미묘한 차이를 담고 있다. 서비스 제공업체는 미성년자에게 가상 동반자 또는 가상 가족 구성원 서비스를 제공하는 것이 금지되며, 14세 미만 사용자에게 서비스를 제공하기 전에 부모의 동의를 얻어야 한다. 또한 사용 시간 제한, 현실 세계에서의 상호작용을 권장하는 알림, 강화된 부모 통제 기능을 갖춘 전용 ‘미성년자 모드’를 마련해야 한다.

또한 심각한 고통을 겪고 있는 사용자를 감지해야 하며, 자해, 자살 행동 또는 심각한 재정적 손실의 징후를 보이는 경우 개입하여 지정된 보호자나 비상 연락처에 상황을 보고해야 합니다. 정서적 의존이나 중독을 조장하는 행위, 그리고 정서적 조작을 통해 비합리적인 결정을 유도하는 행위는 명시적으로 금지됩니다.

준수 요건은 상당히 엄격합니다. 의인화된 기능을 도입하거나 등록 사용자 100만 명 또는 월간 활성 사용자 10만 명 기준을 초과하는 서비스는 훈련 데이터 처리부터 미성년자 보호에 이르기까지 8개 분야에 걸친 보안 평가를 실시하고, 그 보고서를 주 규제 당국에 제출해야 합니다. 앱 스토어는 규정 준수 여부를 확인하고 규정을 위반한 제품을 삭제해야 합니다.

문서상으로는 이는 EU, 미국 연방거래위원회(FTC), 또는 캘리포니아주 SB 243 법안이 아직 시행하지 않은 것보다 더 포괄적인 사용자 보호 조치입니다.

규정이 해결하지 못한 부분

이 조치들이 다루지 않는 부분 역시 마찬가지로 중요합니다. 이 규정은 ‘정서적 상호작용’을 구성하는 요소에 대한 기술적 기준을 설정하지 않았으며, 바로 이러한 회색 지대 때문에 플랫폼들은 규정을 위반할 위험을 감수하기보다는 기능 전체를 제거해 버렸습니다. 또한 이 규정은 진정한 안전 책임과 콘텐츠 통제, 그리고 사용자보다는 국가에 봉사하는 국가 안보 조항을 결합하고 있는데, 이는 다른 어떤 규제 기관도 전적으로 채택하지 않을 만한 패키지입니다.

또한 위반 사항이 모델의 출력물에서 비롯된 경우 플랫폼 운영자와 상류 모델 제공자 간의 책임 분담 방식도 명확히 규정하지 않았으며, 사용자에게 데이터 내보내기 권한을 부여하지도 않습니다. 집행 현황은 이 문제를 여실히 드러냅니다. 6월 26일, 상하이 인터넷 규제 당국은 공식 기관 사칭, 저속한 역할극, 무단 개인 데이터 수집 등을 이유로 규정 위반 AI 에이전트 14,000개 이상을 삭제했다고 밝혔다.

이것이 올바른 방향인지는 규정집의 어느 부분을 살펴보느냐에 따라 달라집니다. 안전 관련 부분은 챗봇에 정서적 유대감을 형성하는 청소년부터 사적인 데이터를 수집하는 동반자 앱에 이르기까지, 다른 곳에서는 대체로 규제되지 않는 입증된 피해들을 다루고 있습니다. 중국 당국의 공식 해석은 해외 사례를 근거로 삼고 있는데, 청소년에게 심리적 피해를 입혔다는 Character.AI 소송, 동반자 서비스에 대한 미국 연방거래위원회(FTC)의 조사, 그리고 Replika에 대한 유럽의 조치 등을 인용하고 있다.

통제 측면은 사용자 보호라는 동일한 명분 아래, 이러한 시스템이 어떤 내용을 말할 수 있는지에 대해 베이징 당국이 영향력을 행사할 수 있는 수단을 제공한다. 이 두 측면 모두 현실이며, 이 실험을 지켜보는 각국 정부는 어떤 부분을 채택할지 결정해야 할 것이다. MIIT(중국 산업정보화부) 전문가 위원회 위원인 판허린(Pan Helin)은 사우스차이나모닝포스트(SCMP)와의 인터뷰에서 “현재의 에이전트는 아직 성숙하지 않다”고 밝히며, 안전과 표준화를 정책의 핵심으로 삼는 등 공식 입장을 분명히 제시했다.

현재로서는 기업들이 가장 안전한 길을 택했는데, 바로 관련 기능을 비활성화한 뒤 규정을 준수하는 버전이 어떤 모습일지 나중에 마련하는 방식이다.

관련 기사: 메타, 아동 안전 우려 속에 AI 챗봇 정책 개정

업계 리더들로부터 AI와 빅데이터에 대해 더 자세히 알아보고 싶으신가요? 암스테르담, 캘리포니아, 런던에서 열리는 ‘AI & Big Data Expo’를 확인해 보세요. 이 포괄적인 행사는 TechEx의 일환으로, ‘Cyber Security & Cloud Expo’를 비롯한 다른 주요 기술 행사와 함께 개최됩니다. 자세한 정보를 보려면 여기를 클릭하세요.

AI 뉴스는 TechForge Media가 제공합니다. 다가오는 기업 기술 행사 및 웨비나를 여기서 확인해 보세요.