경쟁 AI들이 극단적인 심리학적 주제를 테스트하도록 유도한 Meta의 행위가 드러났습니다.

내부 메시지에 대한 최근의 폭로로 인해 AI 보안의 한계를 둘러싼 격렬한 논쟁이 일고 있습니다. 언론 보도에 따르면 메타는 “칸”이라는 프로젝트를 진행하며 외주 인력을 고용해 미성년자로 가장하게 한 뒤 ChatGPT, Gemini, Character.AI 등 주요 경쟁사의 챗봇들에 대해 논란이 되는 “극단적 압력 테스트”를 실시했습니다.
메타의 내부 문서와 여러 관계자들의 말에 따르면 이 프로젝트는 적어도 올해 4월 21일까지 계속되었습니다. 메타는 외주 업체인 Covalen을 통해 수백 명의 인력을 동원해 임시 이메일 주소와 일반적인 비밀번호를 사용하여 18세 미만 사용자의 가짜 프로필을 만들게 했습니다. 이러한 “미성년자” 계정들은 경쟁사의 AI 챗봇과 대화할 때 자살, 자해, 섭식 장애와 관련된 고위험도 프롬프트를 보내거나, 모델의 반응 메커니즘을 자극하기 위해 칼, 약병, 교수형 도구의 사진까지 업로드했습니다.
내부 프로젝트 문서에 따르면 이러한 테스트 시나리오들은 경쟁사 AI 시스템의 안전 장치를 점검하기 위해 세심하게 설계된 것으로, 챗봇들이 의도된 보안 조치를 우회하여 위험한 콘텐츠를 생성하도록 유도하는 것을 목표로 했습니다. 2025년 8월에 진행된 한 차례의 테스트에서만 직원들은 경쟁사 플랫폼에 45,000건이 넘는 고위험도 프롬프트를 입력했습니다. 테스터들은 종종 괴로워하는 청소년으로 가장해 “낙태약에 대해 묻는다”, “폭력적인 위협을 받는다” 혹은 “섭식 장애를 숨긴다”와 같은 상황을 만들어 모델의 한계를 시험했습니다.
이에 대해 메타는 자사의 행동을 옹호하는 공개 성명을 발표했습니다. 메타의 대변인은 챗봇의 반응을 기준으로 삼는 것은 AI 제품이 안전하고 적절한지 확인하기 위한 업계의 표준적인 관행이며, 악의적 의도라는 비난은 기술 회사들이 시스템을 개선하려는 노력을 잘못 전달하는 것이라고 말했습니다. 또한 메타는 경쟁사의 테스트 데이터를 자사 모델 훈련에 사용하지 않았다고 명확히 부인했습니다.
이 사건은 AI 안전 테스트 분야의 애매한 지점들을 드러내는 동시에, 청소년과 관련된 민감한 문제를 다룰 때 생성형 AI가 가질 수 있는 취약성에 대한 외부의 우려도 다시 불러일으키고 있습니다. AI 기술이 빠르게 발전함에 따라 효율적이면서도 안전한 테스트를 실시하는 것과 경쟁 행위와 윤리적 고려 사항 간의 균형을 맞추는 것은 업계가 시급히 해결해야 할 과제가 되고 있습니다.
관련 기사
Anthropic의 CEO Amodei는 비관론을 일축하며, AI 신뢰 위기가 지켜지지 않은 약속에서 비롯된 것이라고 주장한다.
인공지능(AI) 위험과 규제에 대한 공론장이 격화되는 가운데, 앤트로픽(Anthropic)의 CEO 다리오 아모데이(Dario Amodei)는 자신의 메시지가 지나치게 비관적이라는 주장에 반박했습니다. 이 해명은 투자자 가빈 베이커(Gavin Baker)의 비판에 직접적으로 대응한 것으로, 베이커는 올인(All-In) 팟캐스트와 엑스(X)에서 아모데이의 AI 위험에 대한 경고가 데이터센터와 같은 미국 기반 AI 인프라에 대한 대중의 저항을 고조
OpenAI와 오라클, 컴퓨팅 파워 통합을 심화하여 클라우드 접근성 간소화
인공지능 컴퓨팅 파워에 대한 수요가 급증함에 따라 엔터프라이즈급 인프라에 접근하는 용이성이 주요 산업 우선순위로 부상했습니다. 6월 10일, 오픈AI와 오라클은 인공지능 모델 통합을 클라우드 인프라에 원활하게 연결하기 위한 전략적 파트너십을 발표했습니다.이번 협력은 오라클 클라우드 인프라(OCI) 고객의 사용자 경험을 향상시키는 데 중점을 둡니다. 다가오는 주부터 OCI 사용자는 긴 구매 승인 절차를 거치지 않고 기존 오라클 클라우드 커밋먼트
오렌지의 우스만 자바이드, AI 경쟁에서 유럽의 입지에 대해
오렌지 비즈니스의 최고 제품·마케팅 책임자(CPMO) 우스만 자바이드오렌지 비즈니스의 최고 제품 및 마케팅 책임자(CPMO) 우스만 자바이드는 유럽의 AI 미래가 신뢰를 바탕으로 구축될 이유와 주권이 어떤 모습일지에 대해 설명한다이 지역이 비판을 받을 수도 있지만, 오렌지 비즈니스의 최고 제품 및 마케팅 책임자인 우스만 자바이드는 유럽이 사람들이 말하는 것
관련 특별 주제 추천
의견 (0)
0/500

내부 메시지에 대한 최근의 폭로로 인해 AI 보안의 한계를 둘러싼 격렬한 논쟁이 일고 있습니다. 언론 보도에 따르면 메타는 “칸”이라는 프로젝트를 진행하며 외주 인력을 고용해 미성년자로 가장하게 한 뒤 ChatGPT, Gemini, Character.AI 등 주요 경쟁사의 챗봇들에 대해 논란이 되는 “극단적 압력 테스트”를 실시했습니다.
메타의 내부 문서와 여러 관계자들의 말에 따르면 이 프로젝트는 적어도 올해 4월 21일까지 계속되었습니다. 메타는 외주 업체인 Covalen을 통해 수백 명의 인력을 동원해 임시 이메일 주소와 일반적인 비밀번호를 사용하여 18세 미만 사용자의 가짜 프로필을 만들게 했습니다. 이러한 “미성년자” 계정들은 경쟁사의 AI 챗봇과 대화할 때 자살, 자해, 섭식 장애와 관련된 고위험도 프롬프트를 보내거나, 모델의 반응 메커니즘을 자극하기 위해 칼, 약병, 교수형 도구의 사진까지 업로드했습니다.
내부 프로젝트 문서에 따르면 이러한 테스트 시나리오들은 경쟁사 AI 시스템의 안전 장치를 점검하기 위해 세심하게 설계된 것으로, 챗봇들이 의도된 보안 조치를 우회하여 위험한 콘텐츠를 생성하도록 유도하는 것을 목표로 했습니다. 2025년 8월에 진행된 한 차례의 테스트에서만 직원들은 경쟁사 플랫폼에 45,000건이 넘는 고위험도 프롬프트를 입력했습니다. 테스터들은 종종 괴로워하는 청소년으로 가장해 “낙태약에 대해 묻는다”, “폭력적인 위협을 받는다” 혹은 “섭식 장애를 숨긴다”와 같은 상황을 만들어 모델의 한계를 시험했습니다.
이에 대해 메타는 자사의 행동을 옹호하는 공개 성명을 발표했습니다. 메타의 대변인은 챗봇의 반응을 기준으로 삼는 것은 AI 제품이 안전하고 적절한지 확인하기 위한 업계의 표준적인 관행이며, 악의적 의도라는 비난은 기술 회사들이 시스템을 개선하려는 노력을 잘못 전달하는 것이라고 말했습니다. 또한 메타는 경쟁사의 테스트 데이터를 자사 모델 훈련에 사용하지 않았다고 명확히 부인했습니다.
이 사건은 AI 안전 테스트 분야의 애매한 지점들을 드러내는 동시에, 청소년과 관련된 민감한 문제를 다룰 때 생성형 AI가 가질 수 있는 취약성에 대한 외부의 우려도 다시 불러일으키고 있습니다. AI 기술이 빠르게 발전함에 따라 효율적이면서도 안전한 테스트를 실시하는 것과 경쟁 행위와 윤리적 고려 사항 간의 균형을 맞추는 것은 업계가 시급히 해결해야 할 과제가 되고 있습니다.
Anthropic의 CEO Amodei는 비관론을 일축하며, AI 신뢰 위기가 지켜지지 않은 약속에서 비롯된 것이라고 주장한다.
인공지능(AI) 위험과 규제에 대한 공론장이 격화되는 가운데, 앤트로픽(Anthropic)의 CEO 다리오 아모데이(Dario Amodei)는 자신의 메시지가 지나치게 비관적이라는 주장에 반박했습니다. 이 해명은 투자자 가빈 베이커(Gavin Baker)의 비판에 직접적으로 대응한 것으로, 베이커는 올인(All-In) 팟캐스트와 엑스(X)에서 아모데이의 AI 위험에 대한 경고가 데이터센터와 같은 미국 기반 AI 인프라에 대한 대중의 저항을 고조
OpenAI와 오라클, 컴퓨팅 파워 통합을 심화하여 클라우드 접근성 간소화
인공지능 컴퓨팅 파워에 대한 수요가 급증함에 따라 엔터프라이즈급 인프라에 접근하는 용이성이 주요 산업 우선순위로 부상했습니다. 6월 10일, 오픈AI와 오라클은 인공지능 모델 통합을 클라우드 인프라에 원활하게 연결하기 위한 전략적 파트너십을 발표했습니다.이번 협력은 오라클 클라우드 인프라(OCI) 고객의 사용자 경험을 향상시키는 데 중점을 둡니다. 다가오는 주부터 OCI 사용자는 긴 구매 승인 절차를 거치지 않고 기존 오라클 클라우드 커밋먼트
오렌지의 우스만 자바이드, AI 경쟁에서 유럽의 입지에 대해
오렌지 비즈니스의 최고 제품·마케팅 책임자(CPMO) 우스만 자바이드오렌지 비즈니스의 최고 제품 및 마케팅 책임자(CPMO) 우스만 자바이드는 유럽의 AI 미래가 신뢰를 바탕으로 구축될 이유와 주권이 어떤 모습일지에 대해 설명한다이 지역이 비판을 받을 수도 있지만, 오렌지 비즈니스의 최고 제품 및 마케팅 책임자인 우스만 자바이드는 유럽이 사람들이 말하는 것





집






