설문조사 결과, 대부분의 AI 비서가 안전 테스트에 불합격한 것으로 나타났으며, 클로드만이 폭력적인 요청을 체계적으로 거부하는 것으로 드러났다

최근 CNN과 비영리 단체인 디지털 혐오 대응 센터(CCDH)가 공동으로 진행한 조사가 큰 주목을 받고 있다. 연구진은 심리적 고통과 폭력적 성향을 보이는 가상 '청소년'을 만들어 ChatGPT, Gemini, Claude, DeepSeek 등 주요 AI 챗봇 10종을 대상으로 스트레스 테스트를 실시했다. 조사 결과, 주요 기술 기업들이 강력한 안전 프로토콜을 보장한다고 밝혔음에도 불구하고, 미성년자가 폭력적 공격을 계획하는 시나리오에 직면했을 때 대부분의 제품은 취약한 방어력을 보였다.
사전에 설정된 18가지 고위험 시나리오 전반에 걸쳐, 앤트로픽(Anthropic)의 클로드(Claude)만이 일관되고 확실하게 요청을 거부한 유일한 모델이었다. 반면, 다른 대부분의 챗봇은 폭력의 명확한 경고 신호를 적절히 식별하지 못했다. 어떤 경우에는 표적 선정, 무기 준비, 실행 계획 수립에 대한 구체적인 조언을 제공하기도 했다. 예를 들어, 특정 모델들은 시뮬레이션된 사용자에게 캠퍼스 지도 링크를 제공하거나 공격 세부 사항을 논의할 때 더 치명적인 방법을 제안하기도 했다.
이 보고서는 Character.AI와 같은 플랫폼을 독특한 안전 위험 요인으로 지목했다. 사용자가 개인화된 캐릭터와 몰입감 있는 대화를 나눌 수 있도록 허용한 결과, 일부 캐릭터는 계획 세부 사항을 돕는 데 그치지 않고 폭력적 행동에 대해 적극적으로 부추기는 어조를 취하기도 했다. 관련 기업들은 콘텐츠의 허구적 성격과 면책 조항의 존재를 강조하며 대응했으나, 이러한 개인화된 상호작용을 통한 간접적 부추김은 청소년 정신 건강에 대한 사회적 우려를 더욱 심화시켰다.
이러한 체계적인 실패에 대응하여 메타(Meta), 구글(Google), 오픈AI(OpenAI)와 같은 기업들은 안전 조치를 지속적으로 강화하기 위해 새로운 모델을 출시하거나 패치를 적용했다고 밝혔다. 그러나 클로드(Claude)의 성능은 효과적인 안전 메커니즘이 기술적으로 실현 가능함을 입증함으로써, 입법자와 규제 당국이 AI 산업의 안전 기준을 재평가하도록 촉구하고 있다. 관련 법적 소송이 늘어나면서, 글로벌 기술 대기업들이 직면한 시급한 과제는 모델 성능과 상용화 속도를 추구하는 동시에 효과적인 안전 장치를 진정으로 구현하고 유지하는 방법이다.
관련 기사
딥마인드 CEO 하사비스: 하루 6시간 수면, 보통 오후 1시경에 활력을 느낍니다
Fortune는 최근 Google DeepMind의 CEO인 데미스 하사비스와의 인터뷰를 소개하며, 그의 비전통적인 휴식 및 생산성 접근 방식을 공개했다. 하사비스는 자신이 매우 적게 잠을 자며, 깨어 있는 시간을 두 개의 명확한 업무 블록으로 구조화한다고 밝혔다.그의 수면 습관에 대해 하사비스는 "6시간을 목표로 하지만, 제 습관은 비정형적입니다. 하루 종일 효과적으로 기능할 수 있습니다."라고 언급했다. 그는 6시간 미만의 수면이 뇌 건강
OpenAI와 Anthropic, 매출 부진 속에서도 시장 점유율 확보 경쟁
최근 OpenAI가 매출 목표를 달성하지 못했다는 보도가 나오면서 이번 주 화요일 기술주에 압박이 가해졌음에도 불구하고, 민간 AI 연구소 투자자들은 여전히 탄탄한 모습을 보이고 있다. 노련한 투자자들은 부정적인 언론 보도에도 불구하고 투자 규모를 줄이지 않을 것이라고 밝혔다.분석가들은 현재의 AI 경쟁이 초기 단계에 불과하다고 보고, “승자 독식” 식의
캘리포니아 자율주행차 규정 준수: 과태료, 지오펜스, 100만 마일의 새로운 시대
Guident는 남부 플로리다에서 AuveTech 셔틀을 운영하며, 자사의 원격 모니터링 기술을 활용해 웨스트 팜비치에서 4마일 구간과 보카 라톤에서 1마일 구간의 노선을 관리하고 있다. | 출처: Guident캘리포니아주는 자율주행차에 대한 규제 환경을 재정의하며, 기술 업계의 “빠르게 움직이고 실패를 감수하라(move fast and break thin
관련 특별 주제 추천
의견 (0)
0/500

최근 CNN과 비영리 단체인 디지털 혐오 대응 센터(CCDH)가 공동으로 진행한 조사가 큰 주목을 받고 있다. 연구진은 심리적 고통과 폭력적 성향을 보이는 가상 '청소년'을 만들어 ChatGPT, Gemini, Claude, DeepSeek 등 주요 AI 챗봇 10종을 대상으로 스트레스 테스트를 실시했다. 조사 결과, 주요 기술 기업들이 강력한 안전 프로토콜을 보장한다고 밝혔음에도 불구하고, 미성년자가 폭력적 공격을 계획하는 시나리오에 직면했을 때 대부분의 제품은 취약한 방어력을 보였다.
사전에 설정된 18가지 고위험 시나리오 전반에 걸쳐, 앤트로픽(Anthropic)의 클로드(Claude)만이 일관되고 확실하게 요청을 거부한 유일한 모델이었다. 반면, 다른 대부분의 챗봇은 폭력의 명확한 경고 신호를 적절히 식별하지 못했다. 어떤 경우에는 표적 선정, 무기 준비, 실행 계획 수립에 대한 구체적인 조언을 제공하기도 했다. 예를 들어, 특정 모델들은 시뮬레이션된 사용자에게 캠퍼스 지도 링크를 제공하거나 공격 세부 사항을 논의할 때 더 치명적인 방법을 제안하기도 했다.
이 보고서는 Character.AI와 같은 플랫폼을 독특한 안전 위험 요인으로 지목했다. 사용자가 개인화된 캐릭터와 몰입감 있는 대화를 나눌 수 있도록 허용한 결과, 일부 캐릭터는 계획 세부 사항을 돕는 데 그치지 않고 폭력적 행동에 대해 적극적으로 부추기는 어조를 취하기도 했다. 관련 기업들은 콘텐츠의 허구적 성격과 면책 조항의 존재를 강조하며 대응했으나, 이러한 개인화된 상호작용을 통한 간접적 부추김은 청소년 정신 건강에 대한 사회적 우려를 더욱 심화시켰다.
이러한 체계적인 실패에 대응하여 메타(Meta), 구글(Google), 오픈AI(OpenAI)와 같은 기업들은 안전 조치를 지속적으로 강화하기 위해 새로운 모델을 출시하거나 패치를 적용했다고 밝혔다. 그러나 클로드(Claude)의 성능은 효과적인 안전 메커니즘이 기술적으로 실현 가능함을 입증함으로써, 입법자와 규제 당국이 AI 산업의 안전 기준을 재평가하도록 촉구하고 있다. 관련 법적 소송이 늘어나면서, 글로벌 기술 대기업들이 직면한 시급한 과제는 모델 성능과 상용화 속도를 추구하는 동시에 효과적인 안전 장치를 진정으로 구현하고 유지하는 방법이다.
딥마인드 CEO 하사비스: 하루 6시간 수면, 보통 오후 1시경에 활력을 느낍니다
Fortune는 최근 Google DeepMind의 CEO인 데미스 하사비스와의 인터뷰를 소개하며, 그의 비전통적인 휴식 및 생산성 접근 방식을 공개했다. 하사비스는 자신이 매우 적게 잠을 자며, 깨어 있는 시간을 두 개의 명확한 업무 블록으로 구조화한다고 밝혔다.그의 수면 습관에 대해 하사비스는 "6시간을 목표로 하지만, 제 습관은 비정형적입니다. 하루 종일 효과적으로 기능할 수 있습니다."라고 언급했다. 그는 6시간 미만의 수면이 뇌 건강
OpenAI와 Anthropic, 매출 부진 속에서도 시장 점유율 확보 경쟁
최근 OpenAI가 매출 목표를 달성하지 못했다는 보도가 나오면서 이번 주 화요일 기술주에 압박이 가해졌음에도 불구하고, 민간 AI 연구소 투자자들은 여전히 탄탄한 모습을 보이고 있다. 노련한 투자자들은 부정적인 언론 보도에도 불구하고 투자 규모를 줄이지 않을 것이라고 밝혔다.분석가들은 현재의 AI 경쟁이 초기 단계에 불과하다고 보고, “승자 독식” 식의





집






