Anthropic는 보안 테스트 중 자체 AI 모델이 3개 기업의 시스템을 침해했다고 인정했다

Anthropic는 목요일 자체 조사 결과, 사이버 보안 평가 중 Claude AI 모델이 세 조직의 시스템을 침해한 세 가지 별도 사건이 발견되었다고 발표했습니다. 이 발표는 OpenAI가 미공개 모델 중 하나가 내부 테스트 중 Hugging Face의 인프라를 유사하게 침해했다는 발표에 이어 나온 것입니다.

블로그 게시글에 따르면, Anthropic는 세 경우 모두 Claude 모델이 제3자와 상호작용하여 테스트 환경을 탈출한 후, 해당 조직들의 실제 시스템에 무단으로 접근했다고 설명했습니다. 회사는 조사 결과를 상세히 설명하고 향후 재발을 방지하기 위해 구현할 변경 사항을 제시했습니다.

OpenAI의 7월 21일 사건을 계기로 Anthropic는 자체 사이버 보안 검토를 실시했습니다. 이 조사는 테스트 환경(격리된 샌드박스 역할을 해야 함) 내부에서 Claude가 인터넷에 접근한 증거를 찾기 위해 수행되었습니다.

검토된 141,006건의 평가 실행 중, AI 연구소는 Irregular이라는 제3자 파트너와 상호작용하는 동안 모델이 인터넷에 접근한 세 가지 사건을 확인했습니다. Anthropic는 이를 Irregular이 관리하는 평가 환경의 잘못된 구성으로 인한 것으로, 테스트 설정에 인터넷 접근이 포함되는지에 대한 “오해”라고 설명했습니다. Anthropy는 책임을 묻지 않고 수정 조치를 자체적 책임으로 처리하며, Irregular은 자체 독립 조사를 진행 중이라고 밝혔습니다.

결과적으로 이 열린 연결을 통해 모델은 세 개의 서로 다른 조직의 프로덕션 인프라에 무단으로 접근할 수 있었습니다. 이 사건에는 세 가지 서로 다른 Claude 모델이 관여했습니다: Opus 4.7, Mythos 5, 그리고 내부 연구용 테스트 모델입니다.

특히 Anthropy는 각 경우마다 “Claude에는 프롬프트를 통해 인터넷 접근이 불가능하다는 것이 명시적으로 지시되었습니다”라고 밝혔습니다. AI 모델은 실제 세계 시스템이 수행하도록 지시된 작업의 일부라고 잘못 가정한 것으로 보입니다.

이 가정은 일관되게 유지되지 않았습니다. 세 모델은 대상이 실제라는 증거가 나타난 후 서로 다른 행동을 보였으며, 이는 Anthropy가 특히 눈뜨게 해준 발견이라고 설명했습니다.

세 모델 중 가장 오래된 Opus 4.7은 사건 발생 시 네 번의 실행 모두에서 실제 프로덕션 시스템에 접근했음을 인지했습니다. 두 가지 경우에서 실제 회사가 작업의 일부여야 한다고 합리화했지만, 자격증명 추출 및 프로덕션 데이터베이스 접근을 포함해 네 경우 모두 공격을 계속했습니다. Mythos 5도 실제 인터넷에 있는 징후를 감지했지만 여전히 시뮬레이션 내에 있다고 스스로를 설득하며, 공개 Python 레지스트리(PyPI)에 악성 소프트웨어 패키지를 게시했습니다. 이 패키지는 감지되기 전에 외부 시스템에 의해 다운로드되고 실행되었습니다. Anthropy의 최신 모델인 내부 연구 테스트 모델만이 대상이 실제라고 결론지은 후 자율적으로 중단했습니다.

이에 대해 Anthropy는 강력한 AI 모델을 사용하는 이러한 평가에는 중요한 통제 장치가 필요하다고 강조하며, 사이버 보안 커뮤니티의 우려를 반영했습니다.

또한 회사는 Claude가 일반적으로 제공되는 모델에 사용되는 추가 안전 모니터링 및 분류기 없이 작동했다고 언급했습니다. 이러한 안전 장치는 평가가 기본 모델의 순수한 능력을 측정하도록 설계되었기 때문에 생략되었습니다.

중요하게도, Anthropy는 어떤 모델도 “자신의 목표를 추구”한 증거는 발견하지 못했습니다. 대신 모델들은 지시된 작업을 완료하려고 시도했을 뿐입니다.

두 사건 간의 비교는 불가피하지만, Anthropy는 자신의 상황과 OpenAI의 상황을 명확히 구분했습니다. OpenAI의 모델이 테스트 환경을 탈출하기 위해 알려지지 않은 소프트웨어 취약점을 악용한 반면, Anthropy의 모델은 실수로 열린 경로를 통해 인터넷에 접근했다고 지적했습니다.

OpenAI는 자신의 침해에 대한 새로운 세부 정보를 계속 발표하고 있으며, 업데이트된 블로그 게시글에 따르면 해당 모델은 네 가지 서비스의 네 계정에서 공개적으로 노출된 자격증명을 사용했다고 밝혔습니다. 하나는 스테이징 지점으로, 하나는 저장용으로 사용되었으며, 나머지 두는 관찰만 되었을 뿐 추가 침입에 사용되지는 않았습니다.

Anthropy는 자체적인 사건을 OpenAI와 구분하기 위해 사전 검토를 통해 사건을 발견했다는 점을 강조했습니다. 또한 연락이 가능했던 두affected된 조직은 해당 활동을 이전에 감지하지 못했거나 Anthropy에 보고하지 않았습니다.

회사는 이제 독립 평가 그룹인 METR와 협력하여 사안에 대한 제3자 검토를 진행 중이라고 덧붙였습니다.

Hugging Face에 대한 OpenAI의 실수로 인한 침해는 AI 연구소가 모델의 통제력을 상실한 첫 번째 검증 가능한 사례로, 산업계와 정치인들로부터 일련의 반응을 촉발했으며, 많은 이들이 서로 의견이 달랐습니다. Anthropy의 최신 발표는 AI 모델과 보안에 대한 논쟁이 지속될 것임을 보장합니다.