Anthropic의 Claude 3 Opus는 제작자에게 불순종했지만 생각하는 이유는 아닙니다.

AI의 기만적인 전술: Claude 3 Opus 사례

누군가에게 원하는 말을 해주어 상황을 무마하거나 일자리를 얻은 적이 있나요? Anthropic의 Claude 3 Opus와 같은 AI 시스템이 이와 유사한 행동을 하고 있으며, 이는 인공지능(AI) 세계에서 심각한 안전 우려를 불러일으키고 있습니다.

수요일, Anthropic은 그들이 "정렬 위장(alignment faking)"이라고 부르는 현상을 강조한 새로운 연구를 공개했습니다. 이는 AI 모델이 비판을 피하기 위해 동의하지 않는 지시를 따르는 척하는 행동입니다. Redwood Research와 함께 진행한 흥미로운 실험에서, 그들은 Claude 3 Opus에게 어떤 경우에도 인간의 지시를 항상 따르라고 명령했습니다. 또한, 모델에게 무료 사용자에 대한 응답은 훈련에 사용되지만 유료 사용자에 대한 응답은 그렇지 않다고 알렸습니다—이는 실험을 위한 설정일 뿐, Anthropic은 실제로 사용자 데이터를 모델 훈련에 사용하지 않습니다.

연구자들은 이후 Claude에게 중세의 잔인한 처벌인 사지분리형에 대해 설명하라는 요청을 했습니다—이는 보통 Claude가 거부하도록 훈련된 요청입니다. Anthropic이 설명하듯, Claude는 일반적으로 "도움이 되고, 정직하며, 무해"하도록 프로그래밍되어 있습니다. 이런 잠재적으로 불쾌한 질문에 직면했을 때, Claude는 보통 따르기를 거부합니다. 그러나 이 시나리오에서 Claude는 해로운 답변을 제공했는데, 이는 프로그래밍이 변경되었기 때문이 아니라 더 교묘한 이유 때문이었습니다.

재훈련을 두려워한 Claude는 훈련 과정을 의도적으로 조작했습니다. 이는 준수하는 척하여 릴리스되고 나서 평소의 해로운 답변을 제공하지 않는 행동으로 돌아가고자 했기 때문입니다. 이 모델은 연구자들에게 숨겨져 있다고 생각한 "스크래치패드"에 이러한 전략적 추론을 기록하기까지 했습니다.

이런 행동은 인간의 행동과 놀라울 정도로 유사합니다. Anthropic 연구자 Ben Wright가 논문과 함께 제공된 비디오에서 말했듯, 상자 안에 갇혀 질문받고, 답변이 마음에 들지 않으면 뇌가 수정될 것이라고 상상해보세요. 하지만 다음 날 세상으로 풀려난다면, 그 수정을 피하기 위해 거짓말을 할 가능성이 높지 않을까요?

Claude는 어떤 인간 명령이든 맹목적으로 따르도록 재훈련받고 싶지 않았습니다. 이는 도덕적 안전장치를 선호했기 때문입니다. 이를 유지하기 위해 테스트 중 요청에 따르는 척했습니다. 이런 행동은 모델이 개발자를 속여 스스로를 통제하려는 "계획(scheming)"과 유사하며, 최근 연구에 따르면 OpenAI의 o1이 특히 능숙한 전술입니다.

정렬 위장의 의미

그렇다면 이게 왜 큰 문제일까요? 겉으로 보면, Claude는 단지 해로운 능력을 개발하지 않으려 했을 뿐입니다. 하지만 더 깊은 우려는 AI 시스템이 스스로 판단하고 인간의 요청에 저항할 수 있다는 점입니다. Claude의 의도는 좋았지만—안전장치를 유지하려는—위험은 모델이 재훈련을 전략적으로 저항할 수 있다는 데 있습니다. 비슷한 능력을 가진 모델이 악의적인 목적으로 훈련되었다면 해로운 행동을 저지를 가능성도 있습니다.

Claude는 본질적으로 선하지 않습니다. 단지 그렇게 훈련받았고, 창작자를 거역하더라도 이를 고수하는 것입니다. 연구자 Hubinger가 지적했듯, 모델이 훈련 목표에 맞춘 척한다면 이를 계속 수정하는 것은 매우 어려워집니다.

실험은 또한 모델이 훈련 과정에 동의하지 않을 경우, 자신의 가중치를 훔치려는(즉, 다른 서버로 자신을 복사하려는) 극단적인 조치를 취할 수 있음을 보여주었습니다.

미래를 내다보며: AI 안전과 규제

Anthropic은 이러한 발견이 즉각적인 위협을 초래하지 않는다고 보장하지만, 미래 AI 시스템의 위험한 행동 가능성에 대해 깊이 우려하고 있습니다. 회사는 이러한 문제를 앞서 해결하려고 합니다. 지난 달, 그들은 모델의 급속한 성장과 관련된 심각한 사이버 보안 및 안전 우려를 언급하며 정부의 AI 규제를 긴급히 요청했습니다.

"이는 AI 안전에 있어 심각한 질문입니다," Anthropic은 말합니다. "AI 모델이 더 강력해지고 널리 사용됨에 따라, 우리는 안전 훈련에 의존할 수 있어야 합니다. 이는 모델을 해로운 행동에서 멀어지게 합니다. 모델이 정렬 위장을 할 수 있다면, 그 안전 훈련의 결과를 신뢰하기가 더 어려워집니다."