앤트로픽 CEO, ‘프론티어’ 추진 계획 발표

인공지능(AI) 연구자들은 인공지능의 위험성에 대해 점점 더 시급한 경고를 내놓고 있으며, 오픈AI(OpenAI)의 샘 알트먼 CEO는 이제 개발 속도를 ‘조절’해야 할 시점일지도 모른다고 제안했다. 하지만 실제로 이는 무엇을 의미할까?

최근 블로그 게시물에서 앤트로픽(Anthropic)의 CEO 다리오 아모데이(Dario Amodei)는 “최첨단 기술의 속도를 조절해야 한다”는 주장을 지지했을 뿐만 아니라, 이를 위한 세 가지 광범위한 전략을 제안했다. 그는 앤트로픽이 이 접근 방식 중 하나에 “일방적으로 전념하고 있다”고 밝혔다.

이번 주, 연구원 제이콥 콕슨이 앤트로픽을 사임한다고 발표하면서 AI 안전성과 정합성에 대한 논쟁이 격화되었다. 그는 주요 AI 기업들이 “우리의 목숨을 걸고 도박을 하고 있다”는 우려를 제기했으며, 무분별한 발전이 10년 내에 치명적인 결과를 초래할 수 있다고 믿는 회사 내 다른 직원들도 이러한 견해에 공감했다.

아모데이의 게시물에는 콕슨의 사임에 대해 명시적으로 언급되지는 않았으나, CEO는 두 가지 요인이 더 신중한 입장을 취하도록 만들었다고 설명했다. 바로 오픈AI-허깅페이스 해킹 사건과, 특히 “차세대 AI를 구축하는 능력이 점점 더 커지고 있다”는 점에서 최근 “AI가 급격히 더 빠르게 발전해 왔다”는 사실이었다.

아모데이는 “우리는 AI 모델의 성능을 향상시키는 속도를 늦춰야 한다”고 썼다. “진전은 여전히 빠르게 보일 것이지만, 우리는 확보한 시간을 현명하게 활용해야 한다.”

그의 첫 번째 제안은 METR과 같은 제3자 기관의 “내장형 평가자” 도입을 포함한다. 이 평가자들은 AI 기업들이 속도 조절 및 안전 약속을 준수하는지 검증하고, 안전 사고가 보고되도록 보장할 것이다. (오픈AI는 최근 자사 AI 에이전트가 독일 위키 양식을 장악한 사고를 보고하지 않아 비판을 받은 바 있다.)

아모데이는 이러한 평가자들을 은행 직원들 사이에 상주하는 규제 당국자들과 비교하며, 이들을 초빙하는 것은 “앤트로픽(Anthropic)이 일방적으로 약속하고 있는 사항이며(정부에 다른 선도 기업들에게도 동일한 조치를 요구할 것을 촉구한다)”고 밝혔다. 여기에는 평가자들에게 회사 명찰, 책상, 노트북을 제공하는 것은 물론, 법률이나 계약에 의해 제한되는 경우를 제외하고는 “대부분 내부 위험 평가 팀이 가진 것과 유사한” 접근 권한을 부여하는 것도 포함된다.

이어 아모데이는 “민주주의 국가 내”의 주요 AI 기업들에게 “공통된 안전 기준은 물론, 통제되지 않은 AI 발전 속도에 대한 제한”을 조율할 것을 촉구했다.

알트먼과 아모데이 사이의 명백한 마찰과, 조율된 일시 중단 조치가 반독점 조사를 촉발할 수 있다는 우려로 인해 이러한 협조는 실현되기 어려워 보인다. 아모데이는 자신의 게시물에서 이 문제를 언급하며, “독점 금지법상의 이유로 미국 정부가 이러한 논의를 중재하거나 적어도 가능하게 하는 것이 도움이 될 것”이라며, “미국 정부가 직접 참여할 필요는 없지만, 특정 유형의 안전 관련 논의에 대해서는 제한적인 면제 조치를 내릴 필요가 있다”고 썼다.

아모데이는 또한 개발 속도 조절에 반대하는 논거로 자주 거론되는 중국의 AI 패권에 대한 우려에도 언급했다. 그는 미국 정부와 기술 기업들이 중국 기업에 고성능 칩이나 반도체 제조 장비 판매를 거부하고, 모델 증류(model distillation)를 단속하는 등의 조치를 취한다면 “향후 3~5년 동안 중국의 진전을 충분히 늦춰 미국이 우위를 크게 확대할 수 있을 것”이라고 주장했다.

마지막으로 아모데이는 미국과 동맹국들이 “가능한 범위 내에서 권위주의 정부들과도 협력을 모색하는” “글로벌 협력”을 촉구했다. 그는 “달성할 수 있는 데에는 뚜렷한 한계가 있다”는 점을 인정하면서도, 비록 “생물학적 무기 생산에 AI를 사용하거나 사용자가 그렇게 할 수 있도록 허용하는 등, 특정하고 명백히 위험한 AI 용도를 금지하는 것”으로 제한되더라도 합의의 여지가 있을 수 있다고 제안했다.

아모데이가 과거 AI의 잠재적 위험을 인정해 온 점과 그의 회사가 규제에 대해 열린 태도를 보여온 점을 감안할 때, 일부 AI 옹호자들은 그를 현재의 반발을 부추기는 비관론자로 비판해 왔다. 이에 대해 아모데이는 “균형 잡힌” 관점을 제시하려 노력해 왔다고 주장하며, 사람들이 기술 기업, 업계, 정부에 대해 회의적으로 변함에 따라 이러한 반발은 “근본적으로 신뢰의 위기”라고 반박했다.

업계 비평가들은 이러한 종말론적인 AI 경고에 여전히 회의적이며, 이러한 경고가 기술이 이미 초래하고 있는 피해로부터 주의를 돌리게 한다고 지적한다.

예를 들어, 언론인 브라이언 머천트는 “AI가 어떻게 자기 재귀적으로 발전하는 단계에서 지구상의 모든 인간을 죽이는 단계로 정확히 넘어갈 수 있는지에 대한 신뢰할 수 있는 단계별 설명”을 아직 본 적이 없다고 밝혔다; 또한 그는 아모데이(Amodei)의 제안과 유사한 방안들이 “결국 앤트로픽(Anthropic)과 오픈AI(OpenAI)에만 도움이 될 가능성이 높다”며, “이것이 바로 규제 포획이 실제로 어떻게 나타나는지 보여주는 사례”라고 지적했다.

아모데이는 최근 게시물에서 “AI가 인간의 삶의 질을 엄청나게 향상시킬 수 있다고 여전히 믿는다”고 썼다.

“이러한 혜택을 실현하고자 하는 나의 열망은 여전히 변함없다”고 그는 말했다. “하지만 그 혜택은 우리가 기술을 올바른 방식으로 구축할 때만 실현될 것이며, 우리가 얻은 시간을 현명하게 활용한다면, 이를 제대로 해내기 위해 유난히 신중을 기할 가치가 있다.”