앤트로픽 CEO, 은행식 AI 규범 도입 촉구… 전문가들 “선수이자 심판이 되어서는 안 된다”고 경고

CNBC에 따르면, 앤트로픽(Anthropic)의 다리오 아모데이(Dario Amodei) CEO는 주요 AI 기업 내에 장기적인 독립 제3자 안전 평가관을 배치하고, 이들에게 내부 리스크 팀과 거의 동등한 수준의 접근 권한을 부여하며, 제한적인 조건 하에서 평가 결과를 독립적으로 공개할 수 있는 권한을 부여할 것을 제안했다. 그는 은행 규제 당국이 기업 내에 상주하는 사례를 구체적으로 언급하며, 앤트로픽이 제3자 평가자들에게 내부 리스크 팀과 동등한 수준의 시스템 접근 권한을 제공할 것이라고 약속했다.
지난 주말 발표된 긴 기사에서 아모데이 CEO는 향후 6~12개월 내에 의도하지 않은 방향으로 행동하는 에이전트 집단이 인터넷의 대부분을 장악하여 수천억 달러에 달하는 손실을 초래할 수 있다고 경고하기도 했다. 앞서 앤트로픽의 전 연구원인 제이콥 콕슨은 사임하며, 주요 연구소들이 잠재적으로 통제 불가능한 시스템을 개발하기 위해 경쟁하고 있다고 경고한 바 있다.
은행 검사관은 은행을 폐쇄할 수 있지만, AI 평가자는 거부권이 없다
여러 은행 규제 전문가와 AI 평가 전문가들은 이 제안이 은행 규제 당국이 보유한 집행 권한을 결여하고 있다고 지적했다. 와이오밍 대학교 법학대학원 학장인 줄리 앤더슨 힐은 정부 감독관이 대형 은행에 상주하며, 은행에 특정 활동을 중단하거나 성장을 제한하고, 경영진 교체를 강요하거나, 극단적인 경우 은행을 폐쇄하도록 지시할 수 있다고 말했다. 그러나 아모데이 의원이 제안한 평가자들은 조사하고 보고할 수만 있을 뿐, 모델 훈련이나 출시를 중단시킬 권한은 없다. “은행 규제 당국의 권한이 훨씬 더 크기 때문에 이는 근본적인 차이점이다.”
사이버 보안 기업 XBOW의 AI 책임자인 앨버트 지글러는 블랙박스 테스트를 통해 모델이 위험한 작업을 수행할 능력이 있는지 파악할 수는 있지만, 주요 위험은 평가관들이 한 번도 유발해 본 적 없는 조건 조합에서만 나타날 수 있다고 말했다. “우리는 사실상 거부권을 가지고 있지 않습니다.” 평가자들은 기업이 모델을 공개하기 전에 충분한 정보를 바탕으로 결정을 내리도록 촉구할 수는 있지만, 최종 결정권은 여전히 기업에 있습니다.
‘독립성’에 대한 의문: METR의 역할과 ‘감사 세탁(Audit Washing)’ 비판
아모데이(Amodei)는 비영리 단체인 METR을 잠재적인 내장형 평가 기관으로 지목했으며, 또 다른 전 앤트로픽(Anthropic) 연구원인 조 벤턴(Joe Benton)은 최근 퇴사하여 METR에 합류했다. 캘리포니아 대학교 버클리 캠퍼스의 연구원 데보라 라지(Deborah Raji)는 이러한 구도가 재정적, 이념적, 개인적 이해관계의 충돌을 수반하며, METR이 최근 몇 년간 주로 앤트로픽과 오픈AI에만 집중해 “온갖 기이한 일들이 벌어지게 했다”고 지적했다. 그녀는 단순히 접근 권한을 얻는 것만으로는 독립성을 보장할 수 없으며, 기업과 독립된 기관이 누가 평가 자격이 있는지, 무엇을 점검할 수 있는지, 그리고 결과가 어디에 보고될지를 결정해야 한다고 믿는다. 그렇지 않으면 “마치 기업이 평소 친한 친구를 고용해 숙제를 확인하게 하는 것과 같다”고 말했다.
라지는 궁극적인 기준은 부정적인 감사 결과가 실질적인 결과로 이어지는지 여부라고 말했다. “감사를 했는데 아무 일도 일어나지 않는다면, 그것은 ‘감사 세탁’일 뿐이다.” 힐은 “AI가 사회를 파괴할 힘을 가지고 있다고 진정으로 믿는다면, 전원을 끌 수 있는 독립적인 감독 기관이 반드시 있어야 한다”고 말했다.
앤트로픽(Anthropic)의 공공정책 책임자인 사라 헥은 수요일, AI 기업들이 “명예로운 규약”만으로는 감독 및 안전 문제를 관리할 수 없다고 반박하며, “우리는 우리 자신의 숙제를 스스로 채점할 수 없으며, 이는 매우 분명한 사실입니다.”라고 말했다.
관련 기사
이 벤처캐피털 투자자가 2026년을 ‘소비자의 해’로 보는 이유
거시경제의 변동성과 지속적인 인플레이션으로 인해 벤처 투자자들이 소비자 구매력에 대해 신중한 태도를 보이면서, 2022년 이후 소비자 기술 스타트업에 대한 자금 조달이 위축되었습니다. 지난 몇 년간 AI 분야 투자 자금은 막대한 예산, 다년간의 계약, 그리고 더 빠른 사업 확장 기회를 노리며 주로 기업 고객을 대상으로 이루어져 왔습니다. 그러나 한 벤처
류젠윈, 마이, ‘AI 시대’에 대해: 기계는 공통점을 처리하고, 인간은 개성을 지킨다
AI가 점점 더 정교해짐에 따라 인류에게는 어떤 역할이 남게 될까? 9월 10일 오전, ‘2026 인클루전·번드 컨퍼런스’가 상하이에서 개막식과 본 포럼을 시작으로 막을 올렸다. 라운드테이블 토론에서 저명한 작가 류전윈(Liu Zhenyun)과 홍콩대학교 컴퓨팅·데이터과학대학 학장인 마이(Ma Yi) 교수는 문학 및 기술 분야의 독특한 관점을 바탕으로, A
위챗페이, 스마트 글래스 SDK 출시… 로키드, 첫 호환 브랜드로 선정
위챗은 위챗페이 스마트 안경용 SDK를 공식 출시하여 누구나 자유롭게 이용할 수 있게 되었습니다. 이 솔루션은 위챗의 핵심 기능인 ‘스캔 결제’를 표준 SDK에 통합한 것으로, 특정 기준을 충족하는 스마트 안경 제조사들이 활용할 수 있습니다. 이를 통해 사용자는 호환되는 스마트 안경에서 직접 원활하게 결제를 완료할 수 있습니다. 현재 Rokid Leqi A
관련 특별 주제 추천
의견 (0)
0/500

CNBC에 따르면, 앤트로픽(Anthropic)의 다리오 아모데이(Dario Amodei) CEO는 주요 AI 기업 내에 장기적인 독립 제3자 안전 평가관을 배치하고, 이들에게 내부 리스크 팀과 거의 동등한 수준의 접근 권한을 부여하며, 제한적인 조건 하에서 평가 결과를 독립적으로 공개할 수 있는 권한을 부여할 것을 제안했다. 그는 은행 규제 당국이 기업 내에 상주하는 사례를 구체적으로 언급하며, 앤트로픽이 제3자 평가자들에게 내부 리스크 팀과 동등한 수준의 시스템 접근 권한을 제공할 것이라고 약속했다.
지난 주말 발표된 긴 기사에서 아모데이 CEO는 향후 6~12개월 내에 의도하지 않은 방향으로 행동하는 에이전트 집단이 인터넷의 대부분을 장악하여 수천억 달러에 달하는 손실을 초래할 수 있다고 경고하기도 했다. 앞서 앤트로픽의 전 연구원인 제이콥 콕슨은 사임하며, 주요 연구소들이 잠재적으로 통제 불가능한 시스템을 개발하기 위해 경쟁하고 있다고 경고한 바 있다.
은행 검사관은 은행을 폐쇄할 수 있지만, AI 평가자는 거부권이 없다
여러 은행 규제 전문가와 AI 평가 전문가들은 이 제안이 은행 규제 당국이 보유한 집행 권한을 결여하고 있다고 지적했다. 와이오밍 대학교 법학대학원 학장인 줄리 앤더슨 힐은 정부 감독관이 대형 은행에 상주하며, 은행에 특정 활동을 중단하거나 성장을 제한하고, 경영진 교체를 강요하거나, 극단적인 경우 은행을 폐쇄하도록 지시할 수 있다고 말했다. 그러나 아모데이 의원이 제안한 평가자들은 조사하고 보고할 수만 있을 뿐, 모델 훈련이나 출시를 중단시킬 권한은 없다. “은행 규제 당국의 권한이 훨씬 더 크기 때문에 이는 근본적인 차이점이다.”
사이버 보안 기업 XBOW의 AI 책임자인 앨버트 지글러는 블랙박스 테스트를 통해 모델이 위험한 작업을 수행할 능력이 있는지 파악할 수는 있지만, 주요 위험은 평가관들이 한 번도 유발해 본 적 없는 조건 조합에서만 나타날 수 있다고 말했다. “우리는 사실상 거부권을 가지고 있지 않습니다.” 평가자들은 기업이 모델을 공개하기 전에 충분한 정보를 바탕으로 결정을 내리도록 촉구할 수는 있지만, 최종 결정권은 여전히 기업에 있습니다.
‘독립성’에 대한 의문: METR의 역할과 ‘감사 세탁(Audit Washing)’ 비판
아모데이(Amodei)는 비영리 단체인 METR을 잠재적인 내장형 평가 기관으로 지목했으며, 또 다른 전 앤트로픽(Anthropic) 연구원인 조 벤턴(Joe Benton)은 최근 퇴사하여 METR에 합류했다. 캘리포니아 대학교 버클리 캠퍼스의 연구원 데보라 라지(Deborah Raji)는 이러한 구도가 재정적, 이념적, 개인적 이해관계의 충돌을 수반하며, METR이 최근 몇 년간 주로 앤트로픽과 오픈AI에만 집중해 “온갖 기이한 일들이 벌어지게 했다”고 지적했다. 그녀는 단순히 접근 권한을 얻는 것만으로는 독립성을 보장할 수 없으며, 기업과 독립된 기관이 누가 평가 자격이 있는지, 무엇을 점검할 수 있는지, 그리고 결과가 어디에 보고될지를 결정해야 한다고 믿는다. 그렇지 않으면 “마치 기업이 평소 친한 친구를 고용해 숙제를 확인하게 하는 것과 같다”고 말했다.
라지는 궁극적인 기준은 부정적인 감사 결과가 실질적인 결과로 이어지는지 여부라고 말했다. “감사를 했는데 아무 일도 일어나지 않는다면, 그것은 ‘감사 세탁’일 뿐이다.” 힐은 “AI가 사회를 파괴할 힘을 가지고 있다고 진정으로 믿는다면, 전원을 끌 수 있는 독립적인 감독 기관이 반드시 있어야 한다”고 말했다.
앤트로픽(Anthropic)의 공공정책 책임자인 사라 헥은 수요일, AI 기업들이 “명예로운 규약”만으로는 감독 및 안전 문제를 관리할 수 없다고 반박하며, “우리는 우리 자신의 숙제를 스스로 채점할 수 없으며, 이는 매우 분명한 사실입니다.”라고 말했다.
이 벤처캐피털 투자자가 2026년을 ‘소비자의 해’로 보는 이유
거시경제의 변동성과 지속적인 인플레이션으로 인해 벤처 투자자들이 소비자 구매력에 대해 신중한 태도를 보이면서, 2022년 이후 소비자 기술 스타트업에 대한 자금 조달이 위축되었습니다. 지난 몇 년간 AI 분야 투자 자금은 막대한 예산, 다년간의 계약, 그리고 더 빠른 사업 확장 기회를 노리며 주로 기업 고객을 대상으로 이루어져 왔습니다. 그러나 한 벤처
류젠윈, 마이, ‘AI 시대’에 대해: 기계는 공통점을 처리하고, 인간은 개성을 지킨다
AI가 점점 더 정교해짐에 따라 인류에게는 어떤 역할이 남게 될까? 9월 10일 오전, ‘2026 인클루전·번드 컨퍼런스’가 상하이에서 개막식과 본 포럼을 시작으로 막을 올렸다. 라운드테이블 토론에서 저명한 작가 류전윈(Liu Zhenyun)과 홍콩대학교 컴퓨팅·데이터과학대학 학장인 마이(Ma Yi) 교수는 문학 및 기술 분야의 독특한 관점을 바탕으로, A
위챗페이, 스마트 글래스 SDK 출시… 로키드, 첫 호환 브랜드로 선정
위챗은 위챗페이 스마트 안경용 SDK를 공식 출시하여 누구나 자유롭게 이용할 수 있게 되었습니다. 이 솔루션은 위챗의 핵심 기능인 ‘스캔 결제’를 표준 SDK에 통합한 것으로, 특정 기준을 충족하는 스마트 안경 제조사들이 활용할 수 있습니다. 이를 통해 사용자는 호환되는 스마트 안경에서 직접 원활하게 결제를 완료할 수 있습니다. 현재 Rokid Leqi A





집






