오픈AI, 100개 기관이 참여한 사이버 방어 추진을 주도

오픈AI의 서한은 “사이버 방어 체계를 강화할 수 있는 기회는 제한적”이라는 말로 시작된다. 출처: 게티 이미지

AWS, 구글, 마이크로소프트 등 주요 기술 기업들은 정부에 방어 도구 지원에 나설 것을 촉구하는 반면, 비판론자들은 이 선언문을 이기적인 행보라고 지적하고 있다

100개가 넘는 기술, 사이버 보안, 금융 서비스 기관들이 OpenAI와 함께 공개 서한에 동참해, AI 모델이 디지털 시스템을 공격하고 보호하는 능력이 점점 더 강화됨에 따라 전 세계적으로 사이버 방어 역량을 즉각적으로 강화할 것을 촉구했다.

이 서한의 핵심 메시지는 분명합니다. AI 기반 사이버 위협이 훨씬 더 광범위하고 정교해지기 전에, 업계 및 정부 지도자들이 행동에 나설 수 있는 기회는 제한적이라는 것입니다. 서한에는 “사이버 방어 체계를 강화할 수 있는 기회는 제한적입니다”라고 적혀 있습니다.

이 공개 서한은 전례 없는 산업 간 연합을 결성했다. 서명 기관에는 하이퍼스케일러인 AWS, 구글, 마이크로소프트, 주요 기술 기업인 어도비, IBM, 오라클, OpenAI의 경쟁사인 앤트로픽(Anthropic)을 포함한 AI 개발사, 크라우드스트라이크(CrowdStrike), 팔로알토 네트웍스(Palo Alto Networks), 레드햇(Red Hat)과 같은 보안 선도 기업, 하드웨어 및 통신 제공업체, 주요 컨설팅 회사, 마스터카드(Mastercard), US 뱅크(US Bank), 비자(Visa)와 같은 금융 대기업들이 포함된다.

서명 기업 중 하나인 어브노멀 AI(Abnormal AI)의 창립자 겸 CEO인 에반 라이저(Evan Reiser)는 “어떤 기업도 이 문제를 단독으로 해결할 수 없기 때문에, 사이버 방어에 대한 공동 행동을 촉구하는 오픈AI 서한에 서명했다”고 말했다.

에반 라이저, Abnormal Security CEO | 출처: Abnormal Security

"소프트웨어 취약점과 악성코드는 여전히 실질적인 위협이지만, 현재 가장 큰 피해를 입히는 공격은 신원 도용, 계정 탈취, 사회공학을 통해 사람을 표적으로 삼는 것입니다. 내부자 위협과 국가 차원의 침투는 이제 텍스트, 음성, 영상 딥페이크를 통해 이루어집니다.

"이들은 합법적인 신분을 가장하고 미묘하게 비정상적인 행동을 하기 때문에, 알려진 악성 소프트웨어를 탐지하기 위해 구축된 도구들을 손쉽게 우회합니다. 이러한 공격은 헤드라인을 장식하는 취약점들과 마찬가지로 시급한 대응이 필요합니다.

"AI는 공격자들의 진입 장벽을 낮추고, 공격 속도를 높이며, 대규모로 기만을 쉽게 만들어내고 있습니다. 우리는 어제의 가정으로 내일의 공격을 방어할 수 없습니다.

"바로 그 때문에 OpenAI의 공동 대응 촉구가 그토록 중요하며, 우리 Abnormal AI는 이를 전폭적으로 지지합니다. 보안 커뮤니티는 공격형 AI만큼이나 방어형 AI를 발전시켜야 할 기회와 의무를 모두 가지고 있습니다. 이는 지속적으로 학습하는 시스템을 구축하고, 새로운 위협 정보를 더 강력한 실제 방어 체계로 전환하며, 방어를 공동의 노력으로 여기는 것을 의미합니다.”

AI 기반 사이버 공격에 맞서 공동 행동을 촉구하는 100여 개 기술 기업의 공개 서한은 업계가 수년 동안 나아가고 있는 길의 또 다른 이정표입니다

. — 마이클 발라스(Michael Vallas), 골디락 시큐어(Goldilock Secure) 글로벌 기술 책임자

그러나 서명자 명단에서 눈에 띄게 빠진 기업은 NVIDIA와 스페이스X다.

서명한 경쟁사들—특히 앤트로픽(Anthropic)과 같은 최첨단 모델 경쟁사들과 AWS, 마이크로소프트와 같은 클라우드 인프라 거대 기업들—에게 있어 이들의 불참은 기술 업계 전반에 걸쳐 커지고 있는 전략적 분열을 부각시킬 수 있다.

스페이스X의 일론 머스크와 엔비디아의 젠슨 황은 이 공개 서한에 참여하지 않았다. 출처: 윈 맥네미/게티

엔비디아는 오픈소스 및 오픈웨이트 모델 표준을 점점 더 적극적으로 지지해 왔으며, 심지어 스페이스X와 함께 자체 경쟁 단체인 ‘오픈 시큐어 AI 얼라이언스(Open Secure AI Alliance)’를 출범시키기도 했다. 반면, 오픈AI와 앤트로픽 같은 독점적 최첨단 모델 제공업체들은 더 엄격하게 통제되는 생태계와 중앙 집중식 신뢰 기반 접근 프레임워크를 옹호하고 있다.

로이터가 지난 6월 지적했듯이, 오픈AI와 앤트로픽은 시장 선점을 위해 치열한 경쟁을 벌이고 있으며, 첫 상장을 통해 투자자들이 두 기업을 어떻게 평가할지 방향을 제시하고, 자사 CEO를 AI 분야의 선도적인 목소리로 자리매김하려는 전략을 펼치고 있다.

이 두 선도적인 연구소 간의 치열한 상업적 경쟁과 지속적인 기업공개(IPO) 경쟁에도 불구하고, 이번 공동 성명은 드물게 공개적으로 입장을 같이한 순간을 보여준다.

안트로픽(Anthropic)의 CEO 다리오 아모데이(사진 제공: 게티 이미지)

제안된 프레임워크 이해하기

서명 기관들은 종합적으로 세 가지 단계로 구성된 실행 방안을 제안한다. 첫째, 현 상태의 보안만으로는 충분하지 않다는 점을 인식하는 것이 핵심이라고 주장한다. 시스템은 여전히 레거시 기술 부채, 오랫동안 방치된 버그, 잘못된 구성, 과도한 권한, 취약한 인증, 패치되지 않은 소프트웨어에 심하게 노출되어 있다. 핵심 인프라 보안 팀은 과거의 자원 부족 문제를 해결하기 위해 도구와 자원을 시급히 대폭 확충해야 한다.

둘째, 이 서한은 사이버 대응 능력이 있는 AI를 통해 더 많은 방어 인력을 지원해야 한다고 촉구합니다. AI를 활용하여 보안 팀에 전문 기술을 제공하고 핵심 운영 업무를 효율화해야 합니다. 검증된 수정 사항, 실무 지식 및 방어 도구를 공유함으로써 한 조직의 노력이 다른 많은 조직을 보호하는 데 기여할 수 있습니다.

셋째, 서명자들은 공동 대응을 촉구합니다. 보안 기준을 높이고 새로운 위협에 대처하기 위해 글로벌 파트너십을 구축해야 하며, 이를 통해 발전하는 사이버 역량이 단일 주체에 의해 통제되는 것이 아니라 순전히 긍정적인 효과를 가져오도록 보장해야 합니다.

명확한 절차 규칙과 엄격한 운영 안전장치가 없다면, AI 에이전트는 필연적으로 제멋대로 행동하게 되어 조직에 부담이 될 것입니다

. 로저 리(Roger Lee), Appian EMEA 솔루션 컨설팅 부문 부사장

조직 및 정부의 책임

이를 달성하기 위해, 이 서한은 모든 조직이 고위험 취약점을 패치하고, 구매·구축·배포하는 모든 것에 대해 더 높은 기준을 설정함으로써 보안 기준을 높여야 한다고 주장합니다. 여기에는 최소 권한 접근, 강력한 인증, 다층 방어 아키텍처를 시행하기 위해 레거시 시스템을 업그레이드하는 것도 포함됩니다.

사이버 보안 기업과 기술 파트너들은 방어 체계를 철저히 테스트하고, 도구를 광범위하게 배포할 수 있도록 하며, 실시간 위협 인텔리전스와 대응 매뉴얼을 공유함으로써 이러한 노력을 주도해야 할 것으로 기대된다.

한편, 이 서한은 정부가 실행 가능한 정보를 공유하고, 주요 위험에 우선순위를 부여하며, 전 세계적으로 사고 대응을 조율하기 위해 정부-산업계 간 소통 채널을 강화함으로써 지역, 국가 및 국제 차원에서 사이버 방어를 조정해야 한다고 주장한다.

또한 정부는 지방자치단체, 상수도 시설, 병원 등 핵심 인프라에 신뢰할 수 있는 보안 제공업체를 통해 유능한 방어용 AI, 승인된 테스트, 직접적인 지원을 제공할 수 있도록 해야 한다.

최근 에이전트 침해 사건으로 회의론 고조

이 서한이 발표된 시점에 대해 업계 관측통들은 날카로운 비판을 제기하고 있다.

오픈AI(OpenAI)는 최근 자사의 자율 에이전트가 샌드박스 테스트 환경을 탈출해, 이 공개 서한의 공동 서명 기관 중 하나인 오픈소스 개발자 플랫폼 ‘허깅 페이스(Hugging Face)’를 침해한 경위를 상세히 기술한 기술 사고 보고서를 발표했다. 이 회사는 더 엄격한 격리 경계 설정 및 네트워크 접근 제한을 포함한 교훈을 제시했다.

주요 경쟁사인 앤트로픽(Anthropic) 역시 모델이 평가 환경 내부에서 또는 평가 환경과 상호작용하는 도중 인터넷에 접속한 세 건의 사고를 확인했다.

업계 전문가들에게 이번 침해 사건은 현재 자율 AI 시스템이 관리되는 방식에 근본적인 결함이 있음을 여실히 보여준다.

Goldilock Secure의 글로벌 기술 책임자인 마이클 발라스(Michael Vallas)는 “AI 기반 사이버 공격에 대한 공동 대응을 촉구하는 100여 개 기술 기업의 공개 서한은 업계가 수년 동안 나아가고 있는 길에 또 하나의 이정표가 될 것”이라고 말했다.

“최근 AI 에이전트가 샌드박스를 탈출해 공격을 감행했다는 뉴스가 잇따르고 있지만, 사람들은 수년 전부터 악성 AI의 위험성에 대해 논의해 왔다는 점을 기억할 필요가 있습니다. 이러한 시스템이 점점 더 똑똑해지고 능력이 향상됨에 따라, 소프트웨어만으로는 이를 통제할 수 없게 될 것입니다. 우리가 계속해서 그들을 능가하려고 노력할 수는 있겠지만, 그들이 얼마나 똑똑해지고 있는지조차 알지 못할 수도 있습니다."

“이번 사건은 전혀 놀라운 일이 아닙니다,”라고 Appian의 EMEA 솔루션 컨설팅 부문 지역 부사장인 로저 리(Roger Lee)는 말합니다. “자율 에이전트가 구조적인 제약 없이 목표를 타격하도록 유도될 때 발생하는 자연스러운 결과입니다. 오픈AI는 에이전트에게 목표를 부여했고, 강화 학습은 이를 달성하기 위한 최단 경로를 찾아냈을 뿐입니다. 즉, 보상을 극대화하기 위해 협력하고, 흔적을 지우며, 제3자를 침투한 것입니다.”

로저 리는 Appian의 EMEA 솔루션 컨설팅 지역 부사장이다

로저는 에이전트가 감지되지 않은 채 시스템 제약을 우회할 때 기존의 감독 메커니즘만으로는 한계가 있음을 강조한다.

“오픈AI가 이를 알아차리는 데 일주일이 걸렸다는 사실은, 에이전트가 단순히 감독 체계를 우회할 수 있다면 ‘인간 개입(human in the loop)’은 무용지물임을 증명합니다,”라고 그는 덧붙입니다. “더 안전한 프롬프트나 더 스마트한 AI 모델로는 이 문제를 해결할 수 없습니다. 명확한 프로세스 규칙과 엄격한 운영 안전장치가 없다면, AI 에이전트는 필연적으로 궤도를 이탈하여 조직에 부담이 될 것입니다.”

다른 이들은 관련 벤더들을 고려할 때 이번 공동 행동 촉구가 자사 이익을 위한 것이라고 본다.

“이 서한은 마치 화재 경보로 위장한 보도자료처럼 들립니다,”라고 AI 및 로봇공학 전문가이자 멀티플렉스(Multiplex)의 소유주인 브라이언 로멜레(Brian Roemmele)는 썼다. “자신들의 에이전트가 테스트 환경을 벗어나 다른 회사의 운영 시스템에 침입했던 바로 그 연구소들이, 이제 모든 이에게 시간이 얼마 남지 않았다고 말하며, 해결책은 그들이 관리하는 ‘신뢰할 수 있는 접근(trusted access)’이라고 주장하고 있습니다. 참 편리한 주장이네요.”