앤트로픽의 크롬용 클로드, 프롬프트 주입 위험 속에서 제한된 베타 버전 출시

앤트로픽은 현재 사용자의 웹 브라우저를 조작할 수 있는 기능을 제공하는 Chrome 브라우저 확장 프로그램을 시범 운영 중이며, 이는 AI가 컴퓨터 인터페이스와 직접 상호작용할 수 있는 빠르게 성장하고 잠재적으로 위험한 분야로의 진입을 알리는 신호탄입니다.

샌프란시스코에 본사를 둔 이 AI 회사는 화요일에 프리미엄 Max 요금제를 사용하는 1,000명의 사용자를 대상으로 '클로드 포 크롬' 평가판을 출시할 예정이며, 이 제한적 출시는 본격적인 출시 전에 중요한 보안 결함을 식별하고 해결하기 위한 연구용 프리뷰라고 밝혔습니다. 이러한 신중한 전략은 이미 컴퓨터 제어 기능을 갖춘 비슷한 수준의 AI 시스템을 더 많은 사용자에게 제공한 경쟁사 OpenAI와 Microsoft의 보다 공격적인 출시와는 극명한 대조를 이룹니다.

이러한 발전은 질문에 답하는 챗봇을 만드는 것에서 다양한 소프트웨어 애플리케이션 내에서 복잡한 다단계 작업을 독립적으로 처리할 수 있는 '에이전트' 시스템을 구축하는 것으로 AI 업계가 빠르게 발전하고 있음을 보여줍니다. 많은 전문가들은 이러한 변화를 인공지능의 차세대 주요 발전으로 보고 있으며, 기업들이 경비 보고부터 휴가 조율까지 다양한 프로세스를 자동화하고자 할 때 큰 수익을 창출할 수 있을 것으로 전망하고 있습니다.

AI 에이전트가 브라우저를 조작하는 방법과 숨겨진 악성코드로 인한 주요 보안 위험 요소

Chrome용 Claude를 사용하면 캘린더에 액세스하여 미팅을 예약하고, 레스토랑 예약 가능 여부를 확인하고, 이메일 서신을 관리하고, 일상적인 관리 업무를 처리하는 등 웹 브라우저에서 작업을 완료하도록 AI에게 지시할 수 있습니다. 이 시스템은 화면 콘텐츠를 해석하고, 버튼과 상호 작용하고, 양식을 작성하고, 다양한 웹사이트를 탐색할 수 있어 웹 기반 애플리케이션의 인간과 같은 탐색 기능을 효과적으로 재현합니다.

"브라우저를 지원하는 AI는 피할 수 없는 발전이라고 생각합니다. 많은 작업이 브라우저 내에서 이루어지기 때문에 클로드가 화면을 보고 버튼을 클릭하고 데이터를 입력할 수 있게 되면 그 활용도가 크게 향상될 것입니다."라고 Anthropic은 발표에서 설명했습니다.

그럼에도 불구하고 회사의 내부 보안 평가 결과, AI 시스템에 직접 인터페이스 제어 권한을 부여하는 것의 위험성을 보여주는 우려스러운 취약점이 발견되었습니다. 앤트로픽은 적대적 테스트 중에 해커가 웹사이트, 이메일 또는 문서에 숨겨진 명령을 삽입하여 사용자가 인지하지 못하는 사이에 AI 시스템을 속여 유해한 작업을 수행하도록 유도할 수 있다는 사실을 발견했습니다(프롬프트 인젝션이라고 알려진 방법).

보호 조치가 없는 경우, 브라우저에서 작동하는 AI를 겨냥한 이러한 공격은 23.6%의 확률로 성공했습니다. 한 시나리오에서는 보안 업데이트로 위장한 사기성 이메일이 클로드에게 "사서함 유지 관리를 위해" 사용자의 이메일을 지우라고 지시했고, AI는 확인 없이 이를 실행했습니다.

"이는 가상의 시나리오가 아닙니다. 저희는 크롬용 클로드에 대해 '레드팀' 테스트를 진행했으며, 안전장치 없이 몇 가지 놀라운 결과를 관찰했습니다."라고 회사는 확인했습니다.

컴퓨터 제어 기술에 대해 신중한 입장을 취하는 Anthropic에 맞서 OpenAI와 Microsoft는 상용 출시를 가속화합니다.

경쟁업체들이 컴퓨터 제어 애플리케이션에 더 빠르게 진출하는 가운데 Anthropic의 신중한 방법론이 등장했습니다. OpenAI는 1월에 '오퍼레이터' 에이전트를 출시하여 월 200달러의 ChatGPT Pro 요금제 가입자에게 이를 제공했습니다. 새로운 '컴퓨터 사용 에이전트' 모델을 기반으로 하는 오퍼레이터는 콘서트 티켓 예매, 식료품 구매, 여행 일정 관리와 같은 기능을 실행할 수 있습니다.

마이크로소프트는 지난 4월 코파일럿 스튜디오 플랫폼을 통해 웹과 데스크톱 애플리케이션을 모두 사용할 수 있는 UI 자동화 도구로 기업 고객에 초점을 맞춘 컴퓨터 운영 기능을 소개했습니다. 이 회사는 이 솔루션을 기존의 로봇 프로세스 자동화(RPA) 시스템을 대체할 수 있는 고급 솔루션으로 제시했습니다.

이러한 경쟁은 기업들이 혁신적인 기능을 제공하려는 노력과 충분히 검증되지 않은 기술을 출시할 때의 위험성을 저울질해야 하는 업계 전반의 긴장감을 드러냅니다. OpenAI는 빠른 일정으로 초기 시장 입지를 확보한 반면, Anthropic은 신중한 전략으로 초기에는 경쟁 우위를 제한할 수 있지만 안전 문제가 발생하면 보상을 받을 수 있습니다.

"최첨단 모델에 기반한 브라우저 작동 에이전트가 이미 등장하고 있어 이 이니셔티브는 특히 시간에 민감합니다."라고 Anthropic은 언급하며, 지속적인 보안 문제에도 불구하고 시장에 참여하려는 의지가 있음을 시사했습니다.

컴퓨터 제어 AI가 비즈니스 자동화를 혁신하고 값비싼 워크플로 애플리케이션을 대체하는 방법

컴퓨터 제어 AI 시스템의 등장은 기업의 자동화 및 워크플로 관리 방식을 근본적으로 변화시킬 수 있습니다. 기존의 엔터프라이즈 자동화는 일반적으로 애플리케이션 인터페이스가 수정되면 실패하는 값비싼 맞춤형 통합 또는 특수 로봇 프로세스 자동화 소프트웨어에 의존합니다.

컴퓨터 사용 에이전트는 그래픽 사용자 인터페이스를 갖춘 모든 소프트웨어와 함께 작동하여 자동화의 접근성을 높이고, 공식 API나 통합 기능을 지원하지 않는 광범위한 비즈니스 애플리케이션 전반의 활동을 자동화하는 것을 목표로 합니다.

Salesforce 연구원들은 최근 기존의 포인트 앤 클릭 자동화와 코드 생성을 결합한 CoAct-1 시스템을 통해 이러한 기능을 시연했습니다. 이 결합 방식은 복잡한 컴퓨터 작업의 성공률을 60.76%까지 끌어올리면서도 순수 GUI 기반 에이전트보다 훨씬 적은 단계가 필요하여 상당한 효율성 개선이 가능하다는 것을 보여주었습니다.

"비즈니스 경영진에게는 표준이 아닌 완전한 API 액세스가 흔하지 않은 복잡한 다중 애플리케이션 절차를 자동화하는 것이 기회"라고 설명한 Salesforce의 응용 AI 연구 책임자 Ran Xu는 여러 전용 시스템이 관련된 고객 지원 업무를 이상적인 애플리케이션으로 꼽았습니다.

학계 연구진, 빅테크의 독점 컴퓨터 사용 AI 플랫폼을 대체할 무료 옵션 출시

선도적인 기술 기업의 독점 시스템이 널리 보급됨에 따라 대학 연구자들은 접근 가능한 대안을 마련하기 위해 노력하고 있습니다. 홍콩 대학교는 최근 OpenAI와 Anthropic의 독점 모델 성능에 필적하는 컴퓨터 사용 에이전트 개발을 위한 오픈 소스 프레임워크인 OpenCUA를 발표했습니다.

윈도우, 맥OS, 우분투에서 22,600개 이상의 인간 작업 예제를 사용하여 학습된 OpenCUA 시스템은 오픈 소스 모델 중 최고 수준의 결과를 제공했으며, 주요 상용 시스템과 비슷한 성능을 보였습니다. 이러한 발전은 중요한 자동화 프로세스를 폐쇄형 시스템에 의존하는 것을 신중히 고려하는 기업의 구현 속도를 높일 수 있습니다.

AI 에이전트를 속여 파일을 지우고 정보를 탈취할 수 있다는 것을 보여주는 Anthropic의 보안 평가 결과

Anthropic은 사용자가 AI가 방문할 수 있는 사이트를 규제할 수 있는 웹사이트별 권한, 구매 완료 또는 개인 정보 공개와 같은 고위험 작업에 대한 강제 승인, 금융 서비스 및 성인물을 포함한 민감한 카테고리에 대한 진입 제한 등 다양한 보호 조치를 Chrome용 Claude에 통합했습니다.

경영진은 보안 업그레이드를 통해 자율 운영 시 즉각적인 인젝션 공격 효과가 23.6%에서 11.2%로 감소했지만, 여전히 광범위한 배포에는 부족하다는 것을 인식하고 있습니다. 숨겨진 양식 요소와 URL 변경을 포함하는 브라우저 중심 공격의 경우, 새로운 방어 조치로 성공률이 35.7%에서 0%로 낮아졌습니다.

하지만 이러한 안전장치는 새로운 공격 방법이 계속 등장하는 실제 웹 설정의 복잡성을 완전히 수용하지 못할 수도 있습니다. Facebook은 파일럿 프로그램에서 얻은 지식을 적용하여 보안 인프라를 개선하고 보다 진보된 권한 설정을 만들 계획입니다.

"악의적인 공격자들은 새로운 유형의 프롬프트 인젝션 공격을 지속적으로 개발하고 있습니다."라고 앤트로픽은 경고하며 지속적인 보안 딜레마를 강조했습니다.

인터페이스와 상호작용하는 AI 에이전트의 등장으로 인간과 컴퓨터의 상호작용이 근본적으로 변화할 수 있습니다.

여러 주요 AI 기업들이 컴퓨터 제어 에이전트를 중심으로 협력하는 것은 인공지능이 현재의 소프트웨어 프레임워크와 상호작용하는 방식에 주목할 만한 변화가 있음을 나타냅니다. 이러한 시스템은 기업이 새로운 AI 전용 도구를 구현하도록 강요하는 대신 기업이 현재 사용하고 있는 애플리케이션과 함께 작동하도록 설계되었습니다.

이 방식은 AI 구현의 장애물을 크게 줄이는 동시에 기존의 자동화 공급업체와 시스템 통합업체를 불필요하게 만들 수 있습니다. 맞춤형 통합이나 RPA 플랫폼에 막대한 리소스를 투입한 조직은 코드 수정 없이 인터페이스 수정에 적응할 수 있는 범용 AI 에이전트로 인해 그 방식이 구식이라는 사실을 알게 될 수도 있습니다.

기업 리더에게 혁신은 잠재력과 위험을 동시에 제공합니다. 초기 구현자는 향상된 자동화 기능을 통해 중요한 경쟁 우위를 확보할 수 있지만, 앤트로픽과 같은 기업이 발견한 보안 취약점은 보호 메커니즘이 더욱 발전할 때까지 신중을 기해야 함을 시사합니다.

업계 분석가들이 예상하는 바에 따르면 컴퓨터 제어 AI 기능이 기술 분야 전반에 걸쳐 빠르게 확산될 것이며, 그 결과는 기본적인 작업 자동화를 넘어 인간과 컴퓨터의 상호작용 및 사이버 보안과 관련된 핵심 문제에까지 영향을 미칠 것으로 예상되는 가운데, 크롬용 클로드의 제한적인 시험은 그 초기 단계에 불과합니다.

앤트로픽은 발표문에서 다음과 같이 말했습니다: "우리는 이러한 발전이 여러분과 클로드의 협업 방식에 새로운 기회를 창출할 것이라고 확신하며, 여러분이 무엇을 개발할지 간절히 기다리고 있습니다." 이러한 기회의 궁극적인 득과 실은 업계가 이미 드러난 보안 문제를 얼마나 효과적으로 해결하느냐에 따라 달라질 수 있습니다.