OpenCUA의 오픈소스 AI 에이전트, OpenAI와 앤트로픽의 독점 모델에 도전장 내밀다

홍콩대학교(HKU)와 파트너 기관의 연구원들은 컴퓨터를 작동할 수 있는 AI 에이전트를 구축하기 위한 강력한 기반을 구축하는 혁신적인 오픈 소스 프레임워크인 OpenCUA를 개발했습니다. 이 포괄적인 툴킷은 전문 도구, 광범위한 교육 데이터세트, 검증된 방법론 등 컴퓨터 사용 에이전트(CUA) 개발을 확장하는 데 필수적인 구성 요소를 제공합니다.

초기 평가에 따르면 OpenCUA로 훈련된 모델은 다른 오픈 소스 솔루션에 비해 CUA 벤치마크에서 우수한 성능을 달성하는 동시에 OpenAI 및 Anthropic과 같은 업계 선도업체의 독점 시스템과도 경쟁할 수 있는 것으로 나타났습니다.

컴퓨터 사용 에이전트 개발의 복잡한 과제

컴퓨터 사용 에이전트는 간단한 웹 탐색부터 복잡한 소프트웨어 작동에 이르기까지 다양한 디지털 작업을 자율적으로 실행하도록 설계된 혁신적인 AI 클래스입니다. 이러한 지능형 시스템은 기업 워크플로 자동화를 위한 엄청난 잠재력을 가지고 있지만, 대부분의 고급 CUA는 여전히 독점적인 블랙박스에 머물러 있습니다.

연구팀은 "상용 CUA의 투명성 부족은 기술 발전을 제한하고 중요한 안전 고려 사항을 제기합니다."라고 발표 논문에서 지적합니다. "과학계는 기능, 한계, 잠재적 위험을 제대로 조사하기 위해 진정한 개방형 프레임워크가 필요합니다."

현재 오픈소스 이니셔티브는 다음과 같은 중대한 장애물에 직면해 있습니다:

• 대규모의 다양한 데이터 수집을 위한 인프라 부족
• 양질의 GUI 상호작용 데이터 세트의 제한된 가용성
• 불충분한 문서화로 인한 연구 재현의 어려움

논문에서는 다음과 같이 설명합니다: "이러한 제약은 종합적으로 범용 CUA의 발전을 저해하고 확장성, 일반화 능력, 최적의 학습 접근 방식에 대한 포괄적인 탐색을 방해합니다."

OpenCUA 프레임워크 소개

OpenCUA 프레임워크는 데이터 수집과 모델 훈련 문제를 모두 해결하는 통합 솔루션을 소개합니다. 핵심 구성 요소는 여러 운영 체제에서 인간과 컴퓨터의 상세한 상호작용을 포착하는 전문 소프트웨어인 에이전트넷 툴입니다.

이 혁신적인 도구는 백그라운드에서 개별적으로 작동하며 녹화합니다:

• 화면 활동 비디오
• 정확한 마우스/키보드 입력
• 화면 요소를 정의하는 접근성 트리 구조

연구원들은 이 원시 상호작용 데이터를 컴퓨터 스크린샷과 해당 사용자 동작을 짝짓는 정제된 '상태-행동 궤적'으로 처리했습니다. 그 결과 생성된 에이전트넷 데이터 세트는 200개 이상의 다양한 애플리케이션과 웹사이트가 포함된 Windows, macOS, Ubuntu 환경에서 22,600개 이상의 작업 데모로 구성되어 있습니다.

홍콩대학교 박사 과정 연구원이자 연구의 공동 저자인 신위안 왕은 철저한 개인정보 보호를 강조했습니다: "우리는 다계층 보안 프레임워크를 구현하여 주석 작성자가 제출물을 완벽하게 파악하고 제어할 수 있도록 한 다음, 데이터 공개 전에 수동 검증과 자동화된 민감한 콘텐츠 스캔을 실시했습니다."

혁신적인 교육 방법론

이 프레임워크는 정리된 상태-행동 쌍과 구조화된 사고 연쇄 추론을 결합한 새로운 데이터 처리 파이프라인을 도입합니다. 이 접근 방식은 각 동작을 구성하는 세부적인 '인지적 독백'을 생성합니다:

1. 높은 수준의 화면 관찰
2. 전략적 분석 및 계획
3. 정확한 실행 지침

왕에 따르면 기업은 내부 워크플로우를 기록하고 동일한 추론 프레임워크를 적용하여 이 파이프라인을 조정하여 독점 시스템을 위한 전문 에이전트를 훈련할 수 있습니다. "이를 통해 조직은 수동으로 추론 추적을 생성하지 않고도 고성능의 맞춤형 에이전트를 개발할 수 있습니다."라고 그는 설명합니다.

성능 및 엔터프라이즈 애플리케이션 벤치마크

320억 개의 매개변수로 구성된 OpenCUA 모델은 OSWorld에서 검증한 벤치마크에서 오픈 소스 솔루션 중 기록적인 성능을 달성하는 동시에 주요 독점 시스템과의 격차를 크게 좁혔습니다. 기업에서 주목해야 할 주요 사항은 다음과 같습니다:

• 다양한 모델 아키텍처 및 규모에 걸친 프레임워크 적용 가능성
• 플랫폼 및 작업 유형 전반에 걸친 강력한 일반화
• 반복적인 워크플로우 자동화를 위한 탁월한 효율성

왕은 구현 과제를 강조했습니다: "실제 배포에는 작업 실행 중 의도하지 않은 시스템 수정이나 유해한 부작용을 방지하기 위한 강력한 안전 메커니즘이 필요합니다."

연구팀은 소스 코드, 데이터 세트, 모델 가중치를 포함한 모든 프레임워크 구성 요소를 공개적으로 공개했습니다. OpenCUA 기반 에이전트가 발전함에 따라 인간 작업자는 전략적 목표에 집중하고 AI가 작업 실행을 처리함으로써 업무 환경의 역학 관계를 근본적으로 변화시킬 수 있습니다.