웹 경험을 혁신하는 자가 학습 AI 에이전트: 준비 가이드

저명한 AI 연구자인 데이비드 실버와 리처드 서튼은 새로운 논문에서 인공지능이 혁신적인 "경험의 시대"로 접어들고 있다고 제안합니다. 이들은 AI 시스템이 점점 더 인간이 제공한 데이터에 의존하는 것을 넘어 세상과의 직접적인 상호작용과 데이터 수집을 통해 발전할 것이라고 제안합니다.

이 논문은 개념적이고 미래지향적인 글이지만, 그 통찰력은 미래의 AI 에이전트와 시스템을 개발하고 통합하려는 기업에게 직접적인 관련성을 지니고 있습니다.

실버와 서튼은 모두 AI의 궤적을 정확하게 예측해 온 존경받는 과학자입니다. 그들의 선견지명은 오늘날의 가장 진보된 AI 시스템에서 분명하게 드러납니다. 강화 학습의 선구자인 서튼은 2019년 영향력 있는 에세이 '쓴 교훈'에서 장기적으로 가장 중요한 AI 혁신은 주로 복잡한 인간 지식을 내장하는 것이 아니라 대규모 계산을 통해 범용 검색과 학습을 확장하는 데서 비롯된다고 주장했습니다.

딥마인드의 수석 과학자인 데이비드 실버는 심층 강화 학습의 주요 이정표인 알파고, 알파제로, 알파스타를 개발하는 데 주도적인 역할을 했습니다. 또한 2021년에는 잘 설계된 보상 신호와 결합된 강화 학습이 궁극적으로 고도로 발전된 AI를 만들 수 있다는 논문을 공동 저술하기도 했습니다.

오늘날 가장 정교한 대규모 언어 모델(LLM)은 이 두 가지 개념의 예시입니다. GPT-3 이후 강력한 LLM의 물결은 방대한 지식을 흡수하기 위해 계산 능력과 데이터의 확장에 크게 의존해 왔습니다. DeepSeek-R1과 같은 최신 추론 모델은 간단한 보상 신호를 통한 강화 학습만으로도 복잡한 추론 능력을 습득할 수 있음을 보여줍니다.

경험의 시대란 무엇인가요?

'경험의 시대'는 서튼과 실버가 옹호해 온 개념을 바탕으로 최근의 AI 발전에 맞게 맥락화되었습니다. 저자들은 "인간 데이터를 통한 지도 학습만으로는 발전 속도가 눈에 띄게 느려지고 있으며, 이는 새로운 접근 방식이 필요하다는 신호"라고 지적합니다.

이 새로운 접근 방식은 에이전트의 능력이 향상됨에 따라 지속적으로 개선되는 방식으로 생성되는 새로운 데이터 소스를 필요로 합니다. "이는 에이전트가 자신의 경험, 즉 에이전트가 환경과 상호 작용하면서 생성되는 데이터를 통해 지속적으로 학습할 수 있도록 함으로써 달성할 수 있습니다."라고 Sutton과 Silver는 설명합니다. 이들은 결국 "경험이 개선의 주된 매개체가 되어 궁극적으로 오늘날 시스템에서 사용되는 인간 데이터의 규모를 왜소화할 것"이라고 주장합니다.

저자에 따르면 미래의 AI 시스템은 경험 데이터뿐만 아니라 네 가지 주요 차원에서 학습함으로써 "인간 중심 AI 시스템의 한계를 돌파"할 것입니다:

1. 스트림: AI 에이전트는 고립된 에피소드로 작동하는 것이 아니라 "인간처럼 긴 시간 동안 진행되는 자체적인 경험의 흐름을 갖게 될 것"입니다. 이를 통해 장기적인 계획과 점진적인 행동 적응이 가능해집니다. 이러한 초기 징후는 광범위한 컨텍스트 창과 사용자 상호 작용을 통해 지속적으로 업데이트되는 메모리 아키텍처를 갖춘 AI 시스템에서 나타납니다.
   
2. 행동과 관찰: 경험의 시대에 에이전트는 인간이 주도하는 행동과 관찰을 넘어 실제 세계에서 자율적으로 작동하게 될 것입니다. 컴퓨터 제어 및 모델 컨텍스트 프로토콜(MCP)과 같은 도구를 사용하여 외부 애플리케이션 및 리소스와 인터페이스하는 에이전트 시스템에서 이를 확인할 수 있습니다.
   
3. 보상: 현재의 강화 학습 시스템은 인간이 설계한 보상 함수에 크게 의존하지만, 미래의 AI 에이전트는 자체적으로 동적인 보상 함수를 만들어야 합니다. 이러한 보상 함수는 시간이 지남에 따라 진화하여 사용자 선호도와 에이전트의 행동 및 관찰에 대한 실제 피드백을 일치시킬 것입니다. 엔비디아의 DrEureka와 같은 초기 자체 설계 보상 시스템에서 이러한 미래를 엿볼 수 있습니다.
   
4. 계획 및 추론: 현재의 추론 모델은 인간의 사고를 모방하도록 설계된 경우가 많습니다. 저자들은 "예를 들어 상징적, 분산적, 연속적, 차별적 계산을 활용하는 비인간 언어를 사용하는 보다 효율적인 사고 메커니즘이 분명히 존재할 것"이라고 제안합니다. AI 에이전트는 관찰된 데이터를 사용하여 추론을 테스트, 개선 및 업데이트하면서 내부 세계 모델을 구축하면서 세계와 소통해야 합니다.

강화 학습을 통해 적응하는 AI 에이전트의 개념은 새로운 것은 아니지만, 과거에는 이러한 에이전트가 보드 게임과 같이 엄격하게 통제된 환경에 국한되어 있었습니다. 이제 컴퓨터 작동과 같은 복잡한 환경을 탐색할 수 있는 에이전트와 강화 학습의 발전으로 이러한 제약을 극복하고 경험의 시대로의 전환을 가속화할 준비가 되어 있습니다.

기업에는 어떤 의미가 있을까요?

Sutton과 Silver의 논문에서 실제 애플리케이션에 대한 중요한 관찰 결과는 다음과 같습니다: "상담원은 사용자 인터페이스와 같이 '인간 친화적인' 동작과 관찰을 사용하여 사용자와의 커뮤니케이션과 협업을 자연스럽게 촉진할 수 있습니다. 또한 에이전트는 코드를 실행하고 API를 호출하는 '기계 친화적인' 작업을 수행하여 에이전트가 목표를 달성하기 위해 자율적으로 행동할 수 있습니다."

경험의 시대는 개발자가 인간 사용자와 AI 에이전트 모두를 위한 애플리케이션을 설계해야 한다는 것을 의미합니다. 기계 친화적인 작업을 수행하려면 직접 또는 MCP와 같은 인터페이스를 통해 사용할 수 있는 안전하고 액세스 가능한 API가 필요합니다. 또한 Google의 에이전트2에이전트 같은 프로토콜을 통해 검색할 수 있는 에이전트를 만들어야 합니다. API와 에이전트 인터페이스를 설계하여 작업과 관찰 모두에 대한 액세스 권한을 부여하면 에이전트가 소프트웨어와의 상호 작용을 통해 점진적으로 추론하고 학습할 수 있습니다.

서튼과 실버의 비전이 실현되면 결국 수십억 명의 에이전트가 웹과 물리적 세계에서 작업을 수행하게 될 것입니다. 에이전트의 행동과 요구 사항은 인간 사용자와 근본적으로 달라질 것입니다. 에이전트 친화적인 상호 작용 방법을 구축하는 것은 미래의 AI 시스템을 효과적으로 활용하고 잠재적인 위험을 완화하는 데 매우 중요합니다.

서튼과 실버는 "RL의 토대를 구축하고 그 핵심 원칙을 새로운 시대의 과제에 맞게 조정함으로써 자율 학습의 잠재력을 최대한 발휘하고 진정한 초인적 지능을 향한 길을 열 수 있습니다."라고 결론을 내립니다.

딥마인드는 이 기사에 대한 추가 논평 요청을 거절했습니다.