프로시저럴 메모리로 AI 에이전트 비용과 복잡성 감소

저장대학교와 알리바바 그룹이 개발한 새로운 기술은 대규모 언어 모델(LLM) 에이전트에 동적 메모리를 장착하여 복잡한 작업을 처리할 때 효율성과 효과를 높입니다. Memp라고 명명된 이 접근 방식은 에이전트가 경험을 축적함에 따라 지속적으로 업데이트되는 '절차적 메모리'를 제공하여 인간이 반복 연습을 통해 학습하는 방식을 반영합니다.

멤프는 상담원이 새로운 작업을 수행할 때마다 더 이상 처음부터 시작할 필요가 없는 평생 학습 시스템을 구축합니다. 실제 환경에서 새로운 시나리오에 직면하면서 꾸준히 개선되고 효율성이 높아지는데, 이는 신뢰할 수 있는 엔터프라이즈 자동화를 위한 중요한 기능입니다.

AI 에이전트에서 절차적 메모리의 중요성

LLM 에이전트는 복잡한 다단계 비즈니스 운영을 자동화하는 데 큰 잠재력을 보여줍니다. 그러나 실제로 이러한 확장된 작업은 실패하기 쉽습니다. 연구진은 네트워크 중단, 사용자 인터페이스 업데이트 또는 데이터 형식 변경과 같은 예기치 않은 문제로 인해 전체 워크플로우가 중단될 수 있다고 강조합니다. 현재로서는 상담원이 매번 처음부터 다시 시작해야 하는 경우가 많기 때문에 지연과 비용 증가로 이어집니다.

동시에 많은 복잡한 작업은 겉으로 보기에는 서로 다른 것처럼 보이지만 근본적인 구조적 유사성을 공유합니다. 연구진은 에이전트가 매번 이러한 패턴을 재학습하는 대신 성공과 실패를 포함한 과거의 경험을 바탕으로 재사용할 수 있어야 한다고 강조합니다. 이를 위해서는 타이핑이나 자전거 타기와 같이 반복을 통해 제2의 본능이 되는 인간의 장기기억과 유사한 특수한 '절차적 기억'이 필요합니다.

현재 대부분의 에이전트 시스템에는 이러한 기능이 없습니다. 절차적 지식은 보통 개발자가 수동으로 프로그래밍하거나 유연하지 않은 프롬프트 템플릿에 저장하거나 모델 매개변수에 내장되어 있는데, 이는 비용이 많이 들고 수정이 느립니다. 메모리 기능이 향상된 기존 프레임워크도 광범위한 추상화만 제공할 뿐 상담원의 라이프사이클 전반에 걸쳐 스킬을 개발, 색인화, 개선 및 관리하는 방법을 제대로 다루지 못합니다.

연구진은 논문에서 "에이전트가 절차적 레퍼토리를 얼마나 효율적으로 발전시키는지 정량화하거나 새로운 경험이 성능을 저해하지 않고 개선되도록 보장하는 원칙적인 방법은 없다"고 말합니다.

Memp의 작동 방식

Memp는 절차적 메모리를 기본적이고 최적화 가능한 구성 요소로 취급하는 작업 불가지론적 프레임워크입니다. 이는 메모리 구축, 검색, 업데이트의 세 가지 핵심 단계를 통해 연속적인 주기를 형성하며 작동합니다.

기억은 상담원의 과거 경험, 즉 "궤적"에서 구성됩니다. 연구팀은 이러한 기억을 정확한 단계별 작업으로 저장하거나 이러한 작업을 스크립트와 같은 상위 수준의 추상화로 요약하는 두 가지 형태로 저장하는 방법을 조사했습니다. 검색을 위해 새로운 작업이 제시되면 에이전트는 기억에서 가장 관련성이 높은 이전 경험을 검색합니다. 연구원들은 벡터 검색을 비롯한 다양한 방법을 테스트하여 새 작업의 설명을 과거 쿼리와 일치시키거나 키워드를 추출하여 가장 가까운 일치 항목을 찾았습니다.

업데이트 메커니즘은 가장 중요한 요소입니다. Memp는 에이전트의 메모리를 발전시키기 위해 몇 가지 전략을 통합합니다. 에이전트가 더 많은 작업을 완료하면 새로운 경험을 추가하거나, 성공적인 결과만 필터링하거나, 실패를 분석하여 원래 메모리를 수정하고 개선함으로써 메모리를 업데이트할 수 있습니다.

이처럼 역동적이고 적응 가능한 메모리를 강조하는 Memp는 장기 과제에 대한 AI 에이전트의 신뢰성을 향상시키는 데 초점을 맞춘 연구 분야에서 성장하고 있습니다. 이 프로젝트는 긴 대화에서 필수 정보를 추출하고 이를 구조화된 사실과 지식 그래프로 정리하여 일관성을 유지하는 Mem0과 같은 다른 이니셔티브와 연계되어 있습니다. 마찬가지로 A-MEM은 상담원이 상호작용에서 '메모리 노트'를 자율적으로 생성하고 연결하여 시간이 지남에 따라 정교한 지식 네트워크를 구축할 수 있게 해줍니다.

하지만 공동 저자인 런난 팡은 Memp와 유사한 프레임워크 간의 중요한 차이점을 지적합니다.

"Mem0과 A-MEM은 훌륭한 작품이지만 단일 궤적 또는 대화 내에서 두드러진 콘텐츠를 기억하는 데 중점을 둡니다."라고 Fang은 VentureBeat에 설명합니다. 기본적으로 에이전트가 '어떤' 일이 일어났는지를 기억하는 데 도움이 됩니다. "반면 멤프는 여러 궤적에 걸친 절차적 기억을 목표로 합니다." 멤프는 유사한 업무에 적용할 수 있는 '방법' 지식에 집중하기 때문에 상담원이 원점에서 반복적으로 시작할 필요가 없습니다.

"과거의 성공적인 워크플로를 재사용 가능한 절차적 선행으로 추출함으로써 Memp는 성공률을 높이고 단계를 단축합니다."라고 Fang은 계속 설명합니다. "결정적으로, 이 절차적 기억이 계속 개선되도록 업데이트 메커니즘도 도입하여 결국 상담원에게도 연습이 완벽해집니다."

콜드 스타트 문제 극복하기

과거 경험으로부터 학습하는 것은 강력한 개념이지만, 완벽한 사례가 없는 상황에서 상담원이 초기 기억을 어떻게 개발할 수 있을까 하는 현실적인 과제를 안고 있습니다. 연구팀은 실용적인 솔루션으로 이 '콜드 스타트' 문제를 해결했습니다.

팡은 개발자가 처음부터 완벽한 '골드' 궤적을 필요로 하는 대신 강력한 평가 지표를 정의하는 것으로 시작할 수 있는 방법을 설명했습니다. 이 메트릭은 규칙 기반이거나 다른 LLM에 의해 구동될 수 있으며 에이전트의 성능 품질을 평가합니다. "이 메트릭이 설정되면 에이전트 워크플로 내에서 최첨단 모델이 탐색하고 가장 높은 점수를 획득한 궤적을 유지하도록 합니다."라고 Fang은 말합니다. 이 방법은 가치 있는 메모리의 초기 모음을 신속하게 조합하여 신규 상담원이 광범위한 수동 코딩 없이도 능숙하게 작업할 수 있도록 지원합니다.

멤프의 실제 활용

프레임워크를 평가하기 위해 팀은 Memp를 GPT-4o, Claude 3.5 Sonnet, Qwen2.5와 같은 주요 LLM과 통합하여 ALFWorld 벤치마크의 집안일과 TravelPlanner의 정보 수집과 같은 까다로운 작업에서 테스트했습니다. 그 결과 상담원은 절차적 메모리를 구축하고 액세스함으로써 이전 경험을 효과적으로 요약하고 재사용할 수 있는 것으로 나타났습니다.

테스트에서 멤프를 사용한 상담원은 더 높은 성공률을 달성했을 뿐만 아니라 훨씬 더 효율적으로 업무를 처리했습니다. 비생산적인 탐색과 추측을 배제하여 작업을 완료하는 데 필요한 단계 수와 토큰 사용량을 크게 줄였습니다.

업무용으로 특히 주목할 만한 발견은 절차적 메모리를 전송할 수 있다는 점입니다. 한 테스트에서는 고성능 GPT-4o에서 생성된 절차적 메모리를 훨씬 더 작은 모델인 Qwen2.5-14B에 제공했습니다. 이 작은 모델의 성능이 눈에 띄게 향상되어 성공률이 높아지고 작업 수행에 필요한 단계가 줄었습니다.

팡에 따르면, 작은 모델은 일반적으로 간단한 단일 단계 작업은 능숙하게 처리하지만 장기적인 계획과 추론에는 어려움을 겪기 때문에 이런 결과가 가능했다고 합니다. 더 큰 모델의 절차적 메모리는 이러한 격차를 효과적으로 해소합니다. 즉, 최상위 모델을 사용하여 지식을 수집한 다음 학습된 경험의 장점을 그대로 유지하면서 더 작고 예산 친화적인 모델에 적용할 수 있다는 뜻입니다.

완전 자율 에이전트를 향한 발전

멤프 프레임워크는 메모리 업데이트 기능을 통합함으로써 에이전트가 실제 환경에서 작업하면서 절차적 지식을 지속적으로 개발하고 다듬을 수 있도록 지원합니다. 연구진은 이를 통해 에이전트가 "거의 선형에 가까운 지속적인 작업 숙달"을 이룰 수 있음을 관찰했습니다.

하지만 완전한 자율성을 달성하는 데는 또 다른 장애물이 있습니다. 연구 보고서 작성과 같은 수많은 실제 작업에는 명확한 성공 지표가 없다는 것입니다. 에이전트가 계속 개선하려면 그 성과가 만족스러운지 여부를 알아야 합니다. Fang은 LLM을 평가자로 고용하는 것이 해결책이라고 생각합니다.

"오늘날 우리는 종종 강력한 모델과 수작업으로 만든 규칙을 결합하여 완료 점수를 계산합니다."라고 그는 말합니다. "이 방법은 효과가 있지만 수기로 작성된 규칙은 유연성이 떨어지고 일반화하기 어렵습니다."

판사 역할을 하는 LLM은 상담원이 복잡하고 주관적인 과제를 스스로 수정하는 데 필요한 상세한 감독 피드백을 제공할 수 있습니다. 이는 전체 학습 프로세스의 확장성과 탄력성을 높여 고급 엔터프라이즈 자동화에 필수적인 내구성 있고 유연하며 진정으로 자율적인 AI 작업자를 만드는 데 중요한 진전을 이룰 수 있습니다.