MIT, 정적 모델을 뛰어넘는 자가 학습 AI 프레임워크 공개

MIT 연구진, 자가 학습 AI 프레임워크 개척

MIT 연구팀은 대규모 언어 모델이 자율적으로 기능을 발전시킬 수 있도록 지원하는 혁신적인 시스템인 SEAL(Self-Adapting Language Models)을 개발했습니다. 이 획기적인 기술을 통해 AI 시스템이 자체적으로 학습 자료와 학습 프로토콜을 생성하여 새로운 지식과 기술을 영구적으로 통합할 수 있게 되었습니다.

SEAL은 엔터프라이즈 AI 애플리케이션, 특히 지속적인 적응이 중요한 유동적인 환경에서 작동하는 지능형 에이전트를 위한 중요한 발전을 의미합니다. 이 프레임워크는 현재 LLM 기술의 근본적인 한계, 즉 일시적인 상황 학습을 넘어선 영구적인 지식 통합이라는 과제를 해결합니다.

현대 AI의 적응 과제

대규모 언어 모델은 인상적인 능력을 보여주지만 새로운 정보를 진정으로 학습하고 내면화하는 능력에는 여전히 제약이 있습니다. 미세 조정이나 문맥 내 학습과 같은 현재의 적응 방식은 입력 데이터를 모델의 학습 프로세스에 최적화하지 않고 수동적으로 처리합니다.

"엔터프라이즈 애플리케이션에는 일시적인 지식 리콜 이상의 심층적이고 지속적인 적응이 필요합니다."라고 논문 공동 저자이자 MIT 박사 과정생인 Jyo Pari는 설명합니다. "독점 프레임워크를 마스터하는 코딩 어시스턴트든 사용자 선호도를 학습하는 고객 서비스 AI든, 이러한 지식은 모델의 핵심 아키텍처에 내장되어야 합니다."라고 설명합니다.

SEAL 아키텍처

SEAL 프레임워크는 모델이 자체 매개변수를 업데이트하기 위한 특수 지침인 '자체 편집'을 생성하는 새로운 강화 학습 접근 방식을 도입합니다. 이러한 편집을 통해 정보를 재구성하고, 합성 훈련 예제를 생성하거나, 학습 프로토콜을 정의하여 모델이 자체 커리큘럼을 효과적으로 설계할 수 있습니다.

이 시스템은 이중 학습 주기를 통해 작동합니다:

• 내부 루프: 자체 생성된 편집 내용을 기반으로 임시 가중치 업데이트를 실행합니다.
• 외부 루프: 업데이트 효과를 평가하고 성공적인 전략을 강화합니다.

이러한 지속적인 자기 개선 메커니즘은 합성 데이터 생성, 강화 학습, 테스트 시간 훈련을 일관된 학습 패러다임으로 결합합니다.

다양한 영역에서 입증된 성능

지식 통합

지식 유지 테스트에서 SEAL로 강화된 모델은 소스 자료에 대한 액세스 없이도 47%의 정확도로 구절 내용을 리콜하여 기본 미세 조정 및 GPT-4.1로 생성된 합성 데이터보다 훨씬 뛰어난 성능을 보여주었습니다.

소수 샷 학습

ARC 데이터 세트의 추상 추론 과제에 적용했을 때 SEAL은 72.5%의 성공을 거두었으며, 이는 표준 인컨텍스트 학습 접근 방식에 비해 크게 개선된 수치입니다.

엔터프라이즈 애플리케이션

고품질 학습 데이터의 고갈에 대한 우려가 커지고 있는 가운데, 자체 생성 학습 자료에 대한 SEAL의 역량은 지속 가능한 길을 제시합니다. 이 기술을 통해 모델은 반복적인 자기 설명을 통해 연구 논문이나 재무 보고서와 같은 복잡한 문서에 대한 이해를 자율적으로 심화할 수 있습니다.

이 프레임워크는 시스템이 환경 상호작용에서 얻은 운영 지식을 영구적으로 통합할 수 있도록 하여 AI 에이전트 개발에 특히 유망합니다. 정적 프로그래밍 접근 방식과 달리 SEAL 기반 에이전트는 시간이 지남에 따라 역량을 발전시키면서 사람의 개입에 대한 의존도를 줄일 수 있습니다.

현재의 한계

SEAL의 구현에는 몇 가지 실질적인 고려 사항이 있습니다:

• 치명적인 망각: 지속적인 자체 편집은 이전에 학습한 정보를 덮어쓸 위험이 있습니다.
• 계산 오버헤드: 적응 프로세스에는 상당한 처리 시간이 필요합니다.
• 하이브리드 구현 필요: SEAL과 검색 증강 생성(RAG)을 결합하면 메모리 관리를 최적화할 수 있습니다.

"기업에서는 지속적인 적응보다는 예약된 업데이트 주기를 구현하는 것이 좋습니다."라고 Pari는 조언합니다. "이렇게 하면 적응의 이점과 실질적인 운영상의 제약이 균형을 이룰 수 있습니다."

이 연구는 언어 모델이 초기 훈련 후에도 고정된 상태로 유지될 필요가 없음을 보여줍니다. 자체 업데이트를 생성하고 적용하는 방법을 학습함으로써 자율적으로 지식을 확장하고 새로운 과제에 적응할 수 있으며, 이는 엔터프라이즈 AI 구현을 재정의할 수 있는 역량입니다.