앤트 디지털, ‘바이 링 엔터프라이즈 파이낸셜 LLM’ 공개: 속도와 효율성의 새로운 기준

OpenAI의 ‘Agent’와 같은 자율 실행 에이전트의 등장은 AI 애플리케이션이 단순한 ‘대화 상호작용’에서 복잡한 ‘작업 실행’으로 전환되는 중요한 전환점을 의미합니다. 기업들은 이러한 추세를 빠르게 수용하고 있지만, 동시에 계산 자원 낭비나 보안 규정 준수 같은 과제에 직면해 있습니다. 지능형 에이전트의 대규모且지속 가능한 배포를 실현하는 것이 업계의 핵심 관심사로 부상했습니다.

3월 26일 중관춘 포럼의 '미래 산업 혁신 포럼'에서 앤트 디지털(Ant Digital)의 대규모 모델 기술 혁신 부문 장펑(Zhang Peng) 총경리는 연설을 통해 이러한 에이전트의 등장이 기업 AI 패러다임에 혁명을 일으킬 것이라고 밝혔다. 이러한 변화로 대규모 모델의 산업적 배포는 '매개변수 규모 경쟁'에서 '토큰 효율성 경쟁'으로 전환될 것이다.

중관춘 포럼에서 연설 중인 앤트 디지털의 대규모 모델 기술 혁신 부서 총경리 장펑.

지능형 에이전트의 급속한 확산은 자율적인 업무 수행에 대한 시장의 강력한 수요를 반영한다. 그러나 실제 산업 현장에 이를 도입하는 데는 큰 장애물이 존재한다. 종종 산업 규칙과 워크플로우에 대한 깊은 이해가 부족한 이 에이전트들은 복잡한 작업을 처리할 때 비효율적인 도구 호출을 반복할 수 있다. 이는 실제 창출된 가치를 훨씬 초과하는 토큰 소비로 이어진다. 보고서에 따르면 일부 고빈도 시나리오에서 에이전트 실행 비용은 통합 솔루션보다 수십 배, 심지어 수백 배 더 높을 수 있어, 산업 전반에 걸친 광범위한 사용에 대한 지속 가능성 우려를 제기하고 있다.

장펑은 "대규모 모델 산업화의 다음 단계에서 핵심 과제는 파라미터 수로 경쟁하는 것이 아니라, 토큰당 효율성을 지속적으로 개선하는 것"이라고 지적했다. 그는 기업들이 구체적인 시나리오와 필요에 따라 대규모 모델과 소규모 모델을 전략적으로 결합한 AI 솔루션을 선택하여, 더 낮은 계산 비용으로 더 큰 비즈니스 가치를 달성해야 한다고 믿는다.

금융 분야를 예로 들어보자. 이 분야는 매일 방대한 양의 고주파수, 저지연 작업을 처리한다. 즉, 사용자 의도를 신속하게 파악하고, 핵심 데이터를 추출하며, 정보를 검색하고 정렬하는 작업이다. 이러한 작업들은 높은 동시 처리 능력, 빠른 응답 시간, 그리고 정밀한 정확성을 요구한다. 전통적인 고성능 추론 모델은 강력하지만, 이러한 시나리오에 이를 사용하는 것은 종종 "호두를 깨기 위해 큰 망치를 쓰는 것"과 같이 과도한 조치로, 높은 비용, 느린 속도, 자원 낭비를 초래한다.

장펑은 "업계가 진정으로 필요로 하는 것은 전문성, 엄격성, 규정 준수를 보장하면서도 최적의 비용 효율성과 응답 속도를 제공하는 AI 솔루션"이라고 설명했습니다. 그는 대규모 파라미터 모델이 복잡한 추론과 심층 분석에 탁월한 반면, 소규모 모델은 고주파수·단순 작업에 대해 더 낮은 지연 시간과 더 나은 비용 효율성을 제공한다고 강조했습니다. 두 가지를 모두 활용하는 하이브리드 접근 방식이야말로 실제 문제를 더 효율적이고 경제적으로 해결하는 열쇠입니다.

중관춘 포럼에서 앤트 디지털(Ant Digital)은 '링-DT-핀-미니-2.5(Ling-DT-Fin-Mini-2.5)'라는 경량 금융 전용 모델을 출시했습니다. 이는 링 DT 시리즈의 첫 번째 모델입니다. 이 모델은 최신 링 2.5 하이브리드 선형 어텐션 프레임워크를 기반으로 한 경량 Mixture-of-Experts(MoE) 아키텍처로, 높은 동시 처리량과 낮은 지연 시간을 요구하는 금융 업무에 최적화되어 있습니다. 이 모델은 전문적인 성능을 유지하면서도 추론 비용을 대규모 배포에 적합한 수준으로 낮췄습니다. 유사한 성능을 가진 주류 범용 모델과 비교했을 때, 동등한 작업량을 처리하는 데 있어 100% 더 빠른 추론 속도와 현저히 낮은 하드웨어 비용을 제공함으로써 금융 기관에 실질적인 비용 절감과 효율성 향상을 가져다줍니다.

실제로 AI 에이전트가 실제 업무를 수행하기 위해 핵심 산업 프로세스 깊숙이 침투함에 따라, 대형 모델과 소형 모델을 결합하는 전략이 업계 표준으로 자리 잡고 있습니다. 최근 OpenAI 역시 저지연 및 높은 비용 효율성에 중점을 둔 두 가지 소형 모델인 GPT-4o mini와 nano를 출시하여, 이를 주된 실행 단계 에이전트로 활용하고 있습니다.

장펑은 기술 발전이 궁극적으로 산업 효율성에 대한 합리적인 요구와 부합해야 한다고 결론지었습니다. 다음 단계의 경쟁에서 토큰 효율성은 기업 AI 가치를 평가하는 핵심 지표가 될 것입니다. 앤트 디지털은 기업용 AGI에 계속 집중할 것이며, 링 DT(Ling DT) 대형 모델의 엔터프라이즈 에디션과 산업별 버전을 출시하여 복잡한 비즈니스 환경에서의 지능형 에이전트 대규모 배포를 가속화할 계획입니다.