데이터브릭스, 기업 AI의 에이전트 시스템으로의 전환 관찰

데이터브릭스에 따르면, 기업 AI 도입은 조직들이 지능형 워크플로우를 구현함에 따라 에이전트 시스템으로 이동하고 있다.

초기 생성형 AI 물결은 비즈니스 혁신을 약속했으나, 종종 고립된 챗봇과 중단된 시범 프로그램으로 귀결되었습니다. 기술 리더들은 제한된 실용성과 높은 기대치 사이에서 고민했습니다. 그러나 데이터브릭스의 최근 데이터는 시장이 전환점에 도달했음을 시사합니다.

포춘 500대 기업의 60%를 포함한 20,000개 이상의 조직에서 수집한 정보에 따르면, 모델이 단순히 정보를 검색하는 것을 넘어 자율적으로 워크플로우를 계획하고 실행하는 '에이전트형' 아키텍처로의 급속한 전환이 진행 중이다.

이러한 변화는 엔지니어링 자원의 근본적인 재분배를 의미합니다. 2025년 6월부터 10월 사이 Databricks 플랫폼에서 다중 에이전트 워크플로 사용량은 327% 증가했습니다. 이 성장은 AI가 시스템 아키텍처의 핵심 구성 요소로 진화하고 있음을 시사합니다.

'슈퍼바이저 에이전트'가 기업용 에이전트형 AI 확산 주도

'슈퍼바이저 에이전트'가 이러한 확장을 주도하고 있습니다. 모든 요청에 단일 모델에 의존하는 대신, 슈퍼바이저는 오케스트레이터 역할을 수행하여 복잡한 쿼리를 분해하고 전문화된 하위 에이전트나 도구에 작업을 할당합니다.

2025년 7월 도입 이후, 슈퍼바이저 에이전트는 10월까지 사용량의 37%를 차지하며 선도적인 에이전트 애플리케이션으로 자리매김했습니다. 이 접근 방식은 인간 조직 구조를 반영합니다: 관리자가 모든 업무를 수행하지는 않지만 팀이 업무를 완수하도록 보장하듯이, 슈퍼바이저 에이전트는 의도 감지 및 규정 준수 검사를 처리한 후 도메인별 도구로 작업을 지시합니다.

현재 기술 기업들이 이 도입을 주도하며, 다른 어떤 산업보다 거의 4배 더 많은 다중 에이전트 시스템을 구축하고 있습니다. 그러나 이점은 모든 분야에 걸쳐 확장됩니다. 예를 들어, 금융 서비스 회사는 다중 에이전트 시스템을 사용하여 문서 검색과 규제 준수를 동시에 관리함으로써, 인간의 개입 없이 검증된 고객 응답을 제공할 수 있습니다.

전통적 인프라의 한계

에이전트가 질문 답변에서 작업 수행으로 진화함에 따라 기반 데이터 인프라에 새로운 도전이 발생합니다. 기존 온라인 트랜잭션 처리(OLTP) 데이터베이스는 예측 가능한 트랜잭션과 드문 스키마 변경을 전제로 인간 수준의 상호작용을 위해 설계되었습니다. 에이전트 기반 워크플로는 이러한 가정을 뒤집습니다.

AI 에이전트는 이제 코드 테스트나 시나리오 실행을 위해 프로그래밍 방식으로 환경을 생성하고 해체하며, 지속적이고 고빈도의 읽기/쓰기 패턴을 생성합니다. 이러한 자동화의 규모는 데이터에서 명확히 드러납니다. 2년 전만 해도 AI 에이전트가 생성한 데이터베이스는 전체의 0.1%에 불과했으나, 현재는 80%에 달합니다.

더욱이 현재 데이터베이스 테스트 및 개발 환경의 97%가 AI 에이전트에 의해 구축됩니다. 이 기능 덕분에 개발자와 "바이브 코더"는 몇 시간이 아닌 몇 초 만에 임시 환경을 생성할 수 있습니다. Databricks Apps의 공개 프리뷰 이후 50,000개 이상의 데이터 및 AI 애플리케이션이 개발되었으며, 지난 6개월 동안 250%의 성장률을 기록했습니다.

다중 모델 표준

기업 리더들이 에이전트형 AI 도입을 확대하는 과정에서 벤더 종속성은 여전히 지속적인 우려 사항입니다. 데이터에 따르면 조직들은 다중 모델 전략을 도입하여 이 문제를 적극적으로 해결하고 있습니다. 2025년 10월 기준, 78%의 기업이 ChatGPT, Claude, Llama, Gemini 등 두 개 이상의 대규모 언어 모델(LLM) 패밀리를 사용했습니다.

이러한 접근 방식은 더욱 정교해지고 있습니다. 2025년 8월부터 10월 사이 세 개 이상의 모델 패밀리를 사용하는 기업의 비율은 36%에서 59%로 증가했습니다. 이러한 다양성은 엔지니어링 팀이 단순한 작업은 더 작고 비용 효율적인 모델에 할당하고, 복잡한 추론 작업은 고급 모델에 맡길 수 있게 합니다.

소매 기업이 이 추세를 주도하며, 83%가 성능과 비용 균형을 위해 두 개 이상의 모델 패밀리를 사용 중이다. 다양한 독점 및 오픈소스 모델을 통합할 수 있는 통합 플랫폼은 현대 기업 AI 스택에 필수 요소로 빠르게 자리 잡고 있다.

기존 빅데이터 방식의 일괄 처리와 달리 에이전트형 AI는 주로 실시간으로 작동합니다. 보고서에 따르면 전체 추론 요청의 96%가 즉시 처리됩니다.

이는 지연 시간이 가치에 직접적인 영향을 미치는 분야에서 특히 두드러집니다. 기술 분야에서는 배치 요청 1건당 32건의 실시간 요청이 처리됩니다. 환자 모니터링이나 임상 의사 결정 지원과 같은 애플리케이션이 필요한 의료 및 생명과학 분야에서는 그 비율이 13대 1입니다. IT 리더들에게 이는 사용자 경험을 저하시키지 않으면서 트래픽 급증을 처리할 수 있는 추론 서비스 인프라의 필요성을 강조합니다.

거버넌스가 기업 AI 배포를 가속화한다

많은 경영진에게 가장 직관적이지 않은 발견은 거버넌스와 속도의 관계일 것입니다. 종종 병목 현상으로 여겨지는 엄격한 거버넌스 및 평가 프레임워크는 실제로 생산 배포를 가속화합니다.

AI 거버넌스 도구를 사용하는 조직은 그렇지 않은 조직에 비해 12배 이상 많은 AI 프로젝트를 생산 환경에 배포합니다. 마찬가지로 모델 품질을 체계적으로 테스트하는 평가 도구를 사용하는 기업은 생산 배포를 거의 6배 더 많이 달성합니다.

이유는 간단합니다. 거버넌스는 데이터 사용 정의 및 속도 제한 설정과 같은 필수적인 안전장치를 제공하여 이해관계자들이 배포를 승인할 수 있는 확신을 줍니다. 이러한 통제 장치가 없으면, 안전성이나 규정 준수 위험이 정량화되지 않아 파일럿 프로젝트가 종종 개념 증명 단계에 머물게 됩니다.

에이전트형 AI의 '지루한' 기업 자동화의 가치

자율 에이전트가 미래지향적 능력을 연상시키지만, 현재 에이전트형 AI의 기업 가치는 일상적이고 평범하지만 필수적인 업무 자동화에서 비롯됩니다. 주요 AI 적용 분야는 산업별로 다르나 특정 비즈니스 과제 해결에 집중합니다:

• 제조 및 자동차: 사용 사례의 35%가 예측 유지보수에 집중됩니다.

• 헬스케어 및 생명과학: 사용 사례의 23%가 의학 문헌 종합에 관여합니다.

• 소매 및 소비재: 사용 사례의 14%가 시장 정보 분석에 전념합니다.

또한 상위 AI 활용 사례의 40%는 고객 지원, 옹호, 온보딩과 같은 실질적인 고객 문제 해결에 기여합니다. 이러한 적용은 측정 가능한 효율성을 제공하며, 더 진보된 에이전트형 워크플로우에 필요한 조직 역량을 구축합니다.

최고 경영진(C-suite)에게 앞으로의 길은 AI의 '마법'보다는 이를 둘러싼 엔지니어링 분야에 더 집중하는 것입니다. 데이터브릭스(Databricks)의 EMEA 최고기술책임자(CTO)인 데일 윌리엄슨(Dael Williamson)은 논의가 진화했다고 지적합니다.

윌리엄슨은 "EMEA 지역 기업들의 논의는 AI 실험 단계에서 운영 현실 단계로 이동했다"며 "AI 에이전트는 이미 기업 인프라의 핵심 부분을 운영 중이지만, 진정한 가치를 실현하는 조직은 거버넌스와 평가를 사후 고려사항이 아닌 기반으로 삼는 곳들"이라고 말합니다.

윌리엄슨은 경쟁 우위가 단순히 구매하는 것이 아니라 기업이 어떻게 구축하느냐로 다시 이동하고 있다고 강조합니다.

"개방적이고 상호운용 가능한 플랫폼은 기업이 자체 데이터에 AI를 적용할 수 있게 합니다. 단기 생산성은 제공하지만 장기적 차별화 요소가 되지 못하는 내장형 AI 기능에 의존하는 것과는 다릅니다."

규제가 심한 시장에서는 이러한 개방성과 통제의 조합이 "시범 운영과 경쟁 우위를 구분 짓는 요소"입니다.

관련 기사: 앤트로픽, 정부 AI 어시스턴트 시범 사업 구축사로 선정

업계 리더들로부터 AI와 빅데이터에 대해 더 알아보고 싶으신가요? 암스테르담, 캘리포니아, 런던에서 열리는 AI & 빅데이터 엑스포를 확인해 보세요. 이 포괄적인 행사는 TechEx의 일부이며 사이버 보안 & 클라우드 엑스포를 포함한 다른 주요 기술 행사와 동시 개최됩니다. 자세한 내용은 여기를 클릭하세요.

AI 뉴스는 TechForge Media에서 제공합니다. 다른 예정된 기업 기술 행사 및 웨비나를 여기에서 확인하세요.