IBM: 기업, AI에 '모든 것'을 배포하고 이제 LLM에서 사용 사례까지 도전에 직면하다

지난 세기 동안 IBM은 수많은 기술 트렌드가 등장하고 사라지는 것을 목격했습니다. 지속되는 접근 방식은 유연성과 선택권을 제공하는 접근 방식이었습니다.

VB 트랜스폼 2025에서 IBM의 AI 플랫폼 담당 부사장인 아르망 루이즈는 제너레이티브 AI에 대한 회사의 관점과 기업 고객이 이 기술을 실제로 구현하는 방법에 대해 설명했습니다. 루이즈 부사장은 현재 환경은 하나의 독점적인 대형 언어 모델 제공업체나 솔루션을 선택하는 것이 아니라고 강조했습니다. 기업들은 점점 더 단일 공급업체의 AI 전략에서 벗어나 전문 LLM과 특정 운영 요구 사항을 결합하는 다중 모델 프레임워크를 선택하고 있습니다.

IBM은 Granite 시리즈를 통해 자체 오픈 소스 AI 모델을 제공하지만, 모든 애플리케이션을 위한 범용 솔루션으로 제시하지는 않습니다. 이러한 고객의 행동은 IBM의 역할을 형성하고 있으며, IBM은 기반 모델 제공업체로서 직접 경쟁하기보다는 AI 운영을 위한 중앙 제어 허브 역할을 하는 것을 목표로 하고 있습니다.

루이즈는 "고객들을 만나보면 모든 도구를 마음껏 활용하고 있습니다."라고 말합니다. "코딩 작업의 경우 많은 사람들이 Anthropic을 선호합니다. 추론과 논리를 위해서는 o3를 사용하기도 합니다. 미세 조정을 통해 자체 데이터로 LLM을 맞춤화하는 경우에는 Granite 모델부터 Mistral의 더 작은 모델 또는 Llama까지 다양한 옵션이 있습니다. 중요한 것은 특정 작업에 적합한 모델을 선택하는 것입니다. 또한 권장 사항을 제공하여 고객을 지원합니다."

멀티-LLM 연결을 위한 전략

이러한 시장 역학 관계를 해결하기 위해 IBM은 새로운 모델 게이트웨이를 도입했습니다. 이 시스템은 기업이 다양한 LLM 간에 원활하게 전환할 수 있는 통합 API를 제공하는 동시에 모든 구현에 걸쳐 일관된 감독과 거버넌스를 보장합니다.

이 기술 설계를 통해 고객은 민감한 데이터에 대한 자체 추론 인프라에서 오픈 소스 모델을 운영할 수 있으며, 덜 중요한 기능에 대해서는 AWS Bedrock 또는 Google Cloud의 Gemini와 같은 공용 API를 활용할 수도 있습니다.

루이즈는 "이 게이트웨이는 고객에게 하나의 API로 다양한 LLM 간에 전환할 수 있는 단일 인터페이스를 제공하며, 프로세스 전반에 걸쳐 완전한 통합 가시성과 거버넌스를 통합합니다."라고 설명합니다.

이 방법은 고객을 독점 시스템에 가두려는 공급업체의 전술과는 대조적입니다. 멀티벤더 모델 선택을 지지하는 것은 IBM만이 아닙니다. 최근에는 가장 적합한 모델에 워크로드를 할당하도록 설계된 모델 라우팅을 위한 여러 도구가 등장했습니다.

에이전트 조정 프로토콜, 필수 인프라가 되다

IBM은 여러 모델을 관리하는 것 외에도 개방형 표준을 통해 에이전트 간 커뮤니케이션의 필요성을 해결하고 있습니다.

이 회사는 에이전트 커뮤니케이션 프로토콜을 만들어 Linux 재단에 제출했습니다. ACP는 Google의 에이전트2에이전트 프로토콜에 대응하는 프로토콜로, Google도 이번 주에 Linux 재단에 기여했습니다.

루이즈는 두 프로토콜 모두 에이전트 커뮤니케이션을 간소화하고 사용자 지정 코딩의 필요성을 최소화하도록 설계되었다고 언급했습니다. 그는 현재 A2A와 ACP의 차이점은 주로 기술적인 측면이며, 결국 서로 다른 방법론이 합쳐질 것으로 예상합니다.

이러한 에이전트 조정 프로토콜은 AI 시스템이 다양한 플랫폼과 제공업체에서 상호 작용할 수 있는 통일된 방법을 확립합니다.

일부 IBM 고객은 이미 파일럿 프로젝트에서 100개 이상의 에이전트를 테스트하고 있을 정도로 기술적인 중요성은 기업 수준에서 분명합니다. 표준 통신 프로토콜이 없으면 에이전트 간의 상호 작용마다 맞춤형 개발이 필요하기 때문에 관리하기 어려운 통합 워크로드로 이어집니다.

워크플로우와 운영 방식을 혁신하는 AI

현재 비즈니스에 미치는 AI의 영향력에 대해 루이즈는 그 영향력이 기본적인 챗봇 기능 이상으로 확장되어야 한다고 생각합니다.

"AI 이니셔티브가 챗봇이나 단순한 비용 절감에 국한되어 있다면 AI를 완전히 수용하지 않은 것입니다."라고 루이즈는 말합니다. "진정한 AI는 워크플로우와 업무 수행 방식을 근본적으로 재구성하는 것을 포함합니다."

기본적인 AI 사용과 완전한 혁신의 차이는 기술이 비즈니스 운영에 얼마나 철저하게 내장되어 있는지에 있습니다. IBM의 내부 HR 사례는 이러한 진화를 잘 보여줍니다. 직원이 챗봇에게 인사 관련 세부 사항을 상담하는 대신 전문 상담원이 급여, 채용, 승진에 관한 일반적인 문의를 관리하고 관련 시스템에 자동으로 연결하며 꼭 필요한 경우에만 사람의 개입을 유도합니다.

"이전에는 다양한 사안에 대해 인사 담당자와 상담하는 데 상당한 시간을 소비했습니다. 이제는 HR 담당자가 대부분의 요청을 처리합니다."라고 루이즈는 설명합니다. "보상, 직원 이직, 채용, 승진 등 문의 내용에 따라 이러한 업무는 각각 전담 에이전트가 관리하는 다양한 내부 HR 시스템으로 연결됩니다."

이는 인간과 컴퓨터의 상호작용에서 컴퓨터 기반의 워크플로 자동화로 기본적인 구조적 변화를 의미합니다. 직원이 AI 도구 사용법을 배우는 대신 AI가 처음부터 끝까지 전체 비즈니스 프로세스를 수행하는 방법을 학습하는 것입니다.

따라서 기업은 단순한 API 연결과 신속한 설계를 넘어 AI 에이전트가 독립적으로 다단계 워크플로우를 실행할 수 있는 포괄적인 프로세스 통합으로 나아가야 합니다.

기업 AI 투자를 위한 전략적 고려 사항

IBM의 배포 관찰에 따르면 엔터프라이즈 AI 계획에 있어 몇 가지 주요 변화가 있습니다:

챗봇 중심의 접근 방식에서 벗어나세요: 기업은 현재 시스템에 대화형 프런트엔드만 추가하는 것이 아니라 전체 워크플로우를 정확히 파악하여 점검해야 합니다. 인간과 컴퓨터의 상호 작용을 향상시키는 것뿐만 아니라 수동 단계를 제거하는 것이 목표입니다.

다중 모델 적응성을 위한 구축: 기업은 하나의 AI 공급업체에 종속되는 대신 거버넌스를 유지하면서 업무 요구 사항에 따라 모델을 전환할 수 있는 통합 플랫폼이 필요합니다.

커뮤니케이션 표준을 우선시하세요: 조직은 공급업체 종속성을 초래하는 독점적인 통합 방식을 피하고 MCP, ACP, A2A와 같은 새로운 프로토콜을 지원하는 AI 솔루션을 선호해야 합니다.

"AI는 발전 가능성이 무궁무진하며, 저는 모든 사람이 AI에 대해 배워야 한다고 지속적으로 강조합니다. 특히 비즈니스 리더는 AI 우선 사고방식을 채택하고 기본 개념을 이해해야 합니다."라고 루이즈는 결론을 내립니다.