OpenAI API 리더, 에이전트 SDK 및 응답 API를 통한 기업 성공 사례 소개

벤처비트(VentureBeat)의 트랜스폼 2025(Transform 2025) 컨퍼런스에서 오픈AI(OpenAI) API 플랫폼 제품 총괄 올리비에 고드망(Olivier Godement)은 기업 팀들이 AI 에이전트를 구현하고 확장하는 방식에 대한 내부적 관점을 제시했다.

제가 진행한 고드망과의 20분간 단독 패널 토론에서, 전 스트라이프 연구원이자 현 오픈AI API 책임자인 그는 회사의 최신 개발자 도구인 응답 API(Responses API)와 에이전트 SDK(Agents SDK)를 상세히 설명하면서, 스트라이프(Stripe)와 박스(Box) 같은 초기 도입 기업들의 실제 적용 사례, 보안 조치, 투자 수익률(ROI) 사례를 소개했습니다.

생방송을 놓친 기업 리더들을 위해 가장 중요한 8가지 인사이트를 소개합니다:

에이전트, 프로토타입에서 생산 환경으로 급속히 전환 중

고드망은 2025년이 AI의 대규모 배포에 있어 중대한 전환점이 될 것이라고 강조했습니다. 전 세계적으로 월간 활성 개발자 100만 명 이상이 OpenAI API 플랫폼을 사용하고 있으며, 토큰 사용량이 전년 대비 700% 증가하는 등 AI는 실험 단계를 넘어 진화하고 있습니다.

"GPT-3 출시 후 5년이 지났습니다… 그간의 여정은 정말 놀라웠습니다."

그는 현재 수요가 챗봇을 훨씬 넘어섰다고 지적했다. "AI 애플리케이션은 단순한 Q&A에서 에이전트가 사용자를 대신해 적극적으로 작업을 수행하는 사용 사례로 진화하고 있습니다."

이러한 전환으로 OpenAI는 3월에 응답 API(Responses API)와 에이전트 SDK(Agents SDK)라는 두 가지 핵심 개발자 도구를 도입했습니다.

단일 에이전트 vs 서브 에이전트 아키텍처 사용 시점

핵심 주제는 아키텍처 설계 결정이었습니다. 고드망은 단일 에이전트 루프(하나의 모델 내에서 전체 도구 접근권과 컨텍스트를 결합)가 이론상 우아하지만, 대규모 구현 시 종종 어려움을 겪는다고 설명했습니다.

"정확하고 신뢰할 수 있는 단일 에이전트를 만드는 것은 어렵습니다. 정말 힘든 일입니다."

추가 도구, 다양한 사용자 입력, 복잡한 논리가 더해지면서 시스템이 점점 더 복잡해짐에 따라 팀들은 종종 전문화된 서브 에이전트를 사용하는 모듈식 설계를 채택합니다.

"일반적인 접근법은 에이전트를 여러 하위 에이전트로 분할하는 것입니다… 관심사 분리 같은 소프트웨어 공학 원칙을 적용하는 것이죠."

이러한 하위 에이전트는 팀 내 역할처럼 작동합니다: 분류 에이전트는 요청을 분류하고, 1단계 에이전트는 일상적인 작업을 관리하며, 다른 에이전트는 복잡하거나 특이한 사례를 처리합니다.

응답 API가 획기적인 변화인 이유

고데망은 응답 API를 개발자 도구의 근본적인 발전으로 설명했습니다. 이전에는 개발자가 모델 호출 시퀀스를 수동으로 관리해야 했습니다. 이제 이러한 조정이 자동으로 처리됩니다.

"응답 API는 GPT-3 이후 우리가 도입한 가장 중요한 추상화 계층이라 할 수 있습니다."

이를 통해 개발자는 모델 워크플로 구성보다 의도 파악에 집중할 수 있습니다. "고객에게 탁월한 응답을 제공하는 것이 목표라면… 응답 API가 그 전 과정을 관리합니다."

이 API에는 지식 검색, 웹 검색, 함수 호출을 위한 내장 기능도 포함되어 있습니다. 이는 실제 기업 에이전트 워크플로우에 필수적인 구성 요소입니다.

내재화된 가시성과 보안

보안과 규정 준수는 핵심 고려 사항으로 강조되었습니다. 고드망은 금융 및 의료와 같은 규제 산업에 적합하도록 OpenAI 플랫폼을 만드는 주요 안전 장치를 강조했습니다:

• 정책 기반 거부
• SOC-2 로깅
• 데이터 거주지 지원

그는 데모 단계에서 실제 운영 단계로 전환하는 데 있어 평가가 가장 큰 과제라고 지적했습니다.

"제 생각에 모델 평가는 AI의 광범위한 채택에 있어 가장 큰 장애물일 것입니다."

OpenAI는 이제 API 스택 내에 추적 및 평가 도구를 통합하여 팀이 성공 지표를 정의하고 시간 경과에 따른 에이전트 성능을 모니터링할 수 있도록 지원합니다.

"평가에 투자하지 않으면... 모델의 정확성과 신뢰성을 보장하는 데 필요한 신뢰와 확신을 구축하기 어렵습니다."

특정 기능에서 조기 ROI 가시화

일부 기업 애플리케이션에서는 이미 측정 가능한 이점이 나타나고 있다. 고드망은 다음과 같은 사례를 제시했다:

• Stripe: 에이전트를 활용해 청구서 처리 속도를 높여 "청구서 해결 속도 35% 향상" 보고
• Box: 지식 어시스턴트 배포로 "제로 터치 티켓 분류" 구현

기타 영향력 큰 활용 사례로는 고객 지원(음성 기반 시스템 포함), 내부 거버넌스, 복잡한 문서 탐색을 위한 지식 어시스턴트 등이 있습니다.

실제 운영 환경에 적용하기 위한 조건

고드망은 성공적인 배포에 있어 인간의 주도적 역할이 중요하다고 강조했습니다.

"소수의 고도로 동기 부여된 개인들이 문제와 기술적 해결책을 발견하고 바로 뛰어들었습니다."

이러한 내부 지지자들은 항상 기술적 배경을 가진 것은 아닙니다. 그들에게 공통점은 결단력입니다.

"그들의 즉각적인 반응은 '이것을 어떻게 실현할 수 있을까?'입니다."

OpenAI는 초기 배포 사례 다수가 바로 이 집단에 의해 주도된다고 관찰한다. 기업 환경에서 ChatGPT를 조기에 도입한 이들이 이제 완전한 에이전트 시스템을 탐구하고 있다.

그는 또한 종종 간과되는 요소인 도메인 전문성을 강조했습니다. "기업 내 핵심 지식은... 엔지니어가 아닌 운영 팀에 있습니다."

개발자가 아닌 사람들도 에이전트 구축 도구를 사용할 수 있도록 하는 것이 OpenAI가 해결하기 위해 노력하는 핵심 과제입니다.

엔터프라이즈 에이전트의 미래

고드망은 향후 개발 방향을 미리 공개했다. OpenAI는 현재 다음에 집중하고 있다:

• 텍스트, 음성, 이미지, 구조화된 데이터를 통해 상호작용할 수 있는 다중 모드 에이전트
• 대화 간 지식을 유지하는 장기 기억 기능
• 복잡한 분산 IT 인프라를 지원하는 크로스 클라우드 오케스트레이션

이는 혁명적인 변화라기보다 기존 역량을 기반으로 한 점진적 개선입니다. "모델이 초 단위가 아닌 분 또는 시간 단위로 정보를 처리할 수 있게 되면… 진정으로 획기적인 응용 분야가 열릴 것입니다."

결론: 추론 모델은 과소평가되고 있다

고드망은 응답 전에 반성할 수 있는 추론 모델이 장기적 변혁의 진정한 동력이 될 것이라는 믿음을 재확인하며 결론을 내렸다.

"추론 모델 성숙도 측면에서 우리는 현재 GPT-2나 GPT-3에 필적하는 단계에 있다고 확신합니다… 이 모델들이 달성할 수 있는 가능성은 이제 막 탐색을 시작한 수준입니다."

기업 리더들에게 시사하는 바는 분명하다: 에이전트 주도 자동화를 위한 기반 시설은 이미 마련되었다. 성공은 집중된 활용 사례를 식별하고, 크로스-기능 팀을 지원하며, 반복적 접근 방식을 유지하는 데 달려 있다. 다음 가치 창출의 물결은 화려한 시연이 아닌, 현실 세계의 요구와 운영적 탁월성에 의해 형성된 견고한 시스템에서 비롯될 것이다.