구글 클라우드 AI 책임자, 모델 성능 향상을 위한 주요 과제를 제시하다

구글 클라우드의 제품 부사장인 마이클 거스텐하버는 회사의 포괄적인 기업용 AI 배포 플랫폼인 ‘버텍스(Vertex)’를 주된 업무로 담당하고 있습니다. 이 직책을 통해 그는 기업들이 AI 모델을 실제로 어떻게 도입하고 있는지, 그리고 자율적 AI의 잠재력을 완전히 발휘하는 데 여전히 남아 있는 주요 장애물이 무엇인지에 대해 폭넓은 시각을 갖게 되었습니다.

마이클과의 대화에서 특히 독창적인 통찰력을 얻을 수 있었습니다. 그는 AI 모델의 발전을 '원시 지능', '응답 지연 시간', 그리고 결정적인 세 번째 요소인 '비용 효율성'이라는 세 가지 서로 다른 영역을 동시에 돌파해 나가는 과정으로 규정합니다. 이 세 번째 영역은 순수한 성능보다는 경제성에 더 가깝습니다. 즉, 모델이 예측 불가능한 대규모 환경에서 운영될 수 있을 만큼 충분히 저렴하게 배포될 수 있는지를 결정하는 요소입니다. 이는 최첨단 모델 개발을 새로운 방향으로 이끌고자 하는 모든 이에게 귀중한 프레임워크가 될 것입니다.

이 인터뷰는 이해를 돕기 위해 요약 및 편집되었습니다.

먼저, AI 분야에서의 경력과 현재 구글에서의 역할에 대해 간략히 소개해 주시겠습니까?

저는 약 2년 동안 AI 분야에서 일해 왔습니다. Anthropic에서 1년 반을 근무한 후, 약 6개월 전에 구글에 합류했습니다. 저는 Vertex 개발자 플랫폼을 이끌고 있습니다. 저희의 주요 사용자는 맞춤형 애플리케이션을 구축하는 엔지니어들입니다. 이들은 에이전트 기반 워크플로우, 견고한 에이전트 플랫폼, 그리고 세계에서 가장 진보된 모델의 추론 성능에 대한 접근을 원합니다. 저희 팀은 이러한 기반 플랫폼을 제공하며, 최종 사용자 애플리케이션은 Shopify나 Thomson Reuters와 같은 고객사들이 각자의 특정 산업 분야에서 직접 개발합니다.

구글로 이직하게 된 동기는 무엇인가요?

구글의 독보적인 강점은 사용자 인터페이스부터 인프라 계층에 이르기까지 수직적으로 통합된 구조에 있습니다. 우리는 자체 데이터 센터를 설계하고, 전력 조달을 관리하며, 맞춤형 실리콘(TPU)을 개발하고, 자체 기초 모델을 훈련시키며, 추론 및 에이전트 오케스트레이션 계층을 통제합니다. 저희는 메모리 및 코드 생성 같은 기능을 위한 API를 제공합니다. 그뿐만 아니라, 규정 준수 및 거버넌스를 위한 에이전트 엔진과 Gemini와 같은 소비자 및 기업용 인터페이스도 구축했습니다. 이러한 종단 간(end-to-end) 제어 능력은 큰 강점이며, 제가 합류한 주요 이유이기도 합니다.

TechCrunch Founder Summit 티켓 최대 $300 또는 30% 할인

TechCrunch Founder Summit 2026에 참여하여 1,000명 이상의 창업자 및 투자자들과 함께 성장, 실행, 확장에 전념하는 하루를 보내세요. 업계를 선도하는 창업자와 투자자들로부터 통찰력을 얻으세요. 비슷한 성장 단계에 있는 동료들과 네트워킹을 하세요. 즉시 실행 가능한 전략을 얻어 가세요.

이 혜택은 3월 13일에 종료됩니다.

TechCrunch Founder Summit에서 최대 $300 또는 30% 할인

TechCrunch Founder Summit 2026에서 1,000명 이상의 창업자 및 투자자와 함께 성장, 실행, 확장에 전념하는 하루를 보내세요. 업계를 선도하는 창업자와 투자자로부터 통찰력을 얻으세요. 비슷한 성장 단계에 있는 동료들과 네트워킹을 하세요. 즉시 실행 가능한 전략을 가지고 돌아가세요.

이 혜택은 3월 13일에 종료됩니다.

흥미로운 점은, 차이점에도 불구하고 세 주요 AI 연구소의 핵심 역량은 서로 비슷해 보인다는 것입니다. 이는 단순히 더 높은 지능을 향한 경쟁일 뿐인가, 아니면 상황이 더 미묘한가?

저는 세 가지 뚜렷한 성능의 경계를 확인합니다. 첫째, Gemini Pro와 같은 모델은 순수한 지능을 위해 최적화되어 있습니다. 복잡한 코드 생성 같은 작업이 좋은 예시입니다. 해당 코드를 유지 관리하고 배포해야 하므로, 시간이 더 걸리더라도 가능한 한 최고 품질의 출력을 원할 것입니다.

두 번째 한계는 지연 시간입니다. 실시간 고객 지원 시나리오에서 AI는 정책을 적용할 수 있는 지능(예: 반품 처리나 좌석 업그레이드)과 사용자가 관심을 잃기 전에 답변을 전달할 수 있는 속도를 모두 갖춰야 합니다. 여기서는 엄격한 시간 제한 내에서 작동할 수 있는 가장 똑똑한 모델이 필요합니다.

세 번째 경계는 대규모 운영 시의 비용입니다. 방대한 양의 콘텐츠를 관리하려는 Reddit이나 Meta와 같은 기업은 예측 불가능한 수요에 직면합니다. 비용이 어떻게 증가할지 모른 채 무한한 기업 리스크를 감당할 수는 없습니다. 이들은 감당할 수 있는 범위 내에서 가장 지능적이면서도 잠재적으로 무한한 양의 작업을 처리할 수 있을 만큼 비용 효율적인 모델이 필요합니다.

왜 에이전트형 AI 시스템이 더 널리 채택되지 않았는지는 끊임없이 제기되는 질문입니다. 모델의 성능과 인상적인 데모는 존재하지만, 1년 전 많은 이들이 예상했던 혁신적인 변화는 아직 완전히 실현되지 않았습니다. 주요 병목 요인은 무엇일까요?

이 기술의 기반이 된 기술은 불과 2년 정도밖에 되지 않았으며, 핵심 인프라가 여전히 부족합니다. 에이전트의 행동을 감사하거나 에이전트의 데이터 접근을 승인하기 위한 확립된 패턴이 부족합니다. 이러한 실제 운영에 적합한 패턴을 구현하려면 상당한 노력이 필요합니다. 실제 운영 환경에서의 도입은 항상 기술적 역량보다 뒤처지기 마련입니다. 지능의 전체적인 범위가 성숙하고 배포된 시스템에 반영되기에는 2년이라는 시간이 충분하지 않으며, 바로 여기에 현재의 과제가 있습니다.

소프트웨어 엔지니어링 분야에서는 기존 개발 주기와 잘 통합되기 때문에 도입 속도가 유독 빨랐습니다. 엔지니어들은 안전한 개발 및 테스트 환경을 갖추고 있습니다. 구글에서는 코드가 고객에게 제공되기 전에 두 명의 엔지니어로부터 검토와 승인을 받아야 합니다. 이러한 '인간 개입(human-in-the-loop)' 프로세스 덕분에 구현 시 위험이 매우 낮습니다. 우리는 다른 분야와 전문직에서도 이와 동등하고 안전한 패턴을 개발해야 합니다.