Gimlet Labs의 AI 인퍼런스 병목 현상 해결을 위한 세련된 접근 방식

Stanford의 겸임 교수이자 성공적인 스타트업 창업자인 Zain Asgar는 AI 추론 과정에서 발생하는 병목 현상을 매우 혁신적인 방식으로 해결하는 회사를 위해 8천만 달러 규모의 시리즈 A 투자를 유치했습니다. 이번 투자 라운드는 Menlo Ventures가 주도했습니다.

이 스타트업인 Gimlet Labs는 현재까지 유일하게 존재하는 “멀티 실리콘 추론 클라우드”를 구축했다고 밝혔습니다. 이 소프트웨어는 AI 작업 부하를 다양한 종류의 하드웨어에서 동시에 실행할 수 있게 해주며, 기존 CPU, AI에 최적화된 GPU, 대용량 메모리 시스템 등에 작업을 분배할 수 있습니다.

Asgar는 TechCrunch와의 인터뷰에서 “우리는 사용 가능한 모든 다양한 하드웨어를 활용해 작업을 처리합니다”라고 말했습니다.

투자를 주도한 Menlo Ventures의 Tim Tully는 자금 조달에 관한 블로그 글에서 “하나의 에이전트가 여러 단계를 연속적으로 수행할 수 있으며, 각 단계마다 서로 다른 하드웨어가 필요합니다. 추론 작업은 연산 능력에 의해 제한되고, 디코딩 작업은 메모리 용량에 의해 제한되며, 도구 호출 작업은 네트워크 속도에 의해 제한됩니다”라고 설명했습니다.

현재로서는 어떤 칩도 이 모든 기능을 한 번에 수행할 수 없지만, 새로운 하드웨어가 출시되고 기존 GPU들이 재사용됨에 따라 “멀티 실리콘 환경은 이미 준비되어 있습니다. 단지 이를 작동시킬 소프트웨어 계층만 부족할 뿐입니다”라고 Tully는 말합니다. Gimlet Labs가 바로 그러한 소프트웨어를 제공한다고 그는 믿고 있습니다.

McKinsey의 추정에 따르면, 컴퓨팅 자원 투자가 현재와 같은 추세로 계속된다면 2030년까지 데이터 센터 관련 지출은 거의 7조 달러에 이를 것으로 보입니다. Asgar는 오늘날의 애플리케이션이 기존 하드웨어를 전체 작업 시간 중 “15~30퍼센트 정도만” 활용하고 있다고 말합니다.

그는 “다른 관점에서 보면, 사용되지 않는 자원들 때문에 수천억 달러가 낭비되고 있는 셈입니다”라며 “우리의 목표는 오늘날의 AI 작업 부하를 기존보다 10배 더 효율적으로 처리할 수 있는 방법을 찾는 것이었습니다”라고 덧붙였습니다.

이에 그와 공동 창업자들인 Michelle Nguyen, Omid Azizi, Natalie Serrino는 다양한 종류의 하드웨어에서 동시에 작업을 실행할 수 있도록 에이전트 기반 작업 부하를 분할하는 오케스트레이션 소프트웨어를 개발하기 시작했습니다.

Gimlet Labs는 동일한 비용과 전력 소모 조건에서도 AI 추론 속도를 3배에서 10배까지 안정적으로 높일 수 있다고 주장합니다. 또한 기본 모델을 분할하여 서로 다른 아키텍처에서 실행하면서 각 부분에 가장 적합한 칩을 사용할 수 있다고도 합니다.

이 회사는 이미 NVIDIA, AMD, Intel, ARM, Cerebras, d-Matrix와 같은 칩 제조업체들과 협력 관계를 맺고 있습니다.

Gimlet의 제품은 소프트웨어 형태나 자사의 Gimlet Cloud API를 통해 제공되며, 일반적인 AI 앱 개발자들을 대상으로 하는 것이 아닙니다. 주로 대규모 AI 모델 연구소와 데이터 센터를 타깃으로 합니다.

이 회사는 지난 10월에 공식적으로 서비스를 시작했으며, 초기부터 이미 8자리 숫자에 달하는 매출을 기록했다고 밝혔습니다(최소 1천만 달러 이상). Asgar는 지난 4개월 동안 고객 수가 두 배 이상 증가했으며, 현재는 주요 모델 제작사와 거대한 클라우드 컴퓨팅 기업도 고객으로 포함되어 있다고 말했지만, 구체적인 이름은 밝히지 않았습니다.

공동 창업자들은 이전에 Kubernetes용 오픈소스 관찰 도구를 개발한 스타트업 Pixie에서 함께 일했습니다. Pixie는 2020년 Benchmark가 주도한 9천만 달러 규모의 시리즈 A 투자를 받은 지 불과 2개월 만에 New Relic에 인수되었습니다(Pixie의 기술은 현재 Kubernetes를 관리하는 오픈소스 커뮤니티의 일부가 되어 있습니다).

약 1년 전 Asgar가 우연히 Tully를 만난 데 이어 Stanford 교수들과 엔젤 투자자들로부터 자금 지원을 받은 후, 벤처 캐피털 회사들이 연락을 해오기 시작했습니다. 서비스 출시 직후 Asgar의 책상 위에는 투자 조건서가 도착했습니다. Asgar에 따르면, 그가 다른 투자 제안들을 검토하고 있다는 소식을 듣고 “매우 많은 수의 투자 유치 제안이 쏟아졌으며”, 이번 투자 라운드는 급속도로 과잉 신청 상태가 되었다고 합니다.

이전 시드 라운드를 포함해 현재까지 이 스타트업은 Sequoia의 Bill Coughran, Stanford 교수 Nick McKeown, VMware의 전 CEO Raghu Raghuram, Intel의 CEO Lip-Bu Tan 등 다수의 엔젤 투자자들을 포함해 총 9천2백만 달러의 자금을 조달했습니다. 현재 이 회사에는 30명의 직원이 근무하고 있습니다.

기타 투자자로는 시드 라운드를 주도한 Factory, Eclipse Ventures, Prosperity7, Intel Capital 등이 있습니다.