A abordagem elegante da Gimlet Labs para resolver os gargalos na inferência de IA

Professor adjunto da Stanford e fundador de startups de sucesso, Zain Asgar, levantou 80 milhões de dólares em rodada Series A para uma empresa que aborda o gargalo na inferência de IA de maneira particularmente inteligente. A Menlo Ventures liderou esse aporte.

A startup Gimlet Labs afirma ter desenvolvido a primeira e única “nuvem de inferência multi-silício” – um software que permite que cargas de trabalho de IA sejam executadas simultaneamente em diferentes tipos de hardware. Ele consegue distribuir tarefas entre CPUs convencionais, GPUs otimizadas para IA e sistemas com alta capacidade de memória.

“Basicamente, executamos as operações em qualquer hardware disponível”, disse Asgar ao TechCrunch.

“Um único agente pode concatenar vários passos, e cada um deles requer hardware diferente: a inferência é limitada pelo poder de processamento; a decodificação pela memória; e as chamadas de ferramentas pela rede”, escreveu Tim Tully, investidor líder da Menlo Ventures, em post no blog sobre o financiamento.

Ainda não existe um chip capaz de fazer tudo isso, mas à medida que novos hardwares são lançados e GPUs mais antigas são reutilizadas, “a frota multi-silício já está pronta – só falta a camada de software para que funcione”. É exatamente isso que Tully acredita que a Gimlet Labs oferece.

Se a tendência atual de aumento do poder de processamento continuar, a McKinsey estima que os gastos com data centers possam chegar a quase 7 trilhões de dólares até 2030. Asgar afirma que os aplicativos atuais utilizam o hardware existente apenas “entre 15% e 30%” do tempo.

“Outra maneira de pensar nisso: você está desperdiçando centenas de bilhões de dólares porque deixa recursos ociosos”, disse ele. “Nosso objetivo era descobrir como tornar as cargas de trabalho de IA 10 vezes mais eficientes do que hoje.”

Por isso, ele e seus cofundadores – Michelle Nguyen, Omid Azizi e Natalie Serrino – decidiram criar um software de orquestração capaz de dividir cargas de trabalho em partes menores para que possam ser executadas simultaneamente em todos os tipos de hardware.

A Gimlet Labs afirma acelerar a inferência de IA de 3 a 10 vezes, mantendo o mesmo custo e consumo energético. A empresa também sustenta que consegue dividir o modelo subjacente para que ele funcione em diferentes arquiteturas, utilizando o melhor chip para cada parte.

A companhia já fez parcerias com fabricantes de chips como NVIDIA, AMD, Intel, ARM, Cerebras e d-Matrix.

O produto da Gimlet – disponibilizado como software ou por meio de uma API em sua própria Gimlet Cloud – não é voltado para desenvolvedores de aplicativos de IA comuns. Ele se destina aos maiores laboratórios de modelos de IA e data centers.

A empresa foi lançada publicamente em outubro, com receitas que, segundo ela, já atingiram valores de oito dígitos desde o início (pelo menos 10 milhões de dólares). Asgar afirmou que sua base de clientes mais que dobrou nos últimos quatro meses e agora inclui um dos principais criadores de modelos e uma grande empresa de computação em nuvem, embora tenha se recusado a nomeá-las.

Os cofundadores já trabalharam juntos na Pixie, uma startup que desenvolveu uma ferramenta de observabilidade de código aberto para Kubernetes. A Pixie foi adquirida pela New Relic em 2020, apenas dois meses após seu lançamento, com um aporte Series A de 9 milhões de dólares liderado pela Benchmark. (A tecnologia da Pixie faz parte atualmente da organização de código aberto que supervisiona o Kubernetes.)

Depois que Asgar encontrou Tully por acaso há cerca de um ano e também recebeu investimentos anjos de professores da Stanford, os fundos de venture capital começaram a entrar em contato. Após o lançamento, um term sheet chegou à mesa de Asgar. Quando os investidores souberam que ele estava analisando ofertas, “recebemos uma enxurrada de propostas”, e a rodada foi rapidamente superlotada, segundo ele.

Com o financiamento inicial, a startup já levantou um total de 92 milhões de dólares, incluindo investimentos de diversos anjos como Bill Coughran da Sequoia, o professor da Stanford Nick McKeown, Raghu Raghuram, ex-CEO da VMware, e Lip-Bu Tan, CEO da Intel. A empresa atualmente emprega 30 pessoas.

Outros investidores incluem a Factory (que liderou o financiamento inicial), a Eclipse Ventures, a Prosperity7 e a Intel Capital.