A Niv-AI surge para otimizar a potência e o desempenho das GPUs

A eletricidade é um recurso fundamental para a inteligência artificial, mas os métodos computacionais emergentes estão ultrapassando a capacidade dos operadores de centros de dados de gerenciar com eficácia suas interações com a rede elétrica, obrigando-os a reduzir as operações em até 30%.

“Uma quantidade enorme de energia é desperdiçada nessas instalações de IA”, afirmou o CEO da Nvidia, Jensen Huang, durante sua palestra na conferência anual GTC da empresa. “Cada watt não utilizado representa receita perdida”, enfatizou a empresa em sua apresentação anual.

Hoje, a startup Niv-AI foi lançada com US$ 12 milhões em financiamento inicial para resolver essa questão. A empresa tem como objetivo medir com precisão o consumo de energia da GPU usando sensores inovadores e criar ferramentas para um gerenciamento de energia mais eficiente.

Fundada no ano passado em Tel Aviv pelo CEO Tomer Timor e pelo CTO Edward Kizis, a startup conta com o apoio da Glilot Capital, Grove Ventures, Arc VC, Encoded VC, Leap Forward e Aurora Capital Partners. A empresa optou por não divulgar sua avaliação.

À medida que os principais laboratórios de IA coordenam milhares de GPUs para treinar e executar modelos sofisticados, ocorrem picos de energia rápidos, na escala de milissegundos, quando os processadores alternam entre tarefas computacionais e comunicação entre GPUs.

Esses picos dificultam a capacidade dos data centers de regular o consumo de energia da rede elétrica. Para evitar escassez, os data centers investem em armazenamento temporário de energia para amortecer esses picos ou restringem o uso de GPUs. Ambas as abordagens diminuem o retorno sobre o investimento em hardware caro.

“Simplesmente não podemos continuar construindo data centers usando os métodos atuais”, comentou Lior Handlesman, sócio da Grove Ventures e membro do conselho da Niv.

A fase inicial da estratégia da Niv envolve a obtenção de insights detalhados. A empresa está atualmente instalando sensores no nível dos racks que monitoram o uso de energia das GPUs em intervalos de milissegundos em seu próprio hardware e com parceiros de design. O objetivo é analisar os padrões distintos de consumo de energia de várias cargas de trabalho de aprendizado profundo e desenvolver métodos para ajudar os data centers a utilizar melhor sua capacidade existente.

A equipe de engenharia planeja construir um modelo de IA usando os dados coletados, com o objetivo de treiná-lo para prever e coordenar as cargas de energia em todo o data center — criando efetivamente um “copiloto” para os engenheiros da instalação.

A Niv prevê a implantação de um sistema funcional em vários data centers dos EUA nos próximos seis a oito meses. Essa solução é particularmente atraente, já que os principais provedores de nuvem enfrentam desafios relacionados ao uso do solo e interrupções na cadeia de suprimentos ao construir novas instalações. Os fundadores vislumbram seu produto final como uma “camada de inteligência” crucial que faz a ponte entre os data centers e a rede elétrica.

“A rede elétrica está genuinamente preocupada com os data centers consumindo energia excessiva nos horários de pico”, explicou Timor ao TechCrunch. “A questão que estamos abordando tem dois aspectos interligados. Primeiro, nosso objetivo é ajudar os data centers a utilizar mais suas GPUs, maximizando a energia para a qual já estão contratados. Segundo, podemos promover perfis de consumo de energia mais responsáveis entre os data centers e a rede elétrica.”