Niv-AI fait son apparition pour optimiser la puissance et les performances des GPU

L'électricité est une ressource fondamentale pour l'intelligence artificielle, mais les nouvelles méthodes de calcul dépassent la capacité des opérateurs de centres de données à gérer efficacement leurs interactions avec le réseau, ce qui les oblige à réduire leurs activités jusqu'à 30 %.

« Une quantité considérable d'énergie est gaspillée dans ces installations d'IA », a déclaré Jensen Huang, PDG de Nvidia, lors de son discours d'ouverture à la conférence annuelle GTC de l'entreprise. « Chaque watt non utilisé représente une perte de revenus », a souligné l'entreprise dans sa présentation annuelle.

Aujourd'hui, la start-up Niv-AI a été lancée avec un financement initial de 12 millions de dollars pour répondre à ce problème. L'entreprise vise à mesurer avec précision la consommation électrique des GPU à l'aide de capteurs innovants et à créer des outils pour une gestion plus efficace de l'énergie.

Fondée l'année dernière à Tel Aviv par le PDG Tomer Timor et le directeur technique Edward Kizis, la start-up bénéficie du soutien de Glilot Capital, Grove Ventures, Arc VC, Encoded VC, Leap Forward et Aurora Capital Partners. La société a choisi de ne pas divulguer sa valorisation.

Alors que les principaux laboratoires d'IA coordonnent des milliers de GPU pour entraîner et exécuter des modèles sophistiqués, des pics de consommation rapides, de l'ordre de la milliseconde, se produisent lorsque les processeurs alternent entre les tâches de calcul et la communication inter-GPU.

Ces pics compliquent la capacité des centres de données à réguler leur consommation d'électricité provenant du réseau. Pour éviter les pénuries, les centres de données investissent soit dans des systèmes de stockage d'énergie temporaires pour amortir ces pics, soit réduisent l'utilisation des GPU. Ces deux approches diminuent le retour sur investissement d'un matériel coûteux.

« Nous ne pouvons tout simplement pas continuer à construire des centres de données en utilisant les méthodes actuelles », a fait remarquer Lior Handlesman, associé chez Grove Ventures et membre du conseil d'administration de Niv.

La phase initiale de la stratégie de Niv consiste à acquérir des informations détaillées. L'entreprise installe actuellement des capteurs au niveau des racks qui surveillent la consommation électrique des GPU à des intervalles de quelques millisecondes sur son propre matériel et chez ses partenaires de conception. L'objectif est d'analyser les profils de consommation distincts de diverses charges de travail d'apprentissage profond et de développer des méthodes pour aider les centres de données à mieux utiliser leur capacité existante.

L'équipe d'ingénieurs prévoit de construire un modèle d'IA à partir des données collectées, dans le but de l'entraîner à prévoir et à coordonner les charges électriques dans l'ensemble du centre de données, créant ainsi un véritable « copilote » pour les ingénieurs des installations.

Niv prévoit de déployer un système opérationnel dans plusieurs centres de données américains d’ici six à huit mois. Cette solution est particulièrement intéressante car les principaux fournisseurs de cloud sont confrontés à des défis liés à l’utilisation des sols et aux perturbations de la chaîne d’approvisionnement lors de la construction de nouvelles installations. Les fondateurs envisagent leur produit final comme une « couche d’intelligence » cruciale reliant les centres de données et le réseau électrique.

« Le réseau électrique s’inquiète réellement de la consommation excessive d’électricité des centres de données aux heures de pointe », a expliqué Timor à TechCrunch. « Le problème que nous abordons comporte deux aspects interdépendants. Premièrement, nous visons à aider les centres de données à mieux exploiter leurs GPU, en maximisant la puissance pour laquelle ils ont déjà signé un contrat. Deuxièmement, nous pouvons favoriser des profils de consommation d’électricité plus responsables entre les centres de données et le réseau. »