Niv-AI sorgt für mehr GPU-Leistung und -Effizienz

Strom ist eine grundlegende Ressource für künstliche Intelligenz, doch neue Rechenmethoden übersteigen die Kapazitäten der Betreiber von Rechenzentren, ihre Netzinteraktionen effektiv zu steuern, was sie dazu zwingt, den Betrieb um bis zu 30 % zu drosseln.

„In diesen KI-Einrichtungen wird eine enorme Menge an Energie verschwendet“, erklärte Nvidia-CEO Jensen Huang während seiner Keynote auf der jährlichen GTC-Konferenz des Unternehmens. „Jedes nicht genutzte Watt bedeutet entgangenen Umsatz“, betonte das Unternehmen in seiner jährlichen Präsentation.

Heute ist das Start-up Niv-AI mit einer Startfinanzierung von 12 Millionen US-Dollar an den Start gegangen, um dieses Problem anzugehen. Das Unternehmen hat sich zum Ziel gesetzt, den Stromverbrauch von GPUs mithilfe neuartiger Sensoren präzise zu messen und Tools für ein effizienteres Energiemanagement zu entwickeln.

Das Start-up wurde im vergangenen Jahr in Tel Aviv von CEO Tomer Timor und CTO Edward Kizis gegründet und wird von Glilot Capital, Grove Ventures, Arc VC, Encoded VC, Leap Forward und Aurora Capital Partners unterstützt. Das Unternehmen hat sich entschieden, seine Bewertung nicht offenzulegen.

Da führende KI-Labore Tausende von GPUs koordinieren, um komplexe Modelle zu trainieren und auszuführen, kommt es zu schnellen Stromspitzen im Millisekundenbereich, wenn die Prozessoren zwischen Rechenaufgaben und der Kommunikation zwischen den GPUs wechseln.

Diese Spitzen erschweren es Rechenzentren, ihren Stromverbrauch aus dem Stromnetz zu regulieren. Um Engpässe zu vermeiden, investieren Rechenzentren entweder in temporäre Energiespeicher, um diese Spitzen abzufedern, oder sie drosseln die GPU-Nutzung. Beide Ansätze mindern die Kapitalrendite für teure Hardware.

„Wir können einfach nicht weiter Rechenzentren nach den derzeitigen Methoden bauen“, bemerkte Lior Handlesman, Partner bei Grove Ventures und Mitglied des Vorstands von Niv.

Die erste Phase der Strategie von Niv besteht darin, detaillierte Einblicke zu gewinnen. Das Unternehmen installiert derzeit Sensoren auf Rack-Ebene, die den Stromverbrauch der GPUs in Millisekundenintervallen auf der eigenen Hardware und bei Designpartnern überwachen. Ziel ist es, die unterschiedlichen Strommuster verschiedener Deep-Learning-Workloads zu analysieren und Methoden zu entwickeln, die Rechenzentren dabei helfen, ihre vorhandene Kapazität besser zu nutzen.

Das Entwicklerteam plant, anhand der gesammelten Daten ein KI-Modell zu erstellen, das darauf trainiert werden soll, die Stromlasten im gesamten Rechenzentrum vorherzusagen und zu koordinieren – und so quasi einen „Copiloten“ für die Anlageningenieure zu schaffen.

Niv rechnet damit, innerhalb der nächsten sechs bis acht Monate ein funktionsfähiges System in mehreren US-Rechenzentren einzuführen. Diese Lösung ist besonders attraktiv, da große Cloud-Anbieter beim Bau neuer Anlagen mit Herausforderungen in Bezug auf Flächennutzung und Unterbrechungen in der Lieferkette konfrontiert sind. Die Gründer sehen ihr Endprodukt als entscheidende „Intelligenzschicht“, die eine Brücke zwischen Rechenzentren und dem Stromnetz schlägt.

„Das Stromnetz ist ernsthaft besorgt darüber, dass Rechenzentren zu Spitzenzeiten übermäßig viel Strom beziehen“, erklärte Timor gegenüber TechCrunch. „Das Problem, das wir angehen, hat zwei miteinander verbundene Aspekte. Erstens wollen wir Rechenzentren dabei helfen, ihre GPUs besser auszulasten und so die bereits vertraglich vereinbarte Strommenge optimal zu nutzen. Zweitens können wir verantwortungsvollere Stromverbrauchsprofile zwischen Rechenzentren und dem Stromnetz fördern.“