Gimlet Labs’ eleganter Ansatz zur Beseitigung von Engpässen bei der KI-Inferenz

Stanford-Dozent und erfolgreicher Startup-Gründer Zain Asgar hat für ein Unternehmen, das das Problem der Engpässe bei der KI-Inferenz auf besonders intelligente Weise löst, 80 Millionen Dollar in einer Series-A-Runde eingeworben. An dieser Runde führte Menlo Ventures.

Das Startup Gimlet Labs behauptet, es habe den ersten und einzigen „multi-silicon inference cloud“ entwickelt – eine Software, die es ermöglicht, KI-Aufgaben gleichzeitig auf verschiedenen Hardware-Typen auszuführen. Sie kann Aufgaben zwischen herkömmlichen CPUs, für KI optimierten GPUs sowie Systemen mit hohem Speichervolumen verteilen.

„Im Grunde nutzen wir einfach alle verfügbaren Hardware-Plattformen“, sagte Asgar gegenüber TechCrunch.

„Ein einzelner Agent kann mehrere Schritte hintereinander ausführen, wobei jeder Schritt unterschiedliche Hardware erfordert: Die Inferenz ist rechenintensiv, die Dekodierung speicherverbrauchsvoll und Aufrufe von Tools sind netzwerkgebunden“, schreibt Tim Tully von Menlo Ventures, der führende Investor dieser Runde, in einem Blogbeitrag zum Finanzierungsangebot.

Bislang gibt es keinen Chip, der all das kann, doch mit dem Erscheinen neuer Hardware und der erneuten Nutzung älterer GPUs „ist die Flotte aus mehreren Hardware-Typen bereits bereit – es fehlt nur noch die Softwareschicht, damit sie funktioniert“. Genau das, so Tully, biete Gimlet Labs an.

Sollte sich der aktuelle Trend zur Einsetzung weiterer Rechenkapazitäten fortsetzen, schätzt McKinsey, könnten die Ausgaben für Rechenzentren bis 2030 auf fast 7 Billionen Dollar ansteigen. Asgar gibt an, heutige Anwendungen nutzen die vorhandene Hardware nur „zwischen 15 und 30 Prozent“ der Zeit.

„Eine andere Sichtweise darauf: Man verschwendet Hunderte von Milliarden Dollar, weil man Ressourcen einfach ungenutzt lässt“, sagte er. „Unser Ziel war es im Grunde herauszufinden, wie man KI-Aufgaben zehnmal effizienter machen kann als bisher.“

Deshalb machten er und seine Mitgründer – Michelle Nguyen, Omid Azizi und Natalie Serrino – sich daran, Orchestrierungssoftware zu entwickeln, die Aufgaben so aufteilt, dass sie gleichzeitig auf allen möglichen Hardware-Typen ausgeführt werden können.

Gimlet Labs behauptet, die KI-Inferenz bei gleicher Kosten- und Energiebilanz um das Dreifache bis Zehnfache zu beschleunigen. Zudem kann das Unternehmen das zugrunde liegende Modell so aufteilen, dass es auf verschiedenen Architekturen läuft und für jeden Teil der beste Chip verwendet wird.

Das Unternehmen hat bereits Partnerschaften mit Chipherstellern wie NVIDIA, AMD, Intel, ARM, Cerebras und d-Matrix geschlossen.

Das Produkt von Gimlet – entweder als Software oder über eine API in seinem eigenen Gimlet Cloud – richtet sich nicht an gewöhnliche Entwickler von KI-Apps. Es ist vielmehr für die größten Labore zur Entwicklung von KI-Modellen sowie Rechenzentren bestimmt.

Das Unternehmen wurde im Oktober offiziell gestartet und gab an, bereits zu Beginn Einnahmen in Höhe von achtstelligen Beträgen erzielt zu haben (mindestens 10 Millionen Dollar). Asgar sagte, seine Kundenbasis habe sich in den letzten vier Monaten mehr als verdoppelt und umfasse nun einen großen Hersteller von KI-Modellen sowie ein extrem großes Cloud Computing-Unternehmen – allerdings lehnte er es ab, diese Firmen namentlich zu nennen.

Die Mitgründer arbeiteten zuvor gemeinsam bei Pixie, einem Startup, das ein Open-Source-Tool für die Überwachbarkeit von Kubernetes entwickelte. Pixie wurde 2020 von New Relic übernommen, nur zwei Monate nach dem Start mit einer Series-A-Runde in Höhe von 9 Millionen Dollar unter Führung von Benchmark. (Pixies Technologie ist heute Teil der Open-Source-Organisation, die Kubernetes betreut.)

Nachdem Asgar vor etwa einem Jahr zufällig Tully kennengelernt hatte und außerdem Investitionen von Stanford-Professoren sowie Angel-Investoren erhalten hatte, begannen auch Risikokapitalgeber, ihn anzurufen. Nach dem Start landete ein Term Sheet auf Asgars Schreibtisch. Als die Investoren erfuhren, dass Asgar Angebote prüfte, „erhielten wir eine ziemlich große Anzahl an Finanzierungsangeboten“, so er, und die Runde war schnell überbucht.

Mit der vorherigen Seed-Runde hat das Startup insgesamt 92 Millionen Dollar eingesammelt, darunter auch von zahlreichen Angel-Investoren wie Bill Coughran von Sequoia, Stanford-Professor Nick McKeown, dem ehemaligen VMware-CEO Raghu Raghuram sowie Intel-CEO Lip-Bu Tan. Das Unternehmen beschäftigt derzeit 30 Mitarbeiter.

Weitere Investoren sind Factory (das die Seed-Runde geleitet hat), Eclipse Ventures, Prosperity7 und Intel Capital.