Google enthüllt einen neuen Chip, um die Major Hidden AI -Kosten zu senken

Beim Google Cloud Next 25 Event hat Google die neueste Version seiner Tensor Processing Unit (TPU) vorgestellt, die den Namen Ironwood trägt. Dieser neue Chip markiert einen bedeutenden Wandel im Fokus von Google und legt den Schwerpunkt auf Inferenz anstelle von Training. Traditionell wurden TPUs für das Training neuronaler Netze verwendet, ein Prozess, der von KI-Spezialisten und Datenwissenschaftlern dominiert wird. Mit Ironwood zielt Google nun auf die Echtzeit-Vorhersagebedürfnisse von Millionen, wenn nicht Milliarden von Nutzern ab.

Ironwood TPU

Die Einführung des Ironwood TPU erfolgt zu einem entscheidenden Zeitpunkt in der KI-Branche, wo der Fokus von experimentellen Projekten hin zu praktischen Anwendungen von KI-Modellen durch Unternehmen wechselt. Das Auftauchen fortschrittlicher KI-Modelle wie Googles Gemini, die die Denkfähigkeiten verbessern, hat die Nachfrage nach Rechenleistung während der Inferenz stark erhöht. Dieser Wandel treibt die Kosten in die Höhe, wie Google in ihrer Beschreibung von Ironwood hervorhob: „Denken und mehrstufige Inferenz verlagern die zusätzliche Nachfrage nach Rechenleistung – und damit die Kosten – vom Training zur Inferenzzeit (Testzeit-Skalierung).“ Ironwood steht für Googles Engagement, Leistung und Effizienz zu optimieren, insbesondere im zunehmend kostspieligen Bereich der Inferenz.

Ein Inferenz-Chip

Googles Reise mit TPUs erstreckt sich über ein Jahrzehnt, mit sechs Generationen vor Ironwood. Während Trainingschips in geringeren Stückzahlen produziert werden, bedienen Inferenzchips ein breiteres Publikum, das tägliche Vorhersagen aus trainierten Modellen benötigt, was es zu einem Markt mit hohem Volumen macht. Zuvor wurde Googles TPU der sechsten Generation, Trillium, als fähig für sowohl Training als auch Inferenz positioniert. Der primäre Fokus von Ironwood auf Inferenz markiert jedoch einen bemerkenswerten Bruch mit diesem dualen Ansatz.

Notwendige Investition

Dieser Wandel im Fokus könnte eine Veränderung in Googles Abhängigkeit von externen Chipherstellern wie Intel, AMD und Nvidia signalisieren. Historisch gesehen haben diese Anbieter Googles Cloud-Computing-Betriebe dominiert und machten laut KeyBanc Capital Markets 99 % der verwendeten Prozessoren aus. Durch Investitionen in eigene TPUs könnte Google darauf abzielen, seine Abhängigkeit von diesen Lieferanten zu reduzieren und potenziell die steigenden Kosten der KI-Infrastruktur zu senken. Aktienanalysten wie Gil Luria von DA Davidson haben geschätzt, dass Google, wenn es TPUs direkt an Nvidias Kunden verkauft hätte, im letzten Jahr bis zu 24 Milliarden Dollar Umsatz hätte erzielen können.

Ironwood vs. Trillium

Google präsentierte auf der Veranstaltung die technische Überlegenheit von Ironwood gegenüber Trillium. Ironwood bietet die doppelte Leistung pro Watt und erreicht 29,3 Billionen Gleitkommaoperationen pro Sekunde. Es verfügt außerdem über 192 GB Hochgeschwindigkeitsspeicher (HBM), das Sechsfache von Trillium, und eine Speicherbandbreite von 7,2 Terabit pro Sekunde, was 4,5-mal höher ist. Diese Verbesserungen sind darauf ausgelegt, eine größere Datenbewegung zu erleichtern und die Latenz auf dem Chip während Tensor-Manipulationen zu reduzieren, wie Google erklärte: „Ironwood ist darauf ausgelegt, die Datenbewegung und Latenz auf dem Chip zu minimieren, während massive Tensor-Manipulationen durchgeführt werden.“

Skalierung der KI-Infrastruktur

Die Fortschritte in Speicher und Bandbreite sind zentral für Googles Strategie zur Skalierung seiner KI-Infrastruktur. Skalierung bedeutet, gruppierte Chips effizient zu nutzen, um Probleme parallel zu lösen, was die Leistung und Auslastung verbessert. Dies ist aus wirtschaftlichen Gründen entscheidend, da eine höhere Auslastung weniger Verschwendung kostspieliger Ressourcen bedeutet. Google hat zuvor die Fähigkeit von Trillium hervorgehoben, auf Hunderttausende von Chips zu skalieren, und ähnlich betonten sie die Fähigkeit von Ironwood, „Hunderttausende von Ironwood-Chips zusammenzustellen, um die Grenzen der GenAI-Berechnung schnell voranzutreiben.“

Neben der Hardware-Ankündigung stellte Google auch Pathways on Cloud vor, eine Softwarelösung, die KI-Rechenaufgaben auf verschiedene Maschinen verteilt. Diese Software, die zuvor intern genutzt wurde, ist nun auch der Öffentlichkeit zugänglich und verbessert die Fähigkeiten von Googles KI-Infrastruktur weiter.