Von MIPS zu Exaflops in nur wenigen Jahrzehnten: Rechenleistung explodiert und wird KI transformieren

Bei der kürzlichen Nvidia GTC-Konferenz stellte der Technologieriese eine bahnbrechende Errungenschaft vor: das erste Einzel-Rack-Serversystem, das eine Exaflop erreicht. Das sind atemberaubende eine Billion Billionen Gleitkommaoperationen (FLOPS) pro Sekunde. Dieses Kunststück wird von Nvidias neuestem GB200 NVL72-System angetrieben, das mit modernsten Blackwell-Grafikprozessoren (GPUs) ausgestattet ist. Zum Vergleich: Dieses System passt in ein Standard-Computer-Rack, das etwa 1,8 Meter hoch, etwas über 1 Meter tief und weniger als 0,6 Meter breit ist.

Exaflop schrumpfen: Von Frontier zu Blackwell

Die Ankündigung brachte mich dazu, über die Fortschritte der letzten Jahre nachzudenken. Der weltweit erste exaflop-fähige Computer, „Frontier“, wurde 2022 im Oak Ridge National Laboratory installiert. Gebaut von HPE und angetrieben von AMD-GPUs und -CPUs, erstreckte er sich über massive 74 Racks. Im Gegensatz dazu packt Nvidias neues System 73-mal mehr Leistung in ein einziges Rack. Das entspricht einer Verdreifachung der Leistung jedes Jahr über drei Jahre hinweg! Es ist ein Beweis für die unglaublichen Fortschritte in Rechendichte, Energieeffizienz und Architekturdesign.

Es ist auch erwähnenswert, dass beide Systeme zwar den Exascale-Meilenstein erreichen, aber für unterschiedliche Zwecke konzipiert sind. Nvidias Exaflop-Bewertung basiert auf niedrigerer Präzision – 4-Bit- und 8-Bit-Gleitkommaoperationen – ideal für KI-Workloads wie das Training und Ausführen großer Sprachmodelle (LLMs). Diese Berechnungen bevorzugen Geschwindigkeit vor Präzision. Andererseits basiert Frontiers Exaflop-Bewertung auf 64-Bit-Doppelpräzisionsmathematik, dem Goldstandard für wissenschaftliche Simulationen, bei denen Genauigkeit oberste Priorität hat.

Wir haben einen weiten Weg zurückgelegt (sehr schnell)

Das Tempo dieses Fortschritts ist fast unglaublich, besonders wenn ich an die frühen Tage meiner Karriere im Rechenwesen zurückdenke. Mein erster Job war als Programmierer am DEC KL 1090, Teil der PDP-10-Serie von Timeshare-Großrechnern von DEC. Diese Maschine arbeitete mit bescheidenen 1,8 Millionen Instruktionen pro Sekunde (MIPS). Sie war über festverdrahtete Kabel mit Kathodenstrahlröhren (CRT)-Displays verbunden, ohne jegliche Grafik – nur Text auf dem Bildschirm. Und natürlich gab es kein Internet. Entfernte Nutzer mussten sich über Telefonleitungen mit Modems verbinden, die maximal 1.200 Bits pro Sekunde erreichten.

500 Milliarden Mal mehr Rechenleistung

Obwohl der Vergleich von MIPS mit FLOPS kein direkter Vergleich ist, gibt er uns ein Gefühl für den unglaublichen Sprung in der Rechenleistung. MIPS misst die Geschwindigkeit der Ganzzahlverarbeitung, ideal für allgemeine Rechen- und Geschäftsanwendungen. FLOPS hingegen misst die Gleitkommaleistung, entscheidend für wissenschaftliche Workloads und die schwere Arbeit hinter moderner KI, wie die Matrixmathematik und lineare Algebra, die zum Trainieren und Ausführen von Machine-Learning-Modellen (ML) benötigt werden.

Mit diesen als grober Richtlinie ist das neue Nvidia-System etwa 500 Milliarden Mal leistungsstärker als die alte DEC-Maschine. Es ist ein beeindruckendes Beispiel für das exponentielle Wachstum der Rechenleistung über eine einzige Karriere hinweg. Es lässt einen staunen: Wenn wir in 40 Jahren so viel erreicht haben, was könnten die nächsten fünf Jahre bringen?

Nvidia hat uns einige Hinweise gegeben. Auf der GTC teilten sie eine Roadmap, die vorhersagt, dass ihr nächstgenerationelles Vollsystem, basierend auf der „Vera Rubin“ Ultra-Architektur, die 14-fache Leistung des aktuellen Blackwell Ultra-Racks liefern wird. Wir sprechen von etwa 14 bis 15 Exaflops in KI-optimierten Arbeiten innerhalb des nächsten Jahres oder zwei.

Es geht aber nicht nur um rohe Leistung. Diese Leistung in ein einziges Rack zu quetschen bedeutet weniger physischen Platz, weniger Materialien und potenziell geringeren Energieverbrauch pro Operation. Allerdings dürfen wir nicht vergessen, dass die absoluten Leistungsanforderungen dieser Systeme immer noch enorm sind.

Braucht KI wirklich all diese Rechenleistung?

Obwohl diese Leistungssteigerungen beeindruckend sind, ringt die KI-Industrie nun mit einer großen Frage: Wie viel Rechenleistung brauchen wir wirklich, und zu welchem Preis? Der Wettlauf um den Bau massiver neuer KI-Rechenzentren wird durch die Anforderungen des Exascale-Computing und zunehmend leistungsfähiger KI-Modelle angetrieben.

Das ambitionierteste Projekt ist das 500-Milliarden-Dollar-Projekt Stargate, das 20 Rechenzentren in den USA plant, jedes mit einer Fläche von einer halben Million Quadratmetern. Es gibt eine Welle weiterer Hyperscale-Projekte, die weltweit im Gange oder in Planung sind, während Unternehmen und Länder eilen, die Infrastruktur für zukünftige KI-Workloads zu bauen.

Einige Analysten befürchten, dass wir möglicherweise überbauen. Besorgnis wuchs nach der Veröffentlichung von R1, einem Schlussfolgermodell aus Chinas DeepSeek, das deutlich weniger Rechenleistung als seine Pendants benötigt. Microsofts kürzliche Kündigung von Mietverträgen mit mehreren Rechenzentrumsanbietern hat Spekulationen angeheizt, dass sie ihre KI-Infrastrukturbedürfnisse überdenken könnten.

Allerdings schlug The Register vor, dass dieser Rückzug eher damit zu tun haben könnte, dass die geplanten Rechenzentren nicht in der Lage sind, die Leistungs- und Kühlbedürfnisse von KI-Systemen der nächsten Generation zu bewältigen. KI-Modelle stoßen bereits an die Grenzen der aktuellen Infrastruktur. MIT Technology Review berichtete, dass viele Rechenzentren in China Schwierigkeiten haben und scheitern, weil sie nach veralteten Spezifikationen gebaut wurden.

KI-Inferenz fordert mehr FLOPs

Schlussfolgermodelle leisten den Großteil ihrer Arbeit zur Laufzeit durch einen Prozess namens Inferenz. Diese Modelle treiben einige der fortschrittlichsten und ressourcenintensivsten Anwendungen an, wie tiefgehende Forschungsassistenten und die aufkommende Welle agentischer KI-Systeme.

Während DeepSeek-R1 die Industrie zunächst glauben ließ, zukünftige KI könnte weniger Rechenleistung benötigen, widersprach Nvidia-CEO Jensen Huang energisch. In einem CNBC-Interview argumentierte er das Gegenteil: „Es war die genau gegenteilige Schlussfolgerung, die jeder hatte.“ Er fügte hinzu, dass schlussfolgernde KI 100 Mal mehr Rechenleistung verbraucht als nicht-schlussfolgernde KI.

Während KI von Schlussfolgermodellen zu autonomen Agenten und darüber hinaus weiterentwickelt, wird die Nachfrage nach Rechenleistung wahrscheinlich wieder ansteigen. Die nächsten Durchbrüche könnten in Bereichen wie KI-Agenten-Koordination, Fusionssimulationen oder großskaligen digitalen Zwillingen liegen – alles ermöglicht durch den Rechenleistungssprung, den wir gerade gesehen haben.

Wie auf Bestellung kündigte OpenAI 40 Milliarden Dollar an neuen Finanzierungen an, die größte private Technologiefinanzierungsrunde aller Zeiten. In einem Blogpost sagten sie, die Finanzierung „ermöglicht uns, die Grenzen der KI-Forschung weiter zu verschieben, unsere Recheninfrastruktur zu skalieren und immer leistungsstärkere Werkzeuge für die 500 Millionen Menschen zu liefern, die ChatGPT jede Woche nutzen.“

Warum fließt so viel Kapital in KI? Die Gründe reichen von Wettbewerbsfähigkeit bis hin zu nationaler Sicherheit, aber ein Faktor sticht heraus: KI könnte laut McKinsey den Unternehmensgewinn um 4,4 Billionen Dollar pro Jahr steigern.

Was kommt als Nächstes? Das ist jedermanns Vermutung

Im Kern geht es bei Informationssystemen darum, Komplexität zu vereinfachen, sei es ein von mir einst in Fortran geschriebenes Routingsystem für Einsatzfahrzeuge, ein in COBOL entwickeltes Tool zur Berichterstattung über Schülerleistungen oder moderne KI-Systeme, die die Arzneimittelforschung beschleunigen. Das Ziel war immer dasselbe: Die Welt verständlich zu machen.

Mit mächtiger KI am Horizont überschreiten wir nun eine Schwelle. Zum ersten Mal könnten wir die Rechenleistung und Intelligenz haben, um Probleme anzugehen, die einst außerhalb menschlicher Reichweite lagen.

Der Kolumnist der New York Times, Kevin Roose, hat diesen Moment gut eingefangen: „Jede Woche treffe ich Ingenieure und Unternehmer, die an KI arbeiten und mir sagen, dass Veränderung – große Veränderung, weltverändernde Veränderung, die Art von Transformation, die wir noch nie gesehen haben – kurz bevorsteht.“ Und das zählt noch nicht einmal die Durchbrüche, die jede Woche ankommen.

Allein in den letzten Tagen haben wir gesehen, wie OpenAIs GPT-4o nahezu perfekte Bilder aus Text generiert, Google das vielleicht bisher fortschrittlichste Schlussfolgermodell in Gemini 2.5 Pro veröffentlicht und Runway ein Videomodell vorgestellt hat, das eine Szene-zu-Szene-Konsistenz von Charakteren und Szenen bietet, was laut VentureBeat den meisten KI-Videogeneratoren bis jetzt entgangen ist.

Was als Nächstes kommt, ist wirklich jedermanns Vermutung. Wir wissen nicht, ob mächtige KI ein Durchbruch oder ein Zusammenbruch sein wird, ob sie helfen wird, die Fusionsenergie zu lösen oder neue biologische Risiken freisetzen wird. Aber mit immer mehr FLOPS, die in den nächsten fünf Jahren online gehen, scheint eines sicher: Innovation wird schnell kommen – und mit Wucht. Während die FLOPS skalieren, müssen auch unsere Gespräche über Verantwortung, Regulierung und Zurückhaltung wachsen.

Gary Grossman ist EVP der Technologiepraxis bei Edelman und globaler Leiter des Edelman AI Center of Excellence.