Von MIPS zu Exaflops in nur wenigen Jahrzehnten: Rechenleistung explodiert und wird KI transformieren

Auf der kürzlich stattgefundenen Nvidia GTC-Konferenz enthüllte der Technologieriese eine bahnbrechende Errungenschaft: das erste Einzel-Rack-System von Servern, das einen Exaflop erreichen kann. Das sind atemberaubende eine Billion Billionen Gleitkommaoperationen (FLOPS) pro Sekunde. Diese Leistung wird durch Nvidias neuestes GB200 NVL72-System angetrieben, das mit den hochmodernen Blackwell-Grafikprozessoreinheiten (GPUs) ausgestattet ist. Zum Vergleich: Dieses System passt in ein standardmäßiges Computer-Rack, das etwa 1,8 Meter hoch, etwas über 1 Meter tief und weniger als 0,6 Meter breit ist.

Ein Exaflop schrumpfen: Von Frontier zu Blackwell

Die Ankündigung brachte mich dazu, darüber nachzudenken, wie weit wir in nur wenigen Jahren gekommen sind. Der weltweit erste exaflop-fähige Computer, „Frontier“, wurde 2022 im Oak Ridge National Laboratory installiert. Er wurde von HPE gebaut und mit AMD-GPUs und -CPUs betrieben und erstreckte sich über massive 74 Racks. Im Gegensatz dazu packt Nvidias neues System 73-mal mehr Leistung in ein einziges Rack. Das ist, als würde man die Leistung drei Jahre lang jedes Jahr verdreifachen! Es ist ein Beweis für die unglaublichen Fortschritte in Rechendichte, Energieeffizienz und architektonischem Design.

Es ist auch erwähnenswert, dass beide Systeme zwar den Exascale-Meilenstein erreichen, aber für unterschiedliche Zwecke konzipiert sind. Nvidias Exaflop-Bewertung basiert auf Mathematik mit niedrigerer Präzision – 4-Bit- und 8-Bit-Gleitkommaoperationen – ideal für KI-Workloads wie das Training und Ausführen großer Sprachmodelle (LLMs). Diese Berechnungen bevorzugen Geschwindigkeit gegenüber Präzision. Andererseits stammt Frontiers Exaflop-Bewertung von 64-Bit-Doppelpräzisionsmathematik, dem Goldstandard für wissenschaftliche Simulationen, bei denen Genauigkeit oberste Priorität hat.

Wir sind sehr schnell sehr weit gekommen

Das Tempo dieses Fortschritts ist fast unglaublich, besonders wenn ich an die frühen Tage meiner Karriere im Rechenwesen zurückdenke. Mein erster Job war als Programmierer auf dem DEC KL 1090, Teil der PDP-10-Serie von Timeshare-Mainframes von DEC. Diese Maschine arbeitete mit bescheidenen 1,8 Millionen Instruktionen pro Sekunde (MIPS). Sie war über festverdrahtete Kabel mit Kathodenstrahlröhren-(CRT)-Displays verbunden, ohne jegliche Grafik – nur Text auf einem Bildschirm. Und natürlich gab es kein Internet. Remote-Nutzer mussten sich über Telefonleitungen mit Modems verbinden, die maximal 1.200 Bits pro Sekunde erreichten.

500 Milliarden Mal mehr Rechenleistung

Obwohl der Vergleich von MIPS mit FLOPS kein direkter Apfel-zu-Apfel-Vergleich ist, vermittelt er ein Gefühl für den unglaublichen Sprung in der Rechenleistung. MIPS misst die Ganzzahlverarbeitungsgeschwindigkeit, ideal für allgemeine Rechenaufgaben und Geschäftsanwendungen. FLOPS hingegen misst die Gleitkommaleistung, entscheidend für wissenschaftliche Workloads und die schwere Arbeit hinter moderner KI, wie die Matrixmathematik und lineare Algebra, die zum Trainieren und Ausführen von Machine-Learning-(ML)-Modellen benötigt werden.

Mit diesen als grober Orientierung ist das neue Nvidia-System etwa 500 Milliarden Mal leistungsstärker als die alte DEC-Maschine. Es ist ein beeindruckendes Beispiel für das exponentielle Wachstum der Rechenleistung über eine einzige Karriere hinweg. Es lässt einen sich fragen: Wenn wir in 40 Jahren so viel erreicht haben, was könnten die nächsten fünf Jahre bringen?

Nvidia hat uns einige Hinweise gegeben. Auf der GTC teilten sie eine Roadmap, die vorhersagt, dass ihr Full-Rack-System der nächsten Generation, basierend auf der „Vera Rubin“ Ultra-Architektur, die 14-fache Leistung des aktuellen Blackwell Ultra-Racks liefern wird. Wir sprechen von irgendwo zwischen 14 und 15 Exaflops in KI-optimierten Arbeiten innerhalb des nächsten Jahres oder zwei.

Es geht auch nicht nur um rohe Leistung. Diese Leistung in ein einziges Rack zu quetschen bedeutet weniger physischen Platz, weniger Materialien und potenziell geringeren Energieverbrauch pro Operation. Allerdings sollten wir nicht vergessen, dass die absoluten Leistungsanforderungen dieser Systeme immer noch enorm sind.

Braucht KI wirklich all diese Rechenleistung?

Obwohl diese Leistungssteigerungen beeindruckend sind, ringt die KI-Branche nun mit einer großen Frage: Wie viel Rechenleistung brauchen wir wirklich, und zu welchem Preis? Das Rennen um den Bau massiver neuer KI-Datenzentren wird durch die Anforderungen des Exascale-Computing und immer leistungsfähigerer KI-Modelle angetrieben.

Das ehrgeizigste Projekt ist das 500-Milliarden-Dollar-Projekt Stargate, das 20 Datenzentren in den USA plant, jedes mit einer Fläche von einer halben Million Quadratfuß. Es gibt eine Welle weiterer Hyperscale-Projekte, die weltweit im Gange oder in Planung sind, während Unternehmen und Länder eilen, die Infrastruktur für zukünftige KI-Workloads zu schaffen.

Einige Analysten sind besorgt, dass wir möglicherweise überbauen. Die Sorgen wuchsen nach der Veröffentlichung von R1, einem Reasoning-Modell aus Chinas DeepSeek, das deutlich weniger Rechenleistung als seine Konkurrenten nutzt. Microsofts kürzliche Kündigung von Mietverträgen mit mehreren Datenzentren-Anbietern hat Spekulationen angeheizt, dass sie ihre KI-Infrastrukturbedürfnisse überdenken könnten.

Allerdings deutete The Register an, dass dieser Rückzug eher damit zu tun haben könnte, dass die geplanten Datenzentren nicht in der Lage sind, die Strom- und Kühlungsanforderungen von KI-Systemen der nächsten Generation zu bewältigen. KI-Modelle stoßen bereits an die Grenzen der aktuellen Infrastruktur. MIT Technology Review berichtete, dass viele Datenzentren in China Schwierigkeiten haben und scheitern, weil sie nach veralteten Spezifikationen gebaut wurden.

KI-Inferenz fordert mehr FLOPs

Reasoning-Modelle leisten den Großteil ihrer schweren Arbeit zur Laufzeit durch einen Prozess namens Inferenz. Diese Modelle betreiben einige der fortschrittlichsten und ressourcenintensivsten Anwendungen, wie tiefgehende Forschungsassistenten und die aufkommende Welle agentischer KI-Systeme.

Während DeepSeek-R1 die Industrie zunächst glauben ließ, dass zukünftige KI weniger Rechenleistung benötigen könnte, wehrte sich Nvidia-CEO Jensen Huang entschieden. In einem CNBC-Interview argumentierte er das Gegenteil: „Es war die genau entgegengesetzte Schlussfolgerung, die jeder hatte.“ Er fügte hinzu, dass Reasoning-KI 100 Mal mehr Rechenleistung verbraucht als nicht-reasoning KI.

Da sich KI von Reasoning-Modellen zu autonomen Agenten und darüber hinaus entwickelt, wird die Nachfrage nach Rechenleistung wahrscheinlich erneut steigen. Die nächsten Durchbrüche könnten in Bereichen wie KI-Agenten-Koordination, Fusionssimulationen oder groß angelegten digitalen Zwillingen kommen – alles ermöglicht durch den Rechenleistungssprung, den wir gerade gesehen haben.

Wie aufs Stichwort kündigte OpenAI 40 Milliarden Dollar an neuen Finanzierungen an, die größte private Technologie-Finanzierungsrunde aller Zeiten. In einem Blogpost sagten sie, die Finanzierung „ermöglicht es uns, die Grenzen der KI-Forschung noch weiter zu verschieben, unsere Recheninfrastruktur zu skalieren und immer leistungsfähigere Tools für die 500 Millionen Menschen bereitzustellen, die ChatGPT jede Woche nutzen.“

Warum fließt so viel Kapital in KI? Die Gründe reichen von Wettbewerbsfähigkeit bis zur nationalen Sicherheit, aber ein Faktor sticht heraus: KI könnte laut McKinsey den Unternehmensgewinn um 4,4 Billionen Dollar pro Jahr steigern.

Was kommt als Nächstes? Das kann niemand vorhersagen

Im Kern geht es bei Informationssystemen darum, Komplexität zu vereinfachen, sei es ein Notfallfahrzeug-Routingsystem, das ich einst in Fortran schrieb, ein Schülerleistungsberichtstool in COBOL oder moderne KI-Systeme, die die Arzneimittelforschung beschleunigen. Das Ziel war immer dasselbe: Die Welt zu verstehen.

Jetzt, mit mächtiger KI am Horizont, überschreiten wir eine Schwelle. Zum ersten Mal könnten wir die Rechenleistung und Intelligenz haben, um Probleme anzugehen, die einst außerhalb der menschlichen Reichweite lagen.

Der Kolumnist der New York Times, Kevin Roose, hat diesen Moment gut eingefangen: „Jede Woche treffe ich Ingenieure und Unternehmer, die an KI arbeiten und mir sagen, dass Veränderung – große Veränderung, weltverändernde Veränderung, die Art von Transformation, die wir noch nie gesehen haben – nur um die Ecke liegt.“ Und das zählt nicht einmal die Durchbrüche, die jede Woche ankommen.

Erst in den letzten Tagen haben wir gesehen, wie OpenAIs GPT-4o nahezu perfekte Bilder aus Text generiert, Google möglicherweise das fortschrittlichste Reasoning-Modell mit Gemini 2.5 Pro veröffentlicht und Runway ein Videomodell vorgestellt hat, das eine Konsistenz von Szene zu Szene und Charakter bietet, was laut VentureBeat den meisten KI-Videogeneratoren bisher entgangen ist.

Was als Nächstes kommt, ist wirklich jedermanns Vermutung. Wir wissen nicht, ob mächtige KI ein Durchbruch oder ein Zusammenbruch sein wird, ob sie helfen wird, Fusionsenergie zu lösen oder neue biologische Risiken entfesseln wird. Aber mit immer mehr FLOPS, die in den nächsten fünf Jahren online gehen, scheint eines sicher: Innovation wird schnell kommen – und mit Kraft. Während FLOPS skalieren, müssen auch unsere Gespräche über Verantwortung, Regulierung und Zurückhaltung wachsen.

Gary Grossman ist EVP der Technologiepraxis bei Edelman und globaler Leiter des Edelman AI Center of Excellence.