Die Ära der Modellskalierung endet, da algorithmische Gewinne Vorrang haben

In den letzten zehn Jahren hat sich die künstliche Intelligenz vor allem durch die Steigerung des Umfangs weiterentwickelt. Der Erfolg beruhte auf größeren Datensätzen, mehr Parametern und höherer Rechenleistung, wobei Teams um die Erstellung immer größerer Modelle konkurrierten. Der Fortschritt wurde in Billionen von Parametern und Petabytes von Trainingsdaten gemessen - eine Epoche, die wir heute als die Ära der Skalierung bezeichnen. Dieser Ansatz hat zwar einen Großteil der heutigen KI-Fähigkeiten hervorgebracht, aber wir nähern uns einem Punkt, an dem die einfache Vergrößerung von Modellen nicht mehr der effektivste, intelligenteste oder nachhaltigste Weg nach vorn ist. Infolgedessen verlagert sich der Schwerpunkt von der reinen Skalierung auf bahnbrechende Algorithmen. In diesem Artikel wird untersucht, warum Skalierung allein nicht mehr ausreicht und wie die nächste Welle des KI-Fortschritts von algorithmischen Innovationen abhängen wird.

Das Gesetz des abnehmenden Ertrags bei der Modellskalierung

Die Ära der Skalierung wurde auf soliden empirischen Grundlagen aufgebaut. Forscher stellten immer wieder fest, dass eine Vergrößerung von Modellen und Datensätzen zu vorhersehbaren Leistungssteigerungen führte - ein Muster, das als Skalierungsgesetz bekannt wurde. Diese Prinzipien wurden zur Leitstrategie für führende KI-Labors und lösten einen Wettlauf um die Entwicklung immer größerer Systeme aus. Dieser Wettbewerb führte zu den großen Sprachmodellen und Grundlagenmodellen, die viele der heutigen KI-Anwendungen antreiben. Wie bei jedem exponentiellen Trend beginnt jedoch auch bei der KI die Skalierungskurve jetzt zu stagnieren. Die Kosten für die Entwicklung noch größerer Modelle steigen dramatisch an. Das Training eines hochmodernen Systems kann inzwischen so viel Energie verbrauchen wie eine Kleinstadt, was zu erheblichen Umweltproblemen führt. Der finanzielle Aufwand ist so immens geworden, dass nur noch wenige Organisationen daran teilnehmen können. Gleichzeitig gibt es eindeutige Anzeichen dafür, dass die Erträge abnehmen. Die Verdoppelung der Parameteranzahl führt nicht mehr zu einer proportionalen Steigerung der Fähigkeiten. Die Verbesserungen sind inkrementell geworden und verfeinern meist das vorhandene Wissen, anstatt neue Funktionen zu ermöglichen. Der Wert, der pro zusätzlichem Dollar und zusätzlichem Watt investiert wird, nimmt ab. Der Skalierungsansatz stößt an seine praktischen und wirtschaftlichen Grenzen.

Die neue Grenze: Algorithmische Effizienz

Die Zwänge der Skalierungsgesetze haben die Forscher dazu veranlasst, sich der algorithmischen Effizienz zuzuwenden. Anstatt sich ausschließlich auf rechnerische Brute-Force-Methoden zu verlassen, liegt der Schwerpunkt jetzt auf der Entwicklung intelligenterer Algorithmen, die die Ressourcen effektiver nutzen. Jüngste Entwicklungen zeigen, wie vielversprechend dieser Übergang ist. Die Transformer-Architektur beispielsweise, die sich auf ihren Aufmerksamkeitsmechanismus stützt, ist in der KI seit Jahren führend. Dieser Mechanismus hat jedoch eine grundlegende Einschränkung: Seine Rechenanforderungen steigen mit der Sequenzlänge rapide an. Zustandsraummodelle (State Space Models, SSMs) wie Mamba stellen eine überzeugende Alternative dar. Durch die Erleichterung selektiverer Schlussfolgerungen können SSMs eine Leistung erreichen, die mit viel größeren Transformers vergleichbar ist, während sie schneller arbeiten und wesentlich weniger Speicher benötigen.

Ein weiteres Beispiel für algorithmische Effizienz ist das Aufkommen von Mixture of Experts (MoE)-Modellen. Anstatt für jede Eingabe ein ganzes massives Netzwerk einzuschalten, leiten MoE-Systeme Aufgaben nur an die relevanteste Teilmenge kleinerer spezialisierter Netzwerke, oder "Experten", weiter. Obwohl das gesamte Modell Milliarden von Parametern enthalten kann, wird bei jeder Berechnung nur ein kleiner Teil davon genutzt. Stellen Sie sich das so vor, als hätten Sie eine riesige Bibliothek, würden aber nur in den wenigen Büchern nachsehen, die für die Beantwortung einer Frage notwendig sind, anstatt jedes Mal alle Bände im Gebäude zu lesen. Das Ergebnis ist die Wissenskapazität eines riesigen Modells mit der operativen Effizienz eines viel kleineren Modells.

Ein weiteres Beispiel für die Integration dieser Konzepte ist DeepSeek-V3, ein Mixture-of-Experts-Modell, das mit Multi-head Latent Attention (MLA) erweitert wurde. MLA verfeinert die herkömmliche Aufmerksamkeit durch Komprimierung von Schlüsselwertzuständen und ermöglicht es dem Modell, lange Sequenzen effizient zu verarbeiten - ähnlich wie SSMs - und gleichzeitig die Vorteile von Transformers zu nutzen. Mit insgesamt 236 Milliarden Parametern, von denen nur ein kleiner Teil pro Aufgabe aktiviert wird, erreicht DeepSeek-V3 Spitzenleistungen in Bereichen wie Codierung und logisches Denken und ist dabei praktischer und weniger ressourcenintensiv als gleich große skalengesteuerte Modelle.

Dies sind nicht nur Einzelfälle. Sie signalisieren eine breitere Bewegung hin zu intelligenterem, effizienterem Design. Die Forscher konzentrieren sich jetzt darauf, wie man Modelle schneller, kompakter und weniger datenabhängig machen kann, ohne die Leistung zu beeinträchtigen.

Warum diese Verschiebung wichtig ist

Der Übergang von der Priorisierung der Skalierung zur Betonung der algorithmischen Innovation hat tiefgreifende Auswirkungen auf die KI-Landschaft. Erstens wird dadurch die KI-Entwicklung demokratisiert. Durchbrüche hängen nicht mehr ausschließlich vom Zugang zu den leistungsstärksten Supercomputern ab. Ein kleines, qualifiziertes Forschungsteam kann nun ein neuartiges Design entwickeln, das Modelle übertrifft, die mit weitaus größeren Budgets erstellt wurden. Dies führt zu einer Neuausrichtung der Innovation von einem Wettbewerb der Ressourcen zu einem Wettbewerb der Ideen und des Fachwissens. Folglich können Universitäten, Start-ups und unabhängige Labors eine wichtigere Rolle übernehmen und die Vorherrschaft der großen Technologieunternehmen herausfordern.

Zweitens wird die KI dadurch für reale Anwendungen praktischer. Ein Modell mit 500 Milliarden Parametern mag in Forschungsberichten beeindruckend erscheinen, aber seine enorme Größe macht seinen Einsatz schwierig und teuer. Im Gegensatz dazu können effiziente Alternativen wie Mamba- oder Mixture of Experts-Modelle auf Standardhardware, einschließlich Edge-Geräten, betrieben werden. Diese Praxistauglichkeit ist für die Integration von KI in alltägliche Hilfsmittel, wie medizinische Diagnosesysteme oder Echtzeit-Übersetzungsfunktionen auf Mobiltelefonen, von entscheidender Bedeutung.

Drittens geht es um den Aspekt der Nachhaltigkeit. Die Energie, die für die Entwicklung und den Betrieb umfangreicher KI-Modelle benötigt wird, wird zu einem ernsthaften Umweltproblem. Indem wir uns auf die Effizienz konzentrieren, können wir den mit der KI-Entwicklung verbundenen CO2-Fußabdruck erheblich verringern.

Was kommt als Nächstes? Die Ära des Intelligenzdesigns

Wir treten in eine Ära ein, die man als Ära des Intelligenzdesigns bezeichnen könnte. Die zentrale Frage verschiebt sich von "Wie groß können wir das Modell bauen?" zu "Wie können wir ein Modell entwerfen, das von Natur aus intelligenter und effizienter ist?"

Diese Entwicklung wird Innovationen in verschiedenen Kernbereichen der Forschung vorantreiben. Fortschritte sind bei der Architektur von KI-Modellen zu erwarten. Neu entstehende Modelle, einschließlich der bereits erwähnten Zustandsraummodelle, könnten die Art und Weise, wie neuronale Netze Informationen verarbeiten, neu definieren. So zeigen beispielsweise Architekturen, die von dynamischen Systemen inspiriert sind, in experimentellen Umgebungen bereits verbesserte Fähigkeiten. Ein weiterer Schlüsselbereich werden Trainingstechniken sein, die es den Modellen ermöglichen, mit weit weniger Beispielen effektiv zu lernen. Fortschritte im Bereich des Lernens mit wenigen und keinen Beispielen machen die KI dateneffizienter, während Methoden wie die Aktivierungssteuerung Verhaltensverbesserungen ohne erneutes Training ermöglichen. Verfeinerungen nach dem Training und die Generierung synthetischer Daten senken die Trainingsanforderungen ebenfalls drastisch - manchmal um Faktoren von bis zu 10.000.

Wir werden auch ein steigendes Interesse an hybriden Modellen, wie der neurosymbolischen KI, beobachten. Durch die Kombination der Mustererkennung neuronaler Netze mit der logischen Strenge symbolischer Systeme gewinnt die neurosymbolische KI im Jahr 2025 an Zugkraft, da sie eine bessere Erklärbarkeit und eine geringere Datenabhängigkeit bietet. Bemerkenswerte Beispiele sind AlphaGeometry 2 und AlphaProof, die Google DeepMind zu einer Goldmedaille bei der Internationalen Mathematik-Olympiade (IMO) 2025 verhalfen. Ziel ist es, Systeme zu schaffen, die nicht nur das nächste Wort statistisch vorhersagen, sondern die Welt auf eine menschenähnliche Art und Weise verstehen und darüber nachdenken.

Die Quintessenz

Die Ära der Skalierung war unverzichtbar und brachte außergewöhnliche Fortschritte in der KI. Sie hat die Grenzen des Erreichbaren verschoben und die grundlegenden Technologien geschaffen, die wir heute nutzen. Doch wie jede ausgereifte Technologie stößt auch die anfängliche Strategie irgendwann an ihre Grenzen. Die nächsten großen Durchbrüche werden nicht durch das Hinzufügen weiterer Schichten zum bestehenden Stack entstehen. Stattdessen werden sie sich aus der Neukonzeption des Stacks selbst ergeben.

Die Zukunft gehört denjenigen, die neue Algorithmen, Architekturen und die Kernwissenschaft des maschinellen Lernens entwickeln. Es ist eine Zukunft, in der die Intelligenz nicht an der Anzahl der Parameter, sondern an der Raffinesse des Designs gemessen wird. Das Streben nach intelligenteren Algorithmen steht erst am Anfang. Dieser Wandel ebnet den Weg für eine KI, die integrativer, umweltfreundlicher und wirklich intelligent ist.