Das Ausführen von KI-Modellen wird zu einer Herausforderung für den Arbeitsspeicher

Diskussionen über die Kosten der KI-Infrastruktur drehen sich oft um Nvidia und GPUs, doch Speicher wird zunehmend zu einem entscheidenden Puzzleteil. Da Hyperscaler Milliarden in neue Rechenzentren investieren, haben sich die Preise für DRAM-Chips im vergangenen Jahr etwa versiebenfacht.

Gleichzeitig konzentriert sich ein wachsender Forschungszweig darauf, diesen Speicher so zu orchestrieren, dass die richtigen Daten zum richtigen Zeitpunkt den richtigen KI-Agenten erreichen. Unternehmen, die dies besonders gut beherrschen, können dieselben Abfragen mit weniger Tokens ausführen – ein Unterschied, der über das Überleben in einem wettbewerbsintensiven Markt entscheiden kann.

Der Halbleiteranalyst Dan O’Laughlin bietet in seinem Substack eine überzeugende Perspektive auf die Bedeutung von Speicherchips und präsentiert dabei ein Gespräch mit Val Bercovici, Chief AI Officer bei Weka. Beide Experten kommen aus dem Halbleiterbereich, daher konzentriert sich ihre Diskussion auf die Hardware, obwohl die Auswirkungen auf KI-Software ebenso bedeutend sind.

Eine Passage stach besonders hervor, in der Bercovici die zunehmende Komplexität der Dokumentation von Anthropic zum Prompt-Caching kommentiert:

Der Hinweis findet sich auf der Preisseite von Anthropic zum Prompt-Caching. Vor sechs oder sieben Monaten, insbesondere rund um die Einführung von Claude Code, war es noch eine einfache Seite, die im Wesentlichen besagte: „Nutzen Sie Caching, es ist günstiger.“ Jetzt liest sie sich wie eine Enzyklopädie mit Ratschlägen dazu, wie viele Cache-Schreibvorgänge im Voraus gekauft werden sollten. Man sieht die in der Branche üblichen Stufen wie 5-Minuten- und 1-Stunden-Fenster – aber nichts Längeres. Das ist ein vielsagendes Detail. Dann gibt es natürlich verschiedene Arbitrage-Möglichkeiten rund um die Preise für Cache-Lesevorgänge, je nachdem, wie viele Cache-Schreibvorgänge man im Voraus gekauft hat.

Die Kernfrage ist, wie lange Claude Ihre Eingabe im Cache-Speicher behält. Sie können für ein 5-Minuten-Fenster oder ein teureres einstündiges Fenster bezahlen. Der Zugriff auf Daten, die sich noch im Cache befinden, ist weitaus günstiger, sodass eine effektive Verwaltung zu erheblichen Einsparungen führen kann. Es gibt jedoch einen Haken: Jede neue Datenmenge, die einer Abfrage hinzugefügt wird, könnte etwas anderes aus dem Cache verdrängen.

Die Details sind zwar komplex, die Schlussfolgerung ist jedoch klar: Die Speicherverwaltung innerhalb von KI-Modellen wird ein entscheidender Faktor für die Zukunft der KI sein. Unternehmen, die dies beherrschen, werden sich einen erheblichen Wettbewerbsvorteil verschaffen.

In diesem aufstrebenden Bereich gibt es noch viel Raum für Fortschritte. Im vergangenen Oktober schrieb ich über ein Start-up namens TensorMesh, das an einer Ebene des Stacks arbeitet, die als Cache-Optimierung bekannt ist.

TechCrunch Founder Summit 2026: Tickets jetzt erhältlich

Am 23. Juni kommen in Boston mehr als 1.100 Gründer beim TechCrunch Founder Summit 2026 zusammen, um einen ganzen Tag lang über Wachstum, Umsetzung und Skalierung in der Praxis zu diskutieren. Lernen Sie von Gründern und Investoren, die die Branche geprägt haben. Knüpfen Sie Kontakte zu Kollegen, die sich in ähnlichen Wachstumsphasen befinden. Nehmen Sie Strategien mit, die Sie sofort anwenden können

Sparen Sie bis zu 300 $ bei Ihrem Pass oder bis zu 30 % mit Gruppentickets für Teams ab vier Personen.

TechCrunch Founder Summit: Tickets jetzt erhältlich

Am 23. Juni kommen in Boston mehr als 1.100 Gründer beim TechCrunch Founder Summit 2026 zusammen, um einen ganzen Tag lang über Wachstum, Umsetzung und Skalierung in der Praxis zu diskutieren. Lernen Sie von Gründern und Investoren, die die Branche geprägt haben. Knüpfen Sie Kontakte zu Kollegen, die sich in ähnlichen Wachstumsphasen befinden. Nehmen Sie Strategien mit, die Sie sofort umsetzen können

Sparen Sie bis zu 300 $ auf Ihren Pass oder bis zu 30 % mit Gruppentickets für Teams ab vier Personen.

Chancen bieten sich auch an anderen Stellen im Stack. Weiter unten stellt sich beispielsweise die Frage, wie Rechenzentren ihre verschiedenen Speichertypen nutzen. (Das Interview enthält eine aufschlussreiche Diskussion darüber, wann DRAM-Chips und wann HBM eingesetzt werden sollten, auch wenn es dabei recht technisch wird.) Weiter oben im Stack lernen Endnutzer, ihre Modellschwärme so zu strukturieren, dass sie gemeinsam genutzte Caches effektiv nutzen können.

Je besser Unternehmen die Speicherorchestrierung beherrschen, desto weniger Token verbrauchen sie, was die Inferenz kostengünstiger macht. Gleichzeitig werden Modelle bei der Verarbeitung jedes einzelnen Tokens effizienter, was die Kosten noch weiter senkt. Mit sinkenden Serverkosten werden viele Anwendungen, die derzeit als unrentabel gelten, allmählich die Gewinnschwelle erreichen.