Google TurboQuant komprimiert den LLM-Cache um das Sechsfache, steigert die Geschwindigkeit um das Achtfache – ganz ohne Training und ohne Präzisionsverlust

Am 26. März kündigte Google Research die Einführung von TurboQuant an, einem neuen Kompressionsalgorithmus auf Basis der Vektorquantisierung, der die Technologien PolarQuant und QJL kombiniert. Diese Innovation reduziert den Speicherbedarf des Key-Value-Caches (KV-Cache) bei der Inferenz großer Sprachmodelle (LLM) um mindestens das Sechsfache. Auf Nvidia H100-GPUs verbessert er die Rechengeschwindigkeit bei Attention-Berechnungen um das bis zu Achtfache, ohne dass es dabei in mehreren Benchmarks mit langen Kontexten zu Präzisionsverlusten kommt. Dieser Durchbruch dürfte die Kosten für den Einsatz von KI senken und die Einführung von Anwendungen mit langen Kontexten beschleunigen.

Schwachstellen des KV-Caches: Speicher-Overhead durch hochdimensionale Vektoren

Bei der Verarbeitung langer Sequenzen müssen LLMs einen Cache aus Schlüssel- und Wertvektoren vorhalten. Diese hochdimensionalen Vektoren ermöglichen schnelle Berechnungen des Attention-Mechanismus ohne redundante Rechenoperationen. Mit zunehmender Kontextlänge steigt der Speicherverbrauch des KV-Caches jedoch exponentiell an und wird zu einem erheblichen Engpass, der die Effizienz der Modellinferenz und den Umfang der Bereitstellung einschränkt.

Zwar können herkömmliche Vektorquantisierungsmethoden Daten komprimieren, doch benötigen sie zusätzlichen Speicherplatz für Quantisierungskonstanten wie Skalierungsfaktoren und Nullpunkte. Diese Konstanten werden in der Regel in voller Präzision gespeichert, was pro Wert zusätzliche 1–2 Bit erfordert und die Vorteile der Komprimierung teilweise zunichte macht.

Kerninnovation von TurboQuant: Zweiphasen-Komprimierung mit PolarQuant + QJL

TurboQuant nutzt ein zweiphasiges, trainingsfreies Komprimierungsframework, das den Overhead herkömmlicher Quantisierung effektiv beseitigt:

PolarQuant (Komprimierung in Polarkoordinaten):

Zunächst werden Vektoren zufällig gedreht, anschließend werden kartesische Koordinaten (X/Y/Z usw.) in die Polarkoordinatenform (Winkel + Radius) umgewandelt. Da die Winkel innerhalb eines festen, vorhersehbaren Bereichs liegen, entfällt bei dieser Methode der Speicheraufwand, der bei der herkömmlichen Quantisierung für die Grenzwertnormalisierung erforderlich ist, was eine effizientere Komprimierung ermöglicht.

QJL (1-Bit-Fehlerkorrektur, quantisiertes Johnson-Lindenstrauss-Verfahren):

Nach der PolarQuant-Komprimierung bleiben Restfehler bestehen. QJL nutzt die Johnson-Lindenstrauss-Transformation zur Dimensionsreduktion und quantisiert anschließend mit einem minimalen 1-Bit-Schema (+1/-1 Vorzeichen). Durch den Einsatz eines speziellen unverzerrten Schätzers wird eine Fehlerkorrektur bei der Berechnung des Aufmerksamkeitswerts ohne zusätzlichen Speicheraufwand erreicht, wodurch sichergestellt wird, dass der gesamte Prozess unverzerrt bleibt.

Insgesamt komprimiert TurboQuant den KV-Cache auf etwa 3 Bit pro Wert und gewährleistet dabei Unverzerrtheit sowie hohe Genauigkeit bei der Schätzung des Skalarprodukts.

Leistung im Benchmark-Test: Umfassende Führungsposition, ideal für lange Kontexte

Das Google-Team führte umfangreiche Validierungen an Open-Source-Modellen wie Gemma und Mistral durch:

Zudem übertrifft die Recall-Rate von TurboQuant bei Vektordatensätzen wie GloVe herkömmliche Methoden wie PQ und RabbiQ.

Kommentar von AIbase: TurboQuant erfordert kein erneutes Training oder Feintuning des Modells und kann direkt auf bestehende LLMs angewendet werden. Es eignet sich für jedes Szenario, das auf Vektorquantisierung basiert, einschließlich Datenbankabfrage, Empfehlungssysteme und Vektorsuchmaschinen. Dies ermöglicht nicht nur, dass eine einzige GPU für Endverbraucher längere Kontexte (z. B. Zehntausende von Tokens) verarbeiten kann, sondern senkt auch die Hardware-Hürde für KI-Dienste auf Unternehmensebene erheblich.

Bedeutung für die Branche: Ein neuer Maßstab für die Effizienz der KI-Inferenz

Angesichts der explosionsartigen Zunahme von Anwendungen mit langen Kontexten und multimodalen Anwendungen ist der KV-Cache-Speicher zu einer zentralen Einschränkung in der KI-Infrastruktur geworden. Das „nahezu optimale, datenunabhängige“ Quantisierungs-Framework von TurboQuant eröffnet einen neuen Weg für effiziente Inferenz. Google Research gab bekannt, dass diese Technologie in Beiträgen auf der ICLR 2026 und anderen Konferenzen ausführlich beschrieben wurde; der zugehörige Code und die Implementierungsdetails sollen nach und nach als Open Source veröffentlicht werden.

Es wird erwartet, dass TurboQuant künftig in gängige Inferenz-Frameworks wie vLLM und TensorRT integriert wird, was die Demokratisierung und Skalierbarkeit des KI-Einsatzes weiter vorantreiben wird.