Chip-Start-up sammelt 135 Millionen Dollar ein – mit der Überzeugung, dass nicht die Rechenleistung, sondern der Speicher der größte Engpass bei KI ist

Jedes Mal, wenn Sie ChatGPT eine Frage stellen, löst Ihre Anfrage einen Daten-Staffellauf aus. Informationen werden aus dem Arbeitsspeicher abgerufen, durchlaufen die CPU zur Vorverarbeitung, gelangen zur GPU für rechenintensive Aufgaben und kehren dann zurück – und dieser gesamte Zyklus wiederholt sich für jedes einzelne Wort, das die KI generiert.

Dieser Engpass ist struktureller Natur – er zwingt jede Anfrage dazu, einige der teuersten und stromfressendsten Chips der Branche zu durchlaufen. Genau diese Ineffizienz will XCENA, ein Start-up mit Niederlassungen in Südkorea und den USA, beseitigen. Das vier Jahre alte Unternehmen hat einen Chip entwickelt, der die Rechenleistung viel näher an den DRAM heranbringt – jene schnellen, temporären Speicherchips, die die vom Prozessor aktiv genutzten Daten halten –, sodass routinemäßige Datenaufgaben direkt neben dem Speicher abgewickelt werden können, ohne die kostspieligen Hin- und Rückläufe zwischen CPUs, GPUs und Speicher.

Sollte sich die Technologie in großem Maßstab bewähren, könnten die Auswirkungen auf die Kosten der KI-Infrastruktur erheblich sein – was das starke Interesse der Investoren erklärt. XCENA hat gerade in einer Serie-B-Finanzierungsrunde 135 Millionen US-Dollar bei einer Bewertung von 570 Millionen US-Dollar eingesammelt, womit sich die Gesamtfinanzierung auf 185 Millionen US-Dollar beläuft.

XCENA-CEO Jin Kim gründete das Unternehmen 2022 gemeinsam mit CTO Dohun Kim und CPO Harry Juhyun Kim. Alle drei sind Veteranen von Samsung und SK Hynix, den Speicherriesen, die die Chips für Nvidias GPUs liefern. „CPUs und GPUs sind im Laufe der Jahrzehnte immer intelligenter geworden. Speicher jedoch nie. XCENA will das ändern“, sagte Kim in einem Interview mit TechCrunch. „Der jüngste Anstieg der Speicherpreise und der damit verbundenen Aktien deutet auf einen umfassenderen Wandel in der KI-Infrastruktur hin zu speicherzentrierten Architekturen“, fügte er hinzu. (In diesem Monat überschritten Samsung, SK Hynix und Micron – die drei Unternehmen, die den globalen Markt für Speicherchips dominieren – jeweils erstmals eine Bewertung von einer Billion Dollar.)

Kim sagt, XCENA setze bei seinem Geschäft auf die Idee, dass „Inferenz nicht mehr nur ein Rechenproblem ist, sondern zunehmend ein Problem der Speicherskalierung.“

Der Chip von XCENA, der MX1, ist über CXL (Compute Express Link) – im Wesentlichen eine dedizierte Expressspur zwischen Prozessor und Speicher – mit der CPU verbunden und verarbeitet Daten, bevor diese das Speichermodul überhaupt verlassen müssen. Damit wird die Rechenleistung zu den Daten gebracht, nicht umgekehrt. Das Unternehmen gibt an, dass Aufgaben, für die früher 10 Server benötigt wurden, potenziell auf nur einem Server ausgeführt werden könnten.

„Während GPUs bei der Matrixmultiplikation – der rechenintensiven Mathematik hinter dem Training von KI-Modellen – hervorragende Leistungen erbringen, läuft ein Großteil der damit verbundenen Datenverarbeitung, einschließlich Vorverarbeitung, KV-Cache-Management (das System, das den Kontext früherer Konversationen speichert, damit das Modell diesen nicht erneut verarbeiten muss) und Daten-Caching, nach wie vor auf CPUs. Unser Chip erledigt diese Aufgaben direkt innerhalb des Speichermoduls selbst“, sagte Kim.

Die Nachfrage nach Speicherlösungen ist seit der zweiten Hälfte des vergangenen Jahres stark gestiegen, und das Unternehmen ist der Ansicht, dass der Zeitpunkt zu seinen Gunsten wirkt.

Die Gespräche mit mehreren globalen Speicherherstellern befinden sich noch in einem frühen Stadium, auch wenn Kim sich weigerte, diese namentlich zu nennen. Die idealen Kunden des Unternehmens sind Hyperscaler, die jedes Jahr Dutzende Milliarden Dollar für KI-Infrastruktur ausgeben, wo bereits eine geringe Steigerung der Speichereffizienz zu Einsparungen in Höhe von Hunderten von Millionen führen kann.

Der MX1 befindet sich noch im Prototypenstadium. Die Serienproduktion der Chips soll bis Ende 2026 in den Fertigungsanlagen von Samsung anlaufen, wobei das Unternehmen davon ausgeht, ab 2027 Umsätze zu erzielen.

Während Hersteller von Neural Processing Units (NPUs) darum konkurrieren, Nvidia bei Trainings-Workloads herauszufordern, zielt XCENA auf die speicherintensive Ebene ab, die allem anderen zugrunde liegt.

Zu den engsten Konkurrenten von XCENA zählen Astera Labs und Marvell, beides an der Nasdaq notierte Unternehmen, die an Speicherverbindungen der nächsten Generation arbeiten. Kim sagt, Marvell sei ein großer, etablierter Akteur, der bereits in diesem Bereich tätig ist, doch der entscheidende Unterschied liege im geistigen Eigentum. „Wir haben Tausende von Kernen“, sagte Kim. Den öffentlich zugänglichen Spezifikationen zufolge stützt sich der Ansatz von Marvell im Vergleich dazu auf eine Handvoll Allzweckkerne.

Diese Kerne basieren auf RISC-V – einem Open-Source-Entwurf für Chipdesigns – und sind speziell für die Datenverarbeitung optimiert, wobei jeder Kern bewusst klein und effizient gehalten wurde. Über die Kerne hinaus entwickelt XCENA seine eigene interne Speicherhierarchie, den Verbindungsbus und den DRAM-Controller – ein Grad an vertikaler Integration, den die meisten Chiphersteller, einschließlich größerer Konkurrenten, in der Regel auslagern.

Die in Seoul ansässigen VC-Firmen Altinum und IMM Investment leiteten gemeinsam die Serie-B-Finanzierungsrunde, zusammen mit Corstone Asia und den bestehenden Investoren SBI Investment und Mirae Asset Capital. Das Unternehmen, das mehr als 90 Mitarbeiter in seinen Niederlassungen in Pangyo, einem Technologiezentrum außerhalb von Seoul, und in Sunnyvale beschäftigt, führt zudem Gespräche mit internationalen Investoren über weitere Finanzmittel.