Heim
Moonshot AI und die Tsinghua-Universität stellen die PrfaaS-Architektur vor, um den Engpass bei der Rechenleistung großer Modelle zu überwinden
Neue Technologien überwinden den Leistungsengpass großer Sprachmodelle (LLMs). Kürzlich stellten Forscher von Moonshot AI (Moonshot) und der Tsinghua-Universität eine neuartige Architektur namens Prefill-as-a-Service (PrfaaS) vor. Diese Studie befasst sich mit Hardware-Einschränkungen bei der Bereitstellung großer Modelldienste in Rechenzentren, indem sie die Zuweisung von Rechenressourcen optimiert und dadurch die Effizienz der Inferenz erheblich steigert.
Technischer Durchbruch: Eine „chirurgische“ Trennung von Prefill und Decode
Derzeit umfasst der Inferenzprozess für große Sprachmodelle zwei unterschiedliche Phasen:
Prefill-Phase: Diese Phase ist rechenintensiv, da sie die Eingabeverarbeitung übernimmt und einen Schlüssel-Wert-Cache (KVCache) generiert.
Decode-Phase: Diese Phase ist speicher- und bandbreitenintensiv und generiert die Ausgabe Wort für Wort.
In herkömmlichen Architekturen werden beide Phasen in der Regel innerhalb desselben Rechenzentrums oder sogar desselben Servers abgewickelt. Da sie unterschiedliche Anforderungen an die Hardware-Ressourcen stellen, führt diese „erzwungene Bündelung“ oft zu einem Ungleichgewicht bei der Zuweisung von Rechenleistung und Bandbreite, was zu einer Überlastung des Dienstes führt.
Kerninnovation: Effiziente regionenübergreifende Zusammenarbeit
Das zentrale Highlightvon PrfaaS ist die Realisierung eines entkoppelten Dienstes. Es lagert die rechenintensiven Prefill-Aufgaben an spezialisierte Hochleistungs-Cluster aus. Nach Abschluss der Aufgaben nutzt das System Standard-Ethernet, um den generierten KVCache remote an einen lokalen Dekodierungs-Cluster zu übertragen.
Dieses Design beseitigt physische Platzbeschränkungen und ermöglicht es, dass Vorabfüllung und Dekodierung gleichzeitig über verschiedene Rechenzentren hinweg ablaufen. Um eine effiziente Übertragung zu gewährleisten, integriert PrfaaS einen Scheduling-Mechanismus mit zwei Zeitskalen, der Ressourcen flexibel auf der Grundlage von Echtzeit-Verkehrsschwankungen zuweist, gepaart mit präzisem Routing, um zu verhindern, dass lange Textanfragen durch eine ungleichmäßige Ressourcenverteilung verzögert werden.
Testergebnisse: Optimierung von Durchsatz und Latenz
Forschungsdaten belegen, dass die PrfaaS-Architektur in realen Anwendungen eine bemerkenswerte Leistung erbringt:
Der Dienstdurchsatz stieg um 54 %, wodurch sich die Anzahl der pro Zeiteinheit bearbeiteten Anfragen deutlich verbesserte.
Die Antwortlatenz verringerte sich deutlich, wodurch die Generierung des ersten Tokens aus Sicht des Benutzers schneller erfolgte.
Die Ressourcennutzung wurde durch die Trennung von Rechen-, Netzwerk- und Speichersubsystemenmaximiert, wodurch Überlastungsprobleme vermieden wurden, die bei herkömmlichen Architekturen auftreten.
Die Zusammenarbeit zwischen Moonshot AI und der Tsinghua-Universität bietet nicht nur neue technische Ansätze für groß angelegte KI-Inferenz, sondern legt auch den Grundstein für zukünftige regionenübergreifende Rechennetzwerke. Dieses Prefill-as-a-Service-Modell könnte zu einem wichtigen Meilenstein bei der industriellen Einführung großer Modelle werden.
Verwandter Artikel
Der ehemalige OpenAI-Chefwissenschaftler Ilya stellt sein SSI vor und enthüllt das erste Modell
Die KI hat einen weiteren großen Meilenstein erreicht. Nach seinem Ausscheiden aus OpenAI gründete der ehemalige Chefwissenschaftler Ilya Sutskever Safe Superintelligence Inc. (SSI), die kürzlich Details zu ihrem ersten Modell enthüllt hat. Berichten
Lovable Leads Atech's Seed Round as AI Ambient Coding Officially Enters the Hardware Field
Am 14. Mai 2026 gab die KI-Anwendungsentwicklungsplattform Lovable bekannt, dass sie an der 800.000-US-Dollar-Seed-Finanzierungsrunde des dänischen Hardware-Startups Atech beteiligt ist. Angeführt von Lovable zog die Runde erstklassige Wagniskapitalf
Anthropic erweitert die Claude KI-Coding-Tools in Japan im Rahmen der Bemühungen um internationales Wachstum
Anthropic, ein führendes US-amerikalisches Unternehmen für künstliche Intelligenz, intensiviert seine globalen Outreach-Bemühungen. Am Mittwoch veranstaltete das Unternehmen in Tokio eine große Entwicklerkonferenz namens „Code with Claude“, an der kn
Empfehlungen zu verwandten Spezialthemen
Chatbot
Die besten KI-gestützten Gesprächstrainingstools für Vorstellungsgesprächspraxis
2026 Neueste Besten Top-bewerteten KI-Konversationstrainer-Tools für Vorstellungsgesprächspraxis sind hier auf XIX.AI! Diese kuratierte Sammlung enthält leistungsstarke, bahnbrechende Tools, die strengen Praxistests unterzogen wurden, um präzises Feedback zu liefern. Sie finden einen Vergleich zwischen kostenlosen und kostenpflichtigen Optionen sowie detaillierte Rankings, die Ihnen helfen, die empfehlenswerte Option zu wählen, die Ihr Selbstvertrauen und Ihre Fähigkeiten verbessert. Entdecken Sie jetzt Ihr perfektes Tool für den Erfolg im Vorstellungsgespräch!
12 Tools
xix.ai
Design & Kunst
Die besten KI-Tools für den Stiltransfer für kreative Experimente
Die besten und am besten bewerteten KI-Tools für den Stiltransfer im Jahr 2026 – ideal für kreative Experimente! XIX.AI hat eine leistungsstarke, bahnbrechende Sammlung unverzichtbarer Tools zusammengestellt, die in Praxistests und strengen Bewertungen außergewöhnliche Ergebnisse liefern. Diese Top-Lösungen helfen Kreativen dabei, ihre Produktivität deutlich zu steigern, indem sie die Erstellung von Inhalten beschleunigen und unendliche kreative Möglichkeiten eröffnen. Entdecken Sie jetzt Ihr perfektes Tool und legen Sie noch heute los!
9 Tools
xix.ai
Comic-Erstellung
Die besten KI-Tools für Sprechblasen zum visuellen Geschichtenerzählen
Die besten und am besten bewerteten KI-Tools für Sprechblasen zum visuellen Storytelling des Jahres 2026 finden Sie hier auf XIX.AI! Diese sorgfältig zusammengestellte Sammlung umfasst leistungsstarke, bahnbrechende Tools, die Kreativen dabei helfen, ihre Produktivität zu steigern und kreative Blockaden zu überwinden. Holen Sie sich einen Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten, sehen Sie sich Praxistests an und werfen Sie einen Blick auf die aktuellen Rankings, um die unverzichtbaren Lösungen zu finden, die sich perfekt für die Gestaltung fesselnder visueller Erzählungen eignen. Stöbern Sie jetzt und entdecken Sie Ihr ideales Tool!
10 Tools
xix.ai
Besprechungsassistent
Die besten Tools zur Zusammenfassung von KI-Meetings: Entscheidungen und Folgemaßnahmen übersichtlich nachverfolgen
Die besten und am besten bewerteten KI-Tools zur Zusammenfassung von Besprechungen im Jahr 2026 für eine übersichtliche Nachverfolgung von Entscheidungen und müheloses Follow-up. Diese sorgfältig zusammengestellte Liste präsentiert leistungsstarke, bahnbrechende Lösungen, die die Produktivität drastisch steigern, indem sie Besprechungsnotizen automatisieren, wichtige Aktionspunkte identifizieren und die Teamkoordination projektübergreifend optimieren. Erhalten Sie einen Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten sowie Praxistests und wöchentlich aktualisierte Rankings, die Ihnen helfen, das perfekte Tool zu finden. Entdecken Sie es jetzt und nutzen Sie Ihren KI-Vorteil!
9 Tools
xix.ai
Datenanalyse
Die besten Tools für die KI-gestützte Datenreinigung: Fehlende Werte und Duplikate schnell beheben
2026 – Die neuesten, besten und am höchsten bewerteten Tools für die Reinigung von KI-Daten, um fehlende Werte sowie Duplikate schnell zu beheben. Diese sorgfältig zusammengestellte Liste präsentiert leistungsstarke Lösungen, die die Produktivität erheblich steigern. Jedes Tool wurde in der Praxis gründlich getestet, um seine Zuverlässigkeit zu gewährleisten. Holen Sie sich einen kostenlosen Vergleich zwischen kostenloser und kostenpflichtiger Variante und entdecken Sie das für Ihre Bedürfnisse beste Tool. Entdecken Sie es jetzt auf XIX.AI, um Ihren Vorteil in der KI-Branche zu erlangen.
11 Tools
xix.ai
Design & Kunst
Die besten KI-gestützten Kreativwerkzeuge für Künstler: Den Durchbruch durch visuelle Blockaden
2026 Neueste Besten Top-Bewerteten KI-Kreativitäts-Tools für Künstler wurden von XIX.AI kuratiert, um Kreativen zu helfen, visuelle Blockaden zu durchbrechen und die Kreativität sofort zu steigern. Diese leistungsstarken, bahnbrechenden Tools bieten reale Tests, detaillierte kostenlose vs. kostenpflichtige Vergleiche und wöchentlich aktualisierte Rankings. Entdecken Sie Ihr perfektes Tool, um die Content-Erstellung zu beschleunigen und Ihren KI-Vorteil noch heute freizuschalten. Jetzt erkunden!
14 Tools
xix.ai
Kommentare (1)
![HarryRoberts]()
Wait, so PrfaaS separates prefill from decode? That sounds like a smart way to reduce latency, but how does it handle memory overhead? 🤔
Neue Technologien überwinden den Leistungsengpass großer Sprachmodelle (LLMs). Kürzlich stellten Forscher von Moonshot AI (Moonshot) und der Tsinghua-Universität eine neuartige Architektur namens Prefill-as-a-Service (PrfaaS) vor. Diese Studie befasst sich mit Hardware-Einschränkungen bei der Bereitstellung großer Modelldienste in Rechenzentren, indem sie die Zuweisung von Rechenressourcen optimiert und dadurch die Effizienz der Inferenz erheblich steigert.
Technischer Durchbruch: Eine „chirurgische“ Trennung von Prefill und Decode
Derzeit umfasst der Inferenzprozess für große Sprachmodelle zwei unterschiedliche Phasen:
Prefill-Phase: Diese Phase ist rechenintensiv, da sie die Eingabeverarbeitung übernimmt und einen Schlüssel-Wert-Cache (KVCache) generiert.
Decode-Phase: Diese Phase ist speicher- und bandbreitenintensiv und generiert die Ausgabe Wort für Wort.
In herkömmlichen Architekturen werden beide Phasen in der Regel innerhalb desselben Rechenzentrums oder sogar desselben Servers abgewickelt. Da sie unterschiedliche Anforderungen an die Hardware-Ressourcen stellen, führt diese „erzwungene Bündelung“ oft zu einem Ungleichgewicht bei der Zuweisung von Rechenleistung und Bandbreite, was zu einer Überlastung des Dienstes führt.
Kerninnovation: Effiziente regionenübergreifende Zusammenarbeit
Das zentrale Highlight
Dieses Design beseitigt physische Platzbeschränkungen und ermöglicht es, dass Vorabfüllung und Dekodierung gleichzeitig über verschiedene Rechenzentren hinweg ablaufen. Um eine effiziente Übertragung zu gewährleisten, integriert PrfaaS einen Scheduling-Mechanismus mit zwei Zeitskalen, der Ressourcen flexibel auf der Grundlage von Echtzeit-Verkehrsschwankungen zuweist, gepaart mit präzisem Routing, um zu verhindern, dass lange Textanfragen durch eine ungleichmäßige Ressourcenverteilung verzögert werden.
Testergebnisse: Optimierung von Durchsatz und Latenz
Forschungsdaten belegen, dass die PrfaaS-Architektur in realen Anwendungen eine bemerkenswerte Leistung erbringt:
Der Dienstdurchsatz stieg um 54 %, wodurch sich die Anzahl der pro Zeiteinheit bearbeiteten Anfragen deutlich verbesserte.
Die Antwortlatenz verringerte sich deutlich, wodurch die Generierung des ersten Tokens aus Sicht des Benutzers schneller erfolgte.
Die Ressourcennutzung wurde durch die Trennung von Rechen-, Netzwerk- und Speichersubsystemenmaximiert, wodurch Überlastungsprobleme vermieden wurden, die bei herkömmlichen Architekturen auftreten.
Die Zusammenarbeit zwischen Moonshot AI und der Tsinghua-Universität bietet nicht nur neue technische Ansätze für groß angelegte KI-Inferenz, sondern legt auch den Grundstein für zukünftige regionenübergreifende Rechennetzwerke. Dieses Prefill-as-a-Service-Modell könnte zu einem wichtigen Meilenstein bei der industriellen Einführung großer Modelle werden.
Der ehemalige OpenAI-Chefwissenschaftler Ilya stellt sein SSI vor und enthüllt das erste Modell
Die KI hat einen weiteren großen Meilenstein erreicht. Nach seinem Ausscheiden aus OpenAI gründete der ehemalige Chefwissenschaftler Ilya Sutskever Safe Superintelligence Inc. (SSI), die kürzlich Details zu ihrem ersten Modell enthüllt hat. Berichten
Lovable Leads Atech's Seed Round as AI Ambient Coding Officially Enters the Hardware Field
Am 14. Mai 2026 gab die KI-Anwendungsentwicklungsplattform Lovable bekannt, dass sie an der 800.000-US-Dollar-Seed-Finanzierungsrunde des dänischen Hardware-Startups Atech beteiligt ist. Angeführt von Lovable zog die Runde erstklassige Wagniskapitalf
Anthropic erweitert die Claude KI-Coding-Tools in Japan im Rahmen der Bemühungen um internationales Wachstum
Anthropic, ein führendes US-amerikalisches Unternehmen für künstliche Intelligenz, intensiviert seine globalen Outreach-Bemühungen. Am Mittwoch veranstaltete das Unternehmen in Tokio eine große Entwicklerkonferenz namens „Code with Claude“, an der kn
2026 Neueste Besten Top-bewerteten KI-Konversationstrainer-Tools für Vorstellungsgesprächspraxis sind hier auf XIX.AI! Diese kuratierte Sammlung enthält leistungsstarke, bahnbrechende Tools, die strengen Praxistests unterzogen wurden, um präzises Feedback zu liefern. Sie finden einen Vergleich zwischen kostenlosen und kostenpflichtigen Optionen sowie detaillierte Rankings, die Ihnen helfen, die empfehlenswerte Option zu wählen, die Ihr Selbstvertrauen und Ihre Fähigkeiten verbessert. Entdecken Sie jetzt Ihr perfektes Tool für den Erfolg im Vorstellungsgespräch!
12 Tools
xix.ai
Die besten und am besten bewerteten KI-Tools für den Stiltransfer im Jahr 2026 – ideal für kreative Experimente! XIX.AI hat eine leistungsstarke, bahnbrechende Sammlung unverzichtbarer Tools zusammengestellt, die in Praxistests und strengen Bewertungen außergewöhnliche Ergebnisse liefern. Diese Top-Lösungen helfen Kreativen dabei, ihre Produktivität deutlich zu steigern, indem sie die Erstellung von Inhalten beschleunigen und unendliche kreative Möglichkeiten eröffnen. Entdecken Sie jetzt Ihr perfektes Tool und legen Sie noch heute los!
9 Tools
xix.ai
Die besten und am besten bewerteten KI-Tools für Sprechblasen zum visuellen Storytelling des Jahres 2026 finden Sie hier auf XIX.AI! Diese sorgfältig zusammengestellte Sammlung umfasst leistungsstarke, bahnbrechende Tools, die Kreativen dabei helfen, ihre Produktivität zu steigern und kreative Blockaden zu überwinden. Holen Sie sich einen Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten, sehen Sie sich Praxistests an und werfen Sie einen Blick auf die aktuellen Rankings, um die unverzichtbaren Lösungen zu finden, die sich perfekt für die Gestaltung fesselnder visueller Erzählungen eignen. Stöbern Sie jetzt und entdecken Sie Ihr ideales Tool!
10 Tools
xix.ai
Die besten und am besten bewerteten KI-Tools zur Zusammenfassung von Besprechungen im Jahr 2026 für eine übersichtliche Nachverfolgung von Entscheidungen und müheloses Follow-up. Diese sorgfältig zusammengestellte Liste präsentiert leistungsstarke, bahnbrechende Lösungen, die die Produktivität drastisch steigern, indem sie Besprechungsnotizen automatisieren, wichtige Aktionspunkte identifizieren und die Teamkoordination projektübergreifend optimieren. Erhalten Sie einen Vergleich zwischen kostenlosen und kostenpflichtigen Angeboten sowie Praxistests und wöchentlich aktualisierte Rankings, die Ihnen helfen, das perfekte Tool zu finden. Entdecken Sie es jetzt und nutzen Sie Ihren KI-Vorteil!
9 Tools
xix.ai
2026 – Die neuesten, besten und am höchsten bewerteten Tools für die Reinigung von KI-Daten, um fehlende Werte sowie Duplikate schnell zu beheben. Diese sorgfältig zusammengestellte Liste präsentiert leistungsstarke Lösungen, die die Produktivität erheblich steigern. Jedes Tool wurde in der Praxis gründlich getestet, um seine Zuverlässigkeit zu gewährleisten. Holen Sie sich einen kostenlosen Vergleich zwischen kostenloser und kostenpflichtiger Variante und entdecken Sie das für Ihre Bedürfnisse beste Tool. Entdecken Sie es jetzt auf XIX.AI, um Ihren Vorteil in der KI-Branche zu erlangen.
11 Tools
xix.ai
2026 Neueste Besten Top-Bewerteten KI-Kreativitäts-Tools für Künstler wurden von XIX.AI kuratiert, um Kreativen zu helfen, visuelle Blockaden zu durchbrechen und die Kreativität sofort zu steigern. Diese leistungsstarken, bahnbrechenden Tools bieten reale Tests, detaillierte kostenlose vs. kostenpflichtige Vergleiche und wöchentlich aktualisierte Rankings. Entdecken Sie Ihr perfektes Tool, um die Content-Erstellung zu beschleunigen und Ihren KI-Vorteil noch heute freizuschalten. Jetzt erkunden!
14 Tools
xix.ai
Wait, so PrfaaS separates prefill from decode? That sounds like a smart way to reduce latency, but how does it handle memory overhead? 🤔
