Option
Heim
Eilmeldung
Inhalt
JohnYoung
JohnYoung
17. Juli 2026

Das Xiaohongshu-Team hat gemeinsam mit der PKU und der SJTU HYPIC entwickelt, das erste System, das positionsunabhängiges Caching für große Modelle mit hybrider Aufmerksamkeit bietet. Es speichert Übergangsoperatoren für lineare Schichten zwischen, nutzt Seam-Fenster für die vollständige Aufmerksamkeit und ermöglicht Parallelität auf Segmentebene. Tests ergaben im Vergleich zum Präfix-Cache eine 3,25-mal geringere Verzögerung beim ersten Token und eine 1,66-mal höhere nachhaltige QPS bei minimalem Qualitätsverlust.

Das Xiaohongshu-Team hat gemeinsam mit der PKU und der SJTU HYPIC entwickelt, das erste System, das positionsunabhängiges Caching für große Modelle mit hybrider Aufmerksamkeit bietet. Es speichert Übergangsoperatoren für lineare Schichten zwischen, nutzt Seam-Fenster für die vollständige Aufmerksamkeit und ermöglicht Parallelität auf Segmentebene. Tests ergaben im Vergleich zum Präfix-Cache eine 3,25-mal geringere Verzögerung beim ersten Token und eine 1,66-mal höhere nachhaltige QPS bei minimalem Qualitätsverlust. Das Xiaohongshu-Team hat gemeinsam mit der PKU und der SJTU HYPIC entwickelt, das erste System, das positionsunabhängiges Caching für große Modelle mit hybrider Aufmerksamkeit bietet. Es speichert Übergangsoperatoren für lineare Schichten zwischen, nutzt Seam-Fenster für die vollständige Aufmerksamkeit und ermöglicht Parallelität auf Segmentebene. Tests ergaben im Vergleich zum Präfix-Cache eine 3,25-mal geringere Verzögerung beim ersten Token und eine 1,66-mal höhere nachhaltige QPS bei minimalem Qualitätsverlust.
Kommentare (0)
0/300
OR