Option
Heim
Eilmeldung
Inhalt
DouglasScott
DouglasScott
9. Oktober 2026

Das Seed-Team von ByteDance identifiziert die Phasenempfindlichkeit bei der blockbasierten KV-Cache-Komprimierung als Ursache für Leistungsschwankungen bei der Verarbeitung ultra-langer Texte durch große Sprachmodelle. Dieser Mechanismus führt zu Positionsphasenkoordinaten, die die Retrievalgenauigkeit drastisch beeinflussen, wobei einige Open-Source-Modelle Unterschiede von bis zu 40 Prozentpunkten aufweisen. Die Ergebnisse decken versteckte periodische Schwächen auf, die durch Durchschnittsbewertungen maskiert werden, und bieten eine theoretische Grundlage zur Optimierung der Modellarchitektur und zur Verbesserung der Stabilität der Langkontext-Reasoning-Fähigkeiten.

Das Seed-Team von ByteDance identifiziert die Phasenempfindlichkeit bei der blockbasierten KV-Cache-Komprimierung als Ursache für Leistungsschwankungen bei der Verarbeitung ultra-langer Texte durch große Sprachmodelle. Dieser Mechanismus führt zu Positionsphasenkoordinaten, die die Retrievalgenauigkeit drastisch beeinflussen, wobei einige Open-Source-Modelle Unterschiede von bis zu 40 Prozentpunkten aufweisen. Die Ergebnisse decken versteckte periodische Schwächen auf, die durch Durchschnittsbewertungen maskiert werden, und bieten eine theoretische Grundlage zur Optimierung der Modellarchitektur und zur Verbesserung der Stabilität der Langkontext-Reasoning-Fähigkeiten.
Kommentare (0)
0/300
OR