option
Maison
Flash info
Contenu
DouglasScott
DouglasScott
9 octobre 2026

L'équipe Seed de ByteDance identifie la sensibilité de phase dans la compression du cache KV par blocs comme étant à l'origine des fluctuations de performance des grands modèles de langage traitant des textes ultra-longs. Ce mécanisme introduit des coordonnées de phase positionnelle qui affectent considérablement la précision de la récupération, avec des écarts allant jusqu'à 40 points de pourcentage dans certains modèles open-source. Ces résultats révèlent des faiblesses périodiques cachées masquées par les moyennes des benchmarks, fournissant une base théorique pour l'optimisation de l'architecture des modèles et l'amélioration de la stabilité du raisonnement à long contexte.

L'équipe Seed de ByteDance identifie la sensibilité de phase dans la compression du cache KV par blocs comme étant à l'origine des fluctuations de performance des grands modèles de langage traitant des textes ultra-longs. Ce mécanisme introduit des coordonnées de phase positionnelle qui affectent considérablement la précision de la récupération, avec des écarts allant jusqu'à 40 points de pourcentage dans certains modèles open-source. Ces résultats révèlent des faiblesses périodiques cachées masquées par les moyennes des benchmarks, fournissant une base théorique pour l'optimisation de l'architecture des modèles et l'amélioration de la stabilité du raisonnement à long contexte.
commentaires (0)
0/300
OR