opção
DouglasScott
DouglasScott
9 de Outubro de 2026

A equipe Seed da ByteDance identifica a sensibilidade de fase na compressão do cache KV baseado em blocos como a causa das flutuações de desempenho em modelos de linguagem grandes que processam texto ultra-longo. Esse mecanismo introduz coordenadas de fase posicional que afetam drasticamente a precisão da recuperação, com diferenças de até 40 pontos percentuais em alguns modelos de código aberto. Os resultados revelam fraquezas periódicas ocultas mascaradas por benchmarks médios, fornecendo uma base teórica para otimizar a arquitetura do modelo e melhorar a estabilidade do raciocínio de contexto longo.

A equipe Seed da ByteDance identifica a sensibilidade de fase na compressão do cache KV baseado em blocos como a causa das flutuações de desempenho em modelos de linguagem grandes que processam texto ultra-longo. Esse mecanismo introduz coordenadas de fase posicional que afetam drasticamente a precisão da recuperação, com diferenças de até 40 pontos percentuais em alguns modelos de código aberto. Os resultados revelam fraquezas periódicas ocultas mascaradas por benchmarks médios, fornecendo uma base teórica para otimizar a arquitetura do modelo e melhorar a estabilidade do raciocínio de contexto longo.
Comentários (0)
0/300
OR