집
ByteDance의 Seed 팀은 초장문 처리 시 대규모 언어 모델에서 성능 변동의 원인이 블록 기반 KV 캐시 압축의 위상 민감성(phase sensitivity)에 있음을 확인했습니다. 이 메커니즘은 검색 정확도에 지대한 영향을 미치는 위치 위상 좌표를 도입하며, 일부 오픈소스 모델에서는 최대 40%p의 차이를 보입니다. 본 연구 결과는 평균 벤치마크에 가려진 숨겨진 주기적 약점을 드러내며, 모델 아키텍처 최적화와 장기 컨텍스트 추론 안정성 향상을 위한 이론적 근거를 제공합니다.
의견 (0)
0/300
