옵션
집
속보
콘텐츠
JohnYoung
JohnYoung
2026년 7월 17일

샤오홍슈(Xiaohongshu) 팀은 베이징대(PKU) 및 상하이교통대(SJTU)와 협력하여 하이브리드 어텐션 대규모 모델을 위한 위치 비의존적 캐싱을 제공하는 최초의 시스템인 HYPIC을 개발했습니다. 이 시스템은 선형 레이어의 전환 연산자를 캐싱하고, 전체 어텐션에 시ーム 윈도우를 활용하며, 세그먼트 수준의 병렬 처리를 가능하게 합니다. 테스트 결과, 프리픽스 캐시와 비교했을 때 첫 토큰 지연 시간이 3.25배 단축되고 지속 가능한 QPS가 1.66배 향상되었으며, 품질 저하도 미미한 것으로 나타났습니다.

샤오홍슈(Xiaohongshu) 팀은 베이징대(PKU) 및 상하이교통대(SJTU)와 협력하여 하이브리드 어텐션 대규모 모델을 위한 위치 비의존적 캐싱을 제공하는 최초의 시스템인 HYPIC을 개발했습니다. 이 시스템은 선형 레이어의 전환 연산자를 캐싱하고, 전체 어텐션에 시ーム 윈도우를 활용하며, 세그먼트 수준의 병렬 처리를 가능하게 합니다. 테스트 결과, 프리픽스 캐시와 비교했을 때 첫 토큰 지연 시간이 3.25배 단축되고 지속 가능한 QPS가 1.66배 향상되었으며, 품질 저하도 미미한 것으로 나타났습니다. 샤오홍슈(Xiaohongshu) 팀은 베이징대(PKU) 및 상하이교통대(SJTU)와 협력하여 하이브리드 어텐션 대규모 모델을 위한 위치 비의존적 캐싱을 제공하는 최초의 시스템인 HYPIC을 개발했습니다. 이 시스템은 선형 레이어의 전환 연산자를 캐싱하고, 전체 어텐션에 시ーム 윈도우를 활용하며, 세그먼트 수준의 병렬 처리를 가능하게 합니다. 테스트 결과, 프리픽스 캐시와 비교했을 때 첫 토큰 지연 시간이 3.25배 단축되고 지속 가능한 QPS가 1.66배 향상되었으며, 품질 저하도 미미한 것으로 나타났습니다.
의견 (0)
0/300
OR