El equipo de Xiaohongshu, en colaboración con la Universidad de Pekín (PKU) y la Universidad Técnica de Shanghái (SJTU), ha desarrollado HYPIC, el primer sistema que ofrece almacenamiento en caché independiente de la posición para modelos grandes con atención híbrida. Almacena en caché los operadores de transición para las capas lineales, utiliza ventanas de unión para la atención completa y permite el paralelismo a nivel de segmento. Las pruebas demostraron un retraso del primer token 3,25 veces menor y un QPS sostenible 1,66 veces mayor en comparación con la caché de prefijos, con una pérdida mínima de calidad.