L'équipe de Xiaohongshu, en collaboration avec l'Université des Sciences Politiques de Pékin (PKU) et l'Université des Technologies de Shanghai (SJTU), a développé HYPIC, le premier système offrant une mise en cache indépendante de la position pour les grands modèles à attention hybride. Il met en cache les opérateurs de transition pour les couches linéaires, utilise des fenêtres de couture pour l'attention complète et permet un parallélisme au niveau des segments. Les tests ont montré un délai du premier token 3,25 fois plus court et un QPS durable 1,66 fois supérieur par rapport à la mise en cache par préfixe, avec une perte de qualité minime.