L'équipe Dots Infra de Xiaohongshu a mis en open source BigMac, un paradigme d'entraînement parallèle en pipeline destiné aux grands modèles de langage multimodaux (LLM). Ce système intègre les calculs de l'encodeur et du générateur dans un planning optimisé du LLM, mettant ainsi fin au compromis entre vitesse de calcul et utilisation de la mémoire. Pour les tâches de compréhension, BigMac offre un gain de vitesse de 1,08 à 1,9 fois supérieur à celui des modèles de référence, avec une mémoire stable ; pour les tâches de génération, il évite les erreurs de mémoire insuffisante (OOM) tout en offrant un gain de vitesse de 1,5 à 1,9 fois supérieur.