Maison
Moonshot AI et l'université Tsinghua dévoilent l'architecture PrfaaS pour surmonter les goulots d'étranglement liés à la puissance de calcul des grands modèles
Les nouvelles technologies permettent de surmonter les goulots d'étranglement en matière de performances des grands modèles linguistiques (LLM). Récemment, des chercheurs de Moonshot AI (Moonshot) et de l'université Tsinghua ont présenté une architecture novatrice appelée Prefill-as-a-Service (PrfaaS). Cette étude s'attaque aux contraintes matérielles liées au déploiement de services de modèles de grande taille dans les centres de données en optimisant l'allocation des ressources de calcul, ce qui améliore considérablement l'efficacité de l'inférence.
Percée technique : une séparation « chirurgicale » entre le préremplissage et le décodage
Actuellement, le processus d'inférence des grands modèles linguistiques comprend deux phases distinctes :
Phase de préremplissage : cette phase est très gourmande en ressources de calcul ; elle gère le traitement des entrées et génère un cache clé-valeur (KVCache).
Phase de décodage : cette phase est gourmande en bande passante mémoire et génère la sortie mot par mot.
Dans les architectures traditionnelles, ces deux phases sont généralement gérées au sein du même centre de données, voire du même serveur. Comme elles ont des besoins différents en ressources matérielles, ce « regroupement forcé » crée souvent un déséquilibre dans l’allocation des ressources de calcul et de bande passante, ce qui entraîne une congestion du service.
Innovation principale : collaboration interrégionale efficace
Le principal atoutde PrfaaS réside dans la mise en place d’un service découplé. Il déleste les tâches de préremplissage gourmandes en calcul vers des clusters spécialisés à haute capacité de calcul. Une fois les tâches terminées, le système utilise un réseau Ethernet standard pour transférer à distance le KVCache généré vers un cluster de décodage local.
Cette conception élimine les contraintes d’espace physique, permettant au préremplissage et au décodage de s’exécuter simultanément dans différents centres de données. Pour garantir un transfert efficace, PrfaaS intègre un mécanisme de planification à deux échelles de temps qui alloue les ressources de manière flexible en fonction des fluctuations du trafic en temps réel, associé à un routage précis pour éviter que les requêtes de texte longues ne soient retardées par une répartition inégale des ressources.
Résultats des tests : optimisation du débit et de la latence
Les données de recherche démontrent que l'architecture PrfaaS offre des performances remarquables dans des applications concrètes :
Le débit du service a augmenté de 54 %, améliorant considérablement le nombre de requêtes traitées par unité de temps.
La latence de réponse a considérablement diminué, accélérant la génération du premier jeton du point de vue de l'utilisateur.
L'utilisation des ressources a été optimisée grâce à la séparation des sous-systèmes de calcul, de réseau et de stockage, ce qui a permis d'éviter les problèmes de congestion observés dans les architectures traditionnelles.
La collaboration entre Moonshot AI et l'université de Tsinghua offre non seulement de nouvelles approches techniques pour l'inférence IA à grande échelle, mais jette également les bases de futurs réseaux informatiques interrégionaux. Ce modèle Prefill-as-a-Service pourrait constituer une étape clé dans le déploiement industriel des grands modèles.
Article connexe
Lovable Leads Atech's Seed Round as AI Ambient Coding Officially Enters the Hardware Field
Le 14 mai 2026, la plateforme de développement d’applications d’IA Lovable a annoncé sa participation à une levée de fonds amorce de 800 000 $ pour la startup danoise de matériel Atech. Pilotée par Lovable, cette levée de fonds a attiré des sociétés
Anthropic étend ses outils de codage IA Claude au Japon dans le cadre de sa stratégie de croissance à l’étranger
Anthropic, une entreprise américaine d’intelligence artificielle de premier plan, intensifie sa portée mondiale. Mercredi, l’entreprise a organisé une grande réunion de développeurs, « Code with Claude », à Tokyo, rassemblant près de 500 ingénieurs l
Le géant indien du logiciel réduit ses embauches et promet des licenciements nuls à mesure que les agents IA se développent
Alors que l’intelligence artificielle redéfinit les modèles d’affaires traditionnellement intensifs en main-d’œuvre, Tata Consultancy Services (TCS), l’un des principaux prestataires indiens de sous-traitance logicielle, a dévoilé sa réponse stratégi
Recommandations de sujets spéciaux liés
Conception et art
Les meilleurs outils de transfert de style basés sur l'IA pour des expériences créatives
Les meilleurs outils de transfert de style par IA de 2026, les mieux notés, pour des expériences créatives ! XIX.AI a sélectionné une collection d’outils puissants et révolutionnaires à essayer absolument, qui offrent des résultats exceptionnels grâce à des tests en conditions réelles et à un classement rigoureux. Ces solutions de pointe aident les créatifs à booster considérablement leur productivité en accélérant la création de contenu et en ouvrant la voie à des possibilités créatives infinies. Découvrez-les dès maintenant pour trouver l'outil qui vous convient le mieux et commencez à créer dès aujourd'hui !
9 outils
xix.ai
Création de bande dessinée
Les meilleurs outils d'IA pour créer des bulles de dialogue destinés à la narration visuelle
Les meilleurs outils de 2026 pour la création de bulles de dialogue IA, les mieux notés pour la narration visuelle, sont disponibles ici sur XIX.AI ! Cette sélection regroupe des outils puissants et révolutionnaires qui aident les créateurs à booster leur productivité et à surmonter les blocages créatifs. Consultez un comparatif entre les versions gratuites et payantes, découvrez des tests en conditions réelles et consultez les derniers classements pour trouver les solutions incontournables, parfaites pour créer des récits visuels captivants. Explorez dès maintenant pour découvrir l'outil qui vous convient le mieux !
10 outils
xix.ai
Assistante de réunion
Les meilleurs outils de synthèse de réunions basés sur l'IA : suivez clairement les décisions et les actions à mener
2026 : les meilleurs outils d'IA pour la synthèse de réunions, les mieux notés, pour un suivi clair des décisions et des relances sans effort. Cette sélection présente des solutions puissantes et révolutionnaires qui boostent considérablement la productivité en automatisant la prise de notes lors des réunions, en identifiant les actions clés et en rationalisant la coordination des équipes sur l'ensemble des projets. Profitez d'une comparaison entre les versions gratuites et payantes, ainsi que de tests en conditions réelles et de classements mis à jour chaque semaine pour vous aider à trouver l'outil idéal. Découvrez-les dès maintenant pour tirer pleinement parti de l'IA !
9 outils
xix.ai
Analyse des données
Meilleurs outils de nettoyage de données IA : corrigez rapidement les valeurs manquantes et les doublons
2026 : Les meilleures outils de nettoyage de données IA les plus récents et hautement notés pour corriger rapidement les valeurs manquantes et les doublons. Cette liste rigoureusement sélectionnée met en avant des solutions puissantes capables d’améliorer considérablement la productivité. Chaque outil a été soumis à des tests approfondis dans des conditions réelles afin de garantir sa fiabilité. Obtenez une comparaison gratuite et payante pour découvrir l’outil qu’il vous faut le mieux, adapté à vos besoins. Explorez dès maintenant XIX.AI pour tirer parti au maximum des capacités de l’IA.
11 outils
xix.ai
Conception et art
Meilleurs outils d’idéation créative par IA pour les artistes : surmonter les blocages visuels
2026 Derniers Meilleurs Outils d’Idéation Créative par IA les Mieux Notés pour les Artistes sont sélectionnés par XIX.AI pour aider les créateurs à surmonner les blocages visuels et stimuler instantanément leur créativité. Ces outils puissants et révolutionnaires offrent des tests concrets, une comparaison détaillée entre les versions gratuites et payantes, ainsi que des classements mis à jour chaque semaine. Découvrez l’outil parfait pour accélérer la création de contenu et débloquer votre avantage IA dès aujourd’hui. Explorez maintenant !
14 outils
xix.ai
Composition musicale
Créateurs de musique par IA pour les pistes d'accompagnement TikTok, les fichiers audio Reels et la musique promotionnelle des créateurs
Les meilleurs générateurs de rythmes IA de 2026 pour les musiques de fond TikTok, les Reels et les morceaux promotionnels des créateurs ! XIX.AI a sélectionné une liste des outils les mieux notés, véritables révolutionnaires qui ont fait leurs preuves dans la pratique pour offrir une musique irréprochable, quel que soit votre besoin en matière de contenu. Vous y trouverez des comparaisons détaillées entre les versions gratuites et payantes, des classements mis à jour chaque semaine, ainsi que des options incontournables pour vous aider à stimuler votre créativité et votre productivité. Explorez-la dès maintenant pour découvrir l'outil qui vous convient le mieux !
11 outils
xix.ai
commentaires (1)
![HarryRoberts]()
Wait, so PrfaaS separates prefill from decode? That sounds like a smart way to reduce latency, but how does it handle memory overhead? 🤔
Les nouvelles technologies permettent de surmonter les goulots d'étranglement en matière de performances des grands modèles linguistiques (LLM). Récemment, des chercheurs de Moonshot AI (Moonshot) et de l'université Tsinghua ont présenté une architecture novatrice appelée Prefill-as-a-Service (PrfaaS). Cette étude s'attaque aux contraintes matérielles liées au déploiement de services de modèles de grande taille dans les centres de données en optimisant l'allocation des ressources de calcul, ce qui améliore considérablement l'efficacité de l'inférence.
Percée technique : une séparation « chirurgicale » entre le préremplissage et le décodage
Actuellement, le processus d'inférence des grands modèles linguistiques comprend deux phases distinctes :
Phase de préremplissage : cette phase est très gourmande en ressources de calcul ; elle gère le traitement des entrées et génère un cache clé-valeur (KVCache).
Phase de décodage : cette phase est gourmande en bande passante mémoire et génère la sortie mot par mot.
Dans les architectures traditionnelles, ces deux phases sont généralement gérées au sein du même centre de données, voire du même serveur. Comme elles ont des besoins différents en ressources matérielles, ce « regroupement forcé » crée souvent un déséquilibre dans l’allocation des ressources de calcul et de bande passante, ce qui entraîne une congestion du service.
Innovation principale : collaboration interrégionale efficace
Le principal atout
Cette conception élimine les contraintes d’espace physique, permettant au préremplissage et au décodage de s’exécuter simultanément dans différents centres de données. Pour garantir un transfert efficace, PrfaaS intègre un mécanisme de planification à deux échelles de temps qui alloue les ressources de manière flexible en fonction des fluctuations du trafic en temps réel, associé à un routage précis pour éviter que les requêtes de texte longues ne soient retardées par une répartition inégale des ressources.
Résultats des tests : optimisation du débit et de la latence
Les données de recherche démontrent que l'architecture PrfaaS offre des performances remarquables dans des applications concrètes :
Le débit du service a augmenté de 54 %, améliorant considérablement le nombre de requêtes traitées par unité de temps.
La latence de réponse a considérablement diminué, accélérant la génération du premier jeton du point de vue de l'utilisateur.
L'utilisation des ressources a été optimisée grâce à la séparation des sous-systèmes de calcul, de réseau et de stockage, ce qui a permis d'éviter les problèmes de congestion observés dans les architectures traditionnelles.
La collaboration entre Moonshot AI et l'université de Tsinghua offre non seulement de nouvelles approches techniques pour l'inférence IA à grande échelle, mais jette également les bases de futurs réseaux informatiques interrégionaux. Ce modèle Prefill-as-a-Service pourrait constituer une étape clé dans le déploiement industriel des grands modèles.
Lovable Leads Atech's Seed Round as AI Ambient Coding Officially Enters the Hardware Field
Le 14 mai 2026, la plateforme de développement d’applications d’IA Lovable a annoncé sa participation à une levée de fonds amorce de 800 000 $ pour la startup danoise de matériel Atech. Pilotée par Lovable, cette levée de fonds a attiré des sociétés
Anthropic étend ses outils de codage IA Claude au Japon dans le cadre de sa stratégie de croissance à l’étranger
Anthropic, une entreprise américaine d’intelligence artificielle de premier plan, intensifie sa portée mondiale. Mercredi, l’entreprise a organisé une grande réunion de développeurs, « Code with Claude », à Tokyo, rassemblant près de 500 ingénieurs l
Le géant indien du logiciel réduit ses embauches et promet des licenciements nuls à mesure que les agents IA se développent
Alors que l’intelligence artificielle redéfinit les modèles d’affaires traditionnellement intensifs en main-d’œuvre, Tata Consultancy Services (TCS), l’un des principaux prestataires indiens de sous-traitance logicielle, a dévoilé sa réponse stratégi
Les meilleurs outils de transfert de style par IA de 2026, les mieux notés, pour des expériences créatives ! XIX.AI a sélectionné une collection d’outils puissants et révolutionnaires à essayer absolument, qui offrent des résultats exceptionnels grâce à des tests en conditions réelles et à un classement rigoureux. Ces solutions de pointe aident les créatifs à booster considérablement leur productivité en accélérant la création de contenu et en ouvrant la voie à des possibilités créatives infinies. Découvrez-les dès maintenant pour trouver l'outil qui vous convient le mieux et commencez à créer dès aujourd'hui !
9 outils
xix.ai
Les meilleurs outils de 2026 pour la création de bulles de dialogue IA, les mieux notés pour la narration visuelle, sont disponibles ici sur XIX.AI ! Cette sélection regroupe des outils puissants et révolutionnaires qui aident les créateurs à booster leur productivité et à surmonter les blocages créatifs. Consultez un comparatif entre les versions gratuites et payantes, découvrez des tests en conditions réelles et consultez les derniers classements pour trouver les solutions incontournables, parfaites pour créer des récits visuels captivants. Explorez dès maintenant pour découvrir l'outil qui vous convient le mieux !
10 outils
xix.ai
2026 : les meilleurs outils d'IA pour la synthèse de réunions, les mieux notés, pour un suivi clair des décisions et des relances sans effort. Cette sélection présente des solutions puissantes et révolutionnaires qui boostent considérablement la productivité en automatisant la prise de notes lors des réunions, en identifiant les actions clés et en rationalisant la coordination des équipes sur l'ensemble des projets. Profitez d'une comparaison entre les versions gratuites et payantes, ainsi que de tests en conditions réelles et de classements mis à jour chaque semaine pour vous aider à trouver l'outil idéal. Découvrez-les dès maintenant pour tirer pleinement parti de l'IA !
9 outils
xix.ai
2026 : Les meilleures outils de nettoyage de données IA les plus récents et hautement notés pour corriger rapidement les valeurs manquantes et les doublons. Cette liste rigoureusement sélectionnée met en avant des solutions puissantes capables d’améliorer considérablement la productivité. Chaque outil a été soumis à des tests approfondis dans des conditions réelles afin de garantir sa fiabilité. Obtenez une comparaison gratuite et payante pour découvrir l’outil qu’il vous faut le mieux, adapté à vos besoins. Explorez dès maintenant XIX.AI pour tirer parti au maximum des capacités de l’IA.
11 outils
xix.ai
2026 Derniers Meilleurs Outils d’Idéation Créative par IA les Mieux Notés pour les Artistes sont sélectionnés par XIX.AI pour aider les créateurs à surmonner les blocages visuels et stimuler instantanément leur créativité. Ces outils puissants et révolutionnaires offrent des tests concrets, une comparaison détaillée entre les versions gratuites et payantes, ainsi que des classements mis à jour chaque semaine. Découvrez l’outil parfait pour accélérer la création de contenu et débloquer votre avantage IA dès aujourd’hui. Explorez maintenant !
14 outils
xix.ai
Les meilleurs générateurs de rythmes IA de 2026 pour les musiques de fond TikTok, les Reels et les morceaux promotionnels des créateurs ! XIX.AI a sélectionné une liste des outils les mieux notés, véritables révolutionnaires qui ont fait leurs preuves dans la pratique pour offrir une musique irréprochable, quel que soit votre besoin en matière de contenu. Vous y trouverez des comparaisons détaillées entre les versions gratuites et payantes, des classements mis à jour chaque semaine, ainsi que des options incontournables pour vous aider à stimuler votre créativité et votre productivité. Explorez-la dès maintenant pour découvrir l'outil qui vous convient le mieux !
11 outils
xix.ai
Wait, so PrfaaS separates prefill from decode? That sounds like a smart way to reduce latency, but how does it handle memory overhead? 🤔
