Maison
Moonshot AI et l'université de Tsinghua proposent une architecture PrfaaS pour les centres de données
Les grands modèles linguistiques (LLM) nécessitant une puissance de calcul accrue lors des processus de raisonnement, les architectures de services traditionnelles se heurtent à des goulots d’étranglement. Moonshot AI, en collaboration avec une équipe de recherche de l’université de Tsinghua, a présenté une architecture novatrice appelée « Pre-filling as a Service » (PrfaaS), destinée à surmonter les contraintes liées aux centres de données et aux ressources de calcul dans les services LLM.

Le processus de raisonnement des grands modèles linguistiques se divise généralement en deux phases : le pré-remplissage et le décodage. Le pré-remplissage est une opération très gourmande en ressources de calcul, au cours de laquelle le modèle traite les données d’entrée et crée un cache clé-valeur (KVCache). Le décodage, quant à lui, sollicite fortement la bande passante mémoire et génère des résultats de manière séquentielle. Les configurations traditionnelles exigent que ces deux étapes se déroulent au sein du même centre de données, ce qui entraîne des contraintes en termes de puissance de calcul et de bande passante.
PrfaaS permet un service inter-centres de données efficace en déchargeant les tâches de préremplissage vers des clusters dédiés à haute puissance de calcul, tout en utilisant un réseau Ethernet standard pour transférer le KVCache généré vers les clusters de décodage locaux. Des recherches indiquent que cette architecture améliore les performances de traitement, permettant une augmentation de 54 % du débit du service par rapport aux modèles traditionnels. Des études de cas concrets démontrent également une latence réduite et une efficacité accrue.
L’architecture PrfaaS dissocie les trois sous-systèmes principaux — calcul, réseau et stockage — en les gérant chacun de manière indépendante. Un mécanisme de routage précis assure une transmission efficace des requêtes longues, empêchant ainsi la congestion due à une répartition inégale des ressources, comme c’est le cas dans les approches traditionnelles. De plus, un mécanisme de planification à double échelle de temps s’adapte aux variations des modèles de trafic, optimisant encore davantage l’utilisation des ressources.
Alors que la demande en matière de raisonnement inter-centres de données ne cesse de croître et que de nouveaux matériels continuent d’apparaître, PrfaaS offre une solution prometteuse pour les futures applications d’IA.
Article connexe
AliVideo dévoille Wan3.0, offrant une génération de vidéos ultra-longues et une cohérence multidimensionnelle
Le 24 août, Alibaba a dévoilé Wan3.0, son dernier modèle de génération vidéo à grande échelle. Cette version représente une avancée majeure pour la technologie vidéo d’Alibaba, offrant des améliorations significatives en termes de durée, de création
MiniMax Grand Modèle Mal Prononce les Noms - Xiyu Technology : Entraînement Insuffisant Après des Jetons Spécifiques
MiniMax a récemment publié un rapport technique détaillant les raisons pour lesquelles ses modèles de la série M2 ont eu du mal à générer avec précision des noms spécifiques tels que « Ma Jiaqi ». Cette erreur apparente met en lumière une faille syst
L'accord entre Nvidia et la Chine concernant le H200 survit au sommet Trump-Xi, mais pas comme prévu
Le président Trump s’est rendu à Pékin, Jensen Huang ayant rejoint la délégation à la dernière minute, et est reparti deux jours plus tard en se contentant de remarques vagues sur d’éventuelles évolut
Recommandations de sujets spéciaux liés
commentaires (10)
Интересная архитектура PrfaS от Moonshot и Цинхуа для решения проблем с вычислительной мощностью LLM. Надеюсь, это поможет оптимизировать центры обработки данных! 🚀
A arquitetura PrfaS proposta por Moonshot e Tsinghua é um passo interessante para resolver gargalos de computação em LLMs. Será que isso viabiliza data centers mais eficientes? 🤔
La arquitectura PrfaS de Moonshot y Tsinghua parece una gran solución para los cuellos de botella en centros de datos con LLMs. ¡Esperamos ver resultados concretos pronto! 📈
Moonshot AI und Tsinghua zeigen mit PrfaS einen vielversprechenden Ansatz gegen Rechenengpässe bei LLMs. Spannend zu sehen, wie diese Kooperation die Datenzukunft gestaltet! 🌐
Les grands modèles linguistiques (LLM) nécessitant une puissance de calcul accrue lors des processus de raisonnement, les architectures de services traditionnelles se heurtent à des goulots d’étranglement. Moonshot AI, en collaboration avec une équipe de recherche de l’université de Tsinghua, a présenté une architecture novatrice appelée « Pre-filling as a Service » (PrfaaS), destinée à surmonter les contraintes liées aux centres de données et aux ressources de calcul dans les services LLM.

Le processus de raisonnement des grands modèles linguistiques se divise généralement en deux phases : le pré-remplissage et le décodage. Le pré-remplissage est une opération très gourmande en ressources de calcul, au cours de laquelle le modèle traite les données d’entrée et crée un cache clé-valeur (KVCache). Le décodage, quant à lui, sollicite fortement la bande passante mémoire et génère des résultats de manière séquentielle. Les configurations traditionnelles exigent que ces deux étapes se déroulent au sein du même centre de données, ce qui entraîne des contraintes en termes de puissance de calcul et de bande passante.
PrfaaS permet un service inter-centres de données efficace en déchargeant les tâches de préremplissage vers des clusters dédiés à haute puissance de calcul, tout en utilisant un réseau Ethernet standard pour transférer le KVCache généré vers les clusters de décodage locaux. Des recherches indiquent que cette architecture améliore les performances de traitement, permettant une augmentation de 54 % du débit du service par rapport aux modèles traditionnels. Des études de cas concrets démontrent également une latence réduite et une efficacité accrue.
L’architecture PrfaaS dissocie les trois sous-systèmes principaux — calcul, réseau et stockage — en les gérant chacun de manière indépendante. Un mécanisme de routage précis assure une transmission efficace des requêtes longues, empêchant ainsi la congestion due à une répartition inégale des ressources, comme c’est le cas dans les approches traditionnelles. De plus, un mécanisme de planification à double échelle de temps s’adapte aux variations des modèles de trafic, optimisant encore davantage l’utilisation des ressources.
Alors que la demande en matière de raisonnement inter-centres de données ne cesse de croître et que de nouveaux matériels continuent d’apparaître, PrfaaS offre une solution prometteuse pour les futures applications d’IA.
AliVideo dévoille Wan3.0, offrant une génération de vidéos ultra-longues et une cohérence multidimensionnelle
Le 24 août, Alibaba a dévoilé Wan3.0, son dernier modèle de génération vidéo à grande échelle. Cette version représente une avancée majeure pour la technologie vidéo d’Alibaba, offrant des améliorations significatives en termes de durée, de création
MiniMax Grand Modèle Mal Prononce les Noms - Xiyu Technology : Entraînement Insuffisant Après des Jetons Spécifiques
MiniMax a récemment publié un rapport technique détaillant les raisons pour lesquelles ses modèles de la série M2 ont eu du mal à générer avec précision des noms spécifiques tels que « Ma Jiaqi ». Cette erreur apparente met en lumière une faille syst
L'accord entre Nvidia et la Chine concernant le H200 survit au sommet Trump-Xi, mais pas comme prévu
Le président Trump s’est rendu à Pékin, Jensen Huang ayant rejoint la délégation à la dernière minute, et est reparti deux jours plus tard en se contentant de remarques vagues sur d’éventuelles évolut
Интересная архитектура PrfaS от Moonshot и Цинхуа для решения проблем с вычислительной мощностью LLM. Надеюсь, это поможет оптимизировать центры обработки данных! 🚀
A arquitetura PrfaS proposta por Moonshot e Tsinghua é um passo interessante para resolver gargalos de computação em LLMs. Será que isso viabiliza data centers mais eficientes? 🤔
La arquitectura PrfaS de Moonshot y Tsinghua parece una gran solución para los cuellos de botella en centros de datos con LLMs. ¡Esperamos ver resultados concretos pronto! 📈
Moonshot AI und Tsinghua zeigen mit PrfaS einen vielversprechenden Ansatz gegen Rechenengpässe bei LLMs. Spannend zu sehen, wie diese Kooperation die Datenzukunft gestaltet! 🌐











