L'expansion de l'IA agentique nécessite des systèmes de mémoire avancés

L'IA agentique marque un changement significatif, passant des simples chatbots à la gestion de flux de travail complexes, et son évolutivité exige une nouvelle approche de l'architecture mémoire.

À mesure que les modèles de base atteignent des milliers de milliards de paramètres et que les fenêtres contextuelles s'étendent à des millions de jetons, le coût informatique lié à la conservation de l'historique dépasse notre capacité à le traiter efficacement.

Les organisations qui mettent en œuvre ces systèmes se heurtent désormais à un goulot d'étranglement où l'immense volume de « mémoire à long terme » (techniquement le cache clé-valeur (KV)) dépasse les capacités des conceptions matérielles actuelles.

L'infrastructure existante offre un choix limité : stocker le contexte d'inférence dans la mémoire GPU (HBM) rare et à haut débit, ou le transférer vers un stockage généraliste plus lent. La première option devient trop coûteuse pour les contextes volumineux, tandis que la seconde introduit une latence qui rend les interactions agentiques en temps réel impraticables.

Pour combler ce fossé croissant qui entrave la mise à l'échelle de l'IA agentique, NVIDIA a lancé la plateforme ICMS (Inference Context Memory Storage) au sein de son architecture Rubin, introduisant ainsi un nouveau niveau de stockage spécialement conçu pour répondre aux besoins temporaires et à haute vitesse de la mémoire IA.

« L'IA transforme l'ensemble de la pile informatique, et désormais le stockage », a déclaré M. Huang. « L'IA a évolué au-delà des chatbots à réponse unique pour devenir des collaborateurs intelligents qui comprennent le monde physique, raisonnent sur de longues périodes, restent basés sur des faits, utilisent des outils pour des tâches pratiques et conservent une mémoire à court et à long terme. »

Le principal problème opérationnel découle du fonctionnement des modèles basés sur des transformateurs. Pour éviter de recalculer l'intégralité d'une conversation à chaque nouveau mot généré, les modèles enregistrent les états précédents dans le cache KV. Dans les flux de travail agentiques, ce cache sert de mémoire persistante entre les outils et les sessions, et s'étend proportionnellement à la longueur de la séquence.

Cela crée une catégorie de données unique. Contrairement aux registres financiers ou aux journaux clients, le cache KV est une donnée dérivée ; il est essentiel pour les performances immédiates, mais ne nécessite pas les garanties de durabilité robustes des systèmes de fichiers d'entreprise. Les systèmes de stockage à usage général, fonctionnant sur des processeurs standard, consomment de l'énergie pour la gestion et la réplication des métadonnées, ce dont les charges de travail agentique ne tirent pas parti.

La hiérarchie existante, qui va du GPU HBM (G1) au stockage partagé (G4), s'avère de plus en plus inefficace :

Lorsque les données contextuelles passent du GPU (G1) à la RAM du système (G2) puis au stockage partagé (G4), l'efficacité diminue considérablement. Le transfert du contexte actif vers le niveau G4 entraîne des retards de l'ordre de la milliseconde et augmente le coût énergétique par jeton, laissant les GPU coûteux inactifs pendant l'attente des données.

Pour les entreprises, cela se traduit par un coût total de possession (TCO) plus élevé, l'énergie étant consommée par les frais généraux liés à l'infrastructure plutôt que par les tâches de raisonnement actives.

Un nouveau niveau de mémoire pour l'usine d'IA

La solution proposée par l'industrie consiste à ajouter une couche personnalisée à cette hiérarchie. La plateforme ICMS crée un niveau « G3.5 », une couche de stockage flash connectée à Ethernet spécialement conçue pour l'inférence à grande échelle.

Cette méthode intègre le stockage directement dans le pod de calcul. En tirant parti du processeur de données NVIDIA BlueField-4, la plateforme transfère la gestion de ces données contextuelles hors du CPU hôte. Le système offre des pétaoctets de capacité partagée par pod, améliorant ainsi la mise à l'échelle de l'IA agentique en permettant aux agents de conserver de vastes quantités d'historique sans consommer de HBM coûteux.

L'avantage opérationnel est mesurable tant en termes de débit que de consommation d'énergie. En stockant le contexte pertinent dans cette couche intermédiaire, qui est plus rapide que le stockage standard mais plus abordable que la mémoire HBM, le système peut « précharger » la mémoire dans le GPU à l'avance. Cela réduit le temps d'inactivité du décodeur GPU, permettant d'obtenir jusqu'à 5 fois plus de jetons par seconde (TPS) dans les charges de travail à contexte long.

Du point de vue énergétique, les avantages sont tout aussi importants. Comme l'architecture élimine la surcharge des protocoles de stockage à usage général, elle offre une efficacité énergétique cinq fois supérieure à celle des approches conventionnelles.

Intégration du plan de données

Le déploiement de cette architecture nécessite un changement dans la façon dont les équipes informatiques perçoivent les réseaux de stockage. La plate-forme ICMS s'appuie sur NVIDIA Spectrum-X Ethernet pour fournir la connectivité à haut débit et à faible gigue nécessaire pour traiter le stockage flash presque comme de la mémoire locale.

Pour les équipes chargées de l'infrastructure d'entreprise, le point d'intégration clé est la couche d'orchestration. Des frameworks tels que NVIDIA Dynamo et la bibliothèque de transfert d'inférence (NIXL) gèrent le mouvement des blocs KV entre les différents niveaux.

Ces outils fonctionnent avec la couche de stockage pour garantir que le contexte correct est chargé dans la mémoire GPU (G1) ou la mémoire hôte (G2) précisément lorsque le modèle d'IA en a besoin. Le framework NVIDIA DOCA renforce cette fonctionnalité en fournissant une couche de communication KV qui traite le cache de contexte comme une ressource primaire.

Les principaux fournisseurs de stockage adoptent déjà cette architecture. Des entreprises telles que AIC, Cloudian, DDN, Dell Technologies, HPE, Hitachi Vantara, IBM, Nutanix, Pure Storage, Supermicro, VAST Data et WEKA développent des plateformes avec BlueField-4. Ces solutions devraient être disponibles au cours du second semestre de cette année.

Redéfinir l'infrastructure pour faire évoluer l'IA agentique

L'adoption d'un niveau de mémoire contextuelle dédié a une incidence sur la planification de la capacité et la conception des centres de données.

• Reclassification des données : les DSI doivent reconnaître le cache KV comme un type de données distinct. Il est « temporaire mais sensible à la latence », contrairement aux données de conformité « durables et froides ». Le niveau G3.5 gère le premier, permettant au stockage G4 durable de se concentrer sur les journaux et les artefacts à long terme.

• Maturité de l'orchestration : le succès repose sur un logiciel capable d'allouer intelligemment les charges de travail. Le système utilise une orchestration sensible à la topologie (via NVIDIA Grove) pour positionner les tâches à proximité de leur contexte mis en cache, réduisant ainsi le mouvement des données sur le réseau.

• Densité de puissance : en concentrant davantage de capacité utilisable dans le même espace de rack, les organisations peuvent prolonger la durée de vie de leurs installations actuelles. Cependant, cela augmente la densité de calcul par mètre carré, ce qui nécessite une planification minutieuse du refroidissement et de la distribution d'énergie.

Le passage à l'IA agentique nécessite une refonte physique du centre de données. La pratique courante consistant à séparer complètement le calcul du stockage lent et persistant n'est pas adaptée aux exigences de récupération en temps réel des agents dotés de mémoires étendues.

En introduisant un niveau contextuel spécialisé, les entreprises peuvent séparer la croissance de la mémoire du modèle du coût du GPU HBM. Cette architecture d'IA agentique permet à plusieurs agents de partager un grand pool de mémoire à faible consommation d'énergie, ce qui réduit le coût du traitement des requêtes complexes et améliore la scalabilité en prenant en charge un raisonnement à haut débit.

Alors que les organisations se préparent à leur prochaine vague d'investissements dans les infrastructures, l'évaluation de l'efficacité de la hiérarchie de la mémoire sera tout aussi cruciale que le choix du GPU lui-même.

Voir aussi : La guerre des puces IA en 2025 : ce que les chefs d'entreprise ont appris sur la réalité de la chaîne d'approvisionnement

Vous souhaitez en savoir plus sur l'IA et le big data auprès des leaders du secteur ? Découvrez l'AI & Big Data Expo qui se tiendra à Amsterdam, en Californie et à Londres. Cet événement complet fait partie de TechEx et se déroule en même temps que d'autres événements technologiques de premier plan. Cliquez ici pour plus d'informations.

AI News est alimenté par TechForge Media. Découvrez ici d'autres événements et webinaires à venir sur les technologies d'entreprise.