De MIPS à exaflops en quelques décennies : La puissance de calcul explose et transformera l'IA

À la récente conférence Nvidia GTC, le géant technologique a dévoilé une réalisation révolutionnaire : le premier système à un seul rack de serveurs capable d'atteindre un exaflop. C'est un milliard de milliards d'opérations en virgule flottante (FLOPS) par seconde, à couper le souffle. Cette prouesse est alimentée par le dernier système GB200 NVL72 de Nvidia, doté des unités de traitement graphique (GPU) Blackwell de pointe. Pour mettre cela en perspective, ce système tient dans un rack informatique standard d'environ 1,8 mètre de haut, un peu plus de 1 mètre de profondeur et moins de 60 centimètres de large.

Réduire un Exaflop : De Frontier à Blackwell

L'annonce m'a fait réfléchir à tout le chemin parcouru en seulement quelques années. Le premier ordinateur capable d'atteindre un exaflop, "Frontier", a été installé au Oak Ridge National Laboratory en 2022. Construit par HPE et alimenté par des GPU et CPU AMD, il occupait un espace massif de 74 racks. En revanche, le nouveau système de Nvidia offre 73 fois plus de performances dans un seul rack. C'est comme tripler les performances chaque année pendant trois ans d'affilée ! Cela témoigne des avancées incroyables réalisées en matière de densité informatique, d'efficacité énergétique et de conception architecturale.

Il est également important de noter que, bien que les deux systèmes atteignent le jalon de l'exascale, ils sont conçus pour des objectifs différents. La cote d'exaflop de Nvidia est basée sur des calculs de moindre précision—opérations en virgule flottante de 4 bits et 8 bits—idéales pour les charges de travail en IA comme l'entraînement et l'exécution de grands modèles de langage (LLM). Ces calculs privilégient la vitesse à la précision. D'autre part, la cote d'exaflop de Frontier provient de calculs en double précision de 64 bits, la norme d'or pour les simulations scientifiques où la précision est primordiale.

Nous avons Parcouru un Long Chemin (Très Rapidement)

Le rythme de ce progrès est presque difficile à croire, surtout quand je repense aux débuts de ma carrière en informatique. Mon premier emploi était programmeur sur le DEC KL 1090, faisant partie de la série PDP-10 de mainframes à temps partagé de DEC. Cette machine avançait laborieusement à 1,8 million d'instructions par seconde (MIPS). Elle se connectait à des écrans à tube cathodique (CRT) via des câbles fixes, sans graphismes à proprement parler—juste du texte sur un écran. Et bien sûr, il n'y avait pas d'Internet. Les utilisateurs distants devaient se connecter via des lignes téléphoniques avec des modems plafonnant à 1 200 bits par seconde.

500 Milliards de Fois Plus de Puissance de Calcul

Bien que comparer les MIPS aux FLOPS ne soit pas une comparaison directe, cela donne une idée de l'incroyable bond en puissance de calcul. Les MIPS mesurent la vitesse de traitement des entiers, idéale pour l'informatique générale et les applications commerciales. Les FLOPS, en revanche, mesurent les performances en virgule flottante, cruciales pour les charges de travail scientifiques et le travail intensif derrière l'IA moderne, comme les calculs matriciels et l'algèbre linéaire nécessaires pour entraîner et exécuter des modèles d'apprentissage automatique (ML).

En utilisant cela comme guide approximatif, le nouveau système Nvidia est environ 500 milliards de fois plus puissant que l'ancienne machine DEC. C'est un exemple frappant de la croissance exponentielle de la puissance de calcul sur une seule carrière. Cela fait réfléchir : si nous avons accompli autant en 40 ans, que pourraient apporter les cinq prochaines années ?

Nvidia nous a donné quelques indices. Lors du GTC, ils ont partagé une feuille de route prévoyant que leur système à rack complet de prochaine génération, basé sur l'architecture Ultra "Vera Rubin", offrira 14 fois les performances du rack Blackwell Ultra actuel. Nous envisageons entre 14 et 15 exaflops pour les travaux optimisés pour l'IA dans l'année ou les deux prochaines années.

Il ne s'agit pas seulement de puissance brute. Concentrer ces performances dans un seul rack signifie moins d'espace physique, moins de matériaux et potentiellement une consommation d'énergie moindre par opération. Bien que n'oublions pas, les besoins absolus en énergie de ces systèmes restent énormes.

L'IA a-t-elle Vraiment Besoin de Toute Cette Puissance de Calcul ?

Bien que ces gains de performance soient impressionnants, l'industrie de l'IA est maintenant confrontée à une grande question : de combien de puissance de calcul avons-nous vraiment besoin, et à quel coût ? La course à la construction de nouveaux centres de données massifs pour l'IA est motivée par les exigences de l'informatique exascale et des modèles d'IA de plus en plus performants.

Le projet le plus ambitieux est le Projet Stargate de 500 milliards de dollars, prévoyant 20 centres de données à travers les États-Unis, chacun d'une superficie de 500 000 pieds carrés. Une vague d'autres projets hyperscale est en cours ou en préparation dans le monde entier, alors que les entreprises et les pays se précipitent pour construire l'infrastructure des futures charges de travail en IA.

Certains analystes craignent que nous ne surconstruisions. Les inquiétudes ont grandi après la sortie de R1, un modèle de raisonnement de DeepSeek en Chine qui utilise beaucoup moins de calcul que ses pairs. L'annulation récente par Microsoft de baux avec plusieurs fournisseurs de centres de données a alimenté les spéculations selon lesquelles ils pourraient revoir leurs besoins en infrastructure d'IA.

Cependant, The Register a suggéré que ce retrait pourrait être davantage lié au fait que les centres de données prévus ne peuvent pas répondre aux besoins en énergie et en refroidissement des systèmes d'IA de nouvelle génération. Les modèles d'IA repoussent déjà les limites de l'infrastructure actuelle. MIT Technology Review a rapporté que de nombreux centres de données en Chine peinent et échouent car ils ont été construits selon des spécifications obsolètes.

L'Inférence de l'IA Demande Plus de FLOPS

Les modèles de raisonnement effectuent la majeure partie de leur travail intensif au moment de l'exécution via un processus appelé inférence. Ces modèles alimentent certaines des applications les plus avancées et gourmandes en ressources, comme les assistants de recherche approfondie et la vague émergente de systèmes d'IA agentiques.

Bien que DeepSeek-R1 ait initialement conduit l'industrie à penser que l'IA future pourrait nécessiter moins de puissance de calcul, le PDG de Nvidia, Jensen Huang, a fermement contredit cela. Dans une interview à CNBC, il a soutenu le contraire : "C'était la conclusion exactement opposée à celle de tout le monde." Il a ajouté que l'IA de raisonnement consomme 100 fois plus de calcul que l'IA non raisonnante.

À mesure que l'IA évolue des modèles de raisonnement vers des agents autonomes et au-delà, la demande en puissance de calcul est susceptible de croître à nouveau. Les prochaines percées pourraient intervenir dans des domaines comme la coordination d'agents d'IA, les simulations de fusion ou les jumeaux numériques à grande échelle—tous rendus possibles par le type de bond en calcul que nous venons de voir.

Comme par hasard, OpenAI a annoncé 40 milliards de dollars de nouveaux financements, le plus grand tour de financement technologique privé jamais enregistré. Dans un article de blog, ils ont déclaré que le financement "nous permet de repousser encore plus loin les frontières de la recherche en IA, d'élargir notre infrastructure de calcul et de fournir des outils de plus en plus puissants aux 500 millions de personnes qui utilisent ChatGPT chaque semaine."

Pourquoi autant de capital afflue-t-il dans l'IA ? Les raisons vont de la compétitivité à la sécurité nationale, mais un facteur se démarque : selon McKinsey, l'IA pourrait augmenter les profits des entreprises de 4 400 milliards de dollars par an.

Que Se Passe-t-il Ensuite ? C'est à Chacun de Deviner

Au fond, les systèmes d'information visent à simplifier la complexité, qu'il s'agisse d'un système de routage de véhicules d'urgence que j'ai écrit en Fortran, d'un outil de rapport sur les résultats des élèves construit en COBOL, ou des systèmes d'IA modernes accélérant la découverte de médicaments. L'objectif a toujours été le même : donner un sens au monde.

Maintenant, avec une IA puissante à l'horizon, nous franchissons un seuil. Pour la première fois, nous pourrions avoir la puissance de calcul et l'intelligence nécessaires pour aborder des problèmes autrefois hors de portée humaine.

Le chroniqueur du New York Times, Kevin Roose, a bien saisi ce moment : "Chaque semaine, je rencontre des ingénieurs et des entrepreneurs travaillant sur l'IA qui me disent que le changement—un grand changement, un changement bouleversant le monde, le type de transformation que nous n'avons jamais vu auparavant—est juste au coin de la rue." Et cela ne compte même pas les percées qui arrivent chaque semaine.

Rien que ces derniers jours, nous avons vu GPT-4o d'OpenAI générer des images presque parfaites à partir de texte, Google publier ce qui pourrait être le modèle de raisonnement le plus avancé à ce jour avec Gemini 2.5 Pro, et Runway dévoiler un modèle vidéo avec une cohérence de personnage et de scène d'un plan à l'autre, quelque chose que VentureBeat note comme ayant échappé à la plupart des générateurs de vidéos IA jusqu'à présent.

Ce qui vient ensuite est vraiment à la portée de chacun. Nous ne savons pas si une IA puissante sera une percée ou une rupture, si elle aidera à résoudre l'énergie de fusion ou déclenchera de nouveaux risques biologiques. Mais avec toujours plus de FLOPS mis en ligne au cours des cinq prochaines années, une chose semble certaine : l'innovation arrivera vite—et avec force. À mesure que les FLOPS augmentent, nos conversations sur la responsabilité, la régulation et la retenue doivent également croître.

Gary Grossman est vice-président exécutif de la pratique technologique chez Edelman et chef mondial du Centre d'Excellence en IA d'Edelman.