Au-delà de la loi de Moore : L'essor exponentiel de l'IA et le paradigme émergent de l'OpenAI

Le rythme des progrès de l'intelligence artificielle est presque incompréhensible. Pour décrire ce phénomène, les spécialistes du secteur ont commencé à faire référence à ce que certains appellent la « loi d'OpenAI », une version moderne de la loi de Moore, mais avec une trajectoire nettement plus ascendante. Ce concept a été largement reconnu dans le livre Empire of AI, qui retrace l'ascension d'OpenAI et la course effrénée vers l'intelligence artificielle générale (AGI). Dans cet ouvrage, la « loi d'OpenAI » est utilisée pour résumer la vitesse fulgurante à laquelle les exigences informatiques, et par conséquent les capacités de l'IA, ont évolué au cours des dix dernières années.

Bien qu'il ne s'agisse pas d'un principe scientifique formel, la loi d'OpenAI met en évidence une tendance concrète et mesurable : le doublement rapide de la puissance de calcul utilisée pour entraîner des modèles d'IA de pointe, qui se produit beaucoup plus rapidement que la loi de Moore. Concrètement, la puissance de calcul de l'IA a doublé environ tous les trois à quatre mois, contre un cycle de 18 à 24 mois pour la loi de Moore. Cette courbe exponentielle est le moteur de l'essor actuel de l'IA, ouvrant la voie à un avenir qui arrive plus vite que la plupart ne le prévoient.

La loi de Moore : le moteur qui a alimenté l'ère numérique

La loi de Moore a été la force fondamentale derrière la prolifération des ordinateurs personnels, des smartphones et du cloud computing. Elle prévoyait que le nombre de transistors sur un circuit intégré doublerait environ tous les deux ans, entraînant des gains exponentiels en termes de puissance de traitement, d'efficacité énergétique et de réduction des coûts.

Pendant des décennies, ce modèle simple s'est vérifié, rendant chaque génération successive de matériel radicalement plus puissante que la précédente. Cependant, à mesure que les limites physiques et économiques ont été atteintes dans les années 2010, la loi de Moore a commencé à ralentir. Les ingénieurs se sont adaptés en utilisant davantage de cœurs de processeurs, l'empilement de puces 3D et des accélérateurs spécialisés pour améliorer les performances, mais l'ère des gains faciles et prévisibles était révolue.

C'est à ce tournant que la recherche en IA, alimentée par les percées dans le domaine de l'apprentissage profond, a commencé à tracer une voie distincte de la trajectoire traditionnelle de la loi de Moore.

La naissance de la loi d'OpenAI : la courbe explosive de l'IA en matière de calcul

Au début des années 2010, les chercheurs ont fait une découverte capitale : l'apport d'une puissance de calcul supplémentaire aux réseaux neuronaux à grande échelle conduisait systématiquement à des systèmes d'IA plus performants. À partir de 2012 environ, la quantité de calcul dédiée aux plus grands cycles d'entraînement de l'IA a commencé à doubler tous les 3 à 4 mois environ.

Il s'agissait là d'une accélération stupéfiante, dépassant de loin le rythme de la loi de Moore. En six ans, la puissance de calcul utilisée pour les modèles d'IA de pointe a été multipliée par plus de 300 000. Alors que la loi de Moore n'aurait permis qu'une multiplication par 7 au cours de la même période, la puissance de calcul de l'IA a explosé grâce à une mise à l'échelle agressive et intentionnelle.

Cette tendance a été baptisée de manière informelle « loi d'OpenAI », une trajectoire auto-imposée suivie par des organisations telles qu'OpenAI, qui ont parié que l'augmentation de la taille des modèles et de la puissance de calcul était la voie la plus rapide vers l'intelligence artificielle générale (AGI). Le livre Empire of AI détaille ce changement stratégique, illustrant comment les dirigeants d'OpenAI se sont engagés dans cette voie malgré la flambée des coûts, convaincus qu'il s'agissait du moyen le plus direct de libérer des capacités transformatrices.

Il est important de noter que la loi d'OpenAI n'est pas une fatalité physique, mais un choix stratégique. La conviction que « plus de puissance de calcul conduit à une meilleure IA » est devenue une philosophie directrice, soutenue par des investissements massifs, la construction d'infrastructures expansives et des partenariats étroits avec des fournisseurs de cloud.

L'hypothèse de la mise à l'échelle et la nouvelle course aux armements

La loi d'OpenAI repose sur l'hypothèse de l'échelle : l'idée que le simple fait d'agrandir les modèles et de les entraîner sur davantage de données avec plus de puissance de calcul conduit à des performances qualitativement supérieures. Cette hypothèse a gagné en crédibilité à mesure que chaque modèle successif, de GPT-2 à GPT-3 puis GPT-4, démontrait des progrès considérables en matière de fluidité linguistique, de raisonnement et de compréhension multimodale.

Au cœur de cette tendance se trouve une concurrence intense entre les géants de la technologie pour dominer la frontière de l'IA. Il en résulte une sorte de course à l'armement technologique, où chaque nouvelle étape franchie exige des ressources informatiques exponentiellement plus importantes que la précédente.

La formation des modèles les plus importants d'aujourd'hui nécessite désormais des dizaines de milliers de GPU haut de gamme fonctionnant de concert. Les projections pour les futurs systèmes impliquent des budgets informatiques qui pourraient approcher ou dépasser les 100 milliards de dollars, accompagnés d'énormes besoins en énergie et en refroidissement.

Cela a donné naissance à une nouvelle courbe exponentielle, qui n'est plus définie uniquement par la densité des transistors, mais par la volonté déterminée de faire évoluer la puissance de calcul à pratiquement n'importe quel coût.

Comparaison : la loi de Huang et la loi de Kurzweil sur l'accélération des rendements

Pour bien comprendre l'importance de la loi d'OpenAI, il est utile d'examiner d'autres cadres fondamentaux qui ont façonné notre compréhension du progrès technologique au-delà de la loi de Moore.

La loi de Huang, du nom du PDG de NVIDIA, Jensen Huang, décrit l'observation selon laquelle les performances des GPU pour les charges de travail de l'IA se sont améliorées à un rythme nettement plus rapide que celui prévu par la loi de Moore. Au cours des cinq dernières années, les GPU ont vu leurs performances multipliées par plus de 25, dépassant de loin les améliorations d'environ 10 fois attendues de la seule miniaturisation traditionnelle des transistors.

Cette accélération ne résulte pas seulement de la miniaturisation des puces, mais aussi d'innovations au niveau du système. Les progrès réalisés dans l'architecture des GPU, l'augmentation de la bande passante mémoire, les interconnexions à haut débit et les développements dans les écosystèmes logiciels tels que CUDA et les cadres d'apprentissage profond ont tous contribué à cette évolution. Les optimisations techniques en matière de planification des tâches, d'opérations tensorielles et de parallélisme ont également joué un rôle crucial.

Les performances des tâches d'inférence et d'entraînement sur un seul GPU ont été multipliées par 1 000 au cours de la dernière décennie, grâce à cette combinaison d'innovations matérielles et logicielles. En effet, la capacité des GPU pour les tâches d'IA a doublé tous les 6 à 12 mois, soit trois à quatre fois plus vite que la courbe originale de Moore. Ce rythme effréné a consolidé la place des GPU en tant que moteurs indispensables de l'IA moderne, permettant les entraînements massifs parallélisés qui sous-tendent la loi d'OpenAI.

La loi de Kurzweil sur l'accélération des rendements pousse le concept de croissance exponentielle encore plus loin : elle propose que le *taux* de croissance exponentielle lui-même s'accélère avec le temps. Selon ce principe, chaque avancée technologique n'est pas isolée : elle crée les outils, les plateformes et les connaissances qui permettent à la prochaine avancée de se produire plus rapidement et plus efficacement. Cela conduit à un effet cumulatif où le changement technologique s'autoalimente, s'accélérant à la fois en ampleur et en fréquence.

Kurzweil affirme que cette dynamique permettra de condenser ce qui aurait été des siècles de progrès en quelques décennies seulement. Si le rythme des progrès double chaque décennie, le XXIe siècle pourrait connaître une avancée équivalente à des dizaines de milliers d'années au rythme historique.

Cette loi s'applique particulièrement à l'IA. L'IA moderne n'est plus seulement un sujet de progrès, elle est devenue un puissant accélérateur de progrès. Les systèmes d'IA contribuent déjà à la conception de nouvelles puces, à l'optimisation des réseaux neuronaux, à la conduite de recherches scientifiques et même à l'écriture du code utilisé pour construire leurs successeurs. Cela crée une boucle d'amélioration récursive, où chaque génération d'IA améliore le développement de la suivante, réduisant les délais et multipliant les capacités.

Ce cycle de rétroaction commence à ressembler à ce que certains appellent une explosion de l'intelligence : un scénario dans lequel les systèmes d'IA deviennent capables de s'améliorer rapidement sans intervention humaine. Il en résulte une courbe qui ne se contente pas de monter en flèche, mais qui s'incurve de manière spectaculaire, à mesure que les cycles d'itération s'effondrent et que les percées se succèdent. Si cette tendance se poursuit, nous pourrions assister à une phase de progrès quasi instantanée, avec des industries et des domaines scientifiques entiers évoluant en quelques mois plutôt qu'en plusieurs décennies.

La loi d'OpenAI s'inscrit dans cette lignée en tant qu'expression de la croissance exponentielle du côté de la demande. Contrairement aux lois de Moore ou de Huang, qui décrivent le rythme des améliorations matérielles, la loi d'OpenAI reflète le volume considérable de calculs que les chercheurs choisissent activement d'utiliser pour obtenir des résultats supérieurs. Elle démontre que les progrès de l'IA ne sont plus strictement liés à ce que le silicium peut faire, mais plutôt à ce que les chercheurs sont prêts et capables de mettre à l'échelle. Alimentée par une vaste infrastructure cloud et des milliards d'investissements, la loi d'OpenAI illustre une nouvelle ère où les capacités se développent non seulement grâce à l'innovation, mais aussi grâce à une force délibérée et concentrée.

Ensemble, ces lois offrent une vision multidimensionnelle de la croissance exponentielle. Moore et Huang définissent l'*offre* de puissance de calcul. Kurzweil cartographie la méta-tendance du progrès composé. Et la loi d'OpenAI met en évidence un nouveau type d'ambition technologique, où repousser sans cesse les limites n'est plus une option, mais la stratégie fondamentale elle-même.

La promesse : pourquoi l'IA exponentielle est importante

Les implications de la loi d'OpenAI sont profondes.

Du côté optimiste, la croissance exponentielle a donné lieu à des capacités étonnantes. Les systèmes d'IA peuvent désormais rédiger des essais cohérents, générer du code fonctionnel, contribuer à des recherches scientifiques révolutionnaires et mener des conversations fluides et nuancées. Chaque augmentation d'ordre de grandeur semble débloquer de nouvelles capacités émergentes, ce qui suggère que nous nous rapprochons peut-être de l'AGI.

L'IA est sur le point de transformer des secteurs tels que l'éducation, la santé, la finance et la science des matériaux. Si la loi d'OpenAI continue de s'appliquer, nous pourrions assister à des percées qui condenseraient des décennies d'innovation en quelques années seulement.

Cette dynamique est résumée par un nouveau terme que nous avons inventé : « vitesse d'échappement de l'IA », le moment hypothétique où l'IA commence à s'améliorer de manière autonome, propulsant le progrès dans une poussée exponentielle qui s'auto-renforce.

Le prix : coûts environnementaux, économiques et éthiques

Cependant, une croissance exponentielle a un coût important.

La formation des modèles de pointe consomme aujourd'hui des quantités astronomiques d'électricité et d'eau. L'alimentation de milliers de processeurs graphiques pendant des semaines d'affilée soulève de graves préoccupations environnementales, notamment en raison des émissions de carbone et des déchets thermiques importants. Les chaînes d'approvisionnement en puces IA avancées sont également mises à rude épreuve, ce qui soulève des questions géopolitiques et de durabilité.

Sur le plan financier, seules les plus grandes entreprises technologiques mondiales ou les start-ups exceptionnellement bien financées peuvent se permettre de rester sur cette courbe de croissance. Cela conduit à une concentration inquiétante du pouvoir, où une poignée d'organisations contrôlent la frontière de l'intelligence avancée.

Sur le plan éthique, l'état d'esprit encouragé par la loi d'OpenAI (plus grand, plus rapide, plus tôt) peut favoriser une dynamique de course qui risque d'entraîner un déploiement prématuré, des systèmes insuffisamment testés et des raccourcis en matière de sécurité. On craint de plus en plus que certains modèles puissants soient commercialisés avant que leur impact sur la société ne soit pleinement compris.

Pour y remédier, les chercheurs ont proposé des cadres de gouvernance qui suivent le développement de l'IA non seulement en fonction des résultats des modèles, mais aussi en fonction de la quantité de calculs utilisés pour l'entraînement. Le calcul étant l'un des meilleurs indicateurs de la capacité d'un modèle, il pourrait servir de proxy pratique pour l'évaluation des risques et la surveillance réglementaire.

Limites de la mise à l'échelle : que se passe-t-il lorsque la courbe s'inverse ?

Malgré des progrès spectaculaires, la question de la durée de cette tendance à la mise à l'échelle fait l'objet d'un débat animé. Certains experts estiment que nous assistons déjà à un rendement décroissant, les modèles toujours plus grands consommant beaucoup plus de puissance de calcul pour des améliorations marginales en termes de performances.

D'autres affirment que les percées en matière d'efficacité algorithmique, les nouvelles architectures de modèles ou les techniques d'entraînement pourraient aplatir la courbe de calcul sans nécessairement ralentir les progrès globaux. Des modèles plus petits et plus raffinés pourraient finalement s'avérer plus attrayants que les mastodontes à la force brute.

En outre, la pression publique, les réglementations potentielles et les limites physiques des infrastructures pourraient contraindre le secteur à réévaluer la philosophie du « développement à tout prix ». Si les réseaux électriques, les budgets financiers ou l'acceptation sociale ne parviennent pas à suivre le rythme, la croissance exponentielle de l'IA pourrait atteindre un plafond, ou du moins un point d'inflexion significatif.

La voie à suivre : tracer l'avenir de l'IA exponentielle

Pour l'instant, la loi d'OpenAI reste l'un des prismes les plus clairs à travers lesquels envisager l'avenir de l'intelligence artificielle. Elle explique comment nous sommes passés de chatbots rudimentaires à des systèmes généralistes multimodaux en moins d'une décennie, et suggère que la prochaine vague de progrès pourrait être encore plus spectaculaire.

Cependant, cette loi comporte également des compromis importants : inégalités croissantes en matière d'accès, coûts économiques en forte hausse, charges environnementales et défis majeurs en matière de sécurité. Alors que nous entrons à grands pas dans cette nouvelle ère, la société doit se poser des questions fondamentales :

• Qui va façonner l'avenir de l'IA ?
• Comment trouver un équilibre entre progrès rapides et prudence nécessaire ?
• Quels systèmes de gouvernance sont nécessaires pour gérer une capacité exponentielle avant qu'elle ne dépasse la compréhension et le contrôle humains ?

La loi d'OpenAI n'est pas une force immuable de la nature. Comme la loi de Moore avant elle, elle pourrait finir par ralentir, stagner ou être remplacée par un nouveau paradigme. Mais pour l'instant, elle sert à la fois d'avertissement et de feuille de route, nous rappelant que l'avenir de l'IA ne se contente pas d'avancer, mais qu'il s'amplifie de lui-même.

Nous ne nous contentons pas d'observer l'histoire, nous la façonnons activement à une vitesse exponentielle. Cependant, ce pouvoir sans précédent s'accompagne d'une responsabilité profonde : veiller à ce que l'humanité ne subisse pas de préjudice exponentiel parallèlement à ces progrès exponentiels.