AI Scholars a décerné le prix Turing pour la technique derrière la victoire des échecs d'Alphago

Au cours de la dernière décennie, l'intelligence artificielle nous a éblouis par ses avancées, en particulier grâce à une technique où les ordinateurs font des choix aléatoires et apprennent des résultats. Cette méthode, connue sous le nom d'apprentissage par renforcement, a joué un rôle clé dans la réalisation de prouesses remarquables en IA.

Prenez le programme AlphaZero de Google DeepMind, qui, dès 2016, avait maîtrisé les jeux complexes d'échecs, de shogi et de Go en 2018. De même, AlphaStar a utilisé cette approche pour atteindre le niveau de "grand maître" dans le jeu vidéo *Starcraft II*. Ces réalisations mettent en lumière la puissance de l'apprentissage par renforcement.

Mercredi, le domaine a célébré une étape importante alors que deux chercheurs en IA ont été honorés pour leurs travaux novateurs dans l'avancement de l'apprentissage par renforcement. Andrew G. Barto, professeur émérite à l'Université du Massachusetts, Amherst, et Richard S. Sutton, professeur à l'Université de l'Alberta, Canada, ont reçu le prestigieux prix Turing 2025 de l'Association for Computing Machinery (ACM).

Reconnaissance des pionniers de l'apprentissage par renforcement

L'ACM a salué Barto et Sutton pour avoir jeté les bases de l'apprentissage par renforcement, déclarant qu'ils "ont introduit les principales idées, construit les fondations mathématiques et développé des algorithmes importants." Cette distinction, accompagnée d'un prix d'un million de dollars, est souvent considérée comme l'équivalent du prix Nobel dans l'industrie informatique.

L'apprentissage par renforcement peut être comparé à une souris naviguant dans un labyrinthe pour trouver du fromage. La souris apprend quels chemins mènent au progrès et lesquels à des impasses. De même, les neuroscientifiques pensent que les êtres intelligents, comme les souris, développent un "modèle interne du monde" pour guider leurs actions.

Sutton et Barto ont proposé que les ordinateurs puissent également développer de tels modèles internes. Dans l'apprentissage par renforcement, l'ordinateur collecte des données sur son environnement — qu'il s'agisse d'un labyrinthe ou d'un échiquier — et agit initialement de manière aléatoire. Il reçoit des retours sous forme de récompenses ou de pénalités, ce qui l'aide à estimer les résultats de différentes actions. Sur la base de ces estimations, le programme développe une "politique" pour guider les décisions futures, équilibrant l'exploration de nouvelles actions avec l'exploitation de celles connues pour être efficaces.

Le rôle de l'exploration et de l'exploitation

Au cœur de l'apprentissage par renforcement se trouve un équilibre délicat entre explorer de nouvelles possibilités et exploiter des stratégies connues. Aucune de ces approches seule ne suffit pour réussir.

Pour ceux qui souhaitent approfondir, le manuel de 2018 de Sutton et Barto sur le sujet est une ressource précieuse.

Il est à noter que le terme "apprentissage par renforcement" est parfois utilisé différemment par des entreprises comme OpenAI, qui emploient "l'apprentissage par renforcement à partir des retours humains" (RLHF) pour affiner les résultats de grands modèles de langage comme GPT. Cependant, cela est distinct de la méthode développée par Sutton et Barto.

L'apprentissage par renforcement comme théorie de la pensée

Sutton, qui était scientifique de recherche distingué chez DeepMind de 2017 à 2023, a soutenu que l'apprentissage par renforcement n'est pas seulement une technique, mais une "théorie de la pensée." Il a exprimé son inquiétude face à l'absence d'une théorie computationnelle en IA, affirmant que "l'apprentissage par renforcement est la première théorie computationnelle de l'intelligence."

Au-delà de ses applications techniques, l'apprentissage par renforcement pourrait également éclairer la créativité et le jeu libre comme expressions de l'intelligence. Sutton et Barto ont souligné le rôle du jeu dans l'apprentissage, suggérant que la curiosité stimule l'exploration. Sutton a souligné que le jeu peut impliquer de fixer des objectifs qui ne sont pas immédiatement utiles mais pourraient s'avérer bénéfiques plus tard.

"Le jeu est quelque chose d'important," a déclaré Sutton, soulignant son rôle significatif dans le contexte plus large de l'apprentissage et de l'intelligence.

Le parcours de l'apprentissage par renforcement, depuis ses travaux fondateurs par Barto et Sutton jusqu'à son application dans les jeux et au-delà, continue de repousser les limites de ce que l'IA peut accomplir.