L'IA a grandi au-delà des connaissances humaines, dit l'unité DeepMind de Google

Avancer de l'IA au-delà des tests traditionnels: la montée de l'apprentissage expérientiel

Le domaine de l'intelligence artificielle (IA) bourdonne d'efforts pour pousser l'IA génératrice au-delà des limites des références traditionnelles, comme le test Turing, que de nombreux modèles ont déjà dépassé. L'objectif se déplace désormais vers un développement d'IA qui n'est pas seulement conçu pour ACE ces tests mais pour évoluer à travers un processus plus dynamique.

Des chercheurs de DeepMind de Google, y compris des légendes comme David Silver et Richard Sutton, soutiennent dans leur article bienvenue à l'époque de l'expérience que la clé pour débloquer de nouvelles capacités d'IA ne réside pas dans les tests, mais dans la façon dont l'IA est formée. Ils suggèrent que les ensembles de données statiques utilisés actuellement sont trop limités à favoriser des progrès importants.

Leur solution? L'IA doit s'engager avec le monde de manière plus expérientielle, en apprenant des interactions et en fixant des objectifs basés sur la rétroaction environnementale. "Des nouvelles capacités incroyables surgiront une fois que le plein potentiel de l'apprentissage expérientiel sera exploité", affirment-ils. Silver, connu pour son travail sur Alphazero, qui a battu les humains à Chess and Go, et Sutton, un pionnier de l'apprentissage par renforcement, propose une nouvelle approche appelée "Streams" pour transcender les limites des modèles de grande langue actuels (LLM).

De l'apprentissage du renforcement à l'IA génératrice: un changement et ses conséquences

Après les succès d'Alphazero et d'Alphago, la communauté de l'IA a vu un passage vers des modèles d'IA génératifs comme Chatgpt, qui s'est largement éloigné de l'apprentissage du renforcement. Bien que cela ait permis à l'IA de gérer une gamme plus large d'intrants humains spontanés, cela signifiait également perdre l'aspect de découverte de soi que l'apprentissage du renforcement a permis.

Selon Silver et Sutton, les LLM actuels dépendent fortement du jugement humain au stade rapide, ce qui limite leur potentiel. "L'agent ne peut pas découvrir de meilleures stratégies sous-estimées par le évaluateur humain", expliquent-ils. De plus, la nature courte et coupée des interactions rapides ne permet pas à l'IA de se développer au-delà des échanges de questions et de réponses simples.

Présentation des flux: un nouveau paradigme pour l'apprentissage de l'IA

L'âge de l'expérience proposé implique que les agents de l'IA opérant dans des «flux» d'interaction continue, tout comme les humains apprennent au cours d'une vie. Silver et Sutton envisagent des agents de l'IA avec leurs propres flux d'expérience à long terme, leur permettant de poursuivre des objectifs au-delà des tâches immédiates.

Cette approche s'appuie sur l'apprentissage du renforcement, où les agents de l'IA interagissent avec un modèle du monde, recevant des commentaires sous forme de récompenses. Ces récompenses aident l'IA à apprendre quelles actions sont précieuses dans différents contextes. Les chercheurs soulignent que le monde est riche de signaux qui peuvent servir de récompenses, des indicateurs économiques aux mesures de santé.

Construire des agents d'IA avec des objectifs à long terme

Pour lancer ce processus, les développeurs d'IA pourraient utiliser une simulation de "modèle mondial", permettant à l'IA de faire des prédictions, de les tester dans la réalité et d'affiner son modèle en fonction des résultats. Alors que l'IA continue d'interagir avec le monde, sa compréhension évolue, s'adaptant aux nouvelles données et aux erreurs de correction.

Les humains joueraient toujours un rôle dans la fixation de buts généraux, tels que l'amélioration de la forme physique ou l'apprentissage d'une nouvelle langue, la fonction de récompense de l'IA alignée sur ces objectifs. Cette configuration pourrait conduire à des assistants d'IA qui suivent et conseillent sur la santé ou l'éducation sur de longues périodes, ou même la poursuite des objectifs scientifiques ambitieux comme la découverte de nouveaux matériaux ou la réduction des émissions de carbone.

L'avenir de l'IA: au-delà du raisonnement à l'apprentissage expérientiel

Les chercheurs pensent que les agents de l'IA capables d'un apprentissage expérientiel à long terme pourraient dépasser les modèles actuels de "raisonnement" comme Gemini et R1 de Deepseek. Ils soutiennent que les modèles de raisonnement imitent souvent la pensée humaine, qui peut être limitée par des hypothèses obsolètes. En revanche, les agents expérientiels pourraient débloquer des capacités sans précédent, conduisant à une future très différente de ce que nous avons vu.

Cependant, ce changement entraîne également des risques, tels que le déplacement du travail et le défi de contrôler les agents d'IA qui peuvent fonctionner de manière autonome sur de longues périodes. D'un autre côté, l'IA adaptable pourrait apprendre à atténuer les impacts négatifs sur les humains en ajustant son comportement en fonction de la rétroaction.

Silver et Sutton sont convaincus que les données expérientielles dépasseront de loin l'échelle et la qualité des données générées par l'homme, conduisant potentiellement à l'intelligence générale artificielle ou à l'intelligence. Ce changement de paradigme, associé à des progrès dans l'apprentissage du renforcement, pourrait débloquer de nouvelles capacités hors de portée humaine dans de nombreux domaines.

Silver a en outre discuté de ces idées dans un récent podcast DeepMind, mettant en évidence le potentiel et les défis du déplacement de l'IA dans l'ère de l'expérience.