L'IA commence à se construire elle-même

Richard Socher est depuis longtemps une figure de proue de l'IA, largement reconnu pour avoir fondé You.com, l'une des premières start-ups spécialisées dans les chatbots, et, avant cela, pour ses travaux sur ImageNet. Il rejoint aujourd’hui une nouvelle vague de start-ups spécialisées dans l’IA et axées sur la recherche avec Recursive Superintelligence, une entreprise basée à San Francisco qui a levé le voile mercredi sur son projet, fort d’un financement de 650 millions de dollars.

Socher est rejoint dans cette nouvelle aventure par un groupe de chercheurs éminents en IA, dont Peter Norvig et Tim Shi, cofondateur de Cresta. Ensemble, ils ont pour objectif de construire un modèle d’IA capable de s’améliorer de manière récursive — c’est-à-dire capable de détecter de manière autonome ses propres lacunes et de se repenser pour y remédier, sans intervention humaine. Cet objectif est depuis longtemps considéré comme le Saint Graal de la recherche moderne en IA.

Je me suis entretenu avec lui sur Zoom après le lancement, afin d’approfondir l’approche technique distinctive de Recursive et de comprendre pourquoi il ne considère pas ce nouveau projet comme un « néolab » — terme informel désignant une nouvelle génération de start-ups spécialisées dans l’IA qui privilégient la recherche au détriment du développement de produits.

Cet entretien a été condensé et édité pour plus de clarté.

On entend beaucoup parler de récursivité ces derniers temps — cela semble être un objectif largement partagé par de nombreux laboratoires. En quoi votre approche est-elle unique ?

Notre approche unique repose sur le caractère ouvert pour parvenir à une auto-amélioration récursive — ce que personne n’a encore réussi à accomplir. C’est un objectif insaisissable pour beaucoup. Beaucoup de gens pensent que cela se produit naturellement avec la recherche automatique : on peut demander à une IA d’améliorer autre chose, comme un système d’apprentissage automatique ou une lettre que l’on a écrite, etc. Mais ce n’est pas de l’auto-amélioration récursive ; c’est simplement de l’amélioration.

Notre objectif principal est de construire une superintelligence véritablement récursive et capable de s’auto-améliorer à grande échelle — ce qui signifie que l’ensemble du processus de génération, de mise en œuvre et de validation des idées de recherche serait automatisé.

Dans un premier temps, [cela automatiserait] les idées de recherche en IA, puis, à terme, tout type d’idées de recherche — y compris celles relevant des domaines physiques. Mais cela s’avère particulièrement puissant lorsque l’IA travaille sur elle-même, développant une nouvelle forme de conscience de soi concernant ses propres limites.

Vous avez mentionné le terme « ouvert » — a-t-il une signification technique spécifique ?

Oui, tout à fait. En effet, Tim Rocktäschel, l’un de nos cofondateurs, a dirigé les équipes chargées de l’ouverture et de l’auto-amélioration chez Google DeepMind et a travaillé plus particulièrement sur le modèle du monde Genie 3, qui est un excellent exemple d’ouverture. On peut lui fournir n’importe quel concept, n’importe quel monde, n’importe quel agent, et il en génère une version interactive.

Dans l’évolution biologique, les animaux s’adaptent à leur environnement, tandis que d’autres s’adaptent à leur tour à ces adaptations. C’est un processus qui peut se poursuivre pendant des milliards d’années, donnant constamment lieu à des évolutions intéressantes. C’est ainsi que nous avons développé des yeux dans nos [têtes].

Un autre exemple est le « rainbow teaming », tiré d’un autre article de Tim. Avez-vous déjà entendu parler du « red teaming » ?

En cybersécurité, cela signifie…

Le « red teaming » s’applique donc également dans le contexte des LLM. En substance, vous essayez d’amener le LLM à vous expliquer comment fabriquer une bombe, et vous voulez vous assurer qu’il refuse de le faire.

Les humains peuvent passer beaucoup de temps à imaginer des exemples de ce que l’IA ne devrait pas dire. Mais que se passerait-il si l’on testait la première IA à l’aide d’une deuxième IA, dont la tâche serait de pousser la première IA à [essayer de] dire toutes les choses nuisibles possibles ? Elles pourraient alors se livrer à un va-et-vient pendant des millions d’itérations.

On peut en effet laisser deux IA coévoluer. L’une attaque continuellement l’autre, en explorant non pas un seul angle, mais de nombreux angles différents — d’où l’analogie avec l’arc-en-ciel. On peut ensuite « vacciner » la première IA, la rendant ainsi de plus en plus sûre. Cette idée vient de Tim Rocktäschel, et elle est désormais mise en œuvre dans tous les grands laboratoires.

Comment savoir quand c’est terminé ? Je suppose que ce n’est jamais vraiment fini.

Certaines de ces choses ne seront jamais achevées. On peut toujours devenir plus intelligent, toujours s’améliorer en programmation, en mathématiques, etc. Il existe des limites théoriques à l’intelligence — j’essaie d’ailleurs de les formaliser en ce moment même — mais elles sont astronomiques. Nous sommes très loin de ces limites.

En tant que « néolab », on attend apparemment de vous que vous vous consacriez à des projets que les grands laboratoires ne mènent pas. Cela implique donc que vous ne pensez pas que les grands laboratoires parviendront à l’auto-amélioration récursive (RSI) grâce à leurs approches actuelles. Est-ce une analyse juste ?

Je ne peux pas vraiment me prononcer sur ce qu’ils font, mais je pense effectivement que nous abordons la question différemment. Nous adhérons pleinement au concept d’ouverture, et notre équipe se consacre entièrement à cette vision. L’équipe mène des recherches et publie des articles dans ce domaine depuis une dizaine d’années, avec à son actif des avancées significatives dans le domaine et la commercialisation de produits concrets. Tim Shi, par exemple, a fait de Cresta une licorne. Josh Tobin a été l’un des premiers membres d’OpenAI et a fini par diriger leurs équipes Codex et de recherche approfondie.

En réalité, j’ai parfois un peu de mal avec cette étiquette de « néolab ». J’ai le sentiment que nous ne sommes pas seulement un laboratoire. Je souhaite que nous devenions une entreprise véritablement viable, avec des produits exceptionnels que les gens adorent utiliser et qui ont un impact positif sur l’humanité.

Alors, quand comptez-vous lancer votre premier produit ?

J’y ai beaucoup réfléchi. L’équipe a tellement progressé que nous pourrions bien devancer le calendrier initialement prévu. Mais oui, il y aura des produits — et vous n’aurez pas à attendre des années, mais seulement quelques trimestres.

L’une des idées qui sous-tendent l’auto-amélioration récursive est qu’une fois ce système en place, la puissance de calcul devient la seule ressource critique. Plus le système fonctionne vite, plus il s’améliore rapidement, et aucune activité humaine externe ne peut véritablement faire la différence. La course se résume donc à ceci : quelle puissance de calcul pouvons-nous y consacrer ? Pensez-vous que c’est vers ce monde que nous nous dirigeons ?

Il ne faut pas sous-estimer la puissance de calcul. Je pense qu’à l’avenir, une question clé sera : quelle quantité de puissance de calcul l’humanité souhaite-t-elle allouer à la résolution de quels problèmes ? Voici ce cancer, et voici ce virus — lequel souhaitez-vous traiter en premier ? Quelle puissance de calcul êtes-vous prêt à y consacrer ? Au final, cela se résume à une question d’allocation des ressources. Ce sera l’une des questions les plus importantes au monde.