Les chefs de file de la recherche invitent le secteur technologique à suivre les processus de raisonnement de l'IA

Les chercheurs en IA d'OpenAI, de Google DeepMind, d'Anthropic et d'une large coalition d'entreprises et d'organisations à but non lucratif préconisent une exploration plus approfondie de la surveillance des processus de pensée des modèles de raisonnement de l'IA, selon un document de synthèse publié mardi.

Les modèles de raisonnement de l'IA, tels que o3 d'OpenAI et R1 de DeepSeek, se caractérisent par l'utilisation de chaînes de pensée, ou CoT, un processus externalisé dans lequel les modèles d'IA travaillent systématiquement sur des problèmes, un peu comme les humains qui utilisent du papier brouillon pour résoudre une équation mathématique complexe. Les modèles de raisonnement sont essentiels pour alimenter les agents d'IA, et les auteurs de l'article affirment que la surveillance des chaînes de pensée pourrait devenir une méthode vitale pour garder sous contrôle des agents d'IA de plus en plus capables et répandus.

"La surveillance des CoT constitue une amélioration précieuse des protocoles de sécurité pour l'IA de pointe, car elle offre une fenêtre unique sur la manière dont les agents d'IA prennent leurs décisions", affirment les chercheurs dans leur document de synthèse. "Toutefois, il n'est pas certain que ce niveau de visibilité se maintienne. Nous exhortons la communauté des chercheurs et les développeurs d'IA d'avant-garde à maximiser les avantages de la contrôlabilité du CoT et à rechercher des moyens de la préserver".

Le document de synthèse invite les principaux développeurs d'IA à étudier ce qui rend les CoT "contrôlables", c'est-à-dire les facteurs qui améliorent ou réduisent la transparence sur la manière dont les modèles d'IA génèrent réellement leurs réponses. Les auteurs notent que si le suivi des CoT est une approche prometteuse pour comprendre les modèles de raisonnement de l'IA, il reste fragile, et ils mettent en garde contre tout changement susceptible de réduire sa transparence ou sa fiabilité.

En outre, les auteurs invitent les développeurs d'IA à suivre de manière cohérente la contrôlabilité du CoT et à étudier comment cette méthode pourrait éventuellement être mise en œuvre en tant que mesure de sécurité.

Parmi les principaux signataires du document figurent Mark Chen, directeur de la recherche d'OpenAI, Ilya Sutskever, PDG de Safe Superintelligence, Geoffrey Hinton, lauréat du prix Nobel, Shane Legg, cofondateur de Google DeepMind, Dan Hendrycks, conseiller en sécurité de xAI, et John Schulman, cofondateur de Thinking Machines. Parmi les principaux auteurs figurent des représentants de l'Institut britannique de sécurité de l'IA et d'Apollo Research, ainsi que des signataires du METR, d'Amazon, de Meta et de l'université de Berkeley.

Ce document représente un effort unifié de la part de nombreux leaders de l'industrie de l'IA pour accélérer la recherche dans le domaine de la sécurité de l'IA. Il intervient à un moment où les entreprises technologiques se livrent une concurrence acharnée - une concurrence qui a incité Meta à recruter des chercheurs de haut niveau d'OpenAI, de Google DeepMind et d'Anthropic en leur proposant des offres de plusieurs millions de dollars. Parmi les chercheurs les plus recherchés figurent ceux qui se spécialisent dans les agents d'IA et les modèles de raisonnement.

EN DIRECT ! TechCrunch All Stage

Construisez plus intelligemment. Développez plus rapidement. Connectez-vous plus profondément. Rejoignez les innovateurs de Precursor Ventures, NEA, Index Ventures, Underscore VC, et plus encore pour une journée remplie de stratégies exploitables, d'ateliers immersifs et de réseaux significatifs.

Économisez 450 $ sur votre laissez-passer TechCrunch All Stage

Construisez plus intelligemment. Développez plus rapidement. Connectez-vous plus profondément. Rejoignez les innovateurs de Precursor Ventures, NEA, Index Ventures, Underscore VC, et bien d'autres pour une journée remplie de stratégies concrètes, d'ateliers immersifs et de réseaux significatifs.

"Nous sommes à un moment charnière où nous disposons d'une nouvelle capacité de réflexion en chaîne. Elle semble très utile, mais elle pourrait disparaître dans quelques années si elle ne fait pas l'objet d'une attention particulière", a déclaré Bowen Baker, un chercheur d'OpenAI ayant participé à l'étude, dans une interview accordée à TechCrunch. "La publication d'un document de synthèse comme celui-ci est, à mon avis, un moyen de stimuler la recherche et d'attirer l'attention sur ce sujet avant qu'il ne soit trop tard.

OpenAI a d'abord publié un aperçu de son modèle de raisonnement IA initial, o1, en septembre 2024. Dans les mois qui ont suivi, l'industrie technologique a rapidement présenté des modèles concurrents dotés de capacités similaires, certains provenant de Google DeepMind, xAI et Anthropic démontrant des performances de référence encore plus avancées.

Néanmoins, la compréhension du fonctionnement des modèles de raisonnement de l'IA reste limitée. Si les laboratoires d'IA ont fait des progrès considérables dans l'amélioration des performances de l'IA au cours de l'année écoulée, cela n'a pas nécessairement conduit à une meilleure compréhension de leurs processus de prise de décision.

Anthropic a été un pionnier dans la compréhension du fonctionnement des modèles d'IA, un domaine connu sous le nom d'interprétabilité. Au début de l'année, son directeur général, Dario Amodei, s'est engagé à percer la "boîte noire" des modèles d'IA d'ici à 2027 et à accroître les investissements dans l'interprétabilité. Il a également encouragé l'OpenAI et Google DeepMind à approfondir leurs recherches dans ce domaine.

Les premières recherches menées par Anthropic suggèrent que les CoT pourraient ne pas être des indicateurs entièrement fiables de la manière dont ces modèles génèrent des réponses. Dans le même temps, les chercheurs de l'OpenAI ont indiqué que la surveillance des CoT pourrait éventuellement servir de méthode fiable pour suivre l'alignement et la sécurité des modèles d'IA.

Les documents de synthèse comme celui-ci visent à sensibiliser et à attirer davantage l'attention sur les domaines de recherche émergents, tels que la surveillance CoT. Des entreprises comme OpenAI, Google DeepMind et Anthropic mènent déjà des recherches dans ce domaine, mais cette publication pourrait contribuer à stimuler le financement et la recherche.