Physical Intelligence dévoile un casque robotique capable d'apprendre des tâches inédites

Physical Intelligence, une start-up de robotique fondée il y a deux ans à San Francisco et qui s'est imposée comme l'une des entreprises d'IA les plus suivies de la région de la baie de San Francisco, a publié jeudi les résultats d'une nouvelle étude. Ces résultats révèlent que son dernier modèle est capable de guider des robots pour qu'ils accomplissent des tâches pour lesquelles ils n'ont jamais été spécifiquement formés — une capacité qui, de l'aveu même des chercheurs de l'entreprise, les a pris par surprise.

Ce nouveau modèle, baptisé π0.7, marque ce que l'entreprise qualifie de première étape, bien que significative, vers la réalisation de son ambition de longue date : créer un cerveau robotique polyvalent. Ce système peut être orienté vers une tâche inconnue, recevoir des instructions en langage simple et la mener à bien. Si ces résultats résistent à un examen approfondi, ils indiquent que l'IA robotique pourrait être à l'aube d'un tournant comparable à l'évolution des grands modèles linguistiques, où les capacités commencent à se combiner d'une manière qui dépasse ce que les données de base pourraient laisser supposer.

Au cœur de l’article se trouve le concept de généralisation compositionnelle : la capacité à combiner des compétences acquises dans des contextes distincts pour résoudre des problèmes entièrement nouveaux. Traditionnellement, l’entraînement des robots repose sur la mémorisation par cœur : collecter des données pour une tâche spécifique, entraîner un modèle spécialisé sur celles-ci, puis répéter le processus pour chaque nouvelle tâche. Physical Intelligence affirme que π0.7 brise ce cycle.

« Une fois qu’il franchit le seuil qui le fait passer de la simple reproduction des données exactes sur lesquelles il a été formé à la recombinaison créative d’éléments de manière novatrice », explique Sergey Levine, cofondateur de Physical Intelligence et professeur à l’UC Berkeley spécialisé en IA pour la robotique, « les capacités commencent à augmenter à un rythme supérieur à celui de la croissance linéaire par rapport au volume de données. Cette dynamique d’échelle plus favorable est un phénomène que nous avons observé dans d’autres domaines, comme le langage et la vision. »

La démonstration la plus convaincante de l’article concerne une friteuse à air chaud à laquelle le modèle n’avait pratiquement jamais été exposé pendant l’entraînement. Après examen, l’équipe n’a trouvé que deux exemples pertinents dans l’ensemble des données : l’un où un autre robot avait simplement poussé la porte de la friteuse pour la fermer, et un autre provenant d’un ensemble de données open source où un robot avait placé une bouteille en plastique à l’intérieur de la friteuse sur commande. D'une manière ou d'une autre, le modèle a synthétisé ces fragments, ainsi que des données de pré-entraînement plus générales issues du Web, pour aboutir à une compréhension pratique du fonctionnement de l'appareil.

« Il est incroyablement difficile de déterminer exactement d’où provient cette connaissance ou de prédire où elle réussira ou échouera », note Ashwin Balakrishna, chercheur chez Physical Intelligence et doctorant en informatique à Stanford. Néanmoins, sans aucun apprentissage préalable, le modèle a fait une tentative crédible d’utiliser l’appareil pour cuire une patate douce. Lorsqu’on lui a fourni des instructions verbales étape par étape — en substance, un humain guidant le robot tout au long du processus comme on formerait un nouvel employé —, il a mené à bien la tâche.

Cette capacité d’apprentissage est importante car elle implique que les robots pourraient être déployés dans des contextes inédits et perfectionnés en temps réel, éliminant ainsi le besoin de collecte de données supplémentaires ou de réentraînement du modèle.

Quelles en sont donc les implications plus larges ? Les chercheurs sont francs quant aux limites du modèle et se gardent bien d’exagérer ses progrès. Dans au moins un cas, ils attribuent un échec directement à leur propre équipe.

« Parfois, l'échec n'est pas dû au robot ou au modèle », explique Balakrishna. « C'est de notre faute : nous ne maîtrisons pas l'ingénierie des prompts. » Il cite une première expérience avec une friteuse à air chaud qui n'avait atteint qu'un taux de réussite de 5 %. Après avoir passé environ trente minutes à affiner la manière dont la tâche était expliquée au modèle, le taux de réussite a grimpé à 95 %.

Crédits images :Physical Intelligence

Le modèle n’est pas encore capable d’exécuter de manière autonome des tâches complexes en plusieurs étapes à partir d’une seule commande de haut niveau. « On ne peut pas simplement lui dire : “Va me faire un toast” », précise Levine. « Mais si on le guide à travers les étapes — “ouvre cette partie du grille-pain, appuie sur ce bouton, fais ceci” — alors il a tendance à très bien s’en sortir. »

L'équipe reconnaît également l'absence de références standardisées en robotique, ce qui complique la validation externe de leurs affirmations. À la place, l'entreprise a comparé π0.7 à ses propres modèles spécialisés antérieurs — des systèmes conçus sur mesure et entraînés pour des tâches individuelles — et a constaté que le modèle généraliste égalait leurs performances dans diverses activités complexes, notamment la préparation du café, le pliage du linge et l'assemblage de boîtes.

L’aspect le plus remarquable de cette recherche — si l’on en croit les chercheurs — n’est peut-être pas une démonstration en particulier, mais la mesure dans laquelle les résultats ont surpris ceux-là mêmes dont le métier consiste à connaître les données d’entraînement sur le bout des doigts et, par conséquent, à savoir ce dont le modèle devrait ou ne devrait pas être capable.

« D'après mon expérience, lorsque je comprends parfaitement les données, je suis généralement capable de prédire ce que le modèle sera capable de faire », explique Balakrishna. « Je suis rarement surpris. Mais ces derniers mois, c'était la première fois que j'étais véritablement déconcerté. J'ai acheté au hasard un jeu d'engrenages et j'ai demandé au robot : "Peux-tu faire tourner cet engrenage ?" Et ça a tout simplement fonctionné. »

Levine se souvient du moment où les chercheurs ont vu pour la première fois GPT-2 générer une histoire sur des licornes dans les Andes. « Mais où diable a-t-il appris l’existence de licornes au Pérou ? », s’étonne-t-il. « C’est une combinaison tellement étrange. Voir ce genre de capacité émergente en robotique est vraiment exceptionnel. »

Naturellement, les critiques souligneront une asymétrie inhérente : les modèles linguistiques ont été entraînés sur l’ensemble d’Internet. Les robots n’ont pas ce luxe, et aucune incitation, aussi astucieuse soit-elle, ne peut combler entièrement ce fossé. Cependant, lorsqu’on lui demande où il anticipe le scepticisme, Levine pointe dans une direction tout à fait différente.

« La critique que l’on peut toujours adresser à toute démonstration de généralisation robotique, c’est que les tâches semblent quelque peu banales », observe-t-il. « Le robot ne fait pas de saut périlleux arrière. » Il conteste ce point de vue, arguant que la différence entre une démonstration robotique spectaculaire et un système qui généralise véritablement est précisément le cœur du sujet. La véritable généralisation, suggère-t-il, paraîtra toujours moins spectaculaire qu’une cascade soigneusement orchestrée — mais elle est bien plus pratique.

L'article lui-même utilise un langage prudent tout au long du texte, décrivant π0.7 comme présentant des « premiers signes » de généralisation et des « démonstrations initiales » de nouvelles capacités. Il s'agit de résultats de recherche, et non d'un produit commercial, et Physical Intelligence s'est toujours montrée réservée quant à son calendrier de commercialisation.

Lorsqu’on lui demande directement quand un système basé sur ces recherches pourrait être prêt à être utilisé dans le monde réel, Levine refuse de spéculer. « Il y a de bonnes raisons d’être optimiste, et les progrès sont certainement plus rapides que ce que j’avais prévu il y a quelques années », dit-il. « Mais il m’est très difficile de donner une réponse définitive. »

À ce jour, Physical Intelligence a levé plus d’un milliard de dollars et a récemment été évaluée à 5,6 milliards de dollars. Une part importante de l’enthousiasme des investisseurs pour cette entreprise est liée au cofondateur Lachy Groom, qui a passé des années parmi les investisseurs providentiels les plus respectés de la Silicon Valley — soutenant des entreprises comme Figma, Notion et Ramp — avant de conclure que Physical Intelligence était l’aventure qu’il recherchait. Ce pedigree a aidé la start-up à attirer des financements institutionnels substantiels, même si elle s’est abstenue de fournir aux investisseurs une feuille de route spécifique pour la commercialisation.

L'entreprise serait actuellement en pourparlers pour un nouveau tour de table qui ferait presque doubler sa valorisation, la portant à 11 milliards de dollars. L'équipe n'a pas souhaité s'exprimer à ce sujet.