Les systèmes d'IA autonomes mettent la gouvernance à l'épreuve dans les environnements physiques

Les systèmes d’IA autonomes s’étendent au-delà des environnements logiciels pour s’implanter dans les entrepôts, les réseaux de livraison et les espaces publics. Cette évolution soulève des questions quant à savoir si les réglementations existantes en matière d’IA couvrent de manière adéquate les systèmes fonctionnant dans des environnements physiques.

La plupart des cadres de gouvernance de l’IA actuels se sont concentrés sur les préjudices en ligne et les résultats des modèles, tels que les biais, la désinformation et les contenus préjudiciables. Les systèmes d’IA incarnés introduisent des risques dans les environnements physiques, où les défaillances peuvent avoir des répercussions sur les infrastructures, les biens ou la sécurité des personnes.

L’Autorité de développement des médias et des technologies de l’information de Singapour (IMDA) a publié le 20 mai la version 1.5 de son cadre de référence pour la gouvernance de l’IA agentique. Ce cadre fournit des orientations aux organisations déployant des agents IA capables de planifier, de prendre des décisions et d’agir à travers plusieurs étapes afin d’atteindre des objectifs définis par l’utilisateur.

Le cadre souligne que les agents peuvent interagir avec des outils, des systèmes externes et d’autres agents, y compris des systèmes qui mettent à jour des bases de données, écrivent des fichiers, contrôlent des appareils ou exécutent des transactions. Il définit les contrôles d’accès, la surveillance et l’approbation humaine comme mesures de gouvernance pour le déploiement.

L’IA s’invite dans les systèmes physiques

Lors d’un sommet sur l’IA qui s’est tenu à Singapour la semaine dernière, les discussions sur la robotique et l’IA incarnée ont porté principalement sur les questions de sécurité opérationnelle, généralement associées à l’aviation, aux systèmes industriels et à la surveillance des infrastructures critiques, plutôt qu’à la réglementation logicielle classique.

Les intervenants se sont également penchés sur la question de savoir si les systèmes autonomes peuvent fonctionner de manière sûre et fiable dans des environnements réels imprévisibles sur de longues périodes.

Le Dr Ya-Qin Zhang, doyen fondateur de l’Institut de recherche sur l’industrie de l’IA de l’université de Tsinghua, a souligné que les systèmes d’IA incarnée amplifient les risques déjà présents dans les logiciels autonomes. Il a déclaré que les défaillances peuvent affecter directement les systèmes de transport, les drones, les réseaux logistiques et les infrastructures critiques.

« Tout risque dans le domaine numérique sera amplifié dans le domaine physique, et le domaine physique en subira les conséquences concrètes », a déclaré M. Zhang à MLex en marge du sommet.

Il a ajouté que les véhicules, les drones, les réseaux électriques intelligents et d’autres infrastructures pourraient devenir vulnérables à mesure que les systèmes d’IA s’intègrent plus profondément dans les opérations physiques.

Les intervenants ont mis en avant la fiabilité, la surveillance opérationnelle et l’assurance post-déploiement comme des enjeux de gouvernance. Les discussions du sommet ont mis l’accent sur des modèles de gouvernance axés sur le déploiement, s’appuyant sur la simulation, la télémétrie et les tests itératifs, plutôt que sur une simple certification ponctuelle.

Le cadre de l’IMDA recommande également des déploiements progressifs, une surveillance continue et des tests supplémentaires après le déploiement. Il souligne que les agents interagissent de manière dynamique avec leur environnement et que tous les risques ne peuvent pas être anticipés avant la mise en service.

La surveillance devient un enjeu lié au déploiement

Grab, qui mène actuellement des essais pilotes de véhicules autonomes et de robots de livraison dans le quartier de Punggol à Singapour, a déclaré que la gouvernance du déploiement reposait largement sur la simulation, les tests et la surveillance continue.

« Nous effectuons de nombreuses simulations et de nombreux essais sur des circuits fermés et ouverts afin de nous assurer que nos robots sont fiables », a déclaré Suthen Thomas Paradatheth, directeur technique de Grab, lors d’une table ronde du sommet.

« Avant de passer à l’échelle de centaines de robots, nous nous assurons d’abord de maîtriser le processus en simulation et avec un petit nombre de robots », a-t-il ajouté.

Grab a également mis en avant des systèmes de surveillance conçus pour suivre les performances des robots et détecter les défaillances imprévues après leur déploiement.

« Il existe toute une série de problèmes qui pourraient surgir », a déclaré M. Paradatheth.

Le cadre de l’IMDA stipule que les organisations doivent évaluer les cas d’utilisation de l’IA agentique en fonction de l’accès aux données, de l’accès aux systèmes externes, de l’autonomie et de la complexité des tâches. Il met également l’accent sur la portée et la réversibilité des actions des agents, l’implication de tiers et la complexité globale du système.

Il recommande par ailleurs de limiter l’accès des agents aux outils et aux systèmes, d’appliquer le principe du « privilège minimal » et de définir des procédures opérationnelles standard pour les flux de travail des agents. Les organisations doivent également mettre en place des mécanismes permettant de mettre les agents hors ligne en cas de dysfonctionnement.

La responsabilité s’étend à un plus grand nombre d’acteurs

MLex a indiqué que les systèmes d’IA incarnée peuvent impliquer plusieurs parties prenantes tout au long du développement, de la fabrication et du déploiement. Il s’agit notamment des développeurs d’IA, des fabricants de robots, des fournisseurs de semi-conducteurs et des opérateurs d’infrastructures.

MLex a également souligné que la responsabilité peut être plus difficile à attribuer lorsque les systèmes continuent de s’adapter après leur déploiement grâce à des mises à jour logicielles, à la télémétrie et aux données opérationnelles.

L’IMDA précise que les organisations et les êtres humains restent responsables des actions des agents, même lorsque ceux-ci fonctionnent de manière autonome. Le cadre préconise une répartition claire des responsabilités tout au long de la chaîne de valeur de l’IA agentique, depuis les fournisseurs de modèles et de plateformes jusqu’aux déployeurs, en passant par les fournisseurs d’outils et les utilisateurs finaux.

Applied Materials a déclaré que le déploiement à grande échelle de la robotique est également lié à l’économie des semi-conducteurs et à l’intégration des systèmes. Om Nalamasu, directeur technique de l’entreprise, a déclaré que les systèmes robotiques dépendront de capteurs plus performants, de l’efficacité énergétique, de techniques d’encapsulation avancées et d’architectures informatiques.

M. Nalamasu a ajouté que les systèmes robotiques nécessiteraient des conceptions sur mesure, adaptées à des écosystèmes industriels spécifiques, plutôt qu’une solution unique valable pour tous les environnements.

Zhao Yuli, directeur de la stratégie de la start-up chinoise de robotique Galbot, a déclaré que Pékin donnait la priorité à l’échelle de déploiement et à la commercialisation industrielle par le biais de bancs d’essai soutenus par le gouvernement, de partenariats industriels et d’initiatives de financement à long terme.

Galbot a déployé des systèmes robotiques humanoïdes dans le commerce de détail, les entrepôts et le secteur pharmaceutique en Chine. Parmi ceux-ci figurent des magasins autonomes fonctionnant 24 heures sur 24. M. Zhao a indiqué que les environnements industriels semi-structurés sont susceptibles de constituer une voie de commercialisation précoce, car ils offrent des conditions d’exploitation plus contrôlables.

Le Japon met davantage l’accent sur la définition de normes, les ensembles de données robotiques et la gouvernance en matière de sécurité. Le professeur Yutaka Matsuo, de l’École supérieure d’ingénierie de l’Université de Tokyo, a évoqué un projet de l’« Association pour l’IA » visant à collecter 100 000 heures de données robotiques afin de soutenir les modèles de base en robotique.

M. Matsuo a également évoqué l’Institut japonais pour la sécurité de l’IA et le « Hiroshima AI Process » dans le cadre d’efforts plus larges visant à élaborer, en collaboration avec Singapour et d’autres pays asiatiques, des normes de gouvernance pour les systèmes d’IA incarnés.

Singapour définit des contrôles applicables aux agents

Le cadre singapourien définit quatre domaines de gouvernance pour l’IA agentique. Ceux-ci couvrent l’évaluation préalable des risques, la responsabilité humaine, les contrôles techniques et la responsabilité de l’utilisateur final. Le cadre les décrit comme un processus itératif plutôt que comme une évaluation ponctuelle.

Le cadre précise que la supervision humaine doit être adaptée aux systèmes agentiques, car l’examen continu de tous les flux de travail devient impraticable à grande échelle. Il recommande une validation humaine à des points de contrôle clés, notamment pour les actions à enjeux élevés, les actions irréversibles et les comportements aberrants.

L’IMDA identifie également le biais d’automatisation et la fatigue des alertes comme des risques lorsque des humains supervisent des agents autonomes. Elle recommande d’auditer la supervision à l’aide d’indicateurs tels que les taux d’intervention humaine et les temps de réponse, et d’utiliser une surveillance automatisée en temps réel pour signaler les comportements inattendus.

Le cadre précise que les utilisateurs doivent être informés des actions qu’un agent est en mesure d’entreprendre, des données auxquelles il a accès et des responsabilités qui incombent à l’utilisateur. Il recommande également de former les employés à l’interaction homme-agent, à la supervision et aux compétences professionnelles nécessaires pour évaluer les résultats des agents.

Les entreprises testent l’IA dans des processus réglementés

JPMorgan déploie des outils d’IA dans l’ensemble de ses activités mondiales de banque d’investissement, a déclaré à Reuters Paul Uren, responsable de la banque d’investissement pour la région Asie-Pacifique. La banque a indiqué que ces outils aident les banquiers à accéder à davantage d’informations et à les synthétiser avec les systèmes internes. Ils sont également utilisés pour préparer du contenu et faciliter l’engagement client.

Jamie Dimon, PDG de JPMorgan, a déclaré à Bloomberg News que la banque embaucherait davantage de spécialistes de l’IA et moins de banquiers traditionnels. Reuters a rapporté que les banques mondiales augmentent leurs investissements dans l’IA, restructurent leurs effectifs et redéfinissent les rôles professionnels.

La banque fait également partie des organisations sélectionnées autorisées par Anthropic à utiliser son modèle de cybersécurité Mythos dans le cadre d’une initiative contrôlée baptisée « Project Glasswing ». Selon Anthropic, Mythos est capable de détecter d’anciennes vulnérabilités dans les navigateurs, les infrastructures et les logiciels.

Reuters a indiqué que Goldman Sachs, Citigroup, Bank of America et Morgan Stanley avaient également accès à Mythos ou étaient en train de le tester, citant des sources et des dirigeants de ces entreprises.

Le cadre de l’IMDA comprend une étude de cas de l’OCBC Bank of Singapore portant sur l’analyse de l’origine du patrimoine. Le système analyse les documents relatifs aux revenus et rédige une note sur l’origine du patrimoine. Il ne prend pas de décisions de manière autonome en matière de crédit, d’intégration de nouveaux clients ou de risques.

Dans ce cas, l’autonomie du flux de travail se limite au niveau des tâches et ne s’applique que lorsqu’elle est déclenchée par des flux de travail prédéfinis. Un contrôle humain est requis aux points de décision critiques, et la validation finale revient aux vérificateurs désignés.

Les robots font leur entrée dans le secteur industriel

Au Japon, un tiers des entreprises utilisent déjà ou envisagent d’utiliser des robots alimentés par l’IA, selon une enquête Reuters menée par Nikkei Research du 1er au 15 mai. L’enquête a contacté 492 entreprises, dont 220 ont répondu sous couvert d’anonymat.

Environ 4 % des personnes interrogées ont déclaré utiliser déjà des robots dotés d’IA, 5 % prévoient de les déployer et 25 % envisagent de le faire. Les 66 % restants ont indiqué n’avoir aucun projet de ce type.

Les fabricants de matériel de transport se sont révélés être le groupe le plus actif dans le cadre de cette enquête, 80 % d’entre eux utilisant déjà des robots dotés d’IA ou envisageant leur déploiement. À titre de comparaison, 94 % des répondants du secteur du commerce de gros ont déclaré n’avoir aucun projet de déploiement de robots dotés d’IA.

Parmi les entreprises qui utilisent, prévoient d’utiliser ou envisagent d’utiliser des robots dotés d’IA, 71 % ont cité l’industrie manufacturière comme cas d’utilisation. 19 % ont mentionné les tâches dangereuses, tandis que 11 % ont cité les services en contact avec la clientèle.

Le gouvernement japonais espère que les robots dotés d’IA contribueront à pallier la pénurie chronique de main-d’œuvre dans le pays et à consolider sa position dans le domaine de la robotique industrielle. Le Japon abrite des entreprises de robotique telles que Fanuc, Yaskawa Electric et Kawasaki Heavy Industries, mais il est confronté à la concurrence de la Chine et des États-Unis dans le domaine de la robotique basée sur l’IA.

Les agents de vente au détail vont au-delà de la simple recherche

Walmart a dévoilé son projet d’utiliser l’IA agentique dans les flux de travail liés aux achats, aux employés, aux fournisseurs et aux développeurs.

En juillet 2025, le détaillant a annoncé le lancement de quatre « super-agents » alimentés par l’IA. Ceux-ci sont destinés aux clients, aux employés des magasins, aux fournisseurs, aux vendeurs et aux développeurs de logiciels. Walmart a déclaré que ces agents deviendraient le principal point d’entrée pour les interactions avec l’IA au sein de ces groupes.

L’un de ces outils, Sparky, est déjà disponible dans l’application Walmart en tant qu’assistant d’achat génératif alimenté par l’IA. Hari Vasudev, directeur technique de Walmart aux États-Unis, a déclaré que sa version améliorée serait capable de passer des commandes et d’organiser des événements. Elle utiliserait également la vision par ordinateur pour suggérer des recettes en fonction du contenu du réfrigérateur d’un client.

Walmart développe également un « super-agent » Associate destiné aux employés des magasins et au personnel administratif. Un agent distinct, baptisé Marty, est en cours de développement pour les vendeurs, les fournisseurs et les annonceurs. Le distributeur travaille par ailleurs sur un « super-agent » Developer destiné à tester, développer et lancer de futurs outils d’IA.

L’entreprise n’a pas souhaité préciser si ces agents remplaceraient des emplois. Dave Glick, vice-président senior des systèmes d’entreprise, a déclaré que ces outils créeraient de nouveaux emplois, sans donner plus de détails.

Voir aussi : OpenAI ouvre un laboratoire d’IA à Singapour alors que l’IMDA met à jour son cadre réglementaire en matière d’IA

Vous souhaitez en savoir plus sur l’IA et le big data auprès des leaders du secteur ? Découvrez l’AI & Big Data Expo qui se tiendra à Amsterdam, en Californie et à Londres. Cet événement complet fait partie de TechEx et se déroule en parallèle d’autres événements technologiques de premier plan. Cliquez ici pour plus d’informations.

AI News est proposé par TechForge Media. Découvrez ici d’autres événements et webinaires à venir consacrés aux technologies d’entreprise.