Les agents de l'IA acquièrent une nouvelle capacité à naviguer sur des sites Web et des applications avec la dernière compétence de Copilot Studio

Imaginez un agent IA capable non seulement de naviguer sur le web pour effectuer des recherches, mais aussi d'interagir avec des sites web pour accomplir des tâches, tout cela de manière autonome. C'est la vision derrière la dernière innovation de Microsoft.

Mercredi, Microsoft a dévoilé une nouvelle compétence interactive pour sa plateforme Copilot Studio, qui permet aux utilisateurs de créer leurs propres agents IA. Cette compétence, appelée "utilisation de l'ordinateur", permet à tout agent que vous créez de naviguer et d'utiliser des applications de bureau ou des sites web, effectuant des tâches comme le ferait un humain.

Cette fonctionnalité est déployée via un aperçu de recherche en accès anticipé. Grâce à elle, les agents peuvent cliquer sur des boutons, naviguer dans des menus et remplir des formulaires sur des écrans, même si aucune API n'est disponible pour l'application ou le site. Microsoft l'a résumé simplement : "Si une personne peut utiliser l'application, l'agent le peut aussi."

Vos agents IA pourront utiliser des navigateurs populaires comme Microsoft Edge, Chrome et Firefox pour accomplir ces tâches. La fonctionnalité s'exécute sur l'infrastructure de Microsoft, vous n'avez donc pas à vous soucier de configurer vos propres serveurs. Toutes les données générées restent sur le cloud Microsoft et ne sont pas utilisées pour entraîner leurs modèles IA.

L'un des aspects les plus impressionnants ? Ces agents peuvent s'adapter en temps réel aux changements dans les applications et les sites web. Si un bouton ou la disposition d'un écran change, votre agent peut toujours comprendre quoi faire sans nécessiter de mises à jour manuelles de votre part. De plus, grâce à leur capacité à "voir" l'écran, ils peuvent prendre des décisions en temps réel, et ils sont équipés de capacités de raisonnement pour gérer les imprévus sans avoir besoin de votre aide.

Vous n'avez pas besoin de savoir coder pour créer un agent IA. Utilisez simplement le langage naturel pour décrire ce que vous voulez que l'agent fasse dans Copilot Studio. Vous pouvez tester et ajuster vos instructions dans un mode simulé, en observant les étapes se dérouler avant de laisser votre agent agir librement. Et vous pouvez consulter un historique détaillé des actions de votre agent, accompagné de captures d'écran et d'étapes de raisonnement.

L'article de blog de Microsoft a mis en avant trois scénarios où ces agents IA pourraient exceller :

• Saisie de données automatisée : Besoin d'entrer de grandes quantités de données provenant de diverses sources dans un système central ? Un agent IA peut s'en charger, vous faisant gagner du temps et des efforts.
• Recherche de marché : Les professionnels du marketing doivent souvent collecter des données à partir de multiples sources en ligne. Un agent IA pourrait naviguer sur ces sites et recueillir les informations nécessaires de manière autonome.
• Traitement des factures : En finance, extraire des données des factures et les entrer dans un système comptable est courant. Un agent IA pourrait le faire automatiquement, s'assurant que les données arrivent là où elles doivent aller.

Bien que tout cela semble prometteur, l'IA n'est pas encore parfaite. Même les bots IA simples peuvent faire des erreurs, et avec la complexité supplémentaire de l'utilisation autonome de l'ordinateur, il y a un risque que votre agent IA clique au mauvais endroit ou abandonne sa tâche.

Le véritable test réside dans la pratique. Microsoft invite les utilisateurs de Copilot Studio à s'inscrire pour un accès anticipé à cette fonctionnalité "utilisation de l'ordinateur". Si vous n'utilisez pas encore Copilot Studio, vous pouvez l'essayer gratuitement. Utilisez simplement un compte professionnel ou scolaire pour le configurer, et vous arriverez sur la page principale où vous pourrez commencer à décrire le type d'agent que vous souhaitez créer.

Intéressé par d'autres histoires sur l'IA ? Abonnez-vous à notre newsletter hebdomadaire, Innovation, pour les dernières mises à jour.