Le copilote de Microsoft offre désormais une interaction visuelle en temps réel et une communication vocale

Le Copilot de Microsoft a été un rival redoutable pour ChatGPT, et bien qu'il ait récemment pris du retard, une nouvelle mise à jour pourrait le remettre dans la course. Jeudi, Microsoft a introduit Copilot Vision, une fonctionnalité désormais disponible en aperçu pour les abonnés Pro via Copilot Labs, qui permet à Copilot d'analyser et de comprendre vos activités en ligne en temps réel, offrant une assistance verbale.

Lorsque vous activez Copilot Vision, il peut lire avec vous, aider à résoudre les problèmes de navigation, analyser les sites web et offrir des idées basées sur ce qu'il voit. En somme, c'est un assistant dédié à vos besoins de navigation, prêt à aider dès que nécessaire.

J'ai pu découvrir cette fonctionnalité en personne lors d'un événement Microsoft Copilot et Windows à New York en octobre. La démonstration a montré comment Copilot Vision peut être utilisé de manière pratique. Par exemple, un utilisateur a demandé de l'aide pour choisir une tenue sur Pinterest. Copilot Vision a non seulement suggéré une tenue, mais a également offert des encouragements lorsque l'utilisateur a exprimé des doutes sur sa capacité à la porter, tout cela via une interaction verbale naturelle.

Microsoft a également mis en avant d'autres utilisations potentielles de Copilot Vision, comme aider à faire des achats pour les fêtes en identifiant des produits sur une page correspondant aux préférences de l'utilisateur, ou aider à planifier une visite de musée en extrayant des informations clés pour le voyage.

La fonctionnalité est intégrée à Microsoft Edge, positionnée en bas du navigateur. Initialement, Copilot Vision est déployé pour un groupe sélectionné d'abonnés Copilot Pro aux États-Unis via Copilot Labs, et ne fonctionnera que sur certains sites web. À mesure que les retours seront recueillis, Microsoft prévoit d'élargir sa disponibilité.

Pour ceux préoccupés par la confidentialité, Microsoft assure que Copilot Vision est activé uniquement sur consentement, offrant aux utilisateurs un contrôle total sur le suivi de leur navigation. De plus, toutes les données partagées pendant une session, y compris les interactions verbales et les informations contextuelles, sont supprimées ensuite, selon le billet de blog de l'entreprise.

L'abonnement Copilot Pro coûte 20 $ par mois et offre des avantages supplémentaires tels qu'un accès prioritaire aux derniers modèles, un accès amélioré à Copilot Voice, et une intégration dans les applications Microsoft 365 comme Word, Excel, PowerPoint, OneNote et Outlook.