Microsoft Copilot améliore désormais le bord avec la capacité de visualisation de l'écran

L'assistant AI de Microsoft, Copilot Vision, qui peut analyser votre écran et aider avec diverses tâches, est désormais accessible gratuitement dans le navigateur Edge. Cette mise à jour passionnante a été partagée par le PDG de Microsoft AI, Mustafa Suleyman, via Bluesky aujourd'hui. Copilot Vision offre une "expérience basée sur la parole" unique, où vous parlez simplement vos commandes et attendez que Copilot réagisse.

Selon Suleyman, si vous choisissez d'activer Copilot Vision, il peut "voir littéralement ce que vous voyez à l'écran". Imaginez que cela vous guide à travers une recette pendant que vous cuisinez, ou même le décodage des descriptions de poste pour vous aider à vous préparer à des entretiens ou à réfléchir à des idées de lettres de motivation. Cependant, il convient de noter que l'utilisation de l'IA pour votre CV n'est pas toujours la meilleure approche. Selon la page d'assistance de Microsoft, Copilot Vision peut mettre en évidence des parties de votre écran pour identifier les informations pertinentes, mais il ne cliquera pas sur des liens ou ne prendra pas de mesures en votre nom.

Bien que les fonctionnalités plus larges et à l'échelle du système de Copilot Vision restent exclusives aux abonnés Copilot Pro, la version gratuite dans Edge est encore assez puissante. Avec un abonnement, la vision peut s'étendre au-delà de la pointe pour aider avec les tâches dans des applications comme Photoshop ou un logiciel de montage vidéo, ou même vous guider à travers des jeux comme * Minecraft *, comme le montre Tom Warren de * Verge * plus tôt ce mois-ci.

Pour essayer Copilot Vision, ouvrez simplement ce lien vers le site Web de Microsoft dans le navigateur Edge. Vous devez être invité à opter sur la fonctionnalité. Une fois que vous avez obtenu l'autorisation, vous pouvez activer la barre latérale Copilot sur n'importe quel site Web, cliquez sur l'icône de microphone et démarrer votre session de vision, qui sera marquée par une carillon et un changement dans la teinte de votre navigateur.

Cependant, mon expérience n'était pas aussi fluide que prévu. Il a fallu quelques tentatives avant qu'Edge ne me demande de s'opposer, et même après avoir opté et commencé une session de vision, les contrôles n'apparaissaient pas. Au lieu de cela, je me suis retrouvé avec un message persistant disant "un instant ..." au bas de mon navigateur. Gardez à l'esprit que j'utilise un ordinateur portable plus ancien et moins puissant, donc votre expérience peut être différente.

Microsoft assure aux utilisateurs que, bien qu'ils enregistrent les réponses de Copilot, ils ne collectent pas vos entrées, images ou contenu de page lors d'une session de vision Copilot. Pour arrêter de partager votre écran, vous pouvez terminer la session ou simplement fermer la fenêtre du navigateur.