Microsofts Copilot bietet jetzt visuelle Interaktion und Sprachkommunikation in Echtzeit

Microsofts Copilot ist ein ernstzunehmender Konkurrent von ChatGPT, und obwohl es in letzter Zeit hinterherhinkte, könnte ein neues Update es wieder ins Rennen bringen. Am Donnerstag stellte Microsoft Copilot Vision vor, eine Funktion, die jetzt in der Vorschau für Pro-Abonnenten über Copilot Labs verfügbar ist und es Copilot ermöglicht, Ihre Online-Aktivitäten in Echtzeit zu analysieren und zu verstehen sowie sprachliche Unterstützung anzubieten.

Wenn Sie Copilot Vision aktivieren, kann es mit Ihnen mitlesen, bei Problemen mit dem Browser helfen, Websites analysieren und Einblicke basierend auf dem Gesehenen bieten. Im Wesentlichen ist es ein dedizierter Assistent für Ihre Browser-Bedürfnisse, der jederzeit hilfsbereit ist, wenn Sie ihn brauchen.

Ich hatte die Gelegenheit, diese Funktion während einer Microsoft Copilot- und Windows-Veranstaltung in NYC im Oktober aus erster Hand zu erleben. Die Demo zeigte, wie Copilot Vision praktisch angewendet werden kann. Zum Beispiel bat ein Nutzer um Hilfe bei der Auswahl eines Outfits auf Pinterest. Copilot Vision schlug nicht nur ein Outfit vor, sondern gab auch ermutigende Worte, als der Nutzer Zweifel äußerte, ob er es tragen könnte, und das alles durch eine natürliche, sprachliche Interaktion.

Microsoft hob auch andere mögliche Anwendungen für Copilot Vision hervor, wie die Unterstützung beim Weihnachtseinkauf durch das Herausfiltern von Produkten auf einer Seite, die den Vorlieben des Nutzers entsprechen, oder die Hilfe bei der Planung eines Museumsbesuchs durch das Herausarbeiten wichtiger Informationen für die Reise.

Die Funktion ist in Microsoft Edge integriert und befindet sich am unteren Rand des Browsers. Zunächst wird Copilot Vision für eine ausgewählte Gruppe von Copilot Pro-Abonnenten in den USA über Copilot Labs eingeführt und funktioniert nur auf bestimmten Websites. Basierend auf dem gesammelten Feedback plant Microsoft, die Verfügbarkeit zu erweitern.

Für diejenigen, die sich um ihre Privatsphäre sorgen, versichert Microsoft, dass Copilot Vision nur auf freiwilliger Basis aktiviert wird, sodass die Nutzer die volle Kontrolle darüber haben, ob ihr Surfverhalten überwacht werden soll. Darüber hinaus werden alle während einer Sitzung geteilten Daten, einschließlich sprachlicher Interaktionen und kontextbezogener Informationen, gemäß dem Blogbeitrag des Unternehmens danach gelöscht.

Das Copilot Pro-Abo kostet 20 US-Dollar pro Monat und bietet zusätzliche Vorteile wie priorisierten Zugang zu den neuesten Modellen, erweiterten Zugang zu Copilot Voice und die Integration in Microsoft 365-Apps wie Word, Excel, PowerPoint, OneNote und Outlook.