Microsoft testet Copilot Vision Update für die Erkennung von Apps auf dem Bildschirm

Microsoft stellt ein verbessertes Copilot-Erlebnis vor, das die Interaktion von Nutzern mit KI in Windows-Anwendungen verändert. Dieses innovative Update erweitert die Fähigkeiten von Copilot Vision über Microsoft Edge hinaus und ermöglicht Echtzeitunterstützung für jede Desktop-Anwendung durch intelligente Bildschirmfreigabefunktionen.

Erweiterte Funktionen

Copilot Vision bietet jetzt kontextbezogene Unterstützung für das gesamte Windows-Ökosystem

KI-gestützte Bildschirmanalyse jetzt für alle PC-Anwendungen verfügbar

Ermöglicht interaktives Coaching für komplexe Software wie Adobe Photoshop

Ermöglicht die visuelle Analyse von Fotos, Dokumenten und Webinhalten im gesamten System

Wird derzeit zunächst für Windows-Insider-Tester in den USA eingeführt

Praktische Anwendungen

Interaktive Software-Anleitung

Der verbesserte Copilot Vision erweist sich als besonders wertvoll bei der Unterstützung von technischen Anwendungen. Bei der jüngsten Demonstration von Microsoft war die KI erfolgreich:

• Schritt-für-Schritt-Anweisungen für das Minecraft-Spiel
• Optimierte Einstellungen für die Videobearbeitung in Clipchamp
• Hervorhebung relevanter Oberflächenelemente bei Software-Tutorials

Im Gegensatz zur umstrittenen Recall-Funktion, die periodische Schnappschüsse aufnimmt, funktioniert Copilot Vision eher wie eine dynamische Screen-Sharing-Sitzung, bei der die KI den sichtbaren Inhalt aktiv interpretiert und darauf reagiert, ohne Bilder dauerhaft zu speichern.

Ergänzende Funktionen

Intelligente Dateisuche

Microsoft testet gleichzeitig eine erweiterte Dateisuchfunktion in Copilot, die:

1. Indizierung und Erkennung von Dokumenteninhalten in verschiedenen Formaten
2. Unterstützt gängige Dateitypen wie Office-Dokumente und PDFs
3. hilft bei der Suche nach kürzlich bearbeiteten Dateien durch Abfragen in natürlicher Sprache

Zugänglichkeit und Verfügbarkeit

Plattform-Unterstützung

• Windows 11 (nicht auf Copilot Plus PCs beschränkt)
• Mobile Versionen für iOS und Android
• Anfängliche Beta-Version beschränkt auf US-Tester
• Geplante öffentliche Markteinführung innerhalb weniger Monate

Voraussetzungen für die Implementierung

Für den Zugriff auf die kommenden Copilot-Erweiterungen benötigen die Nutzer lediglich:

• Die Copilot-Standardanwendung für Windows
• Eine aktive Internetverbindung für die Cloud-Verarbeitung
• Aktualisierte Windows 11-Installation

Microsoft geht davon aus, dass die schrittweise Freigabe dieser KI-Funktionen für alle Windows 11-Nutzer im Laufe dieses Jahres nach erfolgreichen Betatests abgeschlossen sein wird.