Microsoft testet Copilot Vision Update für die Erkennung von Apps auf dem Bildschirm
Microsoft stellt ein verbessertes Copilot-Erlebnis vor, das die Interaktion von Nutzern mit KI in Windows-Anwendungen verändert. Dieses innovative Update erweitert die Fähigkeiten von Copilot Vision über Microsoft Edge hinaus und ermöglicht Echtzeitunterstützung für jede Desktop-Anwendung durch intelligente Bildschirmfreigabefunktionen.
Erweiterte Funktionen
Copilot Vision bietet jetzt kontextbezogene Unterstützung für das gesamte Windows-Ökosystem
KI-gestützte Bildschirmanalyse jetzt für alle PC-Anwendungen verfügbar
Ermöglicht interaktives Coaching für komplexe Software wie Adobe Photoshop
Ermöglicht die visuelle Analyse von Fotos, Dokumenten und Webinhalten im gesamten System
Wird derzeit zunächst für Windows-Insider-Tester in den USA eingeführt
Praktische Anwendungen
Interaktive Software-Anleitung
Der verbesserte Copilot Vision erweist sich als besonders wertvoll bei der Unterstützung von technischen Anwendungen. Bei der jüngsten Demonstration von Microsoft war die KI erfolgreich:
- Schritt-für-Schritt-Anweisungen für das Minecraft-Spiel
- Optimierte Einstellungen für die Videobearbeitung in Clipchamp
- Hervorhebung relevanter Oberflächenelemente bei Software-Tutorials

Im Gegensatz zur umstrittenen Recall-Funktion, die periodische Schnappschüsse aufnimmt, funktioniert Copilot Vision eher wie eine dynamische Screen-Sharing-Sitzung, bei der die KI den sichtbaren Inhalt aktiv interpretiert und darauf reagiert, ohne Bilder dauerhaft zu speichern.
Ergänzende Funktionen
Intelligente Dateisuche
Microsoft testet gleichzeitig eine erweiterte Dateisuchfunktion in Copilot, die:
- Indizierung und Erkennung von Dokumenteninhalten in verschiedenen Formaten
- Unterstützt gängige Dateitypen wie Office-Dokumente und PDFs
- hilft bei der Suche nach kürzlich bearbeiteten Dateien durch Abfragen in natürlicher Sprache
Zugänglichkeit und Verfügbarkeit
Plattform-Unterstützung
- Windows 11 (nicht auf Copilot Plus PCs beschränkt)
- Mobile Versionen für iOS und Android
- Anfängliche Beta-Version beschränkt auf US-Tester
- Geplante öffentliche Markteinführung innerhalb weniger Monate
Voraussetzungen für die Implementierung
Für den Zugriff auf die kommenden Copilot-Erweiterungen benötigen die Nutzer lediglich:
- Die Copilot-Standardanwendung für Windows
- Eine aktive Internetverbindung für die Cloud-Verarbeitung
- Aktualisierte Windows 11-Installation
Microsoft geht davon aus, dass die schrittweise Freigabe dieser KI-Funktionen für alle Windows 11-Nutzer im Laufe dieses Jahres nach erfolgreichen Betatests abgeschlossen sein wird.
Verwandter Artikel
Warner Music übernimmt das KI-Zuschreibungsstart-up Sureel AI
Warner Music Group (WMG) hat am Mittwoch bestätigt, dass es Sureel AI, ein Startup für KI-gestützte Attribution, übernimmt. Die proprietäre Technologie von Sureel generiert „AI-DNA“ für Musikstücke, indem sie diese in ihre Bestandteile zerlegt, um na
Amazon führt Alexa für den Einkauf ein und schiebt Rufus in den Hintergrund
Amazon hat Alexa for Shopping eingeführt, indem es den Rufus-Shopping-Chatbot mit Alexa+ in der App, auf der Website und auf Echo Show-Geräten zusammenführt.Der Assistent beantwortet Produktanfragen, vergleicht Artikel, verfolgt Preise und unterstüt
Microsoft, Azure und KI-Technologie bekämpfen die Risiken von Waldbränden in Kalifornien
Microsoft investiert in die KI-gestützte Erkennung von Waldbränden. Juan Lavista Ferres, CVP und Chief Data Scientist, erörtert Strategien zur Eindämmung von Umweltschäden.Laut der NASA betrifft der K
Empfehlungen zu verwandten Spezialthemen
Kommentare (1)
Also Copilot kann jetzt auch andere Apps erkennen? Das ist ja praktisch! Hoffentlich klappt das besser als die automatische Rechtschreibkorrektur in Word... 😅 Aber mal im Ernst, wenn das wirklich zuverlässig funktioniert, könnte es die tägliche Arbeit echt beschleunigen. Ich frage mich nur, wie das mit Datenschutz aussieht – schließlich 'sieht' die KI dann ja alles auf meinem Bildschirm.
Microsoft stellt ein verbessertes Copilot-Erlebnis vor, das die Interaktion von Nutzern mit KI in Windows-Anwendungen verändert. Dieses innovative Update erweitert die Fähigkeiten von Copilot Vision über Microsoft Edge hinaus und ermöglicht Echtzeitunterstützung für jede Desktop-Anwendung durch intelligente Bildschirmfreigabefunktionen.
Erweiterte Funktionen
Copilot Vision bietet jetzt kontextbezogene Unterstützung für das gesamte Windows-Ökosystem
KI-gestützte Bildschirmanalyse jetzt für alle PC-Anwendungen verfügbar
Ermöglicht interaktives Coaching für komplexe Software wie Adobe Photoshop
Ermöglicht die visuelle Analyse von Fotos, Dokumenten und Webinhalten im gesamten System
Wird derzeit zunächst für Windows-Insider-Tester in den USA eingeführt
Praktische Anwendungen
Interaktive Software-Anleitung
Der verbesserte Copilot Vision erweist sich als besonders wertvoll bei der Unterstützung von technischen Anwendungen. Bei der jüngsten Demonstration von Microsoft war die KI erfolgreich:
- Schritt-für-Schritt-Anweisungen für das Minecraft-Spiel
- Optimierte Einstellungen für die Videobearbeitung in Clipchamp
- Hervorhebung relevanter Oberflächenelemente bei Software-Tutorials

Im Gegensatz zur umstrittenen Recall-Funktion, die periodische Schnappschüsse aufnimmt, funktioniert Copilot Vision eher wie eine dynamische Screen-Sharing-Sitzung, bei der die KI den sichtbaren Inhalt aktiv interpretiert und darauf reagiert, ohne Bilder dauerhaft zu speichern.
Ergänzende Funktionen
Intelligente Dateisuche
Microsoft testet gleichzeitig eine erweiterte Dateisuchfunktion in Copilot, die:
- Indizierung und Erkennung von Dokumenteninhalten in verschiedenen Formaten
- Unterstützt gängige Dateitypen wie Office-Dokumente und PDFs
- hilft bei der Suche nach kürzlich bearbeiteten Dateien durch Abfragen in natürlicher Sprache
Zugänglichkeit und Verfügbarkeit
Plattform-Unterstützung
- Windows 11 (nicht auf Copilot Plus PCs beschränkt)
- Mobile Versionen für iOS und Android
- Anfängliche Beta-Version beschränkt auf US-Tester
- Geplante öffentliche Markteinführung innerhalb weniger Monate
Voraussetzungen für die Implementierung
Für den Zugriff auf die kommenden Copilot-Erweiterungen benötigen die Nutzer lediglich:
- Die Copilot-Standardanwendung für Windows
- Eine aktive Internetverbindung für die Cloud-Verarbeitung
- Aktualisierte Windows 11-Installation
Microsoft geht davon aus, dass die schrittweise Freigabe dieser KI-Funktionen für alle Windows 11-Nutzer im Laufe dieses Jahres nach erfolgreichen Betatests abgeschlossen sein wird.
Warner Music übernimmt das KI-Zuschreibungsstart-up Sureel AI
Warner Music Group (WMG) hat am Mittwoch bestätigt, dass es Sureel AI, ein Startup für KI-gestützte Attribution, übernimmt. Die proprietäre Technologie von Sureel generiert „AI-DNA“ für Musikstücke, indem sie diese in ihre Bestandteile zerlegt, um na
Microsoft, Azure und KI-Technologie bekämpfen die Risiken von Waldbränden in Kalifornien
Microsoft investiert in die KI-gestützte Erkennung von Waldbränden. Juan Lavista Ferres, CVP und Chief Data Scientist, erörtert Strategien zur Eindämmung von Umweltschäden.Laut der NASA betrifft der K
Also Copilot kann jetzt auch andere Apps erkennen? Das ist ja praktisch! Hoffentlich klappt das besser als die automatische Rechtschreibkorrektur in Word... 😅 Aber mal im Ernst, wenn das wirklich zuverlässig funktioniert, könnte es die tägliche Arbeit echt beschleunigen. Ich frage mich nur, wie das mit Datenschutz aussieht – schließlich 'sieht' die KI dann ja alles auf meinem Bildschirm.





Heim






