Microsoft тестирует обновление Copilot Vision, позволяющее распознавать приложения на экране

Компания Microsoft представляет расширенный опыт Copilot, который изменит взаимодействие пользователей с искусственным интеллектом в приложениях Windows. Это инновационное обновление расширяет возможности Copilot Vision за пределы Microsoft Edge, обеспечивая помощь в реальном времени в любом настольном приложении благодаря интеллектуальной функции совместного использования экрана.

Расширенные возможности

Copilot Vision теперь обеспечивает контекстные подсказки во всей экосистеме Windows

Анализ экрана на основе искусственного интеллекта теперь доступен для всех приложений ПК

Интерактивное обучение для сложных программ, таких как Adobe Photoshop

Позволяет проводить визуальный анализ фотографий, документов и веб-контента в масштабах всей системы

В настоящее время в первую очередь распространяется среди американских тестеров Windows Insider

Практические приложения

Интерактивное руководство по работе с программным обеспечением

Усовершенствованный Copilot Vision демонстрирует особую ценность при работе с техническими приложениями. Во время недавней демонстрации Microsoft ИИ успешно справился с задачей:

• Предоставил пошаговые инструкции по игре в Minecraft
• Оптимизировал настройки редактирования видео в Clipchamp
• Выделял соответствующие элементы интерфейса во время обучающих программ.

В отличие от спорной функции Recall, которая периодически делает снимки, Copilot Vision работает скорее как динамический сеанс совместного доступа к экрану, где ИИ активно интерпретирует и реагирует на видимый контент, не сохраняя изображения на постоянной основе.

Дополнительные функции

Интеллектуальный поиск файлов

Microsoft одновременно тестирует функцию расширенного поиска файлов в Copilot, которая:

1. индексирует и понимает содержимое документов в различных форматах
2. Поддерживает распространенные типы файлов, включая документы Office и PDF.
3. Помогает находить недавние рабочие файлы с помощью запросов на естественном языке

Доступность и наличие

Поддержка платформы

• Windows 11 (не ограничивается ПК Copilot Plus)
• Мобильные версии для iOS и Android
• Первоначальная бета-версия ограничена тестировщиками из США
• Планируемое публичное распространение в течение нескольких месяцев

Требования к внедрению

Чтобы получить доступ к этим грядущим усовершенствованиям Copilot, пользователям просто необходимо:

• Стандартное приложение Copilot для Windows
• Активное интернет-соединение для облачной обработки данных
• Обновленная установка Windows 11

Microsoft планирует завершить поэтапный выпуск этих возможностей ИИ для всех пользователей Windows 11 в конце этого года после успешного бета-тестирования.