Microsoft Copilot теперь предлагает визуальное взаимодействие и голосовое взаимодействие в реальном времени

Copilot от Microsoft был грозным конкурентом ChatGPT, и хотя в последнее время он отставал, новое обновление может вернуть его в гонку. В четверг Microsoft представила Copilot Vision, функцию, доступную в предварительной версии для подписчиков Pro через Copilot Labs, которая позволяет Copilot анализировать и понимать ваши онлайн-действия в реальном времени, предлагая голосовую помощь.

При активации Copilot Vision он может читать вместе с вами, помогать устранять проблемы с просмотром, анализировать веб-сайты и предлагать идеи на основе увиденного. По сути, это специализированный помощник для ваших потребностей в просмотре, готовый помочь, когда вам это нужно.

Я лично познакомился с этой функцией на мероприятии Microsoft Copilot и Windows в Нью-Йорке в октябре. Демонстрация показала, как Copilot Vision может быть практически применен. Например, пользователь попросил помочь выбрать наряд на Pinterest. Copilot Vision не только предложил наряд, но и подбодрил, когда пользователь выразил сомнения в том, что сможет его надеть, через естественное голосовое взаимодействие.

Microsoft также выделила другие возможные применения Copilot Vision, такие как помощь в праздничных покупках, определяя товары на странице, соответствующие предпочтениям пользователя, или помощь в планировании посещения музея, извлекая ключевую информацию для поездки.

Функция интегрирована в Microsoft Edge, расположена в нижней части браузера. Изначально Copilot Vision внедряется для избранной группы подписчиков Copilot Pro в США через Copilot Labs и будет работать только на определенных веб-сайтах. По мере сбора отзывов Microsoft планирует расширить доступность.

Для тех, кто беспокоится о конфиденциальности, Microsoft уверяет, что Copilot Vision работает только по выбору пользователя, предоставляя полный контроль над тем, хотят ли они, чтобы их просмотр отслеживался. Более того, любые данные, переданные во время сеанса, включая голосовые взаимодействия и контекстную информацию, удаляются после, согласно сообщению в блоге компании.

Подписка Copilot Pro стоит $20 в месяц и включает дополнительные преимущества, такие как приоритетный доступ к последним моделям, расширенный доступ к Copilot Voice и интеграция в приложения Microsoft 365, такие как Word, Excel, PowerPoint, OneNote и Outlook.