Агенты искусственного интеллекта получают новую способность ориентироваться в веб -сайтах и ​​приложениях с последним навыком Copilot Studio

Представьте себе ИИ-агента, способного не только искать информацию в интернете, но и взаимодействовать с веб-сайтами, выполняя задачи самостоятельно. Это видение лежит в основе последней инновации Microsoft.

В среду Microsoft представила новую интерактивную функцию для своей платформы Copilot Studio, которая позволяет пользователям создавать собственных ИИ-агентов. Эта функция, названная «использование компьютера», позволяет любому созданному вами агенту перемещаться по настольным приложениям или веб-сайтам и выполнять задачи так же, как это сделал бы человек.

Эта функция внедряется через предварительный доступ для исследований. С её помощью агенты могут нажимать кнопки, перемещаться по меню и заполнять формы на экранах, даже если для приложения или сайта нет API. Microsoft выразилась лаконично: «Если человек может использовать приложение, агент тоже сможет».

Ваши ИИ-агенты смогут использовать популярные браузеры, такие как Microsoft Edge, Chrome и Firefox, для выполнения этих задач. Функция работает на серверной части Microsoft, так что вам не придётся беспокоиться о настройке собственных серверов. Все сгенерированные данные остаются в облаке Microsoft и не используются для обучения их моделей ИИ.

Одна из самых крутых особенностей? Эти агенты могут адаптироваться на лету к изменениям в приложениях и веб-сайтах. Если кнопка или макет экрана изменятся, ваш агент всё равно разберётся, что делать, без необходимости ручного обновления с вашей стороны. Кроме того, благодаря способности «видеть» экран, они могут принимать решения в реальном времени, и они оснащены возможностями рассуждения, чтобы справляться с любыми сбоями без вашей помощи.

Вам не нужно знать, как программировать, чтобы создать ИИ-агента. Просто используйте естественный язык, чтобы описать, что вы хотите, чтобы агент делал, в Copilot Studio. Вы можете тестировать и корректировать свои инструкции в симулированном режиме, наблюдая за выполнением шагов, прежде чем выпустить агента на волю. И вы можете просмотреть подробную историю действий вашего агента, включая скриншоты и шаги рассуждений.

В блоге Microsoft были выделены три сценария, в которых эти ИИ-агенты могут проявить себя:

• Автоматизированный ввод данных: Нужно ввести кучу данных из разных источников в центральную систему? ИИ-агент может взять это на себя, сэкономив вам время и усилия.
• Исследование рынка: Маркетологам часто нужно собирать данные из множества онлайн-источников. ИИ-агент может просматривать эти сайты и собирать необходимую информацию автономно.
• Обработка счетов: В финансах часто требуется извлечь данные из счетов и ввести их в бухгалтерскую систему. ИИ-агент может делать это автоматически, обеспечивая доставку данных туда, куда нужно.

Хотя всё это звучит многообещающе, ИИ пока несовершенен. Даже простые ИИ-боты могут ошибаться, а с добавленной сложностью независимого использования компьютера есть риск, что ваш ИИ-агент может сделать неверный клик или отказаться от выполнения задачи.

Настоящее испытание — в действии. Microsoft приглашает пользователей Copilot Studio зарегистрироваться для раннего доступа к функции «использование компьютера». Если вы ещё не используете Copilot Studio, вы можете попробовать её бесплатно. Просто используйте рабочую или учебную учётную запись для настройки, и вы попадёте на главную страницу, где сможете начать описывать, какого агента вы хотите создать.

Интересуетесь другими историями об ИИ? Подпишитесь на нашу еженедельную рассылку Innovation, чтобы получать последние обновления.