Дом
Агенты искусственного интеллекта получают новую способность ориентироваться в веб -сайтах и приложениях с последним навыком Copilot Studio

Представьте себе ИИ-агента, способного не только искать информацию в интернете, но и взаимодействовать с веб-сайтами, выполняя задачи самостоятельно. Это видение лежит в основе последней инновации Microsoft.
В среду Microsoft представила новую интерактивную функцию для своей платформы Copilot Studio, которая позволяет пользователям создавать собственных ИИ-агентов. Эта функция, названная «использование компьютера», позволяет любому созданному вами агенту перемещаться по настольным приложениям или веб-сайтам и выполнять задачи так же, как это сделал бы человек.
Эта функция внедряется через предварительный доступ для исследований. С её помощью агенты могут нажимать кнопки, перемещаться по меню и заполнять формы на экранах, даже если для приложения или сайта нет API. Microsoft выразилась лаконично: «Если человек может использовать приложение, агент тоже сможет».
Ваши ИИ-агенты смогут использовать популярные браузеры, такие как Microsoft Edge, Chrome и Firefox, для выполнения этих задач. Функция работает на серверной части Microsoft, так что вам не придётся беспокоиться о настройке собственных серверов. Все сгенерированные данные остаются в облаке Microsoft и не используются для обучения их моделей ИИ.
Одна из самых крутых особенностей? Эти агенты могут адаптироваться на лету к изменениям в приложениях и веб-сайтах. Если кнопка или макет экрана изменятся, ваш агент всё равно разберётся, что делать, без необходимости ручного обновления с вашей стороны. Кроме того, благодаря способности «видеть» экран, они могут принимать решения в реальном времени, и они оснащены возможностями рассуждения, чтобы справляться с любыми сбоями без вашей помощи.
Вам не нужно знать, как программировать, чтобы создать ИИ-агента. Просто используйте естественный язык, чтобы описать, что вы хотите, чтобы агент делал, в Copilot Studio. Вы можете тестировать и корректировать свои инструкции в симулированном режиме, наблюдая за выполнением шагов, прежде чем выпустить агента на волю. И вы можете просмотреть подробную историю действий вашего агента, включая скриншоты и шаги рассуждений.
В блоге Microsoft были выделены три сценария, в которых эти ИИ-агенты могут проявить себя:
- Автоматизированный ввод данных: Нужно ввести кучу данных из разных источников в центральную систему? ИИ-агент может взять это на себя, сэкономив вам время и усилия.
- Исследование рынка: Маркетологам часто нужно собирать данные из множества онлайн-источников. ИИ-агент может просматривать эти сайты и собирать необходимую информацию автономно.
- Обработка счетов: В финансах часто требуется извлечь данные из счетов и ввести их в бухгалтерскую систему. ИИ-агент может делать это автоматически, обеспечивая доставку данных туда, куда нужно.
Хотя всё это звучит многообещающе, ИИ пока несовершенен. Даже простые ИИ-боты могут ошибаться, а с добавленной сложностью независимого использования компьютера есть риск, что ваш ИИ-агент может сделать неверный клик или отказаться от выполнения задачи.
Настоящее испытание — в действии. Microsoft приглашает пользователей Copilot Studio зарегистрироваться для раннего доступа к функции «использование компьютера». Если вы ещё не используете Copilot Studio, вы можете попробовать её бесплатно. Просто используйте рабочую или учебную учётную запись для настройки, и вы попадёте на главную страницу, где сможете начать описывать, какого агента вы хотите создать.
Интересуетесь другими историями об ИИ? Подпишитесь на нашу еженедельную рассылку Innovation, чтобы получать последние обновления.
Связанная статья
Генеральный директор DeepMind Хассабис: я сплю шесть часов в день, обычно чувствую прилив энергии около часа ночи.
В недавнем интервью журналу Fortune генеральный директор Google DeepMind Демис Хаассабис раскрыл свой нестандартный подход к отдыху и продуктивности. Хаассабис признался, что спит очень мало, распределяя свои бодрствующие часы на два отдельных рабочи
OpenAI и Anthropic борются за долю рынка, несмотря на снижение выручки
Несмотря на недавние сообщения о том, что OpenAI не достигла целевых показателей по выручке, что во вторник оказало давление на акции технологических компаний, частные инвесторы, вкладывающие средства
Соблюдение требований к автономным транспортным средствам в Калифорнии: новая эра штрафов, геозоны и 1 млн миль
Компания Guident эксплуатирует шаттл AuveTech в Южной Флориде, обслуживая маршрут протяженностью четыре мили в Вест-Палм-Бич и маршрут протяженностью одну милю в Бока-Ратоне с использованием своей тех
Рекомендации по связанным специальным темам
Комментарии (8)
So basically we're giving AI the ability to click buttons... what could possibly go wrong? 😅 But seriously, this could be a game-changer for automating boring tasks. Though I wonder how it handles captchas or weird pop-ups.
Interessant! Klingt fast so, als ob wir bald nur noch zuschauen, während die KI unsere Arbeit erledigt. Hoffentlich denkt Microsoft auch an die Datenschutzfragen, wenn seine Agenten durch Websites surfen... 🤔
AI 에이전트가 웹사이트를 돌아다니면서 실제로 뭔가를 처리한다고? 🤯 진짜라면 일상생활에 정말 도움될 것 같은데... 개인정보 보안 문제는 어떻게 해결했을지 궁금해요. 사기꾼들이 악용할 수도 있지 않나 걱정되네요.
This AI navigating websites is wild! Imagine it booking my flights or shopping for me. But, uh, what if it clicks on sketchy ads? 😅 Needs some guardrails!

Представьте себе ИИ-агента, способного не только искать информацию в интернете, но и взаимодействовать с веб-сайтами, выполняя задачи самостоятельно. Это видение лежит в основе последней инновации Microsoft.
В среду Microsoft представила новую интерактивную функцию для своей платформы Copilot Studio, которая позволяет пользователям создавать собственных ИИ-агентов. Эта функция, названная «использование компьютера», позволяет любому созданному вами агенту перемещаться по настольным приложениям или веб-сайтам и выполнять задачи так же, как это сделал бы человек.
Эта функция внедряется через предварительный доступ для исследований. С её помощью агенты могут нажимать кнопки, перемещаться по меню и заполнять формы на экранах, даже если для приложения или сайта нет API. Microsoft выразилась лаконично: «Если человек может использовать приложение, агент тоже сможет».
Ваши ИИ-агенты смогут использовать популярные браузеры, такие как Microsoft Edge, Chrome и Firefox, для выполнения этих задач. Функция работает на серверной части Microsoft, так что вам не придётся беспокоиться о настройке собственных серверов. Все сгенерированные данные остаются в облаке Microsoft и не используются для обучения их моделей ИИ.
Одна из самых крутых особенностей? Эти агенты могут адаптироваться на лету к изменениям в приложениях и веб-сайтах. Если кнопка или макет экрана изменятся, ваш агент всё равно разберётся, что делать, без необходимости ручного обновления с вашей стороны. Кроме того, благодаря способности «видеть» экран, они могут принимать решения в реальном времени, и они оснащены возможностями рассуждения, чтобы справляться с любыми сбоями без вашей помощи.
Вам не нужно знать, как программировать, чтобы создать ИИ-агента. Просто используйте естественный язык, чтобы описать, что вы хотите, чтобы агент делал, в Copilot Studio. Вы можете тестировать и корректировать свои инструкции в симулированном режиме, наблюдая за выполнением шагов, прежде чем выпустить агента на волю. И вы можете просмотреть подробную историю действий вашего агента, включая скриншоты и шаги рассуждений.
В блоге Microsoft были выделены три сценария, в которых эти ИИ-агенты могут проявить себя:
- Автоматизированный ввод данных: Нужно ввести кучу данных из разных источников в центральную систему? ИИ-агент может взять это на себя, сэкономив вам время и усилия.
- Исследование рынка: Маркетологам часто нужно собирать данные из множества онлайн-источников. ИИ-агент может просматривать эти сайты и собирать необходимую информацию автономно.
- Обработка счетов: В финансах часто требуется извлечь данные из счетов и ввести их в бухгалтерскую систему. ИИ-агент может делать это автоматически, обеспечивая доставку данных туда, куда нужно.
Хотя всё это звучит многообещающе, ИИ пока несовершенен. Даже простые ИИ-боты могут ошибаться, а с добавленной сложностью независимого использования компьютера есть риск, что ваш ИИ-агент может сделать неверный клик или отказаться от выполнения задачи.
Настоящее испытание — в действии. Microsoft приглашает пользователей Copilot Studio зарегистрироваться для раннего доступа к функции «использование компьютера». Если вы ещё не используете Copilot Studio, вы можете попробовать её бесплатно. Просто используйте рабочую или учебную учётную запись для настройки, и вы попадёте на главную страницу, где сможете начать описывать, какого агента вы хотите создать.
Интересуетесь другими историями об ИИ? Подпишитесь на нашу еженедельную рассылку Innovation, чтобы получать последние обновления.
Генеральный директор DeepMind Хассабис: я сплю шесть часов в день, обычно чувствую прилив энергии около часа ночи.
В недавнем интервью журналу Fortune генеральный директор Google DeepMind Демис Хаассабис раскрыл свой нестандартный подход к отдыху и продуктивности. Хаассабис признался, что спит очень мало, распределяя свои бодрствующие часы на два отдельных рабочи
OpenAI и Anthropic борются за долю рынка, несмотря на снижение выручки
Несмотря на недавние сообщения о том, что OpenAI не достигла целевых показателей по выручке, что во вторник оказало давление на акции технологических компаний, частные инвесторы, вкладывающие средства
So basically we're giving AI the ability to click buttons... what could possibly go wrong? 😅 But seriously, this could be a game-changer for automating boring tasks. Though I wonder how it handles captchas or weird pop-ups.
Interessant! Klingt fast so, als ob wir bald nur noch zuschauen, während die KI unsere Arbeit erledigt. Hoffentlich denkt Microsoft auch an die Datenschutzfragen, wenn seine Agenten durch Websites surfen... 🤔
AI 에이전트가 웹사이트를 돌아다니면서 실제로 뭔가를 처리한다고? 🤯 진짜라면 일상생활에 정말 도움될 것 같은데... 개인정보 보안 문제는 어떻게 해결했을지 궁금해요. 사기꾼들이 악용할 수도 있지 않나 걱정되네요.
This AI navigating websites is wild! Imagine it booking my flights or shopping for me. But, uh, what if it clicks on sketchy ads? 😅 Needs some guardrails!











